Проверка схожести текстов

Далее

Две заявки в поддержку, которые звучат одинаково, запись в блоге, похожая на запись конкурента, или два описания товара, которые выглядят скопированными: чутьё говорит, что они пересекаются, но вам нужна цифра. Этот инструмент сравнивает два текста и возвращает две оценки: совпадение слов, то есть долю уникальных слов, общих для обоих текстов, и схожесть символов, то есть насколько совпадают сырые символы. Вместе они показывают, что общего у текстов: словарь, формулировки или и то и другое.

Как измеряется схожесть

  1. 1

    Вставьте оба текста

    Любой длины, от предложения до целой статьи.

  2. 2

    Совпадение слов

    Каждый текст приводится к нижнему регистру и разбивается на уникальные слова. Оценка Жаккара, это общие слова, делённые на общее число различных слов.

  3. 3

    Схожесть символов

    Инструмент также сравнивает сырые последовательности символов и сообщает долю совпавших символов в процентах.

  4. 4

    Прочитайте обе оценки

    Высокое совпадение слов при более низкой схожести символов означает те же слова в другом порядке. Высокая схожесть символов означает почти одинаковые тексты, символ за символом.

Что говорит каждая оценка

Оценка Диапазон Что измеряет Слепое пятно
Совпадение слов (Жаккар) 0-100% Долю уникальных слов, общих для обоих текстов Не учитывает порядок слов и частоту их повторения
Схожесть символов 0-100% Насколько совпадает сырая последовательность символов Чувствительна к длине и небольшим правкам
  • Совпадение слов около 100% означает, что оба текста используют почти один и тот же набор слов.
  • Схожесть символов около 100% означает, что тексты почти идентичны символ за символом.
  • Большой разрыв (высокое совпадение слов, более низкая схожесть символов) указывает на тот же словарь, расположенный иначе.

Разбор примера

Сравнение The quick brown fox и The quick red fox:

  • Совпадение слов: 60.00% (общие the, quick и fox из пяти различных слов)
  • Схожесть символов: 83.33% (отличается только brown против red)

Две цифры вместе рассказывают историю: почти те же слова и, кроме одного слова, почти те же символы.

Чего инструмент не делает

Это поверхностное сравнение строк, а не проверка на плагиат или на смысл:

  • Он сравнивает слова и символы, поэтому два фрагмента, говорящие об одном разными словами, получают низкую оценку.
  • У него нет базы опубликованных работ, поэтому он не скажет, был ли текст скопирован откуда-то ещё.
  • Сравнение по смыслу (семантическое) требует модели эмбеддингов, которую этот инструмент не использует.

Используйте оценки как быстрый сигнал о почти дубликатах, а не как приговор.

Советы по предобработке

  • Удалите шаблонный текст (подписи, верхние и нижние колонтитулы) перед сравнением; он искусственно завышает обе оценки.
  • Нормализуйте пробелы и лишнюю пунктуацию, чтобы различия в оформлении не заглушали настоящие совпадения содержания.
  • Следите за разницей в длине: сильно разная длина снижает схожесть символов, даже если короткий текст входит в длинный, поэтому сравнивайте сопоставимые фрагменты.

Часто задаваемые вопросы

Только как грубый сигнал. Инструмент измеряет совпадение слов и схожесть символов между двумя текстами, которые вы вставляете; у него нет базы существующих работ, и он не обнаружит копирование из неизвестного источника. Высокая оценка отмечает почти дубликаты, которые стоит рассмотреть внимательнее, не более того.

Не очень. Если переписанный вариант сохраняет большинство слов, совпадение слов остаётся высоким. Но если он заменяет их синонимами, обе оценки падают, ведь инструмент сравнивает слова и символы, а не смысл. Чтобы поймать настоящий перифраз, нужна семантическая модель (эмбеддингов).

Обе оценки справляются с длинными текстами, но сравнение схожести символов замедляется по мере роста текстов, поэтому держите каждый в пределах нескольких тысяч символов ради быстрого результата.

Ваши два текста отправляются на наш сервер для сравнения и не сохраняются. Сравнение, это простое сопоставление слов и символов, без участия третьих сторон.

Сопутствующие инструменты

Справочник по корректурным знакам

Практический справочник по 14 распространённым знакам традиционной англоязычной корректуры с обозначениями, примерами и пояснением стандартов.

Генератор хэдканонов

Создавайте авторские подсказки для хэдканонов о вымышленных и оригинальных персонажах. Выбирайте тему, настроение и близость к канону; всё работает локально во вкладке браузера.

Перемешивание слов

Перемешивайте буквы в каждом слове, сохраняя первую и последнюю. Подходит для головоломок, словесных игр и упражнений на чтение.

Генератор «Правда или действие»

Вытягивайте случайные вопросы и задания из отобранного, подходящего для всей семьи набора: 15 правд и 15 действий на английском, до 20 карточек за раз.

Генератор Spelling Bee

Создавайте перемешанный список английских слов для тренировки правописания по уровням, от 1 класса до сложного раунда Bee. Бесплатные встроенные списки для практики.

С английского на Pig Latin

Переводите английский на Pig Latin и обратно. Применяется классический перенос группы согласных и правило суффикса -ay.

Инструмент доступен на других языках