Экстрактор N-грамм

Что показывает каждая длина n-граммы

Как инструмент разбивает ваш текст

• Всё приводится к нижнему регистру, поэтому «The» и «the» попадают в одну строку.
• Словом считается любая цепочка букв, цифр или апострофов. Любой другой символ (знак препинания, символ, перевод строки) считается разделителем и отбрасывается.
• Границы предложений не сохраняются. Последнее слово одного предложения и первое слово следующего всё равно могут образовать n-грамму, поэтому к таким парам стоит относиться осторожно. Если это важно, разбирайте текст по предложениям или абзацам.
• Стоп-слова остаются. Ничего не фильтруется за вас: если нужны только осмысленные сочетания, удалите лишние строки из CSV после выгрузки.
• Слова определяются по пробелам и знакам препинания. В русском языке слова разделяются пробелами, поэтому инструмент работает с ним напрямую. Учтите только, что словоформы не приводятся к начальной форме: «сайта», «сайту» и «сайт» попадут в разные строки. Если нужна лемматизация, прогоните текст через pymorphy2 или mystem и вставьте результат. А вот китайский, японский и тайский пишутся без пробелов между словами: там вся фраза придёт как одно слово, поэтому её нужно предварительно разбить (jieba, MeCab, тайский токенизатор).

Когда убирать стоп-слова

Стоп-слова представляют собой высокочастотные служебные слова: «the», «a», «of», «and» в английском и «и», «в», «на», «что» в русском. Если их не убрать, список биграмм заполнится мусором вроде «of the» и «и в». Этот экстрактор их сохраняет, поэтому удаляйте такие строки из выгрузки, когда вам нужны осмысленные словосочетания, и оставляйте, когда изучаете стиль, авторство или языковые модели, где служебные слова сами по себе несут сигнал.

Применение в SEO

Для статьи под запрос «nginx config generator» проверьте:

• Целевые биграмма и триграмма входят в топ-20. Если «nginx config» на 40-м месте, вы, скорее всего, недостаточно используете этот термин.
• Нет переспама. Если запрос занимает первое место с огромным отрывом, текст читается как спам.
• Есть семантические соседи. Смежные биграммы вроде «server block», «proxy pass» и «ssl certificate» убеждают поисковые системы, что тема раскрыта.

NLP и академическое применение

• Языковые модели используют частоты n-грамм для сглаживания и отката (Кнесера-Нея, Гуда-Тьюринга).
• Исследования авторства сравнивают распределения триграмм у разных кандидатов в авторы.
• Оценка машинного перевода (BLEU) измеряет совпадение n-грамм между переводом системы и эталонным переводом.