Лемматизатор текста INTELSIB:ПО ЛК

Лемматизатор текста

Лемматизация — процесс выявления лемм, который применяется для морфологического анализа текста страницы продвижения.

Используется для:

определения количества вхождений лемм и биграмм;
проверки на переспам;
получения минус-слов по списку фраз.

Лемма - начальная форма слова.

Биграмма - последовательность двух лемм в любой словоформе в одном пассаже.

Пассаж - последовательность слов на странице сайта между знаками препинания или html-тэгами, которые отделяют один пассаж от другого.

Пример знаков препинания: ".", "!", "?", "...". Запятая и тире пассаж не разбивает!

Пример html-тегов: <p>, <div>, <h1>...<h6>, <table> и его элементы, <li> и пр.

Начало работы инструмента

В основное поле “текст” можно вставить как обычный текст, так и ссылку на документ. Для вставки также доступен исходный код документа. Для указания обработки ссылки или исходного кода необходимо установить галочку “содержит ссылки”. Если нужно проанализировать текст, то данное поле должно быть отключено.

Также для анализа можно добавить сразу несколько url’ов. Для этого каждую новую страницу надо указывать с новой строки.

Результат работы лемматизации

Результатом работы инструмента является две таблички: “Леммы” и “Биграммы”

Разберем по отдельности.

Леммы

В данной таблице приведены все леммы текста (исходного кода), который был добавлен для анализа. Разберем таблицу по всем столбцам:

“Lemm” - непосредственно сама лемма;
“Title” - количество вхождений леммы в title;
“H1” - количество вхождений леммы в h1;
“H26” - кол-во вхождений леммы в подзаголовки h2-h6;
“B” - кол-во вхождений леммы в теги <strong>,<b>;
“I” - кол-во вхождений леммы в теги <em>,<i>;
“А” - кол-во вхождений леммы в анкор ссылки;
“Other” - кол-во вхождений леммы в другие блоки;
“Total” - всего вхождений данной леммы.

Замечание! Если добавлять для анализа текст, то все вхождения будут записываться в столбец “Other”. Также доступен поиск по фрагменту лемм.

Биграммы

Приведены биграммы в анализируемом тексте (исходном коде). Разберем значения столбцов:

“Lemm1” - содержит лемму №1;
“Lemm2” - содержит лемму №2;
“1”-”5” - кол-во вхождений биграммы в анализируемом тексте. Число в названии столбца характеризует расстояние между парой лемм. Так:
- “1” - прямой порядок;
- “2” - леммы употреблены через слово;
- “3” - через 2 слова;
- и т.д.

Замечание! Перестановка двух лемм в биграмме - новая биграмма.

“Total” - кол-во всех вхождений биграммы во всем тексте.

Поиск! Для нахождения биграммы нужно записать две леммы через пробел. При записи лишь одной леммы, будут выводиться все биграммы, содержащие данную лемму. При записи части леммы, будут выводиться все биграммы, содержащие фрагмент этой леммы.

Результирующая таблица

В таблице доступна настройка вывода количества строк, а также пагинация по страницам.

По столбцам таблиц настроен фильтр, позволяющий фильтровать столбцы по алфавиту.