Лемматизатор веб-страницы INTELSIB:ПО ЛК

Лемматизатор веб-страницы

Инструмент “Лемматизатор веб-страницы” необходим для проведения текстового анализа страницы конкурента, либо нашей продвигаемой.

Используется для:

определения количества вхождений лемм и биграмм;
проверки на переспам;
получения минус-слов по списку фраз.
По результатам анализа можно определить количество используемых слов на странице и уменьшить риск наложения фильтров от поисковых систем.

Определения:

Лемма - начальная форма слова.
Биграмма - последовательность двух лемм в любой словоформе в одном пассаже.
Пассаж - последовательность слов на странице сайта между знаками препинания или html-тэгами, которые отделяют один пассаж от другого.
Пример знаков препинания: ".", "!", "?", "...". Запятая и тире пассаж не разбивает!
Пример html-тегов: <p>, <div>, <h1>...<h6>, <table> и его элементы, <li> и пр.

Начало работы

При работе с анализатором веб-страниц необходимо указать урл или код страницы для анализа. Данный способ предназначен для анализа всего html кода за исключением вхождений слов в атрибуты html тегов. Это значить что для анализа не берутся подписи для картинок alt или title. Также при анализе веб-страниц итоговые значения будут рассчитаны для различных текстовых зон, которые есть у документов.

Список зон:

вхождение леммы в title;
вхождение леммы в h1;
вхождение леммы в подзаголовки h2-h6;
вхождение леммы в теги <strong>,<b>;
вхождение леммы в теги <em>,<i>;
вхождение леммы в анкор ссылки;
вхождение леммы в другие блоки.

В инструмент можно добавить сразу несколько урлов страниц с новой строки. Результат будет суммой всех лемм для всех указанных документов. Данный режим работы нужен для комплексного поиска необходимых лемм и биграмм в различных частях документа.

Результат работы инструмента “лемматизатор веб-страницы”

После расчета на экране будет представлен итоговый результат в виде двух таблиц.

Первая таблица “леммы”

Сверху указано количество выделенных лемм из всех указанных веб-страниц. Для удобства просмотра итого можно настроить вывод количества строк для таблицы. У каждого столбца настроена сортировка по от А до Я и в обратную сторону. Для числовых значений используется сортировка от большего к меньшему и наоборот.

При большом количестве лемм существует поиск по словам, а также пагинация таблицы с количеством записей указанных в поле “показывать количество строк”. Поиск работает по фрагменту слова и находит вхождения по всему списку лемм.

Разберем таблицу по всем столбцам:

“Lemm” - непосредственно сама лемма;
“Title” - количество вхождений леммы в title;
“H1” - количество вхождений леммы в h1;
“H26” - кол-во вхождений леммы в подзаголовки h2-h6;
“B” - кол-во вхождений леммы в теги <strong>,<b>;
“I” - кол-во вхождений леммы в теги <em>,<i>;
“А” - кол-во вхождений леммы в анкор ссылки;
“Other” - кол-во вхождений леммы в другие блоки;
“Total” - всего вхождений данной леммы.

Вторая таблица “биграммы”

Функционал работы данной таблицы аналогичен таблице “леммы”: сортировка, поиск, пагинация и вывод необходимого количества записей.

Данная таблица формируется из исходного кода страницы. В инструменте биграмма с перестановкой слов считается отдельной биграммой.

Разберем значения столбцов:

“Lemm1” - содержит лемму №1;
“Lemm2” - содержит лемму №2;
“1”-”5” - кол-во вхождений биграммы в анализируемом тексте. Число в названии столбца характеризует расстояние между парой лемм. Так:
- “1” - прямой порядок;
- “2” - леммы употреблены через слово;
- “3” - через 2 слова;
“Total” - кол-во всех вхождений биграммы во всем тексте.

Для работы поиска по биграммам необходимо через пробел вводить две леммы, иначе, при вводе только одной леммы или части слова, будут показаны все биграммы с вхождением данной леммы.