Методы автоматического индексирования

Цель автоматического индексирования — составить по тексту исходного документа фразу на ИПЯ и при необходимости включить ее в поисковый образ документа. Фраза на информационно-поисковом языке может быть простой (однословной) или составной (многословной). Для генерации фраз для ИПЯ со свободной лексикой используются как методы синтаксического анализа исходного текста документа, так и различные эвристические алгоритмы.

Например, можно рассмотреть такой несложный алгоритм:

Будем считать, что фразы на ИПЯ состоят из нескольких слов, из которых одно является основой, а остальные могут ее дополнять. На первом шаге выделяется множество основ, то есть те слова, частота вхождения которых в тексты документов больше некоторого порогового значения df (обычно df > 2). На втором шаге реализуется один из методов кластеризации (группирования) терминов, который позволяет в двумерном массиве «термины-документы» выделить те группы терминов, которые одновременно входят в несколько документов. Если в найденной группе терминов хотя бы один является основой и расстояние между ними в тексте удовлетворяет некоторому условию, то такая группа рассматривается как единый сложный термин и образует составную фразу на языке ИПЯ.

Если проблема индексирования ставится для множества документов, относящихся только к определенной области знаний, то множество основ фраз может формироваться на базе заранее заданного тезауруса языка. После приведения лексических единиц текста документа к канонической форме, они сопоставляются с тезаурусом языка и выбираются только те словоформы, которые включены в ИПТ. При этом последующая кластеризация терминов может проводиться или не проводиться.

Поскольку основная задача индексирования — обеспечить выдачу релевантных запросу пользователя документов, то при индексировании и формировании ПОД хотелось бы иметь какую-либо количественную оценку вхождения простого или составного термина-фразы в каждый конкретный документ. По этой причине современные методы автоматического индексирования почти всегда присваивают терминам весовые коэффициенты, вычисленные на основе различных статистических характеристик.

Предположим, что имеется совокупность из N документов. Пусть — это частота вхождения терминав документ. Индексирование на основе частоты термина позволяет выделить из массива документов все те, в которых упоминается данный термин, что обеспечивает полноту поиска. Рассмотрим теперь величину — число документов, в которые входит термин. Очевидно, что. Тогда. Величина может использоваться для повышения точности поиска. Если ее значение близко к 1, то термин встречается в большинстве документов, следовательно, он не может являться определяющим при описании документа. Наоборот, если значение этой величины близко к 0, то соответствующий термин в других документах встречается редко и обязательно должен войти в поисковый образ.

Частоту термина и полученную выше величину можно объединить в рамках единой модели индексирования по частоте (обозначает вес термина в документе):

Указанная модель получила название TFxIDF (Term Frequency Ч Inverse Document Frequency).

Еще один статистический метод индексирования основывается на дискриминации по термину. Здесь каждый документ рассматривается как точка в пространстве документов. Чем больше сходства у поисковых образов двух документов, тем ближе расположены соответствующие точки друг к другу (то есть, повышается плотность точек в пространстве документов), и наоборот. В рамках данной схемы можно оценивать качество термина как дискриминатора документа, основываясь на том, какие изменения произойдут в пространстве документов после введения термина в индекс. Для количественной оценки такого изменения удобно использовать увеличение или уменьшение расстояния между документами. Термин является хорошим дискриминатором, если его добавление к ПОД увеличивает среднее расстояние между документами (снижает плотность в пространстве документов). Дискриминирующая характеристика термина, обозначаемая как, вычисляется как разность между плотностями пространства документов до и после введения в индекс термина (способы задания метрики в пространстве документов довольно сложны, поэтому мы не будем подробно на них останавливаться). Оказалось, что часто встречающиеся термины имеют отрицательные значения дискриминирующих характеристик, термины со средней частотой — положительные, а для редко встречающихся терминов эти значения близки к нулю. Для совместного учета частоты термина и его дискриминирующей характеристики применяют схему взвешивания, основанную на выражении:

Полученные значения весов терминов могут использоваться в процессе принятия решения о включении каждого из терминов в ПОД. Однако чаще всего операцию принятия решения не используют, и в ПОД заносятся все термины, встретившиеся в документе, и их веса.