Исследование методов и разработка средств повышения точности и полноты поиска в сети Интернет

Актуальность темы

.

В связи с резким ростом объемов информации, циркулирующей в современных телекоммуникационных системах, появился ряд новых задач поиска и анализа полу структурированной информации. Среди них следует отметить задачи повышения эффективности алгоритмов поиска информации, повышение их степени универсальности (независимости от предметных областей), полноты и точности. Существующие методы поиска способны предоставить большие списки более или менее релевантных документов в ответ на запросы пользователей, однако в действительности интерес для пользователя представляют лишь очень немногие документы из этих списков. Хорошо известно, что среди найденных поисковыми системами документов достаточно большое число последних имеют слабое отношение к запросу пользователя, а ряд документов представляет собой шум. Совершенствование методов, применяемых современными поисковыми машинами, ограничено использованием в качестве запроса набором ключевых слов. Таким образом, весьма актуальным является разработка новых методов поиска, обладающих высокой степенью точности и использующих в качестве запроса связный текст на естественном языке.

Новизна.

Для выражения поисковых потребностей пользователя следует представить ему адекватные средства. К таковым относится, в частности, использование естественного языка для написания запросов. Отсюда следует необходимость анализа (в том числе семантического) текста запроса и текстов искомых документов. Это означает что для повышения точности поиска требуется привлечение новых методов компьютерной лингвистики и искусственного интеллекта.

В существующих системах имеются серьезные ограничения по полноте и релевантности поиска. Ограничения по полноте поиска связаны с тем, что недостаточно используются лингвистические знания (расширение запроса синонимами и синонимическими именными группами, кореферентными конструкциями, конверсивами и т. д.). Ограничения по точности (релевантности поиска) связаны с тем, что используемые средства написания запроса (набор словоформ) не позволяют отразить действительные поисковые потребности пользователя и смысл его запроса. Существуют веские соображения в пользу того, что решение подобных задач можно получить на пути применения методов искусственного интеллекта, в частности, использовании методов семантического анализа информации. Однако при решении указанных задач приходится иметь дело с полуструктурированной и, следовательно, неформализованной информацией, например, с текстами на естественном языке, html-документами и т. д. Это, в свою очередь приводит к отсутствию замкнутых постановок и корректных алгоритмов решения.

Путь разрешения этих проблем состоит во взаимодействии механизмов увеличения полноты и релевантности поиска с методами метапоиска, машинного обучения и лингвистической семантики. Применение указанных методов и их взаимодействие целесообразно не только для выполнения семантической фильтрации информации, но и для обнаружения и автоматического анализа интерфейсов поисковых ресурсов.

Настоящая работа посвящена применению методов метапоиска, искусственного интеллекта и лингвистической семантики к задачам увеличения полноты и релевантности поиска, что свидетельствует о ее научной новизне.

Методы и алгоритмы реализованы в виде независимых программных модулей и используются в следующих проектах:

1. «Разработка программных средств смыслового поиска и анализа материалов научных исследований в области наук о жизни, опубликованных на естественных языках в научной печати и в Интернете» шифр ИТ-13.5/001, выполняемого в рамках федеральной целевой научно-технической программы «Исследования и разработки по приоритетным направлениям развития науки и техники» на 2002;2006 годы.

2. Государственный контракт № 10 002−251 /ОИТВС-01/097−111/210 503−178 от 6 мая 2003 г.

3. Программа фундаментальных исследований отделения информационных технологий и вычислительных систем РАН (ОИТВС РАН) «Фундаментальные основы информационных технологий и систем», проект № 2.9.

4. Проект Российского Фонда Фундаментальных Исследований № 04−790 097.

Цель работы.

Целью диссертационной работы является разработка основных архитектурных и научно-технических решений построения поисковых систем нового поколения.

Для достижения поставленной цели в работе решены следующие задачи:

1. Выполнен анализ существующих поисковых систем и применяемых в них методов поиска.

2. Предложена модель текста для задачи поиска полуструктурированной информации.

3. Исследованы семантические структуры естественно-языковых высказываний с точки зрения коммуникативной грамматики.

4. Применен ДСМ-метод машинного обучения для решения задачи распознавания интерфейсов поисковых ресурсов.

5. Разработан ряд архитектурных решений системы семантического метапоиска.

6. Разработана методика оценки качества работы поисковой системы на основе использования понятия семантической релевантности поиска.

Методы исследования.

В диссертационной работе использованы методы математической логики, системного анализа, теория множеств, теория представления знаний, теория коммуникативной грамматики русского языка, теория неоднородных семантических сетей [9, 36, 37].

Научная новизна.

1. Впервые для задач поиска полуструктурированной информации применена теория коммуникативной грамматики русского языка [1,2] .

2. Впервые для задач поиска и семантической фильтрации информации применен формализм неоднородных семантических сетей [9].

3. Разработана модель текста, ориентированная на решение задач поиска.

4. Применен ДСМ-метод машинного обучения для решения задачи распознавания интерфейсов поисковых ресурсов.

5. Разработана методика оценки качества работы поисковой системы на основе использования понятия семантической релевантности поиска.

Практическая значимость работы.

Разработанный прототип системы семантического метапоиска может быть использован как в качестве корпоративной поисковой системы, так и в качестве системы глобального поиска с функциями семантической обработки текстов и анализа естественно-языковых запросов.

Апробация работы.

Основные положения работы докладывались и обсуждались на следующих научных конференциях:

1. IV российско-украинский научный семинар «Интеллектуальный анализ информации» (Киев 2004).

2. Международная конференция «Программные системы: теория и приложения» (Переславль-Залесский 2004).

3. Всероссийская научно-техническая конференция «Моделирование и обработка информации в технических системах» (Рыбинск 2004).

4. Шестая международная конференция по программированию на основе знаний JCKBSE'2004 (Протвино 2004).

5. 9-я национальная конференция по искусственному интеллекту с международным участием (Тверь 2004).

6. Компьютерная лингвистика и интеллектуальные технологии. Международная конференция Диалог'2005 (Звенигород 2005).

7. V международная конференция «Интеллектуальный анализ информации» (Киев 2005).

8. Российский семинар по Оценке Методов Информационного поиска (Ярославль 2005).

9. VI международная конференция «Интеллектуальный анализ информации» (Киев 2006).

10. 10-я национальная конференция по искусственному интеллекту с международным участием (Обнинск 2006).

Основные результаты, полученные по теме диссертационной работы, опубликованы в 11 печатных работах (в том числе 1 публикация в ведущем рецензируемом научном издании, рекомендованном ВАК, 10 публикаций в трудах научных конференций).

Структура и объём диссертации.

Диссертация состоит из введения, четырех глав, основных выводов и результатов, списка литературы и приложений. Работа изложена на 170 стр. машинописного текста, содержит 4 таблицы, 16 рисунков, 4 приложения, библиография включает 90 наименований.

3.4. Выводы.

Построенная синтактико-семантическая модель воплощается при программной реализации в семантический образ текста. Образ текста — это отображение текста на формальную модель. Образ состоит из программных структур, реализующих элементы модели. Для семантического анализа текста используется семантический словарь.

Следует отметить, что сеть может иметь свободные вершины, например, свободная вершина может появиться, если в запросе есть вопросительное слово. При сравнении сетей запроса и найденных документов свободную вершину будет замещать не вопросительное слово, а та синтаксема, которой оно соответствует в найденных документах. Таким образом реализуются возможность вопросно-ответного поиска.

4. Разработка и реализация основных научно-технических решений системы семантического метапоиска.

4.1. Основные научно-технические решения.

Автор диссертационной работы принимал непосредственное участие в разработке основных научно-технических решений в качестве ответственного исполнителя. Для описания основных научно-технических решений использована объектно-ориентированная методология, в качестве основного языка моделирования системы язык UML [45, 89].

Система состоит из нескольких компонент, связанных друг с другом. Под компонентом понимается набор логически связанных модулей, имеющих общее назначение и представляющих собой законченную подсистему. Основное связующее звено компонентов системы — база данных [90], в которой централизованно хранится основная информация. Кроме реляционной базы данных используются файловые хранилища, которые применяются в случае, когда некоторые данные нерационально хранить в общей базе данных системы. Компонентная модель системы представлена на рис. 11:

Рисунок 11. Компонентная модель системы семантического метапоиска.

Основными научно-техническими решениями системы семантического метапоиска являются:

1. Модуль WEB-интерфейса пользователя (позволяет пользователю вводить запросы на естественном языке и просматривать результаты поиска).

2. Модуль подключения поисковых ресурсов (служит для настройки на интерфейсы поисковых машин Интернет с целью использования их поисковых механизмов и индексов в качестве источника данных для метапоиска).

3. Модуль метапоиска (необходим для повышения полноты поиска за счет отправки поисковых запросов пользователя сразу на несколько поисковых машин Интернет).

4. Модуль загрузки документов (осуществляет загрузку документов, определяет их формат и кодировку, преобразует к plane text в рабочей кодировке системы и помещает в собственное хранилище документов).

5. Модуль лингвистического анализа (состоит из морфологического, синтаксического и семантического анализаторов. Модуль включает специфические функции обработки текстов и применяется для построения семантического образа запроса и найденных документов, а также вычисления релевантности).

6. Модуль семантической фильтрации (осуществляет фильтрацию найденных документов с учетом их релевантности запросу пользователя).

7. Модуль управления словарем синонимов (содержит функции по доступу к словарю и используется при расширении запроса пользователя синонимами).

8. Модуль управления словарем предикатных слов (содержит функции по доступу к словарю предикатных слов и используется в процессе семантического анализа).

Система семантического метапоиска функционирует в двух режимах:

1. Режим настройки на поисковые ресурсы.

2. Режим семантического метапоиска.

4.1.1. Режим настройки на поисковые ресурсы.

Администратор запускает модуль подключения поисковых ресурсов и в полуавтоматическом режиме осуществляет настройку на интерфейс поискового ресурса. Процесс настройки представляет собой последовательный процесс.

Определяются общие параметры поискового ресурса, в которые входят: URL поискового ресурсаназвание ресурсапараметры html-формы поискового запросазнаки логических операций.

Определяются контексты: ссылок на найденные документыссылок на следующие страницы откликааннотаций к найденным документам. Для определения контекстов используется супервизорный метод машинного обучения, описанный в п. 3. настоящей диссертационной работы. Администратор в интерактивном режиме предъявляет множество положительных примеров для обучения. По ним вычисляются общие для всех предоставленных примеров фрагменты HTML-кода, которые и являются результатом обучения (структурой описания поисковых ресурсов).

По завершению обучения осуществляется сборка результатов обучения и администратор осуществляет проверку сформированной структуры, а именно производит поиск с использованием поискового ресурса, на который осуществлялась настройка. В случае успешной настройки, структура описания ресурса сохраняется в хранилище, для ресурса задается название-идентификатор, и краткое описание ресурса.

Схема данных для режима настройки на поисковые ресурсы представлена на рисунке 12.

Запрос пользователя.

HTML-страницы поискового ресурса.

Определение общих параметров.

Общие параметры.

Определение контекста ссылок на найденные документы.

Контекст ссылок.

Получение HTML-страниц поискового ресурса.

Определение контекста ссылок на следующие страницы отклика.

Контекст ссылок на следующие страницы отклика.

Определение контекста аннотаций.

Контекст аннотаций.

Рисунок 12. Схема данных для режима настройки на поисковые ресурсы.

Сначала производится настройка на общие параметры поискового ресурса, далее запускается функция интерактивного обучения. Управление временно передается программам: предоставления положительных примеров ссылок на найденные документыпредоставления положительных примеров ссылок на следующие страницы откликапредоставления положительных примеров аннотаций к документам. Далее процесс управления передается программе автоматического обучения. Результаты интерактивного обучения сохраняются в хранилище описаний поисковых ресурсов. У администратора есть возможность произвести проверку результатов обучения. В случае успешной настройки запускается функция сохранения настроечных параметров в специализированном файловом хранилище. Схема взаимодействия программ для режима настройки на поисковые ресурсы приведена на рисунке 13.

Рисунок 13. Схема взаимодействия программ для режима настройки на поисковые ресурсы.

В таблице 1 приведены функции, действия и программы, которые их выполняют, в процессе настройки на поисковые ресурсы.

Заключение

.

В ходе диссертационной работы был выполнен анализ существующих поисковых систем и применяемых в них методов поиска. Анализ показал, что в существующих поисковых системах недостаточно применяются методы лингвистической семантики и методы машинного обучения.

Для задачи распознавания интерфейсов поисковых ресурсов был применен ДСМ-метод машинного обучения.

Для задачи поиска полуструктурированной информации автором была предложена модель текста, ориентированная именно на семантический поиск. Для этих целей были исследованы семантические структуры естественно-языковых высказываний с точки зрения коммуникативной грамматики русского языка.

Чтобы оценить точность поиска, а также точность и полноту метапоисковой системы, автором разработан ряд архитектурных решений системы семантического метапоиска и разработана методика оценки качества работы поисковой системы на основе использования понятия семантической релевантности поиска.

В результате диссертационной работы удалось создать прототип системы семантического метапоиска и провести его исследование. Испытания подтвердили, что прототип обладает качественно новыми характеристиками по сравнению с аналогами.

Точность и полнота поиска достигается за счет применения методов лингвистической семантики, в частности применения теории коммуникативной грамматики русского языка. Испытания подтвердили, что не смотря на медленную скорость лингвистических процессоров возможно создание прототипа поисковой системы, укладывающейся в разумные рамки по скорости поиска.

Точность и полнота распознавания в HTML-документах данных для метапоиска достигается за счет применения ДСМ-метода машинного обучения к задаче распознавания интерфейсов поисковых ресурсов. Метод по сравнению с аналогами дает существенное увеличение полноты при незначительном уменьшении точности.