Методы и программные средства выделения и численного оценивания вариативности языковых единиц

Известно, что объемы текстовой информации в электронных хранилищах данных удваиваются каждые три года. В связи с этим возникает потребность в разработке человеко-машинных интерфейсов, а также систем автоматического извлечения фактов и знаний из текстов различной языковой природы. Серьезные трудности при этом создает вариативность языковых единиц (ЯЕ), проявляющаяся в разных формах на всех уровнях иерархии. Проблема вариативности структурных единиц является одной из центральных для различных языковых систем [4, 14, 22, 35, 36]. В частности, вариативность лежит в основе эволюционного процесса, определяющего наиболее вероятные пути трансформации структурных единиц. Всестороннее изучение вариативности способствует углублению понимания организации, функционирования и эволюции языковой системы.

Для автоматического обнаружения и отоэ! сдествления вариантов ЯЕ в тексте необходимо разрабатывать специальные программные средства с опорой на алгоритмы, формализующие понятие ЯЕ и ее ближайшей окрестности. В основе таких алгоритмов лежит изучение закономерностей варьирования ЯЕ, в частности, выявление допустимых преобразований (редакционных операций), а также получение количественных характеристик вариативности ЯЕ. Они включают в себя формальные оценки близости двух ЯЕ, доминирующие типы редакционных операций, оценки устойчивости различных позиций внутри ЯЕ, характеризующие возможности ее членения на более мелкие единицы и др.

Отождествление вариантов языковых единиц (ЯЕ) производится программными средствами самых разных пользовательских систем — от информационно-поисковых до автоматических корректоров ошибок. Например, все интерфейсы, имеющие дело с текстами на естественном языке, сталкиваются с ошибками в написании слов в виде пропущенных, лишних или замененных букв, их перестановок и т. п. Существующие корректоры не всегда обнаруживают такие ошибки, поскольку написанное слово может совпасть с другим, также содержащимся в словаре системы: («подробно осуждается пример.», «рассматриваются классификационные рублики и рубрики предметного каталога.»). Обнаружение и исправление ошибок такого типа и других, требующих привлечения семантики и использования контекста, является актуальной задачей компьютерной лингвистики.

Трудности информационного поиска во многом обусловлены высокой вариативностью представления поисковых объектов в текстовой форме. Например, если нас интересует такой аспект содержания научной работы как «цель исследования», то его поисковыми маркерами могут служить такие комбинации слов как «в настоящей работе», «в данной работе», «в данной статье», «в работе рассматривается», «целью работы является», «в статье описывается», «данная работа посвящена» и многие другие. Исследование закономерностей варьирования помогает расширить поисковый запрос, повысить полноту и точность поиска.

Объектом исследования в данной работе являются ЯЕ разных иерархических уровней: корни, канонические формы слов, устойчивые словосочетания, фразы, построенные на «игре» слов, сверхфразовые единства, авторские аннотации и формально построенные квазирефераты текста. Традиционные лингвистические исследования вариативности языковых систем носят преимущественно качественный характер. Отличительной чертой данного исследования является получение количественных характеристик вариативности ЯЕ и ориентация на единицы разных иерархических уровней, в том числе высоких — слабо формализованных. Эти особенности определяют широкую сферу применимости программно-алгоритмического комплекса, созданного для анализа вариативности ЯЕ. Он может быть использован для обнаружения дубликатов, заимствований (в том числе в текстах программ), оптимизации информаг{ионного поиска (обогащение запроса путем варьирования, формирование шаблонов), сегментации длинных неструктурированных текстов, обнаружения ошибок и стилеметрии (формализация понятий «норма», «отклонение от нормы»).

Сложность исследования вариативности ЯЕ проявляется также и в том, что программный комплекс должен включать широкий набор средств автоматической обработки текстов (АОТ). Отнюдь не все ЯЕ фиксируются в тексте в явном виде с помощью формальных разделителей, относящихся к разным иерархическим уровням (пробелы, запятые, точки и т. п.). Некоторые типы ЯЕ, активно изучаемые в последнее время (например, устойчивые словосочетания, максимально длинные внутрии межтекстовые повторы, сверхфразовые единства), требуют разработки специальных алгоритмов для своей идентификации, что также нашло отражение в данной работе. Поскольку многие из интересующих нас ЯЕ имеют значительную длину, для их выделения из текста использовался аппарат ¿—граммного анализа, где под 1,-граммой понимается цепочка из Ь подряд следующих слов текста* (возможно, нормализованных). В [29] показано, что по параметру Ь спектр /,-грамм целесообразно ограничивать длиной максимального повтора в тексте (Ьтах). Информация о частоте и местах вхождения различных ¿—грамм в текст, является основой для выделения ЯЕ более высоких, чем слово, уровней. Кроме того, необходимы программы для фильтрации не представляющих интереса вариантов, возникающих, в частности, при словоизменении.

В соответствии с вышеизложенным целями исследования являются:

— разработка и программное обеспечение методики выделения и количественного анализа вариативности ЯЕ;

— исследование закономерностей варьирования ЯЕ на разных уровнях иерархии и использование этих закономерностей в приложениях.

Это достигается путем:

— формирования достаточно представительных обучающих подборок по каждому изучаемому классу ЯЕ, в которых наряду с самими ЯЕ представлены их различные варианты. В общем случае эта процедура может включать в себя Термин ¿—грамма был, по-видимому, впервые употреблен Шенноном [75] применительно к цепочке из? подряд следующих символов, но позднее его стали использовать и применительно к более крупным ЯЕ, хотя это и не совсем корректно. работу непосредственно с текстом (вычисление полного спектра Х-грамм, ?=1,2,. Ьтах,) с последующей целенаправленной их фильтрацией);

— фиксации допустимых редакционных операций, используемых при варьировании каждой ЯЕ;

— введения формальных мер близости между ЯЕ, учитывающих спектр допустимых редакционных операций и позволяющих для каждой ЯЕ определить ее ближайшую окрестность;

— количественной характеризации окрестности каждой ЯЕ (статистика использования допустимых редакционных операций и др.). В частности, окрестности ЯЕ могут быть представлены в виде шаблонов («образцов с переменными»), в которых зафиксированы неизменяемые ядра и варьируемые компоненты.

В качестве материала для получения количественных оценок вариативности использовались: деривационный словарь русского языка объемом свыше 100 тыс. канонических форм при исследовании низких уровней языковой иерархии (морфемы и лексемы) — подборка из более чем 2500 заголовков, построенных путем варьирования известных (находящихся на слуху) прототипов (словосочетания и короткие фразы) — индикаторы отдельных аспектов содержания научного текста (словосочетания и образцы, полученные в полуавтоматическом режиме с привлечением человека эксперта на заключительном этапе), а также тексты разных жанров для рассмотрения ЯЕ более высоких уровней (максимально длинные повторы, сверхфразовые единства, авторские аннотации и программно построенные квазирефераты, параллельные тексты).

На защиту выносятся следующие основные результаты.

1. Предложена методика количественного исследования проявлений вариативности ЯЕ разных уровней иерархии, реализованная в виде совокупности методов и программ предобработки текста (фонетический, морфологический, Х-граммный и позиционный анализ), выделения ЯЕ из текста, формирования обучающих подборок по изучаемым классам ЯЕ, определения ближайших окрестностей (в смысле редакционного расстояния) каждой ЯЕ и получения числовых оценок вариативности, таких как частота использования при варьировании различных типов редакционных операций, степень устойчивости каждой позиции в исследуемой ЯЕ, степень позиционной класт-ризуемости искажений, когда их число превышает 1, и др.

2. Впервые с помощью разработанных программных средств получены количественные оценки вариативности ЯЕ разных уровней: корней, слов, морфемных моделей, аспектных словосочетаний, крылатых фраз и выражений, параллельных текстов. Отмечено расширение спектра редакционных операций при переходе от нижних уровней иерархии к верхним, а также их усложнение от простейших универсальных (вставка, замена, устранение элемента структуры) до сугубо специфичных (например, контаминации1).

3. На базе 100-тысячного словаря русского языка построен уникальный электронный словарь паронимов «в широком смысле», где каждое слово представлено своими 1-, 2-окрестностями, содержащими слова из исходного словаря, отличающиеся от заданного, соответственно, одним или двумя искажениями типа «вставка», «замена» или «устранение» символа в любой их комбинации. Словарь предназначен для изучения процессов словообразования, поиска и моделирования ошибок паронимического типа, генерации комбинаторных лингвистических задач, моделирования заголовков, построенных на «игре слов».

4. Сформирован словарь квазиомонимов — фонетическая версия словаря паронимов — для случая однократного (допустимого) искажения слова заменой, вставкой или удалением символа. На его основе предложена и реализована методика автоматического формирования трудных тестовых словарей для систем распознавания и синтеза речи с возможностью их многократного обновления. Словари содержат последовательности слов, мало разли.

1 В данном случае имеется в виду возникновение новой ЯЕ путем специфического объединения элементов двух известных яе. чающихся по артикуляционно-акустическим характеристикам несовпадающих в них звуков.

5. Предложен новый алгоритм выделения в тексте сверхфразовых единств, основанный на использовании сканирующих статистик. Введено понятие профиля кластеризуемости текста, аккумулирующее информацию обо всех выявленных в нем сверхфразовых единствах и дающее представление о макроструктуре текста. Профиль кластеризуемости отражает динамику развертывания текста с опорой на автоматически выделяемые слова и словосочетания, значимость которых определяется исходя из совместного учета частотной и позиционной информации. На его основе программно строятся квазирефераты неструктурированного (в общем случае) текста.

6. Разработана и реализована методика автоматизированного создания и обогащения (путем варьирования) индикаторных словарей, предназначенных для выявления отдельных аспектов содержания научных текстов. Она позволяет экспертам отбирать аспектные маркеры без прочтения полных текстов и обеспечивает приемлемые результаты по полноте и точности поиска.

Все процедуры: а) предобработка текстов (фонетическая транскрипция, морфологический анализ, Х-граммное представление (Ь — 1,2,., Ьтах), позиционный анализ), б) выделение ЯЕ промежуточных иерархических уровней (устойчивые словосочетания, сверхфразовые единства и др.), в) получение количественных характеристик вариативности ЯЕ — оформлены в виде программных модулей, схема сборки которых для получения конкретного результата представлена на рис. 1 (см. гл. 2). Все прикладные продукты, включая электронный словарь паронгшов, словари для тестирования систем распознавания и синтеза речи, индикаторные словари для извлечения информации об отдельных аспектах содержания научных текстов, получены с помощью этих программных средств.

Работа состоит из пяти глав, введения, заключения. Во введении сформулирована цель исследования, обоснована его актуальность, указаны подходы и методы достижения цели, изложены основные результаты.

В главе 1 приведены обзорные сведения, дающие представление об исследовании вариативности в лингвистике и в других языковых системах, о возможностях формального определения и описания вариантов.

В главе 2 изложена методика проведения количественных исследований. Сформулированы принципы формирования обучающих подборок, обоснован выбор метрик, описаны алгоритмы предобработки текстов, методы выделения структурных ЯЕ, а также способы получения количественных оценок их вариативности.

В главе 3 исследуется вариативность ЯЕ нижних уровней иерархии — корней и слов, рассмотренных на фонемном, графемном и морфемном уровне, в зависимости от их длины, а также типа и локализации искажений. Описана методика формирования тестовых словарей для систем распознавания и синтеза речи.

В главе 4 систематизированы схемы варьирования ЯЕ высоких уровней иерархии: фраз и словосочетаний из подъязыка заголовков, основанных на «игре слов», и аспектных маркеров. Рассмотрена специфика образования вариантов «маркерных» словосочетаний, предложена схема автоматизированного формирования и обогащения индикаторных словарей, описаны эксперименты по использованию этих словарей для поиска информации об отдельных аспектах содержания текста.

В пятой главе исследуются закономерности варьирования на уровне текстов. Описаны схемы варьирования, встречающиеся при переводе одного текста разными людьми, а также проведено сравнение вариантов смыслового сжатия текста (в виде квазирефератов), полученных на основе профилей кластеризуемое&trade-, отражающих макроструктуру текста и других подходов.

В заключении представлены развернутые выводы по работе.

5.3. Выводы по пятой главе.

1. Законченные тексты (сообщения, научные статьи, газетные публикации, литературные произведения и др.) представляют высший уровень в системе иерархии ЯЕ. Они чрезвычайно разнообразны по жанру, объему, тематике, структуре и другим показателям, поэтому любое формальное их исследование обычно ограничено достаточно узкими подклассами. Рассматриваются два таких подкласса: параллельные переводы одного и того же текста на другой язык, сделанные разными людьми, и различные варианты сжатия текста до уровня квазиреферата, сохраняющие в той или иной степени его смысл и реализованные разными людьми и (или) программами. Схемы варьирования на этом уровне затрагивают более крупные единицы и имеют специфические особенности, связанные с учетом макроструктуры текста (явной или скрытой) и его семантики.

2. Изучены закономерности варьирования, имеющие место при переводе одного текста разными людьми. Анализ совместных 1,-граммных спектров параллельных переводов позволяет провести их количественное сравнение без предварительного выравнивания (процедуры выравнивания до конца не формализованы, достаточно трудоемки и хорошо работают лишь на близких текстах). Наиболее информативными в плане выявления различий в переводах являются «контрастные» /-граммы, представленные исключительно или преимущественно в одном из текстов. Количественная информация, сопровождающая выявленные различия, позволяет разделить их на случайные (неизбежные при независимом переводе одного и того же текста разными людьми) и систематические (подразумевающие целенаправленную стратегию дистанцирования от имеющегося известного перевода). Сделан вывод о том, что в сравниваемых переводах «Винни-Пуха» (раннем — Заходера и позднем — Вебера) превалирует второй тип различий.

3. Многие методы построения квазирефератов отталкиваются от авторской («явленной») структуры текста, которая не всегда адекватно отражает его содержание. Предложен новый метод построения квазирефератов, который может работать и с плохо структурированными текстами, часто встречающимися на Интернет-сайтах. Он основан на оценивании макроструктуры текста с помощью характеристики, названной профилем кластеризуемости лексических едингщ в тексте. Профиль отражает совокупное распределение сверхфразовых единств в тексте. Отбор фраз для квазиреферата производится в местах существенного нарастания и/или убывания значений профиля. Такая стратегия присуща позиционным методам отбора значимых фрагментов в тексте, но они работают с явленной структурой, а не со скрытыми сверхфразовыми единствами.

4. Проведено экспертное" 1 оценивание рефератов и квазирефератов, построенных человеком или с помощью компьютерных программ. Отмечено многообразие вариантов в обоих случаях. Для научных текстов перспективным.

1 Удовлетворительных формальных методик оценивания качества квазирефератов не существует. Мнения экспертов также часто расходятся. представляется метод квазиреферирования с использованием многоаспектных индикаторных словарей, однако процедура их формирования достаточно трудоемка. Для плохо структурированных текстов любого жанра приемлем подход с использованием профиля кластеризуемости, но он требует значительных вычислительных затрат. Ряд заметных дефектов обнаружен и в квазирефератах, полученных с использованием известных коммерческих продуктов. Оценивая ситуацию в целом, можно сказать, что желательна комбинация различных подходов, поскольку ни один из рассматриваемых методов по отдельности не гарантирует получения квазиреферата должного качества во всех случаях.

Заключение

.

Проблема выделения структурных единиц и анализа их вариативности является актуальной для многих языковых систем, представленных последовательностями символов из элементов конечного алфавита, не содержащего формальных разделителей. Примером могут служить иероглифические тексты, ДНКи аминокислотные последовательности, знаменные песнопения, траектории динамических систем, представленные в символьной форме и т. п. Не теряет своей актуальности эта проблема и при анализе уже структурированных текстов. Речь идет о введении промежуточных уровней иерархии в уже сложившихся иерархических системах. В частности, в естественном языке или в ограниченных его подъязыках, где уровни иерархии задаются делением текста на слова, предложения, абзацы и т. д., часто возникает необходимость в рассмотрении промежуточных уровней с такими структурными единицами как «устойчивые словосочетания», «коммуникативные фрагменты», «летучие фразы», «межфразовые единства» и др.

Эти структурные единицы, образуемые достаточно длинными цепочками слов, как правило, не имеют формального определения и чрезвычайно вариативны. Обычно они описываются на качественном уровне и иллюстрируются примерами. Несмотря на слабую степень формализованное&trade-, данные объекты все чаще фигурируют в задачах информационного поиска (варьирование запросов на уровне синонимичных преобразований), тематической классификации (использование терминологических словосочетаний), машинного перевода (разработка систем типа «Translation Memory» (память переводчика), накапливающих билингвы в виде структурных единиц более высокого уровня, чем слово), смыслового сжатия текстов (формализованное реферирование с использованием словесных клише — маркеров того или иного аспекта содержания), обнаружения заимствований (поиск структур типа «текст в тексте»).

В работе с единых позиций рассмотрены вопросы выделения и анализа вариативности структурных единиц на разных иерархических уровнях. Отличительной особенностью работы в плане выделения ЯЕ является ориентация на достаточно крупные и слабо изученные структурные единицы, представленные отдельными цепочками слов или конструкциями более общего вида — шаблонами. Другой особенностью является описание ЯЕ вместе с ее «ближайшим» (в определенном смысле) окружением, что позволяет ввести ряд количественных характеристик, отражающих степень вариативности ЯЕ. Количественные оценки вариативности могут быть использованы для повышения качества информационного поиска, обнаружения ошибок, оценки информативности структурных единиц и других целей.

По итогам выполнения работы получены следующие основные результаты.

1. Предложена методика выделения и количественного исследования вариативности ЯЕ разных иерархических уровней, реализованная в виде совокупности методов и программ предобработки текста (фонетический, морфологический, ¿—граммный и позиционный анализ) — выделения ЯЕ из текстаформирования достаточно представительных обучающих подборок, содержащих образцы функционирования изучаемых ЯЕ и их вариантов в текстеанализа допустимых редакционных операций и выбора соответствующих им мер близостиопределения ближайших (в заданном смысле) окрестностей каждой ЯЕ и получения количественных оценок вариативности, таких как частота использования при варьировании различных типов редакционных операций, размер окрестности в зависимости от заданного уровня допустимых искажений, степень устойчивости каждой позиции в исследуемой ЯЕ, степень позиционной кластеризуемости искажений, когда их число превышает 1, и др.

2. Получены количественные оценки вариативности ЯЕ разных уровней: корней, канонических форм слов, морфемных моделей, аспектных словосочетаний, летучих фраз и выражений, параллельных текстов. Существенным моментом является расширение спектра используемых редакционных операций при переходе с низких уровней иерархии на более высокие, а также их усложнение от простейших универсальных (вставка, замена и устранение элемента структуры) до сугубо специфичных (двойные разнесенные замены с сохранением определенного отношения между элементами пар — заменяемых и заменяющихконтаминации, синтезируемые на основе двух исходных ЯЕ и др.). Степень проявления вариативности на всех уровнях весьма существенна. В частности, непустые 1-окрестности имеют более трети слов и почти две трети корней. Превалирующий тип искажений — замены. Выявлено, что существуют доминирующие типы вставок и замен для разных (но не всех!) позиций слов и корней. Показано, что векторы замен и вставок в агрегированном алфавите из гласных (Г) и согласных © в большинстве своем однородны, т. е. состоят из элементов одного типа (С или Г). На этом свойстве может быть основана дифференциация алфавита неизвестного языка на гласные и согласные.

3. На базе 100-тысячного словаря русского языка построен электронный многофункциональный словарь паронимов «в широком смысле», где каждое слово представлено своими 1-й 2-окрестностями, содержащими слова исходного словаря, отличающиеся от заданного, соответственно, одним или двумя искажениями типа «вставка», «замена» или «устранение» символа в любой их комбинации. Выявлен важный в методологическом отношении эффект пози-г^ионной кластеризуемости (двух или большего числа) искаэ1сений внутри ЯЕ, что указывает на взаимосвязь определенных позиций. Словарь паронимов может быть использован для обучения иностранцев русскому языку, поиска (и моделирования) ошибок паронимического типа, не выявляемых существующими корректорами, генераъщй комбинаторных лингвистических задач, сжатия словарей, поиска рифм и заголовков, построенных на «игре слов».

4. Получены количественные оценки вариативности слов на фонемном уровне. Сформирован словарь квазиомонимов (фонетическая версия словаря паронимов) для случая однократного допустимого искажения слова путем замены вставки или удаления символа (элемента фонетической транскрипции). На его основе предложена методика автоматического формирования трудных тестовых словарей для систем распознавания и синтеза речи с возможностью их многократного обновления. Словари содержат пары слов, мало различающиеся по артикуляционно-акустическим характеристикам несовпадающих в них звуков.

5. Предложен формальный алгоритм выделения в тексте сверхфразовых единств, основанный на использовании сканирующих статистик. Введено понятие профиля кластеризуемости текста, аккумулирующее информацию обо всех выявленных в нем сверхфразовых единствах и дающее представление о макроструктуре текста. Профиль кластеризуемости отражает динамику развертывания текста с опорой на автоматически выделяемые слова и словосочетания, значимость которых определяется на основе совместного учета частотной и позиционной информации. Предложены и реализованы различные формальные, процедуры построения квазирефератов неструктурированного (в общем случае) текста на основе профиля кластеризуемости и весовых коэффициентов фраз.

6. Разработана человеко-машинная методика формирования индикаторных словарей (или словарей «подсказок») для выявления определенных аспектов содержания научных текстов (цель работы, новизна, полученные результаты и др.). Она позволяет экспертам отбирать аспектные маркеры без прочтения полных текстов, что существенно снижает объем ручной работы. Для просмотра им предоставляются автоматически найденные потенциально возможные маркеры (чаще всего в виде устойчивых словосочетаний), снабженные короткими контекстами. Этой информации обычно оказывается достаточно для принятия решения о включении маркера в словарь или его игнорировании. Анализ вариативности маркерных цепочек позволил предложить схему обогащения индикаторных словарей маркерами, отсутствующими в исходной обучающей подборке текстов. Поиск различных аспектов содержания научных текстов с помощью построенных индикаторных словарей демонстрирует приемлемые результаты по полноте и точности.

7. Собраны и продолжают пополняться уникальные подборки обучающего материала для исследования вариативности ЯЕ на нижних и (в ограниченном объеме) верхних уровнях иерархии. В их числе: коллекция паронимических и иных типов ошибок, не выявляемых существующими корректорами 1000 примеров с контекстами из 1−2 предложений) — коллекция газетных заголовков, построенных на «игре слов» 2,5 тыс. примеров), коллещия структур типа «текст в тексте» с сопутствующими им индикаторами и др.

Основные процедуры, реализующие методику количественного анализа вариативности и носящие универсальный характер, доведены до программной реализации, включая предобработку текста (фонетическая транскрипция, морфологический анализ, ¿—граммное представление одного и группы текстов), выявление ЯЕ промежуточных иерархических уровней (устойчивые словосочетания, сверхфразовые единства и др.), выявление ближайших окрестностей ЯЕ, а также получение количественных характеристик вариативности ЯЕ. С помощью указанных программных средств получен ряд прикладных продуктов, включая электронный словарь паронимов, словари для тестирования систем распознавания и синтеза речи, индикаторные словари для извлечения информации об отдельных аспектах содержания научных текстов.