Автоматизация лингвистической обработки словарей научно-технической информации

В научно-технической политике нашей страны большое внимание уделяется повышению эффективности производства. Одной из главных задач в этом направлении является широчайшее использование средств информатики и вычислительной техники во всех сфесоздание автоматизированных систем научно-технической информации (АСНТИ). Поэтому исследования в области АСНТИ приобретают в настоящее время большое значение.

При создании АСНТИ приходится решать широкий крут проблем. Среди них важное место занимает проблема лингвистического обеспечения. От качества ее решения в значительной мере зависит эффективность АСНТИ в целом.

В системе научно-технической информации страны проблеме лингвистического обеспечения АСНТИ уделяется большое внимание. В этой области имеются уже значительные успехи. Однако далеко не все вопросы здесь решены на должном уровне. Это относится, в частности, к проблеме создания и лингвистической обработки машинных словарей — словарей на машиночитаемых носителях, используемых в процессах автоматической обработки информации.

В АСНТИ применяются машинные словари различного назначения. Они используются при аналитико-синтетической обработке информации (дуга контроля лексики в процессе ручного индексирования), на этапе ее ввода в ЭВМ (для автоматизированного обнаружения и исправления ошибок), при автоматическом индексировании и в ряде других случаев.

Составление словарей — процесс весьма трудоемкий, хотя первый этап их создания — составление словников — не вызывает особых затруднений, так как в настоящее время для этой цели морах деятельности.

Решению поставленной задачи способствует гут быть использованы пакеты прикладных программ типа АСОД, ПОИСК-I, ДИАЛОГ и др. Значительно сложнее дело обстоит с лингвистической обработкой словарей, связанной с выделением основ слов, определением типа словоизменения и словообразования, назначением грамматической и семантической информации, выявлением парадигматических связей между лексическими единицами и т. п.

Процессы лингвистической обработки словарей могут быть в значительной степени автоматизированы. Объективной предпосылкой для этого является имеющая место в естественных языках связь между грамматическими и семантическими признаками лексических единиц, с одной стороны, и системой их синтагматических и парадигматических отношений — с другой. В некоторых естественных языках (например, в славянских) наблвдается также сильная корреляция между грамматическими признаками слов и буквенным составом их концов (суффиксов и окончаний). Следовательно, опираясь на буквенный состав слов и систему их синтагматических и парадигматических отношений, можно определять для них грамматическую и семантическую информацию.

Вопросами автоматизации лингвистической обработки словарей занимались ряд отечественных и зарубежных ученых [20, 21, 23, 43, 51, 59, 99, 113, 114], и в этой области достигнуты некоторые положительные результаты. Но дело ограничивалось, как правило, решением задачи выделения словоизменительных основ слов и определения их принадлежности к части речи. При этом морфологическая структура слов учитывалась слабо, а синтаксические критерии совсем не применялись, и, как следствие, точность обработки не всегда была удовлетворительной. Между тем интересы практики требуют создания более эффективных методов автоматизации лингвистической обработки словарей, позволяющих решать более широкий круг задач.

Актуальность проблемы автоматизации лингвистической обработки словарей определяется тем, что в настоящее время лингвистическая обработка словарей ведется в основном вручную, сопряжена с большими трудозатратами и появлением большого числа ошибок, которые трудно обнаруживаются. При этом создание больших по объему словарей обычно растягивается на многие годы. Задача заключается в том, чтобы оптимальным образом сочетать возможности ЭВМ и человека: ЭВМ должна выполнять трудоемкие рутинные операции, а человек — творческую работу, связанную в основном с контролем результатов работы ЭВМ.

Данная диссертационная работа посвящена решению проблемы автоматизации лингвистической обработки словарей. Она выполнялась в рамках проблемы 0.80.18 и, в частности, задания 0.80.18.03.02: «Усовершенствовать и ввести в эксплуатацию АСНТИ по опубликованным отечественным и зарубежным источникам информации по естественным наукам и технике» .

Целью исследования в диссертации является разработка принципов, алгоритмов и программ автоматизированной лингвистической обработки словарей, позволяющих существенным образом снизить трудоемкость создания машинных словарей, необходимых для автоматической обработки научно-технической информации и повысить их качество.

Предметом исследования являются имеющие место в естественных языках связи между синтагматическими и парадигматическими характеристиками лексических единиц, с одной стороны, и их буквенным оформлением — с другой. Исследование этих связей позволило создать методы, алгоритмы и программы, обеспечивающие автоматическое (без участия человека) определение с высокой вероятностью таких синтагматических и парадигматических характернотик слов как их принадлежность к части речипризнаки рода, числа, падежа и лицамодели управлениямодели словоизменения и суффиксального словообразованиясловоизменительные и словообразовательные основы.

Исследования проводились путем выявления корреляционных связей между буквенным составом слов и их синтагматическими и парадигматическими характеристиками, разработки алгоритмов лингвистической обработки словарей, их реализации на ЭВМ и последующей статистической оценки.

В процессе исследований получены следующие основные научные результаты:

— На основе анализа большого объема текстов (более трех миллионов слов) при участии автора был создан базовый машинный политематический научно-технический словарь, покрывающий тексты по информатике, автоматике и вычислительной технике на 98−99%, а тексты по другой тематике на 90−94%• Словарь включает в свой состав около 40 ООО лексических единиц. Для каждого слова в словаре указывается его принадлежность к части речи, длина словоизменительной и словообразовательной основы, номер словоизменительного (флективного) и словообразовательного классов, модель управления. Этот словарь используется в двух созданных в ВИНИТИ системах автоматической обработки текстов (автоматизированное обнаружение и исправление ошибок, автоматическое индексирование) и в автоматизированной словарной службе.

— При участии автора создана система словообразовательных классов слов (см. Приложение 2), позволяющая существенным образом (в 5 раз) повысить распознающую способность процедур их морфологического анализа по сравнению с обычно применяемыми процедурами, базирующимися только на словоизменительный анализ.

— При участии автора выявлена система суффиксов и сочетаний суффиксов в базовом научно-техническом словаре (см. Приложение I), позволяющая построить эффективные процедуры морфологического анализа и синтеза слов и процедуры автоматизированной лингвистической обработки словарей.

— Разработаны три метода автоматизации лингвистической обработки словарей: а) с помощью обратного словаря словоформб) с помощью обратного словаря основ словв) с помощью словарей суффиксов и псевдосуффиксов. Все эти методы реализованы на ИЗ ЭВМ и используются в практической работе в составе автоматизированной службы ВИНИТИ. В настоящее время с их помощью обработаны словники по информатике, автоматике, вычислительной технике, машиностроению, металлургии, электротехнике, энергетике, горному делу и охране окружающей среды общим объемом около.

32 ООО лексических единиц.

— Исследована эффективность перечисленных выше методов автоматизации лингвистической обработки словарей. Даны рекомендации по их практическому применению.

Практическая значимость работы заключается в том, что в результате проведенных исследований созданы программные средства лингвистической обработки словарей, позволяющие в более короткие сроки и с меньшими затратами, чем вручную, создавать машинные словари. Эти средства были использованы при создании словарей для системы автоматизированного обнаружения и исправления ошибок и системы автоматического индексирования, разработанных в ВИНИТИ в рамках большой интегральной системы АССИСТЕНТ.

Новизна работы заключается в выявлении возможности эффективного использования имеющих место в естественных языках корреляционных связей между буквенным составом слов и их синтагматическими и парадигматическими характеристиками дом автоматического определения широкого спектра их грамматических и семантических признаков: принадлежности к части речисловоизменительных и словообразовательных основ словфлективных классов словпризнаков рода, числа, падежа и лицамоделей управления. Эти возможности материализованы в виде трех способов лингвистической обработки словарей, реализованных на ВС ЭВМ. Ранее исследователи ограничивались, в основном, решением задачи выделения словоизменительных основ слов и определения их принадлежности к части речи, и задачи эти решались, как правило, с невысокой точностью.

Личный вклад автора в проведенные исследования заключается в его активном участии в создании базового политематического машинного словаря, выявлении системы словообразовательных классов слов, системы суффиксов и сочетаний суффиксов, встречающихся в русских научно-технических текстах [9]. Он является также одним из разработчиков алгоритма морфологического анализа, включающего в свой состав процедуры словоизменительного и словообразовательного анализа [22]. Работа по созданию словарей и грамматических таблиц послужила исходным пунктом для решения задачи автоматизации лингвистической обработки словарей.

Автором лично разработаны и исследованы три метода автоматизированной лингвистической обработки словарей: I) с помощью обратного словаря словоформ- 2) с помощью обратного словаря основ слов- 3) с помощью словаря суффиксов (сочетаний суффиксов) и псевдосуффиксов. Все эти методы реализованы на ВС ЭВМ и используются в автоматизированной словарной службе ВИНИТИ.

Апробация работы. По теме диссертации имеется восемь опубликованных работ. Основные результаты работы были доложены автором на ХП, ХШ, Х1У научных семинарах «Системные исследования ГАС НТИ» и на I Московской городской конференции молодых ученых и специалистов «Информатика, вычислительная техника и автоматизация в науке и технике в народном хозяйстве» .

Диссертационная работа состоит из введения, четырех глав и приложения. В первой главе дается анализ существующих методов автоматизации лингвистической обработки словарей, отмечаются их достоинства и недостатки. Формулируются задачи исследования. Во второй главе излагаются принципы построения алгоритмов морфологического и синтаксического анализа, в разработке которых автор принимал активное участие и которые позволили уточнить состав признаков, включаемых в машинные словари. Третья глава является центральной в работе. В ней описываются предложенные автором способы автоматизации лингвистической обработки словарей и дается оценка их эффективности. Эти способы реализованы на ЕС ЭВМ и используются для создания машинных словарей в системе автоматизированной словарной службы ВИНИТИ. Алгоритмы лингвистической обработки словарей и их машинная реализация описаны в главе четвертой. В приложении приведены фрагменты машинных словарей и грамматических таблиц, в разработке которых автор принимал активное участие и которые послужили исходным материалом для создания методов автоматизации лингвистической обработки словарей. Здесь также приведены образцы машинных решений.

Выводы.

1. Разработанные автором методы автоматизированной обработки словарей реализованы на Ш ЭВМ и используются в практической работе в составе автоматизированной словарной службы ВИНИТИ. В настоящее время с их помощью обработаны словники по информатике, автоматике, вычислительной технике, машиностроению, металлургии, электротехнике, энергетике, горному делу и охране окружающей среды общим объемом около 32 000 лексических единиц.

2. Разработаны алгоритмы и программы, которые можно использовать для создания машинных словарей в более короткие сроки и с меньшими затратами, чем вручную.

3. Разработанные методы используются при создании словарей для системы автоматизированного обнаружения и исправления ошибок и в системе автоматического индексирования, создаваемых в ВИНИТИ.

4. Исследована вероятность правильного определения признаков при их автоматическом назначении, что дало возможность для вывода об эффективности разработанных методов лингвистической обработки словарей.

ЗАКЛЮЧЕНИЕ

.

В итоге работы над темой диссертации решена поставленная в начале исследования задача разработки принципов, алгоритмов и программ автоматизированной лингвистической обработки словарей, позволяющих существенным образом снизить трудоемкость создания машинных словарей, уменьшить сроки формирования новых словарей и обработки уже имеющихся.

В процессе исследования получены следующие научные результаты:

1. Автором разработаны три метода автоматизации лингвистической обработки словарей: а) с помощью обратного словаря словоформб) с помощью обратного словаря основв) с помощью словарей суффиксов и псевдосуффиксов. На основе этих методов возможно получение таких признаков, как длина словоизменительной основы, длина словообразовательной основы, номер флективного класса, номер словообразовательного класса, модель управления, принадлежность к части речи.

2. Автором исследована возможность уточнения информации и назначения признаков на основе учета парадигматических отношений, с помощью таблицы переходов для флективных классов и с помощью локального синтаксического анализа.

3. При участии автора была создана система словообразовательных классов слов, позволяющая существенным образом повысить распознающую способность процедур их морфологического анализа по сравнению с обычно применяемыми процедурами, базирующимися только на словоизменительный анализ.

4. При участии автора создан базовый машинный политематический научно-технический словарь объемом около 40 ООО лексических единиц, покрывающий тексты по информатике, автоматике и вычислительной технике на 98−99%9 а тексты по другой тематике на 90−94%. Для каждого слова в словаре указывается длина словоизменительной и словообразовательной основы, номер флективного и словообразовательного классов, модель управления, принадлежность к части речи.

5. При участии автора выявлена система суффиксов и сочетаний суффиксов в базовом научно-техническом словаре, позволяющая построить эффективные процедуры морфологического анализа и синтеза слов и процедуры автоматизированной лингвистической обработки словарей.

6. Разработанные автором способы автоматизации лингвистической обработки словарей реализованы на ВС ЭВМ и используются наряду с созданным базовым словарем в практической работе в составе автоматизированной службы ВИНИТИ. В настоящее время с их помощью обработаны словники по информатике, автоматике, вычислительной технике, машиностроению, металлургии, электротехнике, энергетике, горному делу и охране окружающей среды общим объемом около 32 ООО лексических единиц.

7. Даны рекомендации по практическому применению разработанных способов автоматизации лингвистической обработки словарей.

— из.