Разработка и исследование системы концептуального программирования с использованием лингвистического процессора

Актуальность проблемы.

Разработка современного программного обеспечения (ПО) носит, как правило, циклический характер, обусловленный потребностью заказчика в постоянном улучшении программного продукта: добавлении новой функциональности, а также изменением внутренней логики бизнес-процессов. Практика разработки коммерческого ПО показывает, что характер поддержки и доработки такого ПО после внедрения не затрагивает архитектуры системы и носит преимущественно проблемно-ориентированный характер. Современные тенденции решения данной задачи заключаются в разработке так называемых малых языков или языков предметной области (domain specific language — DSL) (M. Mernik, 2005). Между тем, необходимо отметить сходство концепции «малых языков» с идеями концептуального программирования — подходом, изложенным Э. Х. Тыугу еще в 80-х годах XX века (Тыугу, 1984). Данный подход в силу ряда причин не получил к настоящему моменту развития и широкого применения. Этому, по всей видимости, способствовал уровень развития вычислительной техники и компьютерной лингвистики в тот исторический период. Однако в настоящее время идеи концептуального программирования вновь набирают все большую популярность, в том числе и на Западе (например, язык программирования XL (Dinechin, 2011)). К этим идеям относятся следующие аспекты:

• программирование в терминах предметной области решаемых задач;

• использование ЭВМ на этапе постановки задач.

Близость подхода, применяемого в DSL и концептуальном программировании, заключается также в тенденции приблизить язык программирования (или, говоря в терминах концептуального программирования, язык описания задачи) к естественному языку. Это позволяет, в конечном счете, не только максимально облегчить труд программиста, но и привлечь к такому «программированию» бизнес-аналитиков, незнакомых с обычными языками программирования и средствами разработки.

Таким образом, актуальность данной работы обусловлена двумя факторами. Во-первых, использование естественного языка в качестве языка программирования предметной области позволяет существенно упростить поддержку уже внедренного ПО и повысить ее эффективность. Во-вторых, ввиду сложности разработки предметно-ориентированных языков существует необходимость исследования и разработки системы, позволяющей создавать, поддерживать и встраивать такие естественные языки предметной области в существующие программные продукты.

Цели и задачи настоящего исследования.

Целью работы является разработка системы концептуального программирования с использованием лингвистического процессора, назначение которой — существенно упростить задачу создания и встраивания поддержки естественных предметно-ориентированных языков в программное обеспечение.

Для достижения поставленной цели были найдены решения следующих задач:

— анализ существующих моделей автоматического понимания текстов (АПТ) — моделей естественно-языкового взаимодействия «человек-компьютер» и естественно-языкового программированияязыков и средств описания онтологий;

— выбор и синтез наиболее удачных подходов к автоматической обработке текстов (АОТ) — выбор модели формализованного представления «смысла» текста;

— разработка концепции естественно-языкового спецификатора объектно-ориентированного языка программирования;

— разработка программного комплекса, включающего в себя лингвистический процессор и средства его настройки на предметную областькомпоненты построения концептуального графа, кодогенерации, а также инструментарий естественно-языковой спецификации классов объектно-ориентированного языка программирования.

Методы исследования.

Методы исследования основаны на использовании технологии объектно-ориентированного программирования, технологии построения интерпретаторов языков программирования, принципов модели концептуальной зависимости и модели «мягкого понимания текстов», теории графов и теории множеств.

Научная новизна.

1. Предложен способ описания онтологии с помощью существующих объектно-ориентированных языков программированияразработаны и реализованы соответствующие программные средства естественно-языкового спецификатора, что является дальнейшим развитием концептоцентрического подхода.

2. Предложен подход к представлению смысла текста в виде динамической объектной системы, состоящей из объектов — экземпляров классов языка Java.

3. Показана возможность обратного перехода от предложенной динамической объектной системы к концептуальному графу путем распознавания в объектной системе новых отношений и концептов, и переход от концептуального графа к естественно-языковому тексту.

4. Разработан визуальный редактор расширенных сетей переходов, имеющий встроенный морфологический анализатор, что позволяет производить поиск по имеющимся сетям и строить новые на основе вводимой фразы-шаблона.

5. В результате проведенной работы создана система, имеющая возможность модульной интеграции с существующей средой разработки программ на языке Java — Intellij IDEA, что позволяет использовать все современные средства интенционального программирования. Показана практическая возможность разработки естественных языков предметной области в системе Nalaps. ^.

6. В качестве примера использования системы рассмотрен аспект автоматической генерации программных тестов для верификации исправленных ошибок в программных продуктах на основе предоставляемых в текстовом виде записей из систем отслеживания ошибок, а также система поддержки естественно-языковой настройки бизнес правил в банковском ПО.

Основные положения, выносимые на защиту.

1. Подход к представлению онтологической базы знаний, построенный на использовании классов объектно-ориентированного языка программирования и карт настройки классов на предметную область, описываемых на языке XML. Предложенный подход позволяет эффективным образом сочетать знания о понятиях предметной области с правилами и алгоритмами их обработки, выполняющимися автоматически при автоматической обработке текста. и.

2. Способ представления «смысла» исходного естественноязыкового запроса (текста) в виде динамической объектной системы, а также возможность обратного перехода от данного представления к концептуальному графу. Предложенный подход позволяет в реальном времени отслеживать состояние объектов автоматизации и организовывать естественно-языковой диалог с системой.

3. Техническая реализация предложенных подходов и построенных методов в программном комплексе Nalaps — системе концептуального программирования, которая предназначена для разработки базы знаний предметной области, программирования лингвистического процессора и непосредственной автоматической обработки текста, что позволяет встраивать в существующие программные продукты поддержку естественных языков предметной области.

Теоретическая ценность.

Теоретическая ценность работы заключается в создании методических основ для построения базы знаний предметной области на основе классов объектно-ориентированных языков программирования. Описана математическая модель предложенного подхода.

Практическая ценность.

Практическая ценность работы заключается в следующем:

1. Разработанная типовая структура программного обеспечения для организации связей классов языка Java с предметной областью, позволяет при необходимости создавать по предложенной методике аналогичные системы для других объектно-ориентированных языков программирования (С++, C#.net и др.).

2. Проведен ряд экспериментов, доказывающих практическую ценность созданного программного комплекса, а именно: создан ряд учебноигровых и практически применимых примеров использования системы Nalaps. Среди них:

— учебно-игровая среда управления трехмерными объектами путем подачи естественно-языковых текстовых команд;

— среда построения генеалогической базы данных и родословного древа путем текстового описания родственных связей между персонами;

— система автоматической генерации программных текстов на основе поступающих естественно-языковых описания ошибок и доработок в программном продукте.

3. Для эффективного использования системы программистами, она может быть встроена как программный модуль в среду разработки Intellij IDEA, что позволяет полностью интегрировать процесс создания базы знаний предметной области в процесс написания программных средств обработки этих знаний.

4. В качестве важных областей применения системы следует выделить следующие:

— создание естественно-языковых интерфейсов общения пользователя с программными средствами;

— создание естественно-языковых языков предметной области для внутренних нужд разработки;

— автоматическая обработка потоков текстовой информации на предмет регистрации определенных информационных сигналов (событий) и построение автоматической реакции на них;

— учебно-игровой аспект обучения объектно-ориентированному программированию.

5. Метод автоматической обработки текстов, разработанный в ходе диссертационных исследований, нашел свое практическое применение и в других научно-исследовательских работах, в частности, в системах семантического поиска.

6. Создан инструмент программирования расширенных сетей переходов — визуальный редактор со встроенным морфологическим анализатором и внутренним скриптовым языком для описания семантических знаний.

Публикации и апробации работы.

По материалам диссертационной работы опубликовано 1 статья, 8 тезисов на Всероссийских и международных конференциях, получено 3 свидетельства на регистрацию программ для ЭВМ, в которых были использованы методы, разработанные в рамках диссертационной работы. Результаты настоящего исследования были представлены на следующих научных конференциях:

1. Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ в 2008 г.

2. Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ в 2009 г.

3. Международная конференция «Диалог 2009» (Бекасово, 27−31 мая 2009 г.).

4. Пятая азиатская международная школа-семинар «Проблемы оптимизации сложных систем» ИВМиМГ СОР АН в 2009 г.

5. Международная научная конференция Ме§ а1н^ 21−26 сентября 2009 г., Украина, Киев.

6. Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ в 2010 г.

7. Международная конференция «Диалог 2010».

8. 11th Annual Conference for Software Testing Professionals «Discover the Tester in You» (July 6, 2010, University of Latvia, Riga).

Структура диссертации и объем работы.

Диссертация изложена на 173 страницах машинописного текста и состоит из введения, обзора литературы, обсуждения результатов, экспериментальной части, выводов и списка литературы, включающего 73 источника. Диссертация иллюстрирована 44 рисунками и содержит и 4 таблицы.

Основные результаты работы:

1. Предложена методика описания единиц базы концептуальной знаний с помощью классов объектно-ориентированного программирования. Для этих целей создан естественно-языковой спецификатор языка Java, позволяющий осуществлять настройку класса на предметную область на основе лексематической разметки его компонентов.

2. Предложен подход к представлению смысла текста в виде динамической системы объектов языка Java, что позволяет автоматически выявлять глубинные связи в тексте, закладывая их описание на уровне алгоритмов на языке программирования.

3. Разработан визуальный редактор расширенных сетей переходов, имеющий встроенный морфологический анализатор, что позволяет производить поиск по базе расширенных сетей и строить их «скелеты» по введенному шаблону.

4. Дата математическая модель предложенного метода получения концептуального графа и связи его с концептами базы знаний.

5. Разработан программный комплекс Иакрэ, позволяющий создавать и использовать предложенную модель базы концептуальных знаний. Система № 1арз позволяет разработчикам программного обеспечения создавать предметные базы знаний параллельно с разработкой с написанием кода программы, а также встраивать в разрабатываемые программные средства естественно-языковые интерфейсы.

6. Найдено применение системы Ка1арБ как средство генерации автоматических тестов для верификации работоспособности программного обеспечения в описываемых на естественном языке в текстовом виде сообщений об ошибках программы.

7. Созданный комплекс Ма1арэ может также применяться в учебных целях для демонстрации принципов объектно-ориентированного программирования на естественно-языковых примерах.

8. Система Ка1арэ может применятся в индустрии компьютерных игр для реализации естественно-языкового интерфейса пользователя.

9. Возможна обработка потоков текстовых данных и настройка системы на регистрацию определенных информационных сигналов с последующей их произвольной обработкой.

10. Методика построения лингвистического процессора, разработанная в рамках диссертационной работы, применена автором и в других научно-исследовательских работах, в частности, в модуле поиска авторефератов системы 1пй)№ОКК (Свидетельство о государственной регистрации программы для ЭВМ № 2 009 613 349).

11. Система Ка1арБ и ее основные компоненты зарегистрирована в Роспатенте в сентябре 2010 года: а. «ЫакрБ»: Свидетельство о государственной регистрации программы для ЭВМ № 2 010 616 060.

Ь. Визуальный редактор расширенных сетей переходов: Свидетельство о государственной регистрации программы для ЭВМ № 2 010 616 061.