Автоматизация контроля знаний с применением синонимических рядов в автоматизированных системах управления образовательного назначения

На рубеже XX—XXI вв.еков на уровне Правительства России < были приняты такие важные документы, как «Национальная доктрина образования», Федеральный закон «Об утверждении» Федеральной программы развития образования", целевая Федеральная программа «Развитие единой образовательной! среды на 2001;2005 годы». Эти документы являются основой государственной: системы политики России в области образования. Одной из приоритетных задач, реализуемых каждой из перечисленных Федеральных программ, является гармоничное развитие жизнеспособной личности, ее творческих способностей и самоидентификации на основе мотивации необходимости непрерывного образования.

В государственном документе «Основные положения концепции очередного этапа реформирования системы образования'1, в частности, сформулированы: ближайшие задачи:

В области информатизации образования:

• обеспечить, развитие телекоммуникационных сетей образования и науки;

• осуществить поддержку перспективных информационных технологий, создания и актуализации банков и баз данных" .

Кроме тогопоявилась законодательная" база для развития дистанционного обучения.

Автором ранее был опубликован ряд работ [69, 73], в которых одной из сред функционирования информационных систем, в частности, обучающих программ (в том числе и Web-ориентированных), были названы кампусные сети, традиционно создававшиеся при высших образовательных учреждениях. В последнее время большее значение приобретают корпоративные, сети, причем, принцип организации доступа к циркулирующей в них информации соизмерим с принципами кампусных сетей, но корпоративные сети имеют большую степень защиты от проникновения из глобальных информационных сетей.

Корпоративные информационные системы создаются в сети Интернет и других сетях с важным отличием: они формируют единую информационную среду для поддержки всех деловыхпроцессов корпорации: (отрасли, объединения предприятий и. учрежденийсовокупности подразделений и филиалов учрежденияи т.п.). В системе образования корпоративное построение может также относиться< как ко всей i системе образования страны или региона, так и к отдельным: звеньям < образовательных учреждений и t структур (ВУЗам, академгородкам) — Но * при этом у прослеживается неизбежная тенденция укрупненияи-интеграции?корпоративньс^ систем образования в метасистемы, единую государственную* систему образования и в единое мировое информационное пространство. Отчасти это объясняется открытостью ш гуманитарным характеромсамого^ процесса образования. Но еще: в большей степени? это диктуется? перерастанием, информатизации образования? в информационное мировое сообщество. Наиболее заметно эти процессыпроявляются и реализуются в мировой глобальной сети Интернет, при поддержке которой формируется! единая, информационная среда всего жизнеобеспечения общества? и его образовательных технологийТакими образом, в системе образования происходит интегрирование корпоративных и всеобщих информационных систем.

С позиций1 образовательных технологий! уместно структурировать все многообразие информационных ресурсов следующим образом:.

•" каталоги многих мировых библиотек;

• ¦ базы данных, содержащие результаты реальных исследований;

• подготовленные специальным! образом электронные модульные учебники, пособиясправочники;

• электронные библиотеки и архивы и иное сопровождение учебного процесса в различных областях знаний-.

• доступ к учебному программному обеспечению и документации из огромных файловых архивов (в ряде случаев бесплатно) и другие.

В наиболее выраженномвиде все перечисленные дидактические возможности и достоинства компьютерных телекоммуникаций! реализуются посредством информационных систем в образовании (дидактических систем, обучающих систем, информационных и обучающих систем), объединяющих совокупности, программно-аппаратных компьютерно-сетевых, информационных, методических и организационных средств в целях реализации функции обучения — автоматизированных обучающих систем.

Сегодня имеется большое: число ставших уже привычными автоматизированных средств обучения, работающих с базами данных, обслуживающих гипертекстовую, аудио, видеомультимедийную? информацию, которые могли бы стать технологической основой создаваемых информационных систем.

Как видно из: приведенных обзоров высоких технологий, и прессы, общая тенденция развития обучающих систем заключается в построении? своеобразного глобального «банка знаний» — электронных библиотек, хранилищ данных — дляцелей общего среднего, специального и высшего образования вРоссииЕстественно, параллельно идут работы и по усовершенствованию механизмов доступа и извлечения знаний:

Подавляющие большинство алгоритмов обработки текстовой информации основано на так называемой «векторной модели текста», предложенной Дж. Солтоном (Salton G.) в 1975 году. Работа Солтонапредставляет собой: теоретическую основу современных: информационно-поисковых систем в их классической! реализации. В таких системах должна поддерживаться некоторая совокупность. словарей терминов (ключевых слов),. а сам, текст представляться в виде двоичных векторов. Способность классифицировать бинарные вектора, которую предоставляют нейронные сети, хорошо сочетается с классической моделью Солтона.

Особое место в автоматизированных системах обучения занимают системы контроля знаний, тестирующие системы, в первую очередь реализующие основополагающий принцип автоматизации — обратную связь, т. е. воздействие реактивной составляющей выхода системы обучения (в данном случае качества знаний обучаемых) на ее же вход (базу знаний) с целью выработки наилучшего воздействия (методологической составляющей) на процесс обучения.

Разработке одного из вариантов тестирующей системы как частиавтоматизированной обучающей системы и посвящена настоящая работа.

Накопленные к настоящему времени колоссальные объемы информации и современный уровень проникновения автоматизированных систем в сферу управления и образования определяют актуальность и значимость исследований в области автоматизации. процессов контроля знаний в образовании. Под термином «знания» будем понимать совокупность терминов и определений (формулировок) предметной области, сформированную в сознании человека.

Ставшие классическими модели представления и контроля знаний: одиночного выбора, множественного выбора, упорядочивание ш др. ориентированы на, автоматизированную обработку данных в ЭВМ, но слабо учитывают возможность угадыванияправильного ответа. Модели заданий открытого типа позволяют значительно снизить вероятность угадывания ответа в процессе контроля знаний. Однако в настоящее время это направление исследований проработано достаточно слабо, о чем свидетельствуют существенные ограничения, накладываемые моделями контроля знаний? на форму заданий открытого типа. Поэтому следует признать актуальной проблему автоматизации контроля знаний посредством заданий открытого типа.

В настоящее время задания открытого типа являются составной частью большинства автоматизированных систем контроля знаний (АСКЗ). Однако, во всех этих системах оценка правильности текстового ответа основана на методе абсолютного совпадения ответа с одним из эталонных вариантов текста. При этом в ряде систем (таких как TeachLab, PROUST) ответ может засчитываться как правильный либо частично правильный, в других (напримерCALAT, LISP-Tutor, ЦКТ, ACT) ответ считается" правильным присовпадении хотя бы с одним из эталонов, хранящихся, в базе данных системы. Предложение считается в этих системах единым целым, неделимым и неизменяемым эталоном ответа.

Существующие модели контроля знаний ограничивают возможности автоматизированных систем контроля знаний, так как не позволяют автоматизировать процесс контроля знаний терминологии предметной области путем анализа ответов на задания, требующие ввести с клавиатуры определение (формулировку) того или иного термина. Например, в существующих АСКЗ легко реализовать анализ ответа на задание открытого типа следующего вида: «Введите термин, которому соответствует определение „Данные, предназначенные для управления конкретными компонентами системы обработки информации1 в целях реализации определенного алгоритма“» (стандартизованное определение термина «Программа», предметная область «Информатика»). В то же время в широко известных АСКЗ не реализован автоматизированный анализ текстового ответа на обратное задание открытого типа: «Введите определение термина „Программа“» .

В связи с этим снижается эффективность автоматизированного контроля знаний с применением информационных систем.

Таким образом, необходимо автоматизировать, процесс контроля знаний терминологии предметной области путемfразработки моделей анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина.

Разработанные и широко применяемые в настоящее время i модели анализа ответов на задания открытого типа обладают как достоинствамитак и недостатками.

К достоинствам относятся:

• отсутствие у учащихся возможности угадать правильный ответ-.

• задания открытого типа удобно использовать при проверке номенклатуры понятий и учебной эрудиции учащихся.

Все существующие, системы контроля знаний обладают общими недостатками:

• ответ анализируется либо по совпадению ключевых слов, либо по полному совпадению ответа с эталоном;

• не исключена возможность неоднозначно сформулированных заданий;

• отсутствует возможность анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина предметной области.

Характернойчертой естественных языков является синонимия8 понятий (терминов). Поэтому для реализации АСКЗ, имеющей возможность анализа ответов на задания открытого типа, важное значение имеет учет синонимии понятий, а следовательно, актуальны вопросы учета синонимии терминов, при анализе ответов на задания открытого типа.

В связи с эти актуальным на сегодняшний день является диссертационное исследование, направленное на разработку моделей анализа ответов на задания открытого типатребующие ввести с клавиатуры: определение (формулировку) того или иного термина предметной области.

В настоящее время все большее значение приобретают модели количественнойоценки естественно-языковой информации: по различным критериям. Большое значение для автоматизированных систем управления, образовательного назначения (АСУ ОН) имеют модели оценки ответов, представленных в виде свободного текста произвольной длины. В диссертационной работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области.

Основное противоречие состоит в необходимости автоматизировать, процесс контроля знаний терминологии предметной области путем: анализа ответов на задания, требующие ввести определение того или: иного термина, содной стороны, и отсутствии разработанных моделей такого анализа, с другой стороны.

Цель диссертации: — разработкамоделей анализа ответов на задания открытого типа, требующие ввести определение того или иного термина, позволяющих повысить эффективность контроля знаний терминологии предметной области.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Разработать общетеоретическую модель представления и контроля знаний.

2. Разработать модель обработки текстового ответа при1 контроле знаний на основе словаря синонимов.

3. Разработать аналитическую модель расчета показателя синонимической близости двух текстовых выражений на естественном языке.

4. Разработать AGK3 для автоматизации процесса контроля знаний терминологии на основе предложенных моделей.

Объектом исследования являются автоматизированные системы управления образовательного назначения, предназначенные для контроля знаний в рамках учебного курса по информатике.

Предметом исследования являются модели контроля знаний с применением синонимических рядов в АСУ ОН.

В. процессе, исследования использовались модели, и методы5 теории множеств, комбинаторики, математической статистики, семантического анализатекста и построения синонимических рядов, методы объектно-ориентированного программирования и разработки автоматизированныхсистем (системного анализа). Проведенные диссертационные исследования основаны на: научных трудах таких известных ученых в областях автоматизации обработки информации, информатизации образования и контроля знаний как А. И. Галушкин, Р. Левин, П: Брусиловский, B.JI. Дунин-Барковский, С. А. Шумский, И. Сегалович, B.C. Аванесов, И: В. Роберт, О. А. Козлов.

Научная новизна:

1. Разработана общетеоретическая модель представления и контроля знаний на основе синонимических рядов терминов предметной области, которая в отличие от существующих моделей позволяет установить соответствие между тестовыми ответами и эталонным определением одного термина предметной области, представленными в виде текста произвольной длины с использованием слов-синонимов.

2. Разработана модель обработки ответа обучаемого на задание открытого типа с применением синонимических рядов, которая позволяет связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дает возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.

3. Разработана аналитическаямодель вычисления показателя синонимической близости эталонного определения и ответа, отличающаяся использованием коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа.

4. Разработана автоматизированная система контролязнаний, отличающаяся совместным использованием технологий экспертных систем Иинформационного поиска, что* дает возможность автоматизировать процесс контроля, знаний терминологии предметной области, реализовав анализ ответов на задания открытого типа, требующие ввести определение того или иного термина.

Основные положения, выносимые на защиту:

1. Общетеоретическая модель представления и контроля знаний терминологии предметной области.

2.Модель, обработки текстового ответа с применением синонимических рядов.

3. Автоматизированная система контроля знаний, в которой! реализована возможность анализа ответов! назадания открытого типатребующие ввести определение термина на естественном языке, позволяющая обеспечить вычисление показателя синонимической близости эталонного определения и ответа на естественном языке.

Теоретическая ценность: предложена общетеоретическая модель контроля знаний. Она позволила установить соответствие между терминами эталонного определения и ответа при помощи синонимических рядов.

Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила обосновать использование числовых показателей синонимии терминов для вычисления показателя синонимической близости эталонного определения и тестового ответа при реализации прикладного программного обеспечения автоматизированной системы контроля знаний.

Разработана аналитическая модель вычисления показателя синонимической * близости эталонного определения и тестового ответа. Она позволила провести расчет показателя взаимного синонимического соответствия двух текстовых выражений.

Практическая: ценность работы: разработанный на основе предлагаемых моделей программный, продукт позволил автоматизировать процесс контроля знаний терминологии, предметной области путем анализа ответов на задания открытого типатребующие ввести определение того или иного терминаПрименение синонимических рядов, по результатам опроса преподавателей-экспертов, позволило повысить эффективность тестирования с применением автоматизированных систем контроля знаний на 10−15%.

Научные результаты: и: положения диссертационной работы докладывались. и обсуждались на следующих конференциях и семинарах:

• на отчетном семинаре Института информатизации: образования РАО о результатах комплексной программы «Информатизация образования» (г. Москва- 2000 г.);

• на VII Международной научно-практической конференции «Современные информационные технологии» (Пенза, 2000 г.);

• на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования» (Санкт-Петербург, 2004 г.);

• на Международной конференции- «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004 (Москва, 2004 г.).

Разработанный пакет прикладных программ был представлен на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования», проходившем в 2004 г. в Санкт-Петербурге, где был особо отмечен фирмой Microsoft в секции «Приложения и i инструменты» и удостоен третьего места, что подтверждено дипломом фирмы Microsoft (Приложение Г).

Результаты диссертационного исследования использованы при решении практической задачи — проведении тестирования студентов Пензенского государственного педагогического университета им. В. Г. Белинского на знание терминологии предметной области «Информатика», что подтверждено актом внедрения. Результаты исследования также использованы при разработке системы «Автоматизированная система контроля знаний» для обеспечения контроля качества учебного процесса в Научно-учебном центре Калужского филиала ОАО «Центртелеком», что подтверждено актом внедрения. Создан и внедрен пакет прикладных программ для проведения тестирования, обработки данных тестирования и организации семантических баз знаний — синонимических рядов и числовых показателей синонимии для части терминов конкретной предметной области.

3.5 Выводы.

1. Разработана структура автоматизированной системы управления тестированием и интерфейс пользователя.

2. Результаты испытаний на предметной области «Информатика» показали, 4TQJ в подавляющем большинстве тестовых заданий система дает адекватную оценку знаний. Оставшиеся проценты обусловлены погрешностями при составлении синонимических таблиц и неточностью эталонных определений.

3. Разработанное программное обеспечение позволило существенно упростить процесс формирования базы знаний тестирующей системы и снизить трудоемкость работ по наполнению базы данных эталонных ответов.

4. Испытания, проведенные на группе тестируемых в рамках настоящих исследований, доказали эффективность разработанной тестирующей системы.

5. На основании результатов тестирования обучаемых на знание терминологии предметной области сделан вывод о практической применимости предложенных методов для контроля свободного текста ответов обучаемых;

6. В ходе экспериментальных исследований было выявлено, что программный продукт, разработанный по результатам настоящего исследования, чувствителен не только к отдельным термам, но и к совпадению отдельных морфем слов, что представляет интерес для проведения дальнейших исследований данного аппарата в части применения его при анализе случаев омонимии, и разработки соответствующего программного средства.

Заключение

.

Дальнейшие направления разработки. Перспективы развития.

Возможные применения.

Проведенные в данной работе исследования выявили ряд нерешенных вопросов: и нереализованных возможностейсуществовавших^ ранее аппаратов, методик и * приложений. Безусловно, все они t не могут быть освещены в одном диссертационном исследовании. Автор считает, что большинство из них является междисциплинарными прикладными задачамирешение которых возможно только объединением" усилий: ученых и разработчиков в различных сферах человеческойдеятельности: образования, информатики, педагогики, программирования, лингвистики, математики нейронных сетейi и нечетких множеств и др. Решение этих задач не относится к цели данной работы.

Первой! такой задачей, являющейся? посуществу прикладной, является задача различной модальности ответа обучаемого при проведении тестирования: текст, речь, графическое изображение.

Программный продукт Система контроля корректности текста СККТ v. 1.0 в настоящее время имеет единственный реализованный тип' внешнего интерфейсапо вводу информации от тестируемого — клавиатуру, что является типовой модальностью при работе с компьютером. Имеющиеся уже в? настоящее время программные средства преобразования модальности и распознавания образов позволяют, например, переводитьв напечатанный текст речь человека, рукописный текст, не говоряуже о доступном каждому сканировании? и распознавании машинописного текстаТаким образом, достигнув договоренности с разработчиками соответствующих программных продуктов (ABBY, Cognitive, MicrosoftAdobe, CorelPROMT и др.) об использовании интерфейсов ввода в-целях организации учебного процесса и контроля знаний для предварительной обработки ответов обучаемых, можно модифицировать СККТдля обработки вводимой информации различной модальности.

Вторым, не менее важным в прикладном плане, вопросом является формирование словарей и тезаурусовразных предметных областей. Разумным решением этого вопроса могла бы стать организация открытого Интернет-проекта по сбору экспертных сведений о применяемой' терминологии в той или иной * профессиональной сферепроработка имеющихся словарей и тезаурусовнормативных документов, регламентирующих терминологию предметных областей^ (ГОСТ и т. п.) — построение синонимических: рядов терминовОднако реализация этогомероприятия должна иметь основательную техническую, технологическую и материальную поддержку со стороны заинтересованных лиц и организаций. Кроме того, выполнение такого объема работ не под силу энтузиастам-одиночкам, требуется привлечение в качестве экспертов специалистов по различным предметным областям, для которых составляется конкретный, терминологический словарь, а также специалистов-лингвистов с целью корректного выполнения данной работы.

Как показывает предварительный] анализ: возможностей имеющегося программного средства — семантического компаратора из состава системы СККТ (результаты и данные временно не публикуются до проверки патентной чистоты) — на его базе вполне возможна: разработка и построение унифицированного средства для обработки" экспертных оценок синонимичности терминов предметных областей и-формирования числовых характеристик синонимических рядов.

Не менее интересными! представляются исследования, направленные на теоретическую проработку вопроса построения модели искусственной нейронной сети s с изменяемой структурой и коррекцией весов связейпороговых значений и решающих функций (вариативная ИНС). Участие в таких исследованиях специалистов в области математики и нейроинформатики было бы весьма кстати.

Связанным с этим вопросом? является обучение искусственной нейронной сети и экспертное заполнение базы знаний в ходе проведения тестирования (динамически, на образцах, полученных: в ходе тестирования и имеющих некоторые предельные числовые характеристики релевантности). Это позволит реализовать принцип изменчивости живой природы применительно к знаниям, заключающийся в изменениис течением времени представлений человечества о сути вещейчто, разумеется, отражается и на изменении смыслового содержания терминов" предметных областейи соответственно, на терминологическом описании терминов: и понятий. Данное свойство системы позволит использовать результаты своей работы при корректировке нормативных документов, регламентирующих терминологию в предметных областях.

Отсюда можно сделать некоторый предварительный вывод о возможности адаптивного наполнения базы знаний автоматизированной обучающей системы в < соответствии с той: или иной научной школой, что является еще одной дополнительной возможностью использования: СККТ в учебном процессе разных учебных заведений, работе научно-исследовательских и академических организаций одного профиля деятельности.

Таким образом, сбор иобработка экспертных данных разных научных школ: должна способствовать построению многомерной базы знаний предметной области по множеству экспертов. Хорошо известные методы организации сбораэкспертных сведений, обработки и интерпретации их для погружения в единую базу знаний предметной области г позволяют сделать такую работу. Однако для ее выполнения недостаточно усилий только одного диссертанта.

Как уже упоминалось выше в тексте диссертационной работы, получение числовых показателей корректности формулировок терминов свидетельствует о качестве восприятия и понимания обучаемыми смыслового содержания учебного курса. С другой* стороны, анализ результатов" тестирования групп обучаемых свидетельствует о качестве преподавания. В этом плане обработкачисловых значений результатов тестирования может способствовать, корректировке методикипреподавания, включая исправление текстов лекций и учебных пособий. Кроме того, методологическая, проработка этих результатов специалистами-методистами способна устранить разночтение единой, стандартизованной терминологии разными преподавателями.

В то же время, полученные результаты тестирования в числовой форме пригодны для выработки автоматических корректирующих воздействий по адаптации курсов • автоматизированного и дистанционного обучения, в том числе и в разрезе индивидуального подхода к обучаемым. Данный тезис был выдвинут автором настоящего исследования в одной из первых работ, посвященных исследованию и применениям нейросетевых технологий в: процессах обучения в 2000 г.

Вопросы сохранения: для: дальнейшего использования информации о результатах тестирования? в: данном: исследовании не рассматриваются ввиду функциональной принадлежности их к работе автоматизированной системы обучения, обеспечивающейтехническую и технологическую организацию информационных потоков. При необходимости базы данных автоматизированнойi обучающей системы могут быть доработаны в плане расширения, и дополнены полями для хранения таких результатов! по взаимному согласованию заинтересованных сторон.

По результатам выполненной работы можно сделать следующие выводы:

1. Проведен анализ существующих моделей контроля знаний. Он показал, что эти5 модели: ограничивают возможности автоматизированных систем контроля знаний, так как не позволяют анализировать, ответы на задания открытого типа, требующие ввести > определение (формулировку) того или иного термина. Для расширения функциональных возможностей АСКЗ: необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей анализа ответов на задания открытого типа, требующие ввести ,< с клавиатуры определение (формулировку) того или иного термина.

2. Разработана общетеоретическая модель представлениям знанийна основе синонимических рядов терминов предметной области, которая в отличие от существующих моделей позволяет установить соответствие между тестовыми ответами и: эталонным определением одного термина предметной области, представленными с использованием слов-синонимов.

3. Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дала возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.

4. Разработана аналитическая модель вычисления показателя синонимической близости эталонного определениями ответа, отличающаяся использованием-коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа.

5. Разработана автоматизированная система контроля знаний, отличающаяся совместным использованием технологий экспертных систем и информационного поиска, что дает возможность автоматизировать процесс контроля знаний терминологии предметной области, реализовав модели анализа ответов на задания открытого типа, требующие ввести определение того или иного термина.

6. Результаты экспертных оценок (опросов) и сравнительных испытаний разработанной и существующих автоматизированных систем контроля знаний показали, что разработанная автоматизированная система позволила повысить эффективность тестирования с применением автоматизированных систем контроля знаний на 10−15%.