Разработка и программная реализация методов анализа результатов массового тестирования

Актуальность темы

исследования. В настоящее время тестирование активно используется для получения информации о результатах той или иной деятельности в самых разных областях — в образовании, управлении, экономике, медицине и т. п., когда имеется ряд вопросов (или показателей), по совокупностиответов > на которые (или по совокупности значений которых) требуется сделать вывод о качестве, эффективности или иных параметрах контролируемого процесса. Во-всех подобных случаях ставится задача измерения латентных (скрытых от непосредственного наблюдения) параметров. Средством измерения выступает специально разработанная система измерителей (заданий, показателей, критериев и т. д.).

Применительно к педагогическому тестированию средством измерения является педагогический тестлатентными параметрами — уровни подготовленности участников тестирования и параметры, характеризующие трудность заданий теста. Исходной информацией является матрица ответов, которая содержит баллы всех участников тестирования по всем заданиям теста.

В настоящее время существуют две теории тестирования — классическая (классическая теория тестирования (КТТ)) и современная (Item Response Theory (IRT) в англоязычной литературе, Теория моделирования и параметризации тестов (ТМПТ) — в русскоязычной). Классическая теория была разработана в первой половине 20-го века. Ее достоинство — простота обработки и интерпретации результатов. Однако она обладает целым рядом существенных недостатков, главным из которых является отсутствие объективности измерений. Например, первичные баллы участников зависят от уровня трудности заданий теста и не могут быть рассмотрены в качестве объективной оценки измеряемой латентной переменной — уровня их подготовленности. Другой тест (или даже другой вариант теста) может привести к другим результатам и даже к инверсиям при ранжировании участников. Аналогично, первичные баллы заданий теста зависят от общего уровня подготовленности тех испытуемых, которые принимали, участие в тестировании, и не могут быть рассмотрены в качестве объективной оценки измеряемой латентной переменной — уровня трудности заданий.

Недостатки КТТ привели к появлению" в 60-х годах прошлого столетия принципиально нового подхода к теории тестированияг Основы-современной^ теории тестирования ТМПТ изложены в работах [37,41,43]. В' рамках этой теории, ответ участника тестирования на задание трактуется как реализация? некоторой случайной величины, распределение которой зависит от параметров задания и параметров испытуемого.

Основная-, цель ТМПТ состоит в разработке математической модели процесса тестирования, параметрами" которой, подлежащими определению, служат характеристики участников" тестирования* и самого теста. В. основе всех моделейТМПТ лежит функция успеха, определяющая зависимость вероятности правильного выполнения задания (или какой-либо его части) от уровня подготовленности участника тестирования и параметров задания.

В настоящее время известно довольно много различных математических моделей ТМПТ [41]. Среди них отдельное место занимают модели Раша, обладающие целым рядом, существенных преимуществ" по сравнению с другими моделями ТМПТ. В основе этих моделей лежат принципы, впервые изложенные в работе Feopra Раша- [51], положившей начало отдельному направлению в современной теории тестирования. Именно эти модели являются объектом исследования данной диссертационной работы.

Основное развитие теория моделирования на основе моделей Раша получила в работах B.D.Wright и его учеников M.N.Stone и G.N.Masters-[64,65], а также в работах [14,30,38,54,61]. В этих работах обоснована принципиальная возможность получения на основе моделей Раша инвариантных относительно друг друга оценок параметров модели (уровней подготовленности участников тестирования и трудностей заданий теста), расположенных на единой метрической шкале и сопровождаемых характеристиками точности оценивания. То, что оценки всех латентных параметров находятся на единой метрической шкале, имеет несколько важных применений. Во-первых, это позволяет при соблюдении некоторых условий выравнивать результаты по различным вариантам теста (и даже полученные в разные годы). Во-вторых, метрическая шкала позволяет определять, на сколько< один объект лучше или хуже другого, а не' только сравнивать их по принципу «больше-меньше». В-третьих, метрический характершкалы позволяет использовать широкий спектр методов математической статистики.

Однако все преимущества моделей Раша имеют место" лишь в том случае, если эмпирические данные тестирования адекватны" используемой" модели измерения. Для исследования! адекватности и идентификации заданий, не согласующихся с моделью измерения, в рамках моделей Раша наибольшее развитие получили два подхода. В первом используются статистики, получившие название общих статистик согласия-и основанные на нормированных уклонениях наблюдаемого балла за выполнение задания от его математического ожидания согласно модели. Этот подход получил развитие в работах [14,42,55,59]. Во втором используются1 критерии, оценивающие близость модельной характеристической кривой и ее эмпирического аналога, основанного на реальных ответах участников с различным уровнем подготовки. Этот подход изложен в работах [14,41,43,63].

Оба подхода неоднократно подвергались критике. Основной проблемой при использовании первого подхода является выбор критических значений используемых статистик согласия, что обусловлено, в первую очередь, неопределенностью их теоретических распределений и, как следствие, невозможностью использовать в качестве критических значения, определяемые по квантилям соответствующих распределений [45]. В зарубежной литературе эта проблема решается различными способами. В одних работах рекомендуются конкретные допустимые интервалы для наблюдаемых значений статистик согласия [66]. В других работах предлагаются различные формулы коррекции значений статистик согласия, имеющие целью минимизировать зависимость статистик от свойств выборки [58]. В третьих работах, предлагается коррекция критических значений статистик в зависимости от объема выборки [60,64]. В* четвертой группе работ вообще предлагается отказаться от использования указанных статистик в. пользу других (но также не абсолютно надежных) статистик [45−50]. В. любом случае тот факт, что этим статистикам нужна коррекция" их наблюдаемых или критических значений, говорит об их недостатках.

При втором подходе рассматриваются, различные статистики, оценивающие согласие с моделью через близость теоретической" и эмпирической характеристических кривых [14,41,43]. Все они имеют одинаковую природу, и асимптотически распределены по закону хи-квадрат. Основными проблемами при использовании второго подхода являются выбор числа подмножеств разбиения совокупности испытуемых и зависимость используемых статистик от конкретной выборки испытуемых, выполнявших тест. В работе [49] исследована сила различных хи-квадрат статистик. Авторами показано, что эффективность этих статистик недостаточно высока: По поводу числа подмножеств для" разбиения предлагаются различные решения. В некоторых работах предлагается^ это число выбрать произвольно и положить-равным, например, 3 или 10 [41]. В других работах предлагаются различные способы определения, этого числа в зависимости от объема выборки или числа заданий в тесте [2].

Таким образом, несмотря на то, что известны различные методы исследования адекватности эмпирических данных используемой модели измерения, все они обладают серьезными недостатками и не универсальны. Поэтому актуальной является задача разработки надежных методов идентификации заданий, не согласующихся с моделью измерения.

Другой важной проблемой при математическом моделировании теста является исследование эффективности его заданий. Под эффективностью задания будем' понимать количество информации, соответствующей этому заданию, для измерения конкретной выборки испытуемых. Различные задания (даже с одинаковым числом шагов и даже одного уровня трудности) могут по-разному оценивать одних и тех же испытуемых, вкладывая по-разному в информацию об оценке их уровня подготовленности. Далее, одно и то же задание может быть эффективным для измерения одной', группы испытуемых и бесполезным для измерения другой группы. Поэтому* задача выявления факторов, определяющих эффективность заданийявляется актуальной.

Целью исследования является разработка и реализация в. виде комплекса программ специальных математических методов и4 алгоритмов идентификации заданий, не согласующихся с моделью измерения, а также исследование эффективности тестовых заданий.

Для достижения поставленнойцели необходимо решить следующие задачи: сравнительное исследование моделей современной' теории тестирования с целью выбора моделей, позволяющих осуществлять объективные измеренияисследование* существующих методов исследования адекватности эмпирических данных используемой" модели" измерения в. рамках, моделей Рашаразработка метода построения интервальных оценок статистик согласия и исследование возможностей использования указанных интервальных оценок для идентификации заданий, не находящихся в согласии с моделью измеренияисследование свойств характеристической функции полигамического задания и возможностей ее применения для исследования адекватности эмпирических данных модели измеренияисследование свойств информационной функции политомического задания и возможностей ее применения для исследования эффективности заданийразвитие статистических методов для исследования математической модели результатов тестирования, как содержащих, так и не содержащих искаженияразработка методики, исследований и моделей экспериментов методами имитационного моделирования в рамках моделей Рашареализация разработанных алгоритмов и методов в виде комплекса программ, пригодного как для прикладного использования, так и для проведения вычислительных экспериментовэкспериментальная проверка разработанных методов и алгоритмов с использованием имитационного моделирования и реальных данных массового тестирования.

Объектом исследования являются математические модели измерения латентных переменных в сфере образования, а также в иных социальных, экономических и технических сферах.

Предметом исследования является адекватность эмпирических данных массового тестирования используемой модели измерения, а также эффективность тестовых заданий дляизмерения латентных характеристик участников тестирования.

Методы исследования включают в себя:

1) методы теории моделирования и параметризации тестов, в частности, основанные на математических моделях Г. Раша;

2) методы математической статистики;

3) численные методы, в частности, бутстреп-метод построения доверительных интервалов;

4) методы алгоритмизации и программной реализации математических моделей;

5) имитационное моделирование и вычислительный эксперимент на реальных и модельных данных.

Научная новизна и теоретическая значимость исследования состоит в следующем: разработаны новые численные методы проверки адекватности математической модели Рашана основе указанных методов разработана технология идентификации заданий, не находящихся в согласии с моделью измеренияисследованы! свойства характеристической и информационной функций, политомического задания и зависимость эффективности, задания от трудностей его. шаговразработан* комплекс программ для реализации указанных процедур, методов и алгоритмов, а также выполнения их эмпирической проверки в форме вычислительных экспериментов.

Практическая значимость результатов исследования заключается в разработке и реализации в виде комплекса программ конкретных технологий обработки данных массового тестирования с целью идентификации заданий, не находящихся в согласии с используемой моделью измерения. Указанный комплекс программ прошел государственную регистрацию (свидетельство № 2 011 614 194, зарегистрировано в Реестре программ для ЭВМ 21 мая 2011 г.).

Достоверность научных результатов обеспечивается корректностью математических выкладок, а также всесторонней эмпирической проверкой результатов сериями вычислительных экспериментов с использованием имитационного моделирования и реальных данных массового тестирования.

На защиту выносятся:

1) метод построения интервальных оценок статистик согласия;

2) технология идентификации заданий, не находящихся в согласии с моделью измерения;

3) результаты исследования! свойств характеристической и информационной функций политомического задания* и зависимости эффективности задания от трудностей его шагов;

4) усовершенствованный метод оценивания согласия с моделью через близость теоретической и эмпирической характеристических кривых;

5) комплекс программ для реализации указанных методов и технологий, а также проведения вычислительных экспериментов.

Апробация результатов исследования^ и публикации. Основные результаты исследования были доложены на XXI Международной научно-методической конференции «Математика в вузе» (Санкт-Петербург, 2009) — международной научно-практической конференции «Новые информационные технологии в образовании» (Екатеринбург, 2011) — обсуждались на семинарах «А Nonlinear Mixed Model Framework for Item Response Theory» (Лёвень, Бельгия, 2009) и «Use of Explanatory Item Response Theory Models» (Нидерланды, 2011). По теме диссертации опубликовано 6 работ, в том числе две статьи в журналах, рекомендуемых ВАК, и свидетельство о государственной регистрации программы для ЭВМ.

Структура и объём диссертации. Диссертация состоит из введения, четырех глав и заключения, изложенных на 116 страницах, а также списка литературы и приложения. Объекты каждого типа (формулы, рисунки и таблицы) нумеруются независимо друг от друга. Используется иерархический принцип нумерации, например, формула (3.2.1) есть первая формула второго параграфа третьей главы. В работе имеются 41 рисунок и 27 таблиц.

Список литературы

содержит 66 наименований.

4.5. Выводы.

В соответствии, с целями1 диссертационной работы разработан комплекс программ, позволяющий идентифицировать задания, не находящиеся в согласии с используемой моделью измерения.

Реализована^ возможность исследования как дихотомических, так и политомических данных, возможность, проведения бутстреп-анализа, внесения искаженийпостроения доверительных интервалова также формирования широкого спектра текстовой и графической отчетности.

Кроме того предоставлены средства интеграции с. другими, комплексами программ. Готовый продукт поставляется в виде полноценной Javaбиблиотеки, функционал которой можно использовать независимо от сопутствующей ему графической оболочки.

Комплекс программ снабжен всей необходимой документацией и готов к дальнейшей поддержке и возможному расширению функционала.

Комплекс программ «Бутстреп-метод анализа результатов массового тестирования (Bootstrap Method* of the Analysis of Mass Test Results.

BootMART)" прошел государственную регистрацию [22].

ИЗ.

Заключение

.

Целью данного диссертационного исследования являлась разработка и реализация в виде комплекса программ специальных математических методов и алгоритмов идентификации заданий, не согласующихся с моделью измерения, а также исследования эффективности тестовых заданий.

В качестве математических моделей тестирования были обоснованно выбраны модели семейства Г. Раша, которые обладают существенными преимуществами перед другими моделями современной теории тестирования. ' Одной из основных проблем при математическом моделировании выступает исследование адекватности эмпирических данных модели измерения. Именно этой проблеме и была преимущественно посвящена данная работа.

В ходе исследования были проанализированы существующие методы исследования адекватности эмпирических данных используемой модели измерения в рамках моделей Раша. В первом подходе используются статистики, получившие название общих статистик согласия и основанные на нормированных уклонениях наблюдаемого балла за выполнение задания от его математического ожидания согласно модели. Во втором используются критерии, оценивающие близость модельной характеристической кривой и ее эмпирического аналога, основанного на реальных ответах участников с различным уровнем подготовки. Выявлены недостатки этих методов, связанные, главным образом, с зависимостью наблюдаемых значений используемых статистик от особенностей распределений выборки испытуемых, выполнявших тест. Это порождает проблему выбора критических значений, которая в настоящее время не имеет удовлетворительного решения.

По результатам исследования разработан метод построения интервальных оценок статистик согласия, в основе которого лежит бутстреп-метод построения доверительных интервалов. Это позволило разработать технологию идентификации: заданий, не находящихся в согласии с моделью измерения.

Врезультате исследования свойств характеристической" — функции задания был предложенметод интервального оценивания?: ординат точек. эмпирического распределениячто позволилоусовершенствовать: метод оценивания: согласия" с моделью черезблизость" теоретической? и эмпирической характеристических кривых задания.

Другой? важной проблемой" при математическом моделировании" теста является? исследование, эффективности- (информационноговклада) его1 заданий. Врезультате исследования свойствинформационной функциизадания? и зависимости эффективности задания от трудностей его шагов—- были выявлены факторы, определяющие эффективность заданий.

Для" реализации разработанных алгоритмов и методов разработан", комплекспрограммпригодный как для прикладного использования, так и для проведения вычислительных экспериментов^ С использованием этого комплекса программбыла проведена экспериментальная проверка, разработанныхметодов и технологий с использованием имитационного моделирования и реальных данных массового тестирования.

На основе этого-полученыследующие результаты: .

1) выполнен анализ существующих методов проверки адекватности математической модели Раша и выявлены недостатки этих методов- • '.

2) разработаны новые численныеметоды. проверки адекватности математической модели Раша, а именно метод построенияинтервальных оценок статистик согласия" и метод интервального оценивания ординат точек эмпирического распределения;

3) на, основе указанных методов разработана технология идентификации заданий, не находящихся в согласии с моделью измерения:

4) разработанные методы и алгоритмы протестированы с применением технологии математического моделирования и вычислительного эксперимента;

5) получили развитие качественные методы исследования математических моделей Раша, а именно исследованы свойства характеристической и информационной функций политомического задания и исследована зависимость эффективности задания от трудностей его шагов;

6) разработан комплекс программ для реализации указанных методов и алгоритмов, а также выполнения их эмпирической проверки в форме вычислительных экспериментов.

Комплекс программ «Бутстреп-метод анализа результатов массового тестирования (Bootstrap Method of the Analysis of Mass Test Results BootMART)» прошел государственную регистрацию. Намечены направления для его дальнейшего усовершенствования, что позволит не только оптимизировать работу приложения, но и существенно расширить функционал.