Математическая модель интерпретации результатов компьютерного тестирования с использованием марковских сетей
Бардина Р. И., Булычева А. И., Дьяченко О. М., Лаврентьева Т. В., Холмовская Диагностика умственного развития детей старшего дошкольного возраста (от 5 до 7 лет)/- Москва, Серия «Психологическая диагностика», 1996. -113 с. Куравский Л. С., Баранов С. Н. Применение нейронных сетей для диагностики и прогнозирования усталостного разрушения тонкостенных конструкций. Нейрокомпьютеры: разработка… Читать ещё >
Содержание
- Современное состояние проблемы оценки уровня знаний и умений
В настоящее время проблема адаптивных тестов стала чрезвычайно актуальной. У истоков адаптивного тестирования лежало стремление к повышению эффективности тестовых измерений[32,60,64], что, как правило, связывалось с уменьшением числа заданий, времени, стоимости тестирования и главное — с повышением точности оценок, полученных испытуемыми по результатам выполнения теста[66,71,78,82]. Исследователи видели возможность повышения эффективности в адаптации тестов, трудность которых учитывала диапазон подготовленности тестируемых.
Классическая теория тестирования трактует тест, как стандартизованную процедуру для отбора образцов поведения и его описания, используя оценки или категории [4,18,91]. При этом, в основном, тесты являются нормо-соотнесенными, т. е. они описывают поведение в терминах норм, результатов теста, собранных от большой группы субъектов (стандартизированная выборка). Таким образом, в ориентированном на нормы тестировании показатель каждого конкретного человека интерпретируется посредством сравнения с показателями, полученными другими людьми по тому же тесту[83,100].
Тестирование результатов учебной деятельности имеет свою специфику, связанную с ориентацией на определенный предмет или дисциплину. Для предметно-ориентированного тестирования типично использовать в качестве интерпретационной системы отсчета не заранее оговоренную совокупность людей, а строго определенную содержательную область. В этой связи главным отличительным признаком предметно-ориентированного тестирования является интерпретация выполнения теста с точки зрения его смыслового содержания. Упор здесь делается на то, что тестируемые могут делать и что они знают, а не на то, как они выглядят на фоне других.
Предметно-ориентированные тесты строятся на основе дидактического выделения учебных целей в рассматриваемой содержательной области и составления на этой основе конкретных тестовых заданий, обеспечивающих выборочную проверку достижения каждой из этих целей.
Как правило, тесты по итогам обучения (их также называют тестами знаний) оценивают степень информированности или сформированности навыков выпускников. Эти тесты в значительной степени ориентированы на проверку фактических знаний и навыков по отдельному предмету или группе предметов.
Они призваны оценить количество и качество усвоенных знаний в соответствии с той программой, по которой изучался данный предмет. При этом проверяются знания и навыки, которые можно получить за относительно короткий промежуток времени. Такие тесты применяются главным образом, чтобы оценить результативность обучения по одному курсу или по целостной программе, а также, чтобы проверить очень специализированную подготовку. Очевидно также, что к «тестам знаний» можно подготовиться, заучивая факты и тренируя стандартные алгоритмы действий.
Тесты знаний имеют, конечно, и прогностическую ценность, поскольку знания не могут быть полностью измерены без использования общих и специальных способностей. Для прогностических целей используются так называемые тесты готовности (или тесты способностей и компетентности). Они в большей степени призваны оценить работу человека «здесь и теперь» в некой определенной познавательной или психомоторной области. Они создаются таким образом, чтобы выяснить потенциальную способность человека в специализированной деятельности и в условиях ограниченной информации.
Задача таких тестов состоит не столько в том, чтобы оценить прошлые успехи испытуемого, сколько составить картину о развитии способностей и возможностях его обучаемости в данной области. Понятно, что быстро подготовиться («натаскаться») к такому тесту трудно. Составители тестов готовности стараются выяснить состояние навыков и компетентностей (социальных требований к образовательной подготовке, необходимой для качественной продуктивной деятельности ученика в определенной сфере), приобретенных во многих областях за относительно длительные промежутки времени.
Делая акцент именно на содержании при интерпретации тестовых показателей, предметно-ориентированное тестирование способствует развитию новых объективных методов психометрии и может оказать благотворное влияние на тестирование в целом [30,58,59]. Попытки измерения таких латентных качеств как: «подготовленность студентов», «знание учебной дисциплины», «способность понимать», «интеллектуальное развитие», на уровне обыденного сознания оканчиваются словесными или численными оценками, содержащими в себе немалые погрешности.
Классический подход, используемый при конструировании тестов и интерпретации результатов тестирования, предполагает, что результаты теста проходят стандартный статистический анализ, который проводится над всем тестом в целом и, хотя статистики для отдельных пунктов теста также могут быть выработаны, такие статистики относятся только к данной группе испытуемых и данной группе заданий. Хотя вычисляемые статистики часто обобщаются для схожих участников схожих тестов, они в реальности применимы только к этим участникам данного теста.
Современные теории тестов, связанные с латентно-структурным анализом [52,53,89,90,98,99] берут за основу отдельный пункт (вопрос или задание) теста и имеют целью посмотреть глубже на основополагающие качества, которые обеспечивают исполнение теста. Эти качества измеряются на уровне каждого вопроса и обеспечивают независимое от образца измерение. В частности, в качестве латентных переменных часто рассматриваются такие два параметра как способность испытуемого и трудность задания теста.
Анализ вопросов, осуществляемый в теории ответов на вопросы (Ш.Т), обеспечивает возможность измерения качества вопросов с целью определения того, насколько адекватными они были для тестируемых и как хорошо измеряют их способность. Этот анализ создает предпосылки для адаптации тестовой ситуации в соответствии с реальными способностями испытуемых и повторного использования вопросов (пунктов теста) снова и снова в различных тестах с предварительным знанием того, как они будут действовать.
Таким образом, цель состоит в том, чтобы измерить не само тестовое поведение, а лежащую в его основе способность (или качество), которая по существу обеспечивает выполнение теста. Это приводит к возможности получить
Классическая теория тестов
Основные положения
Долгое время тесты строились на основе классической эмпирико-статистической теории тестирования, разработанной Чарльзом Спирменом[4,18,91]. В основе этой теории лежит идея о том, что измеряемые характеристики имеют действительные значения, которые оказываются, искажены систематическим шумом.
Латентными параметрами, которые подвергаются измерению при использовании тестов, являются, например, чувство, мотивация, терпимость, уровень знаний, и т. п. О величине такого параметра можно судить по его индикатору (индикаторной переменной). Главное достоинство индикатора — его доступность для прямого наблюдения, именно это лежит в основе практически любой теории тестирования.
Измеряя значение индикатора, мы можем судить о значении латентного параметра, с которым он связан. Например, индикатором может являться тестовое задание. Значением индикатора является числовое (символьное) выражение реакции испытуемого, на это тестовое задание. По этому индикатору мы можем судить об уровне знаний, соответствующих данному тестовому заданию, т. е. под индикатором понимают некоторое средство воздействия (вопрос, тестовое задание), связанное с конкретным латентным параметром, реакция на который, доступна для непосредственного наблюдения.
Однако построить адекватную модель тестирования знаний, а тем более компетентностей или способностей, с привлечением только классической теории тестов сложно, так как уровень способности (как измеряемый параметр) и
Недостатки классической теории тестов
Метрологическая модель, лежащая в основе классической теории тестов, предполагает, что измеритель является независимым от измеряемой величины. Однако, ясно, что «психологическое измерение — это прежде всего процесс взаимодействия измерителя и измеряемого, измеряемого со всем контекстом и т. д.» [26]. Измеряемые свойства и качества человека при этом не являются постоянными, т. е. психика по своей природе является динамичной и меняется с течением времени.
В этой связи ясно, что классическая теория тестов не может считаться по настоящему адекватной в области психологических измерений и требует существенного пересмотра и уточнения.
Спорным является также априорное использование закона нормального распределения. По самой своей природе закон нормального распределения лишь в очень ограниченных случаях может быть распространен на фенотипические образования и, в частности, на психологические свойства. Такие образования не возникают, как это предусматривается гауссовым законом, в качестве результата воздействия на признак бесчисленного множества факторов: положительных -способствующих его увеличению, и отрицательных — способствующих его уменьшению. Напротив действует такой мощный фактор, как культурно-историческая среда, имеющий определенное содержание и направленность, что приводит к большей детерминации свойств и признаков, а также нарушает свойства симметричности воздействий [19].
Опыт конструирования и использования тестов также выявил ряд важных практических недостатков классической теории тестов, связанных с оцениванием по первичным баллам. Первый недостаток оценки по первичному баллу заключается в том, что он является не абсолютной, а относительной оценкой. Он существенно зависит от трудности заданий теста, и на другом тесте он может оказаться иным, причем сама трудность теста в свою очередь определяется всем контингентом испытуемых. Вместе с тем пользователю желательно иметь объективную оценку уровня подготовленности испытуемых, подтвержденную на различных тестах, имеющих заранее определенный уровень трудности заданий.
Вторым существенным недостатком первичных баллов является их нелинейность по отношению к тем параметрам, которые они должны характеризовать (например, уровень подготовленности). В частности, если тест состоит из 100 заданий, то разность в первичных баллах Ы-Ь2=86−82=4 соответствует большему различию в уровне подготовленности участников, чем та же разность для участников имеющих, например 23 и 19 баллов. Сравнивая первичные баллы, необходимо понимать, что они являются лишь индикатором подготовленности испытуемых, а не ее мерой[1].
Существенные ограничения, присущие классической теории тестов, способствовали развитию так называемых «современных» теорий тестов, основанных на новых подходах к тестированию. Один из наиболее развитых подходов представлен теорией ответов на вопросы (1ЯТ), которая рассмотрена ниже.
Теория ответов на вопросы (ШТ)
Указанных выше недостатков в значительной мере можно избежать, применяя современные теории тестов, построенные на базе моделей теории ответов на вопросы, или современной теории тестирования (ГО.Т). Теория Ш. Т позволяет установить связь между уровнем знаний или способностей испытуемых и результатами выполнения тестов и определить их уровень независимо от сложности заданий [1,2,89,90].
Впервые концепция ШТ возникла в 40-х годах XX века. Фергюссон и ряд других специалистов предложили свой подход к тестированию, но предпосылкой для появления современного подхода стала предложенная в 1960 году модель датского математика Георга Раша [101]. Разница в подходах обусловлена в основном выбором функции, описывающей сложность задания. Фергюссон использовал функцию, связанную с нормальным распределением, а Георг Раш логистическую, что значительно упростило вычисления и обеспечило возможность доступной практической реализации.
Сама теория основана на простом предположении, что при ответе на задание теста испытуемые с лучшей подготовкой имеют больше шансов на успех, чем испытуемые с худшей подготовкой. Это можно представить в форме графика логистической функции, представленного на Рис. 1 и показывающего вероятность ответа на вопрос (задание) в зависимости от способности испытуемого (средний уровень способности принят за ноль).
Рис. 1. Характеристическая кривая задания в модели Раша (показывает вероятность ответа на задание в зависимости от величины способности испытуемого — средний уровень способности принят за ноль).
Г. Раш рассматривал матрицу тестовых данных как результат сопряжения множества испытуемых с множеством заданий. Он попытался формализовать идею зависимости результатов этого сопряжения от соотношения уровня подготовленности каждого испытуемого с мерой трудности каждого задания. Результирующая модель латентной дистанции, предложенная Г. Рашем, [89
91,101] характеризует вероятность правильного ответа на вопрос теста логистической функцией единственной переменной — разностью уровня способности и трудности теста. Эта разность определяет отставание способности испытуемого от уровня сложности задания. Если разность велика и отрицательна, то задание не может быть выполнено, так как для данного испытуемого оно слишком сложно. Если же разность велика и положительна, то задание также не информативно, ибо испытуемый заведомо легко и правильно его решит.
Получаемая в результате единая логарифмическая шкала позволяет установить требуемое соответствие между уровнем обученности и трудностью задания и, более того, произвести коррекцию результатов тестирования при тестах разной сложности.
В отличие от классической теории, где индивидуальный балл тестируемого рассматривается, как некоторая постоянная величина, в Ш. Т латентный параметр трактуется, как переменная. Начальное значение параметра получается непосредственно из эмпирических данных тестирования. Переменный характер измеряемой величины указывает на возможность последовательного приближения к объективным оценкам параметра с помощью тех или иных итерационных методов. Данные, которые не укладываются в модель -исключаются.
Математически модель Г. Раша идентична основной модели ГО. Т -однопараметрической модели ШТ. Однако в модели Г. Раша в наибольшей мере соблюдены требования принципа «особой объективности» измерения, т. е. измерения одноразмерного свойства индивида без интерференции с другими свойствами, отличающимися от измеряемого, с другими людьми и с особенностями инструмента, используемого для измерения.
Основные допущения Ш. Т состоят в следующем:
1) существуют латентные (скрытые) параметры личности, недоступные для непосредственного наблюдения. В тестировании это уровень подготовленность испытуемого и уровень трудности задания-
2) существуют индикаторные переменные, связанные с латентными параметрами, доступные для непосредственного наблюдения. По значениям индикаторных переменных можно судить о значениях латентных параметров-
3) оцениваемый латентный параметр должен быть одномерным. Это означает, что, например тест, должен измерять знания только в одной, четко заданной, предметной области. Если условие одномерности не выполняется, то необходимо переработать тест, удалив задания, нарушающие его гомогенность. Это требование редко вступает в противоречие с логикой создания теста, т.к. часто автор занимается разработкой методики направленной на выявление значения конкретной латентной переменной. В то же время, возможности ГО. Т значительно снижаются при необходимости написания общего теста по множеству учебных дисциплин, при этом, подобная задача часто ставится в педагогическом процессе.
Другие предположения носят специальный характер и связаны с математико-статистическим аппаратом, используемым в ГО. Т для обработки эмпирических данных тестирования. Среди них можно выделить одно наиболее важное для понимания существенного различия между ГО. Т и классической теорией тестов. Это предположения о характере измеряемых параметров испытуемых и заданий теста.
К свойствам моделей этого класса можно отнести:
1) Превращение измерений, выполненных в дихотомических и порядковых шкалах, в линейные измерения, в результате качественные данные анализируются с помощью количественных методов, в том числе, для анализа результатов измерений можно использовать широкий спектр статистических процедур (особенно это относится к модели Раша).
2) В ГО. Т значения параметров заданий принципиально (теоретически) независимы от уровня подготовленности групп тестируемых. Это очень полезное свойство вытекает из свойства функции задания. График, представленный на рис. 2, показывает распределение вероятностей правильных ответов в двух группах испытуемых — сильной, точки которой расположены в правой части графика, и слабой, точки которой расположены в левой части графика. Функция одна, параметры функции задания — те же самые для обеих групп. Точки в окрестности графика указывают на пригодность данной функции задания для определения вероятности правильного ответа в любой из этих групп.
3) Независимость оценки уровня подготовленности испытуемых от используемого набора тестовых заданий.
4) Неполноту данных (пропуск некоторых комбинаций «испытуемый — тестовое задание» не является критичным).
5) Возможность предсказывать вероятность правильного выполнения заданий теста любым испытуемым до предъявления теста группе, выявлять эффективность различных по трудности заданий, используемых для оценки знаний или способностей, отличающихся по подготовке учеников тестируемой группы.
Рис. 2. Распределение вероятностей правильных ответов в двух группах испытуемых — сильной, точки которой расположены в правой части графика, и слабой, точки которой расположены в левой части графика. В рамках классической теории педагогических измерений, оценки уровня трудности заданий зависят от уровня подготовленности группы. Чем лучше подготовлена тестируемая группа, тем выше доля (процент) правильных ответов на задание, тем легче оказывается задание. И, наоборот, в слабой группе испытуемых процент выполнения заданий заметно ниже. По этому поводу сложилась своеобразная терминология. Оценки трудности заданий, оцениваемые в рамках классической статистической теории, называют зависимыми от уровня подготовленности испытуемых каждой группы.
К наиболее значимым преимуществам ГО. Т обычно относят следующие:
Устойчивость и объективность оценок параметра, характеризующего уровень подготовки испытуемых. Источником этой устойчивости является относительная устойчивость оценок способностей (знаний) испытуемых от трудности заданий теста.
Устойчивость и объективность оценок параметра трудности задания, их независимость от свойств выборки испытуемых, выполняющих тест.
Возможность измерения значений параметров испытуемых и заданий тестов в одной и той же шкале, имеющей свойства интервальной. Это свойство важно потому, что преобразование исходных величин разного происхождения в одну исходную шкалу позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого из заданий теста.
Основные принципы ШТ-концепции Раша
В ГО. Т устанавливается связь между наблюдаемыми значениями и латентными параметрами (что характерно для любого тестирования). Предполагается, что наблюдаемые значения порождаются в процессе взаимодействия двух множеств латентных параметров. Первое множество составляют значения латентного параметра, определяющего уровень подготовленности испытуемых вь где / - номер испытуемого, изменяющийся в интервале от 1 до N (И — количество испытуемых). Второе множество составляют значения латентного параметра, характеризующего трудность у'-го задания /?у.
Георг Раш предположил, что уровень подготовленности испытуемого в1 и уровень трудности задания Д могут быть размещены на одной шкале и измеряются в одних и тех же единицах.
В качестве меры трудности заданий и меры уровня подготовленности испытуемого применяется логит. Г. Раш ввел две меры: «логит уровня знаний» и «логит уровня трудности задания». Единая логарифмическая шкала позволяет установить требуемое соответствие между уровнем обученности и трудностью задания и, более того, произвести коррекцию результатов тестирования при тестах разной сложности
— «логит уровня знаний» — натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов-
— «логит уровня трудности задания» — натуральный логарифм отношения доли неправильных ответов на задание теста к доле правильных ответов на это задание по множеству испытуемых.
Трудность заданий
Рис. 3. Взаимодействие латентных параметров
По Рашу:
При тестировании задача всегда обратная: необходимо по ответам испытуемого оценить # И Д для чего необходимо определить вид соотношения между этими параметрами. Г. Раш предложил использовать разность между в и Д учитывая тот факт, что они оцениваются в одной шкале. В этом случае значение в, можно рассматривать как положение испытуемого с номером г, а Д -как положение задания с номером ] на одной и той же оси переменных. У данного подхода есть достаточно прозрачная геометрическая интерпретация. Абсолютная величина разности между этими параметрами — это расстояние, на котором находится испытуемый с уровнем подготовки в, от задания Д. Если эта величина велика по модулю, то задание Д бесполезно с точки зрения, оценки уровня способности ученика с г номером. Если значение отрицательно то оно наверняка слишком* сложно для испытуемого и решено не будет, если внутри модуля оно положительно, то материал давно освоен испытуемым и задание вероятнее всего будет выполнено успешно. С точки зрения ГОТ такие задания неэффективны для выявления уровня способности[103,104].
В более общем плане сравнение ШТ с различными другими подходами к измерениям в психодиагностике показывают, что в области психологических измерений, которая призвана по результатам измерений давать представление о психологии человека, сам человек (измеритель) в результате отсутствует. Если в классической теории тестов человек теряется в статистической норме, то в ГОТ он пропадает за формальным введением параметров «способность» и «трудность задания» [104].
Математическая модель интерпретации результатов компьютерного тестирования с использованием марковских сетей (реферат, курсовая, диплом, контрольная)
ЗАКЛЮЧЕНИЕ
ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ.
1. Разработана математическая модель интерпретации результатов адаптивного психологического тестирования навыков и способностей, построенная на основе обучаемых марковских сетей.
2. Разработаны методы численного решения задачи идентификации марковских моделей адаптивного тестирования с дискретным и непрерывным временем и оценки степени их адекватности данным натурного эксперимента, включающие метод, построенный на комбинации прямого численного интегрирования и многомерной оптимизации с критерием Пирсона, метод, построенный на использовании интегрального финитного преобразования, и технику преобразования моделей с дискретным временем в соответствующие модели с непрерывным временем.
3. Разработан метод численного решения задачи устранения артефактов, обусловленных различными формами некорректного целенаправленного вмешательства в процедуру тестирования, который построен на основе оптимальной линейной фильтрации, адаптированной для решения рассматриваемой прикладной задачи.
4. Разработано специальное математическое обеспечение системы поддержки принятия решений для психологического тестирования.
5. С целью практического подтверждения эффективности созданных подходов и на их основе разработаны, программно реализованы и внедрены в учебный процесс следующие системы компьютерного моделирования: а) система для тестирования когнитивных способностей человека при управлении сложным объектом с неизвестной схемой управления, созданная в виде программно-аппаратного комплекса на базе роботизированной платформыб) программно-аппаратный комплекс, обеспечивающий поддержку принятия решений при оценке готовности детей к обучению в школе.
1. Аванесов В. С. Научные проблемы тестового контроля знаний: монография. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. 135 с.
2. Аванесов B.C. Педагогическое измерение латентных качеств. Педагогическая диагностика, 2003, № 4, с.69−78.
3. Айвазян, С. А. Прикладная статистика. Основы эконометрики: учебник для вузов. В 2 т. Т. 1. Теория вероятностей и прикладная статистика Текст./ С. А. Айвазян, B.C. Мхитрян. 2-е изд., испр. М.: ЮНИТИ-ДАНА, 2001.656 с.
4. Анастази, А., Урбина, С. Психологическое тестирование. СПб.: Питер, 2001.
5. Бардина Р. И., Булычева А. И., Дьяченко О. М., Лаврентьева Т. В., Холмовская Диагностика умственного развития детей старшего дошкольного возраста (от 5 до 7 лет)/- Москва, Серия «Психологическая диагностика», 1996. -113 с.
6. Белоус И. В., Пархоменко С. А. Методы математической статистики для анализа тестовых результатов // Вестник ХГТУ № 1 (14), 2002. С. 544 545.
7. Болотов В. А., Шмелев А. Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма ипарадоксы роста // Высшее образование сегодня. 2005. № 4. С. 16−21.
8. Брауэр В.
Введение
в теорию конечных автоматов. М.: Радио и связь, 1987.
9. Венгер Л. А. и др. «Психолог в детском саду». М.: ИНТОР, 1995 г. — 64 с.
10. Венгер Л. А. и. Холмовской В. В Диагностика умственного развития дошкольников. / М.: Педагогика, 1978; 248 с.
11. Галушкин А. И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Т.1. М.: Горячая линия-Телеком, 2004. — 367с. — (Серия: Нейрокомпьютеры и их применение. Вып. 12).
12. Галушкин А. И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Т.2. М.: Горячая линия-Телеком, 2004. — 464с. — (Серия: Нейрокомпьютеры и их применение. Вып. 12).
13. Галушкин А. И. Нейронные сети. Основы теории. М.: Горячая линия-Телеком, 2010.
14. Галушкин А. И. Нейронные сети: история развития теории: Учебное пособие для вузов.-М.:ИПРЖР, 2001.-840с.-(Нейрокомпьютеры и их применение. Кн.5).
15. Галушкин А. И. Теория нейронных сетей: Учебное пособие для вузов.-М.:ИПРЖР, 2000.^416с.-(Нейрокомпьютеры и их применение. Кн.1).
16. Головко В. А. Нейронные сети: обучение, организация и применение. -Учеб. пособие. М.: ИПРЖР, 2001.
17. Гудман Д. JavaScript. Библия пользователя (4-е издание). Вильяме, 2002. -960 с.
18. Гулидов И. Н. Педагогический контроль и его обеспечение: учеб. пособие. М: Форум, 2005. 240 с.
19. Гуревич K.M. Психологическая диагностика и проблема индивидуальных различий. Психологический журнал. Том 19. 1998. № 3.
20. Гуткина Н. И. Психологическая готовность к школе. М.: Академический Проект, 2000. — 3-е изд., перераб. и доп. — 184 с. — (Руководство практического психолога).
21. Гуткина Н. И. «Зона ближайшего развития» и индивидуальный подход к ребенку на первых этапах обучения // Научно-методические основы использования в школьной психологической службе конкретных психодиагностических методик. М., 1988.
22. Дёрнер Д. Логика неудачи: стратегическое мышление в сложных ситуациях. -М.: Смысл, 1997.
23. Джарратано, Дж. Экспертные системы: принципы разработки и программирование. Текст./ Дж. Джаратано, Г. Райли. М.: Вильяме. 2007.1152 с.
24. Джексон П.
Введение
в экспертные системы: Учеб. пособие. М.: Издательский дом «Вильяме», 2001.
25. Джонс М. Т. Программирование искусственного интеллекта в приложениях. -М.: ДМК Пресс, 2004.
26. Дружинин В. Н. Экспериментальная психология — СПб: Издательство «Питер», 2000.
27. Дубров, A.M.'Многомерные статистические методы Текст.: учебник / A.M. Дубров, B.C. Мхитрян, ЛИ Трошин. М.: Финансы и статистика, 2000. 352 с.
28. Ефремова Н. Ф., Звонников В. И., Челышкова М. Б. Педагогические измерения в системе образования // Педагогика. 2006. № 2.
29. Заде, А. Основы нового подхода к анализу сложных систем и процессов принятия решений Текст. / А. Заде // Математика сегодня. М., 1974.
30. Карданова Е. Ю. Моделирование и параметризация тестов: основы теории и приложения. ФГУ «Федеральный центр тестирования», 2008.
31. Кирий В. Г., Ульянов Д. А., Применение марковской модели для оценки уровня знаний при адаптивном тестировании // Вестник Ир-ГТУ. Иркутск. 2004. -№ 3 (19)-С. 21−26.
32. Клайн П. Справочное руководство по конструированию тестов. Киев, 1994.
33. Кнут Д. Искусство программирования для ЭВМ. Т1. Основные алгоритмы. М.: Мир, 1978.
34. Крамер Г. Математические методы статистики. М.: Мир, 1976. — 648 с.
35. Кудрин P.A. Эффективность операторской деятельности как результат эмоционального интеллекта//ВАК.
36. Кудрявцев Е. М. Исследование операций в задачах, алгоритмах и программах.-М.: Радио и связь, 1984.-184с.
37. Куравский Л. С., Баранов С. Н. Синтез сетей Маркова для прогнозирования усталостного разрушения. Нейрокомпьютеры: разработка и применение, 2002, № 11, с. 29−40.
38. Куравский JI.С. Юрьев Г. А. «Применение фильтра Калмана для фильтрации артефактов при адаптивном тестировании» Информационные технологии № 4, 2012, с.63−69.
39. Куравский Л. С. Юрьев Г. А. Об одном подходе к адаптивному тестированию//Современная эксперементальная психология в 2 т. / Под ред. В. А. Барабанщикова. М.'.Институт психологии РАН, 2011 т.1 с. 233.
40. Куравский Л. С., Баранов С. Н. Применение нейронных сетей для диагностики и прогнозирования усталостного разрушения тонкостенных конструкций. Нейрокомпьютеры: разработка и применение, 2001, № 12, с. 47−63.
41. Куравский Л. С., Баранов С. Н., Корниенко П. А. Обучаемые многофакторные сети Маркова и их применение для исследования психологических характеристик. Нейрокомпьютеры: разработка и применение, № 12, 2005. — с. 65−76.
42. Куравский Л. С., Баранов С. Н., Малых С. Б. Нейронные сети в задачах прогнозирования, диагностики и анализа данных: Учеб. пособие. М.: РУСАВИА, 2003. 100 с.
43. Куравский Л. С., Баранов С. Н., Юрьев Г. А. Синтез и идентификация скрытых марковских моделей для диагностики усталостного разрушения. -Нейрокомпьютеры: разработка и применение, № 12, 2010, с. 20−36.
44. Куравский Л. С., Марголис A.A., Юрьев Г. А., Мармалюк П. А. Концепция системы поддержки принятия решений для психологического тестирования // Психологическая наука и образование. 2012. № 1. С. 56−65.
45. Куравский Л. С., Ушаков Д. В., Мармалюк П. А., Панфилова A.C. Исследование факторных влияний на развитие психологических характеристик сприменением нового подхода к оценке адекватности моделей наблюдениям. -Информационные технологии, № 11, 2011, с.67−77.
46. Куравский Л. С., Юрьев Г. А. Адаптивное тестирование как марковский процесс: модели и их идентификация. Нейрокомпьютеры: разработка и применение, № 2, 2011, с. 21−29.
47. Куравский Л. С., Юрьев Г. А. Вероятностный метод фильтрации артефактов при адаптивном тестировании // Экспериментальная психология. 2012. № 1. С. 119−131.
48. Куравский Л. С., Юрьев Г. А. Использование марковских моделей при обработке результатов тестирования. Вопросы психологии, № 2, 2011, с. 98−107.
49. Куравский Л. С., Юрьев Г. А. Марковские модели адаптивного тестирования // Моделирование и анализ данных. 2011. № 1. С. 28−40.
50. Лаврентьева Т. В. Психолог в дошкольном учреждении: Методические рекомендации к практической деятельности. М.: Изд. «ГНОМ и Д», 2004 — 144 с.
51. Лазарсфельд П. Ф. Измерение в социологии // Американская социология. М.: Прогресс, 1972.
52. Лазарсфельд П. Ф. Латентно-структурный анализ и теория тестов // Математические методы в социальных науках. М.: Прогресс, 1973. С. 42−54.
53. Люгер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем, 4-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2003.
54. Люсин Д. В, Ушаков Д. В. Социальный интеллект: теория, измерение, исследования. М.: Институт психологии РАН, 2004.
55. Люсин Д. В. Современные представления об эмоциональном интеллекте // Социальный интеллект: Теория, измерение, исследования / Под ред. Д. В. Люсина, Д. В. Ушакова. М.: Институт психологии РАН, 2004. С. 29−36.
56. Майоров, А. Н. Теория и практика создания тестов для системы образования / А. Н. Майоров. М.: Интеллект-центр, 2002. 300с.
57. Матушанский Г. У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. 2000. № 6. С.7−10.
58. Мельникова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. 410 с.
59. Минко Н. Т. Педагогическое сопровождение компьютерного адаптивного тестирования в контексте персонального образования: дисс.канд. пед. наук. Улан-Удэ, 2010.
60. Михеев В. И. Моделирование и методы теории измерений в педагогике// Красанд 2010.
61. Михеев О. В. Математические модели педагогических измерений // Педагогические измерения, 2004, № 2. -С.75−88.
62. Овчаров Л. А. Прикладные задачи теории массового обслуживания. М.: Машиностроение, 1969. — 324 с.
63. Печенежский Н. А., Маслов А. А, Модель системы компьютеризированного адаптивного тестирования. // Труды конференции ВИРТ-202.
64. Питер Блюм. ЬаЬУШ>М. Стиль программирования. Москва, ДМК Пресс, 2009 г.- 400 с.
65. Пугачев А. А. Адаптивные компьютерные обучающие системы // Материалы международной научно-практической конференции.
66. Равен Д. Педагогическое тестирование: проблемы, заблуждения, перспективы / Пер. с англ. М.: «Когито-Центр», 2001. 144 с.
67. Роберт И. В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования. М.: Школа-Пресс, 1994.
68. Саати Т. Л. Элементы теории массового обслуживания и её приложения. -М.: ЛИБРОКОМ, 2010. 520 с.
69. Спейнауэр С., Куэрсиа В. Справочник УеЬ-мастера. К: «ВНУ», 1997. — 368 с.
70. Субетто А. И. Качество образования: проблемы оценки и мониторинга: // Стандарты и качество. 2000. № 2. С. 62−66.
71. Суранов А. Я. LabVffiW 8.20. Справочник по функциям. Санкт-Петербург, ДМК Пресс, 2007 г.- 536 с.
72. Тихонов В. И.,'Шахтарин Б.И., Сизых В. В. Случайные процессы. Примеры и задачи. /Т.5. Оценка сигналов, их параметров и спектров. Основы теории информации. М.: Горячая линия-Телеком, 2009. — 400 с.
73. Томсон JL, Веллинг JI. Разработка Web-приложений на PHP и MySQL. К.: «ДиаСофт», 2001.-672 с.
74. Тревис Дж., Кринг Дж. Lab VIEW для всех. М.: Изд. ПриборКомплект, 2008, 880 с.
75. Тюменева Ю. А. Психологическое измерение. М.: Аспект-Пресс, 2007.
76. Уилтон П. JavaScript. Основы. Символ-Плюс, 2002. -1056 с.
77. Ульянов Д. А. Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения//ВАК.
78. Федосов В. П. Цифровая обработка звуковых и вибросигналов в LabVffiW (+ DVD-ROM). Санкт-Петербург, ДМК Пресс, 2009 г.- 1296 с.
79. Фомина Н. Б. Оценка качества образования. Ч. 4 Новые способы оценивания учащихся. Методическое пособие. М.: УЦ «Перспектива». 2009. 48 с.
80. Фоминова Н. С. Разработка и анализ стохастической и аппроксимационной моделей адаптивного тестирования для информационно-управляющих систем//ВАК.
81. Хлебников, В. А. Концепция объективного оценивания учебных достижений / В. А. Хлебников и др. // Вопросы тестирования в образовании- 2003.-№ 6.-С.8−20.
82. Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. Логос 2002.
83. Шадриков В. Д., Шеремет И. С. Информационные технологии в образовании: плюсы и минусы // Высшее образование в России. 2009. -№ 11. С. 61−65.
84. Шахтарин Б. И. Случайные процессы в радиотехнике. /Т.1. Линейные преобразования. М.: Горячая линия-Телеком, 2010. — 520 с.
85. Шмелев А. Г. Основы психодиагностики. М., Ростов-на-Дону: Феникс, 1996.
86. Юрьев Г. А. Распознавание символов на базе цепи Маркова // Психологическая наука и образование. 2010. № 5. С. 119−123.
87. Яргер Р., Риз Дж., Кинг Т. MySQL и mSQL. Базы данных для небольших предприятий и Интернета. СПб: Символ-Плюс, 2000 — 560 с.
88. Baker F.B. The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD, 2001.
89. Gregory R.J. Psychological testing: History, principles, and applications (5th edition). New York: Pearson, 2007.
90. Gulliksen H. Theory of Mental Tests. John Wiley & Sons Inc, 1950.
91. Kuravsky L. S., Malykh S. B. Application of Markov models for analysis of development of psychological characteristics. Australian Journal of Educational & Developmental Psychology, 2004, Vol 2, pp 29−40.
92. Kuravsky L.S. and Baranov S.N. Condition monitoring of the structures suffered acoustic fatigue failure and forecasting their service life. Proc. Condition Monitoring 2003, Oxford, United Kingdom, pp. 256−279, July 2003.
93. Kuravsky L.S. and Baranov S.N. Neural networks in fatigue damage recognition: diagnostics and statistical analysis. Proc. 11th International Congress on Sound and Vibration, St.-Petersburg, Russia, pp. 2929−2944, July 2004.
94. Kuravsky L.S. and Baranov S.N. The concept of multifactor Markov networks and its application to forecasting and diagnostics of technical systems. In: Proc. Condition Monitoring 2005, Cambridge, United Kingdom, pp. Ill -117, July 2005.
95. Linacre J. m., Wright B. D. (1998). BIGSTEPS: Rasch-model computer programs. Chicago, IL: Mesa Press.
96. Mills C. N., Stocking M. L. (1996). Practical issues in large-scale computerized adaptive testing. Applied Measurement in Education, 9(4), 287 394.
97. Netemeyer R. G., BeardenW. O., Sharma S. (2003). Scaling procedures. N.-Y.: Sage Publ.
98. Roweis, S. and Ghahramani, Z. A unifying review of linear Gaussian models. -Neural Computation, Vol. 11, No. 2, 1999, pp. 305−345.
99. Wright B.D., Masters G.N. Rating scale analysis. Rasch measurements. -Chicago: MESA Press, 1982.
100. Wright B.D., Stone M.N. Best Test Design. Chicago: MESA Press, 1979.