Итерационное моделирование неполных данных с помощью многообразий малой размерности

IV. 1. Факторный и кластерный анализ административных территорий Красноярского края по показателям здоровья и здравоохранения 87.

1У.2. Таблица результатов выборов президентов США.91.

1У.З. Верификация связей между двумя динамическими системами. 96.

IV.4. Сочетанные поражения проводящей системы сердца.98.

ЗАКЛЮЧЕНИЕ

100.

ЛИТЕРАТУРА

102.

Актуальность проблемы.

Практически любое научное исследование связано со сбором и обработкой данных, в большинстве случаев структурируемых в виде таблиц. Достаточно часто таблицы содержат пробелы (пустые ячейки), возникающие вследствие невозможности наблюдения, отсутствия необходимых инструментов и т. п. Кроме пробелов, по тем же причинам, а также из-за неточных входных данных, из-за погрешностей, вносимых на отдельных этапах вычислений, погрешностей самих методов вычислений, данные могут содержать искаженные значения (например, случайный шум).

Большинство известных методов анализа данных не могут обрабатывать такую информацию. Иногда на место пропущенных значений можно попытаться поставить среднее значение данного показателя по всей таблице, либо исключить из таблицы показатель (столбец) или объект (строку) с пробелом. Но и то, и другое приводит к потере информации или к ее значительному искажению, а иногда и вообще делает решение задачи невозможным.

Несмотря на перечисленные трудности, данные нуждаются в обработке. Поэтому явно или неявно возникает необходимость в процедуре заполнения пропусков и ремонта (здесь и далее под «ремонтом» подразумевается поиск и исправление неправдоподобных значений) данных — процедуре предобработки.

Следует особо подчеркнуть, что, рассматривая данные проблемы, невозможно говорить ни об истинных значениях данных, ни даже о статистической доказательности, но только о правдоподобии. Особую трудность (и в то же время особый интерес) описанные задачи имеют в тех случаях, когда плотность пробелов высока, расположены они нерегулярно, а данных немного, например, число строк таблицы примерно равно числу столбцов.

Рассматривая множество данных как набор точек (линейных многообразий при наличии пропусков) в пространстве, можно строить их линейные и нелинейные приближения — модели, с помощью которых можно восстанавливать имеющиеся пробелы и ремонтировать данные.

Кроме этого, такие модели позволяют проводить дополнительные эксперименты, которые по тем или иным причинам невозможны с реальным объектом исследования. В частности, представляет большой интерес задача оценки правдоподобности полученных данных.

В настоящем исследовании описывается новый метод моделирования неполных данных с помощью последовательности кривых, обобщающий метод главных компонент. Он также может быть интерпретирован как процедура сингулярного разложения матриц с пробелами. Обсуждаются три версии метода, которые имеют ясную физическую интерпретацию: а) линейный — с моделированием данных последовательностью линейных многообразий малой размерностиб) квазилинейный — с построением «главных кривых» (или «главных поверхностей»), однозначно проектируемых на линейные главные компонентыв) существенно нелинейный — основанный на построении «главных кривых» («главных струн и балок») с использованием вариационного принципаитерационная реализация этого метода близка методу самоорганизующихся карт Кохонена.

Все полученные зависимости, кроме линейной, нуждаются в экстраполяции, которая производится с помощью формул Карлемана. Метод трактуется как построение нейросетевого конвейера, решающего следующие задачи: а) заполнение пробелов в данныхб) ремонт данных — корректировка значений исходных данных так, чтобы наилучшим образом работали построенные моделив) построение вычислителя, заполняющего пробелы в поступающей на вход строке данных (в предположении, что данные о новых объектах связаны теми же самыми отношениями, что и в исходной таблице).

Цель работы.

Целью работы является разработка и экспериментальная проверка технологии итерационного моделирования неполных данных с помощью многообразий малой размерности.

Для достижения цели исследования необходимо решить следующие задачи:

— разработка метода итерационного моделирования неполных данных с помощью линейных, квазилинейных и самоорганизующихся многообразий малой размерности и метода использования полученных моделей для.

II и ^ заполнения пропусков и ремонта искаженных значении;

— разработка методологии нейронного конвейера, заполняющего пропуски в данных и ремонтирующего искаженные значения;

— разработка программного продукта, реализующего предлагаемые технологии и методы;

— экспериментальная проверка при решении реальных задач заполнения пропусков и «ремонта» неполных данных.

Научная новизна.

Результаты диссертации являются новыми, в частности, впервые предложена технология итерационного моделирования неполных данных, позволяющая заполнять пропуски и ремонтировать искаженные значения. При этом описываются три версии метода (линейная, квазилинейная и существенно нелинейная), имеющие ясную физическую интерпретацию. Предложена методология нейросетевого конвейера, решающего задачи обработки неполных данных. Реализованы и проверены на практике программные продукты, реализующие метод итерационного моделирования неполных данных с помощью многообразий малой размерности.

Практическая значимость.

Разработанная в диссертации технология итерационного моделирования неполных данных с помощью многообразий малой размерности предназначена для решения широкого спектра задач, связанных с обработкой неполных данных.

Разработанные в рамках технологии методы ориентированы на следующее применение:

— построение итерационной модели данных, не накладывающей практически никаких ограничений на количество и расположение пробелов в данных;

— предоставление пользователю инструментов, позволяющих заполнять пробелы в данных, обнаруживать и исправлять искаженные (неправдоподобные) значения.

Реализация результатов.

Разработанные в диссертации методы реализованы в программных продуктах FAMaster и ModelAnalyzer. Имеется 9 актов о внедрении программ в пробную эксплуатацию.

Апробация работы.

Основные положения работы докладывались и обсуждались на VI, VII и VIII Всероссийских семинарах «Нейроинформатика и ее приложения», (Красноярск, 1998, 1999 и 2000 гг.), Международной научно-технической конференции «Нейронные, реляторные и непрерывнологические сети и модели» (Ульяновск, 1998 г.),' Всероссийских научно-технических конференциях «Нейроинформатика» в рамках научных сессий МИФИ (Москва, 1999 и 2000 гг.), XII Международной конференции по нейрокибернетике (Ростов-на-Дону, 1999 г.), V международной конференции «Математика. Компьютер. Образование» (Дубна, 1998 г.). Работа отмечена дипломом 1-ой степени на XXXVII международной научной студенческой конференции «Студент и научно-технический прогресс»: Информационные технологии (1999 г, Новосибирск). Разработанные программные продукты FAMaster и ModelAnalyzer демонстрировались на этих конференциях.

По теме диссертации автором опубликовано 14 печатных работ и 6 тезисов докладов.

Структура диссертации.

Диссертация состоит из введения, четырех глав и заключения, а также приложений и списка цитируемой литературы из 86 наименований, содержит 14 рисунков и 4 таблицы. Общий объем диссертации (с учетом иллюстраций) составляет 121 страницу.

Выводы:

1. Кластеризация регионов с учетом главных компонент позволила выделить 5 кластеров, четко различающихся по соотношению затрат, обеспеченности кадрами и здоровья населения.? Затраты '" «? Здоровье ¦ Кадры Н «1 1 1 к I. л-Ш. 1.

Кластер 1 Кластер 2 Кластер 3 Кластер 4 Кластер 5.

2. Корреляционный анализ совокупных показателей здоровья и обеспеченности кадрами с показателем затрат на 1 жителя выявил гораздо большую взаимосвязь здоровья населения с обеспеченностью кадрами (коэффициент корреляции 0.75) по сравнению с уровнем затрат (коэффициент корреляции 0.38).

3. Полученные результаты позволяют планировать дальнейшее изучение типичных групп регионов с целью более детального выяснения причин, приведших к наблюдающейся ситуации и прицельно искать методы повышения эффективности управления системой здравоохранения в Красноярском крае.

4. Использованная в работе технология, включающая комбинацию двух математических методов, может быть применена для анализа систем здравоохранения в крупных регионах России, а также, возможно, для анализа функционирования различных объектов системы здравоохранения (ЛПУ, город).

Заключение

.

В диссертационной работе разработан метод, который применим для заполнения пробелов и ремонта данных с пробелами. Представлены три различные вариации метода, начиная с простейших линейных моделей и заканчивая методом главных кривых для данных с пробелами. Нейросетевая реализация метода позволяет легко строить его параллельные реализации.

Приведенный алгоритм заполнения пробелов не требует их предварительного априорного заполнения — в отличие от многих других алгоритмов, предназначенных для той же цели. Однако он требует предварительной нормировки («обезразмеривания») данных — перехода в каждом столбце таблицы к «естественной» единице измерения. Важное замечание — в задаче обработки данных с пробелами невозможно перейти к однородной задаче центрированием данных.

Большой интерес вызывает вопрос: сколько слагаемых (главных кривых) следует брать для обработки данных? Существует несколько вариантов ответов, но большинство из них подчиняется эвристической формуле: число слагаемых должно быть минимальным среди тех, что обеспечивают удовлетворительное (терпимое) тестирование метода на известных данных. Такой принцип «минимальной достаточности» характерен для многих нейросетевых приложений [32, 33, 47].

Разработанный метод выступает в форме некоторого «анзатца» -предложения, а не в виде серии теорем. Это не случайно — предлагается технология построения правдоподобных оценок пропущенных данных, а не их неизвестного истинного значения. Практическая ценность методов такого рода должна оцениваться и взвешиваться пользователями технологии. Разработано соответствующее программное обеспечение. Оно хорошо зарекомендовало себя при решении трудных задач с большим числом пропущенных данных, а в более простых (стандартных) случаях приводит к тем же результатам, что и классические методы статистического анализа.

В итоге основными результатами работы можно считать следующие.

1. Для решения задачи заполнения пропусков и ремонта искаженных данных разработан метод итерационного моделирования неполных данных с помощью многообразий малой размерности. Приведены три вариации метода: начиная с простейших линейных многообразий, продолжая построенными на их основе квазилинейными многообразиями и заканчивая методом главных кривых для данных с пробелами.

2. Для параллельной реализации метода итерационного моделирования данных с пробелами разработан способ построения нейронного конвейера, решающего задачи заполнения пробелов и ремонта данных.

3. Разработаны программные продукты FAMaster и Model Analyzer, реализующие предложенные технологии.

4. Численные эксперименты показали высокую эффективность итерационного моделирования неполных данных с помощью многообразий малой размерности. Метод хорошо зарекомендовал себя при решении трудных задач с большим числом пропущенных данных, а в более простых (стандартных) случаях приводит к тем же результатам, что и классические методы статистического анализа.