Исследование и разработка генетических методов и алгоритмов инструментальных средств систем поддержки формирования и обучения нейронных сетей

В настоящее время существенное внимание уделяется разработке специализированных нейрокомпьютеров, предназначенных для решения задач большой размерности и трудно формализуемых задач, с которыми плохо справляются компьютеры предыдущих поколений. Нейрокомпьютеры обладают целым рядом свойств, привлекательных с точки зрения их практического использования:

— способность к распознаванию образов в условиях сильных помех и искажений;

— сверхвысокое быстродействие за счет использования массового параллелизма обработки информации;

— толерантность к ошибкам: работоспособность сохраняется при повреждении значительного числа нейронов. Нейронные сети обеспечивают решение сложных задач за времена порядка времен срабатывания цепочек и/или оптических элементов. Решение слабо зависит от неисправности отдельного нейрона;

— способность к обучению: программирование вычислительной системы заменяется обучением.

Теория нейронных сетей постоянно развивается, однако, успехи в решении двух основных проблем: выбор структуры сети и параметров обучения сетей, пока еще не очень большие. Большинство правил в этой области эмпирические, и они были получены экспериментальным путем. Высокий уровень параллелизма архитектур нейронных сетей, нелинейность и адаптивные свойства порой приводят к выводу, что использование нейронных сетей в больших масштабах в ближайшее время будет ограничено. Обсудим причины, которые являются основанием иногда встречающихся сомнений по отношению к перспективности развития нейрокомпьютерной техники:

1. Учитывая невозможность обработки огромного количества сетевых архитектур (даже для простых приложений), большинство из них не используются в исследованиях.

2. Оценка конкретной архитектуры сети зависит от конкретной задачи, которую она решает.

3. Отсутствуют способы целенаправленного синтеза нейронных сетей в соответствии с предъявляемыми требованиями, например, быстрое обучение и/или слабая связность и/или высокая точность.

4. Для достижения наилучших результатов, используется метод проб и ошибок. Большинство приложений использует простые структуры, значения обучающих параметров берутся с запасом. На самом деле структурные параметры при конструировании нейронных сетей не учитываются. Это тоже недостаток, т.к. наиболее эффективные нейронные сети должны использовать различные способы структурной специализации.

5. Полученная нейронная модель при заданных начальных условиях должна быть оптимизирована с целью удовлетворения предъявляемых к ней требованиям. Следует заметить, что задача оптимизации нейронных сетей для заданных критериев качества, в свою очередь, является достаточно сложной проблемой «большой размерности». Для ее решения необходимо рассмотреть большое количество переменных, как дискретных, так и непрерывных, и учесть их сложное взаимодействие между собой.

6. Как правило, оценка работы нейронной сети требуется проведение экспериментальных исследований по предъявлению входных последовательностей, получению выходных последовательностей и, затем анализу закономерностей поведения такой сети, т.к. начальные условия формирования нейронной сети задаются случайным образом.

Указанные проблемы требуют решения. Для изучения закономерностей, которые помогут развитию теории нейронных цепей, необходимо создание интеллектуальных инструментальных средств конструирования нейронных сетей. Такие средства должны автоматизировать процесс выбора нейронной сети в зависимости от решаемой задачи и критериев.

Существует множество способов задания параметров для организации и функционирования нейронной сети. Проблема представления архитектуры нейронных сетей является одной из важнейших проблем в современной теории нейрокомпьютинга. Решение данной проблемы требует решения многокритериальной задачи, учитывающей такие параметрами, как количество слоев нейронной сети, количество нейронных элементов в слое, допустимое количество обратных связей, степень связность между двумя слоями, скорость обучения, количество ошибок при обучении и другие.

В идеале система должна содержать все потенциально «интересные» нейронные сети, исключая, сетевые структуры, которые не имеют практической значимости. С другой стороны, необходимо сократить пространство поиска архитектур нейронных сетей, при этом, не отбросив ценные варианты нейронных структур. Другими словами инструментальные средства, с одной стороны, не должны слишком сужать пространство поиска, а, с другой, не должны позволять распространяться поиску во все стороны.

Из сказанного следует, что решение задачи создания и использования инструментальных средств моделирования нейронных сетей содержит в себе потенциальные трудности задачи различения информации при принятии решений. Следует заметить, что значению (значимости) информации было посвящено много исследований, т.к. исследование влияния информации на различение не только обогащает наши знания о природе самой информации, но вносит определенный вклад в саму теорию принятия решений. В этих исследованиях отмечалось, что понятие неопределенности cumyaifuu полезно подразделить на случайность и нечеткость. Так теория информации Шеннона и теория статистических решений изучают зависимость информации от случайности. В качестве другого подхода к исследованию проблемы различения предлагается использовать меру эффекта различения информации о нечетких объектах. По этой причине целесообразным является применение подходов по принятию решений в условиях неопределенности для различения альтернатив и объектов с целью сокращения пространства поиска требуемых нейронных структур с помощью инструментальных средств. Другими словами, инструментальные средства моделирования нейронных структур должны создаваться в ориентации на современные подходы синтеза систем поддержки принятия решений. В свою очередь, задачи принятия решений имеют много характерных особенностей:

1. Многоцелевой характер. При решении сложных задач приходится стремиться к достижению различных целей. Эти цели почти всегда противоречивы. Продвижение по пути достижения некоторой цели обычно сопровождается ухудшением результатов по другим.

2. Воздействие фактора времени. Важные последствия решения задачи не проявляются сразу и нельзя указать конкретный момент времени, когда можно наблюдать, то или иное последствие.

3. Неопределенность. Маловероятно, что в момент принятия решения (то есть выбора конкретного варианта альтернативного действия) известны последствия каждой из альтернатив.

4. Не формализуемые понятия. Такие понятия человеческого фактора, как добрая воля, престиж, волнение, политические взгляды и другие являются очень важными не формализуемыми понятиями, которые существенно усложняют задачу принятия решений.

5. Возможности получения информации. Информация, на основе которой принимается решение, может быть не вполне достоверной. Получение новой информации, помогающей выбрать одно действие из множества альтернативных, может потребовать неприемлемых затрат.

6. Динамические аспекты процесса принятия решений. После выбора некоторого решения, может оказаться, что решение задачи не исчерпано до конца и потребуется принять очередное новое решение. Важно распознать заранее динамические аспекты проблемы и увидеть, какие возможности могут открыться или, наоборот, исчезнуть в будущем, благодаря данному решению.

7. Влияние решений на группы. Некоторая выбранная альтернатива может повлиять на большое количество различных групп. Очевидно, что в такой ситуации были бы полезны любые сведения, способные оказать помощь лицу, ответственному за принятие решения.

8. Коллективное принятие решений. Часто ответственность за выбор альтернативы несет не отдельное лицо, а целая группа. Другими словами, для некоторых решений нельзя четко разграничить функции и ответственность лиц, принимающих решение по некоторому кругу вопросов.

Как правило, различные задачи не обладают всеми выше перечисленными особенностями. Однако достаточно иметь только нескольких подобных задач, чтобы сделать задачу принятия решений трудно разрешимой. Из приведенного ограниченного списка задач следует, что их решение — выбор альтернатив и принятие решений определяется двумя факторами: представлениями и предпочтениями лица, принимающего решение (ЛПР). Однако многочисленные психологические исследования показывают, что сами ЛПР без дополнительной аналитической поддержки используют упрощенные, а иногда и противоречивые решающие правила. Более того, следует отметить, что признанием фактора объективности ЛПР в принятии решения нарушен фундаментальный принцип методологии исследования операций: поиск объективно оптимального решения. Признание права ЛПР на субъективность решения есть признак появления новой парадигмы, характерной для другого научного направления — принятия решений при многих критериях.

Влияние и значимость человеческого фактора на процесс принятия решений ЛПР накладывает отпечаток на развитие современной теории принятия решений. Такая теория базируется на позиции здравого смысла и попытке формализации совокупности ниже перечисленных четырех действий, характерных для человека при принятии им решений:

1. Определение множества альтернативных способов действия.

2. Оценка возможных последствий для каждого из выбранного множества действий.

3. Оценка полезности и ранжирование соотношений «действиепоследствие».

4. Выбор варианта действия — принятие решения.

В современных условиях информационных перегрузок и быстротечности протекания информационных процессов принятие решений осуществляется на основе человеко-машинных процедур в виде циклического процесса взаимодействия человека и компьютера. Действиепринятие решения предварительно анализируется и формируется информационной системой, которая выполняет функции эксперта и искусственного интеллектуального подсказчика разумного ограниченного множества действий. Применение СППР не исключило право принятия решения и меру ответственности за человеком, но отразило практическую значимость и необходимость создания человеко-машинных процедур для решения задач выбора альтернативных действий.

Однажды созданная система СППР с точки зрения принципа здравого смысла, несомненно, будет вносить элемент эффективности действий ЛПР при его оперативной работе в нештатных ситуациях, характеризующихся той или иной долей неопределенности. Однако никакая система СППР не может отразить субъективность каждой личности, работающей с такой системой. Одним из способов разрешения данного противоречия можно достичь за счет усиления зависимость человека в своих действиях от практических результатов работы технических систем. Другими словами, сложность решаемых задач выдвигает повышенные требования к интеллектуализации технических средств систем поддержки принятия решений.

В качестве таких технических средств могут служить нейро-нечеткие системы, которые позволяет учесть субъективные (экспертные) знания о человеке для оптимизации параметров нейронной сети на основе объективных данных, определяющих эффективность работы данной системы. Субъективные знания определяются набором лингвистических правил функционирования искусственной нейронной сети, параметрами связности и параметрами настройки элементов этой сети. Другими словами структура нейро-нечеткой системы задает некоторую стратегию, посредством которой будет достигаться цель системы — управление человеко-машинным комплексом. При этом предварительно заданные параметры нейросети (заложенная субъективность) уточняются в процессе обучения нейронной сети на реальных (объективных) данных. В результате объективная оценка эффективности функционирования нейро-нечеткой системы является оптимизационным критерием. Эффективность нейро-нечеткой системы определяется выбором обучающего алгоритма нейронной сети. Многомерная оптимизация такой системы может быть решена с помощью генетического алгоритма, который является эффективным классом эволюционных алгоритмов и позволяет осуществить поиск оптимального решения.

Из сказанного выше следует взаимосвязь двух предметных областей: нейрокомпьютинга и систем принятия решений. С одной стороны, для развития теории нейронных сетей необходимо создание инструментальных средств, использующих методологию синтеза систем поддержки решений. С другой стороны, современные требования по усилению интеллектуалицации систем поддержки принятия решений приводят к необходимости использования нейро-нечетких систем.

Целью диссертационной работы является разработка методов и алгоритмов инструментальных средств системы поддержки принятия решений по формированию и обучению нейронных сетей с помощью генетического алгоритма.

В соответствии с поставленной целью в диссертации решаются следующие задачи:

1 .Исследование человеко-машинных процедур и разработка модели системы поддержки принятия решений на основе сочетания нейронных и генетических технологий.

2.Исследование генетических алгоритмов для решения задачи выбора предпочтений, определяемых многокритериальным вектором альтернатив архитектур нейронных сетей.

3. Разработка принципов построения нейро-генетических инструментальных средств формирования и обучения нейронных сетей.

4.Разработка генетического метода и алгоритмов формирования и обучения нейронных сетей на основе эволюционной парадигмы.

Основные положения, выносимые на защиту:

1. Синтетическая нейронная модель системы поддержки принятия решений.

2. Универсальный базис представления архитектур нейронных структур, ориентированный на метод эволюционного поиска.

3. Многоуровневая технология построения инструментальных средств для формирования и обучения нейронных сетей.

4. Генетический алгоритм формирования и обучения нейронных сетей.

Новые научные результаты работы:.

1. Предложен подход к построению нейро-генетических инструментальных средств систем поддержки принятия решений на основе синтетической нейронной модели, которая позволяет вырабатывать стратегию воздействия на объект или предоставлять рекомендации лицу, принимающему решение.

2. Разработан универсальный базис представления нейронной сетевой архитектуры в виде битовой последовательности, которая является сложным способом кодирования информации о параметрах нейронной сети и может рассматриваться в качестве хромосомы, что позволяет автоматизировать процесс формирования и обучении нейронных сетей на основе генетических алгоритмов.

3. Предложены генетические операторы локального поиска, позволяющие анализировать различные фрагменты нейронных сетей, производить обмен строительных блоков под действием операторов репродукции и кроссинговера и объединять решения из разных популяций с лучшим значением целевой функции.

4. Разработана многоуровневая технология построения инструментальных средств для формирования и обучения нейронных сетей на основе кооперирования глобальных и локальных генетических операторов, позволяющих вести обработку хромосом и сужать пространство поиска в соответствии с оценкой целевой функции.

5. Разработан генетический алгоритм формирования и обучения нейронных сетей с многоэкстремальными целевыми функциями, ориентированный на увеличение скорости обучения нейронных сетей путем «выбивания» сети из локального минимума с большим значением целевой функции на основе совмещение процедур случайного и направленного поиска.

Практическая ценность работы.

1. Предложенная синтетическая нейронная модель в сочетании с динамическим объектом может быть использована для построения адаптивных систем, которые самостоятельно могли бы улавливать изменения в объекте, вырабатывать оптимальную стратегию взаимодействия с внешней средой и учитывать субъективные знания для оптимизации параметров на основе объективных данных, определяющих эффективность работы системы.

2. Разработанная технология создания нейро-генетических инструментальных средств позволяет проектировать программно-аппаратные и имитационные модели человеко-машинного интерфейса для задач обработки больших оперативных информационных потоков реального времени.

Использование результатов работы. Материалы диссертации использованы в работах факультета информационной безопасности ТРТУ (г. Таганрог), научно-исследовательского института технологий комплексной безопасности ТРТУ (г. Таганрог). Акты использования научных результатов, полученных в диссертационной работе, приведены в приложении.

Апробация работы.

Основные результаты диссертационной работы были представлены и обсуждались на следующих конференциях:

Международной научно-технической конференции и молодежной научной конференции «Интеллектуальные САПР — 99», г. Геленджик;

Первой Международной научной конференции «Искусственный интеллект-2000», п. Кацивели, Крым;

Всероссийской научно-технической конференции «Медицинские информационные системы — МИС-2000», г. Таганрог;

Третьей региональной конференции «ГИС для муниципального управления 2000», г. Таганрог;

Международной научно-технической конференции и молодежной научной конференции «Интеллектуальные САПР — 2000», г. Геленджик;

Седьмой Национальной конференции по искусственному интеллекту КИИ-2000, г. Переславль-Залесский;

Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности 2001», г. Таганрог.

Публикации. По материалам диссертации опубликовано 11 печатных работ.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературных источников из 115 наименований на 11 страницах и приложения. Основное содержание работы изложено на 153 страницах текста, из которых 26 страниц являются иллюстрациями и таблицами.

4.5. Выводы.

1. Использование нейронных структур в качестве базовой структуры для хранения информации позволяет стандартизировать процедуры построения системы принятия решений, в основе которых лежит алгоритм обучения нейронных сетей на множестве образов из обучающей выборки.

2. Основной проблемой при этом подходе становится выбор качественного и количественного состава образов из числа имеющихся. Такой выбор должен обеспечить, с одной стороны, высокий процент верных классификаций после обучения нейронной сети, а с другой — сократить машинные затраты на построение системы, исключив из выборки малозначимые образы, с точки зрения процедуры обучения нейронных сетей.

3. Совмещение процедур случайного и направленного поиска позволяет нахождение оптимального решения за счет учета нескольких вариантов решения, которые случайным образом заполняют область допустимых решений задачи.

Заключение

.

В диссертационной работе решена поставленная научная задача: разработаны модель, методы и алгоритмы нейро-генетических инструментальных средств формирования и обучения нейронных сетей на основе эволюционного поиска. Основные результаты диссертационной работы заключаются в следующем.

1. Предложена синтетическая нейронная модель, которая позволяет строить инструментальные средства моделирования нейронных структур в ориентации на современные подходы синтеза систем поддержки принятия решений. Многомерная оптимизация такой системы достигается с помощью генетического алгоритма, который является эффективным классом эволюционных алгоритмов и позволяет осуществить поиск оптимального решения.

2. Разработан метод представления архитектур нейронных структур, ориентированный на эволюционную парадигму, что позволяет разработку автоматизированных систем поддержки принятия решений для формирования и обучения архитектур нейронных сетей, анализа результатов поведения нейронной сети, выбора начальных условий в соответствии с заданными критериями ее поведения.

3. Исследованы генетические алгоритмы для решения задачи выбора предпочтений, определяемых многокритериальным вектором альтернатив. Предложены нейросетевые генетические операторы локального поиска, позволяющие создание многоуровневых генетических алгоритмов формирования и обучения нейронных сетей с различной архитектурой.

4. Разработаны системные принципы и многоуровневая технология моделирования нейронных сетей на основе генетических алгоритмов, использование которой выполнено для целей ускорения решения оптимизационных задач при формировании и обучении нейронных синтетических моделей адаптивных систем.

5. Разработана технология создания нейро-генетических инструментальных средств, которая позволяет проектировать программно-аппаратные и имитационные модели человеко-машинного интерфейса для задач обработки больших оперативных информационных потоков реального времени в ориентации на субъективные знания и обьективныек данные, определяющие эффективность работы системы в целом.

6. Разработан комплекс алгоритмов и программ, позволяющих на основании эволционно-генетического поиска решать оптимизационные задачи при формировании и обучении нейронных сетей.