Исследование структуры колебаний в слабонеоднородных сетях нейронов, описываемых дифференциальными уравнениями с запаздыванием

1. Обзор основных направлений моделирования нейронных сетей.

Работа посвящена исследованию структуры колебаний в сетях импульсных нейронов.

Искусственные нейронные сети появились как попытка построить модель деятельности человеческого мозга. Нейронные сети состоят из элементов, возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы организованы в структуры, некоторым образом приближающие анатомию мозга.

Детальное изучение нейрона позволило выделить несколько основных его частей: тело клетки, древовидные отростки, единственный длинный называется аксоном, а остальные короткие — дендритами, синаптиче-ские связи, т. е. места контакта с другими нейронами. Количество нейронов в коре головного мозга оценивается приблизительно как 3 х Ю10, общее число нейронов как 1011, а количество синаптических связей примерно 1015. Скорость передачи импульсов между нейронами головного мозга оценивается как 0,5—2 м/с [1].

Э. Эдриан показал, что сенсорная информация передается в виде импульсов, т. е. кратковременных сигналов «все, или ничего"[2]. В соответствие с гипотезой, выдвинутой Д. Хеббом [3] и развитой Дж. Экклсом [4], нервные клетки генерируют импульсы в ответ на последовательности поступающих импульсов в зависимости от распределения синаптических весов, которые характеризуют эффективность соответствующих связей. Согласно синаптической теории сведения отражаются в структуре синаптических весов. Эта теория лежит в основе всех нейросетевых моделей.

В настоящее время не существует единой точки зрения на способы представления и хранения информации в мозге. В рамках современной науки можно условно выделить два подхода и соответственно два класса математических моделей нейронных сетей: частотные и фазово-частот-ные.

Первый подход основан на предположении о том, что состояние нейрона характеризуется частотой импульсации. Состояние ассоциации нейронов отражает распределение частот импульсации элементов. Фазовые отношения не учитываются. Изменение состояния возможно только в результате изменения воздействия. Направление можно назвать детекторным.

Его основы были заложены в середине XX века, когда У. МакКаллок и У. Питтс в 1943 году предложили общую теорию обработки информации, основанную на нейронных сетях, а в 1949 году О. Хеббом была разработана модель обучения нейронов человеческого мозга [3]. В 1958 году Ф. Розенблат и группа его коллег разработали примитивную модель работы мозга, названную ими персептрон (от слова perception — восприятие, понимание), и алгоритм обучения этой модели [б], [7].

В 1969 М. Минский и С. Пейперт в своей книге «Персептроны"детально проанализировали алгоритм обучения персептрона, предложенный Ро-зенблаттом, и показали, что модель имеет существенные ограничения. Например, однослойный персептрон в принципе не может решить проблему исключающего ИЛИ. Кроме того, было показано, что простота обучения, которая так привлекла исследователей, приводит к тому, что персептрон может распознавать только очень узкий класс свойств геометрических фигур. Исследовался вопрос о параллельных вычислениях. Авторами была высказана точка зрения, что аналогия подобных устройств с мозгом человека не совсем корректна. В целом была дана пессимистическая оценка дальнейшего развития персептронной модели [8]. Однако некоторые исследователи продолжали работать в этой области.

В 1982 году Хопфилд предложил модель ассоциативной памяти и исследовал некоторые свойства запоминания нейронных сетей [9]. В том же году Т. Кохонен предложил модель самоорганизующейся топологической карты, которая внесла существенный вклад в развитие нейронных сетей [10]. Сети Хопфилда до сих пор остаются популярной нейросетевой моделью, привлекающей внимание исследователей (например, [11], [12], [13]). Это связано со способностью сетей обеспечивать хранение и извлечение образов, т. е. служить моделью ассоциативной памяти.

В 1985 году несколько групп ученых почти одновременно пришли к идее обучения многослойных нейронных сетей прямого распределения. С этого момента началась новая волна интереса к искусственным нейронным сетям. Различные точки зрения в рамках детекторного подхода рассматриваются в [14], [15], [16].

На частотном или детекторном подходе основаны работы [9], [17], [18], [19] посвященные моделям сетей из операционных усилителей. Рассматриваемый элемент имеет несколько входов, на которые поступают сигналы от других подобных элементов. Эти сигналы суммируются с соответствующими весами, в зависимости от результата операционный усилитель однозначно формирует выходной сигнал. Сеть представляет собой множество связанных между собой элементов. Набор значений выходных сигналов всех элементов называется состоянием сети в каждый фиксированный момент времени. В процессе обучения (запоминания) в соответствующем фазовом пространстве формируется набор устойчивых состояний равновесия, которые и хранят информацию. В режиме воспроизведения под действием внешнего сигнала сеть попадает в бассейн притяжения одного из них. В итоге сеть «замирает"в состоянии равновесия. Таким образом, детекторные сети статичны, как и хранимая в них информация.

Фазово-частотный подход к хранению информации в мозге основан на возможности согласования работы нейронов не только в пространстве, но и во времени. Одно и то же воздействие, в зависимости от состояния нейрона, может привести или не привести к генерации импульса. Существует точка зрения, что кодирование информации является динамическим процессом, связанным с возникновением и разрушением ансамблей когерентно работающих нейронов [20], [21], [22]. Таким образом, кодирование информации сопровождается образованием волн нейронной активности и носителем информации может являться колебательный режим динамической системы. Подход можно назвать волновым.

Волновой подход моделируют сети с нестационарным поведением. Их можно разделить на два класса. В первом случае элементы сети не обладают собственной авторитмичностью, но вся система может функционировать в колебательном режиме. Примером такой сети является сеть Винера [23], которая служит для описания процесса распространения возбуждения по сердечной мышце. В работе [24] предложена конструкция, названная сетью W — нейронов, которая может запоминать и воспроизводить последовательность бинарных векторов. В режиме воспроизведения сети предъявляется часть последовательности. Колебательные режимы работы таких сетей рассмотрены в работах [25], [26]. По кольцевой структуре нейронных ассоциаций после специального выбора весов могут распространяться волны импульсов. Следует отметить, что W-нейроны функционируют в дискретном времени. В исследованиях [27], [28] развивается модель нейронной системы со стационарным поведением, для которой показано, что периодическое воздействие на общий вход ассоциативной сети — части системы — является неотъемлемым условием запоминания и воспроизведения информации.

Во втором случае рассматриваются нестационарные сети, состоящие из нейронных осцилляторов (автоколебательных элементов). Представлению информации в фазово-частотном виде на моделях таких сетей посвящены работы [29], [30], [31], [32]. Распределение фаз и амплитуд колебаний можно интерпретировать как код образа [33], [34]. Подробный обзор, посвященный сетям из осцилляторов близких к гармоническим, представлен в [35]. Спецификой постановки задачи обучения нестационарной нейронной сети является то, что следует распорядиться синапти-ческими весами так, чтобы система имела устойчивый режим работы с заранее заданным распределением фаз (стационарный, или более сложный) [36], [37]. Эту задачу в ряде случаев удается решить аналитически. Например, в [38], [37] указано правило выбора весов такое, что в сети будут наблюдаться режимы, при которых заранее заданная часть осцилляторов функционирует в фазе, а остальные в противофазе. В настоящее время тематика активно развивается [39], [40].

Однако, соотнося перечисленные выше модели с биологическими данными, нужно отметить что, колебания, близкие к гармоническим, не типичны для нервной системы. В нормальном состоянии нейроны — элементы нервной системы генерируют кратковременные импульсы — спайки. Связь между нейронами осуществляется с помощью передачи импульсов. Кроме того, в нервной системе как отдельные нейроны, так и нейронные ассоциации обладают свойством абсолютной и относительной рефрактерности (невосприимчивости, или слабой восприимчивости к внешнему воздействию). В частности, биологический нейрон во время генерации спайка и на некотором промежутке времени после спайка неспособен (или почти неспособен) воспринимать воздействие. Тем самым, процесс взаимодействия неоднороден во времени. В моделях, основанных на близких к гармоническим осцилляторах, предполагается «одно-родность"во времени взаимодействия нейронных осцилляторов. Рефрак-терность учитывается в [23], [34], [41] (естественно, не в рамках гармонического приближения). В этой связи важное значение с точки зрения адекватности математических моделей биологическим данным приобретают модели, основанные на осцилляторных элементах, далеких от гармонических.

Систематическое описание типов таких элементов и обзор некоторых результатов по организации колебаний в соответствующих сетях приведены в работах [42], [43]. Автоволновые процессы в автоволновых средах рассматриваются и сопровождаются подробной библиографией в [44]. Широкий обзор моделей динамики нейронной активности представлен в [45].

В работе [46] предложена и исследована модель нейронной сети, в которой ее состояние описывается пространственным распределением плотностей случайных бинарных потоков, генерируемых нейронами. На входах каждого нейрона потоки по определенному правилу смешиваются со случайными потоками, исполняющими роль синаптических весов. В зависимости от суммарного входного потока формируется выходной поток нейрона.

Моделям нестационарных сетей посвящены работы [47], [48]. В них элементами сетей являются нейроны со стохастической динамикой. Показано, что данные сети выгодно отличаются от классических в плане борьбы с ложными образами (незапланированными состояниями).

В работах [49], [50], предложено уравнение с запаздыванием для ос-цилляторного нейронного элемента, колебания которого весьма далеки от гармонических. В публикациях [50 — 55] представлен цикл работ, посвященный актуальной теме — разработке моделей нейронных сетей, не имеющих равновесных состояний. При этом колебательные режимы в нейронных сетях интерпретируются как образы. На основе физиологических представлений предложена модель нейронной среды, способной хранить информацию, представленную в волновом виде. Система уравнений с запаздыванием, описывающих нейронную популяцию допускает возможность не только компьютерного, но и аналитического исследования с помощью асимптотических методов. Показано, что в кольцевой популяции из нейронных модулей без подстройки весов временно могут храниться последовательности импульсов (модель кратковременной волновой памяти).

В работе [56] обсуждались пути возможного развития модели. Они основаны на детализации схемы взаимодействия биологических нейронов. Считается [57], что во время спайка нейрона медиаторы на прилегающих к нему синапсах разрушаются, а в дальнейшем механизм выделения медиаторов некоторое время угнетен. При моделировании взаимодействия нейронов можно принять гипотезу о том, что во время рефрактерного периода медиатор в синапсах нейрона-приемника не выделяется. Интерес представляет еще один аспект. В моделях [49] считалось, что медиатор присутствует только в течение спайка нейрона-передатчика. Для биологических нейронов промежуток времени, в течение которого ощутимо влияние медиатора, имеет большую длительность.

Данная идея использовалась в работах [58], [59], [60] применительно к сетям нейроподобных элементов, схема функционирования которых имитирует импульсные нейроны. В работах рассматривались однородные полносвязные сети. Доказано следующее утверждение. Нейроны совершенно произвольно нумеруются. При этом считается, что за последним следует первый нейрон. Существует устойчивый колебательный режим функционирования сети, при котором спайки следуют в порядке возрастания номеров нейронов. Далее, множество нейронов можно разбить на систему непересекающихся подмножеств, которые произвольно нумеруются (в цикле за последним следует первое подмножество). Существует аттрактор, в котором спайки нейронов происходят в порядке возрастания номеров подмножеств. Внутри каждого подмножества нейроны функционируют синхронно. Таким образом, сети являются гибкими системами для хранения последовательностей импульсов. Данные результаты можно перенести на сети импульсных нейронов.

Перечисленные выше факты послужили основой для создания модели взаимодействия нейронов, основанной на дифференциальном уравнении с запаздыванием. Следует отметить существенные отличия модели от рассмотренной в [49], [50]. Во-первых, увеличивается время жизни медиатора, во-вторых учитывается особенность выделения медиатора в то время, когда нейрон находится в рефрактерном состоянии. Это приводит к новым эффектам в поведении решений и организации колебаний нейронных систем. Полученные результаты являются актуальными, поскольку:

1. Процессы распространения волн импульсов в моделях нейронных сетей изучены еще недостаточно.

2. Открываются перспективы развития новых подходов к проблеме обработки информации, которые связаны с тем, что ее носителем может являться не статическое распределение битовой величины, а колебательный режим динамической системы или ансамбля систем (идеи нелинейной динамики). Результаты исследования согласуются с биологическими данными, поэтому модель взаимодействия нейронов и соответствующие сети могут служить достаточно удобными объектами для организации такого рода режимов.

Представленные в диссертации исследования проведены в рамках волнового подхода к проблеме обработки информации. Аттрактор интерпретируется как образ — отражение некоторой информации. Характер исследований определялся поставленными в работе целями: используя физиологические предпосылки, разработать модель взаимодействия нейронов, основанную на дифференциальном уравнении с запаздыванием, и, на ее основе, исследовать системы, способные хранить информацию в волновом видеизучить вопросы строения и планирования колебательных режимов систем.

Научная новизна работы заключается в следующем: предложена новая модель взаимодействия нейронных элементов, достаточно детально отражающая некоторые биологические характеристики природного нейронаподробно рассмотрен метод анализа системы нейронных элементов, позволяющий выбирать параметры модели так, чтобы она имела аттракторы заранее заданной структуры, предложены и исследованы сети, состоящие из импульсных нейроновпоказано, что эти сети можно эффективно использовать для хранения информации в волновом виде.

Исследования позволили решить важные конкретные задачи. Наибольшии интерес из них представляют следующие положения:

1. Система нейронов способна хранить и воспроизводить заранее заданную периодическую последовательность импульсов (возможность хранения).

2. Изучены режимы самоорганизации в однородных и слабо неоднородных полносвязных сетях. Показано, что без подстройки синаптиче-ских весов сеть может бесконечно долго хранить разнообразные последовательности импульсов.

В силу специфики задачи на первый план выходят методы асимптотического интегрирования дифференциальных уравнений с запаздыванием, методы имитационного моделирования, нелинейной динамики, методы исследования разностных уравнений. Анализ биологических данных позволяет выбрать в фазовом пространстве множество начальных условий. Строится оператор последования, описывающий динамику системы. Доказывается-, что он переводит выбранное множество начальных условий в себя. В итоге, задача сводится к анализу конечномерного отображения.

Работа носит теоретический характер. Результаты могут быть использованы для моделирования проведения волны возбуждения в нейронных структурах. Они могут найти применение при создании новых сред для обработки информации, представленной в виде колебательных режимов динамических систем.

Результаты работы были представлены на всероссийских научно-технических конференциях «Нейроинформатика-2001», «Нейроинформати-ка-2002», «Нейроинформатика-2003», на 9-ом и 10-м Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2001, 2002).

По теме исследования опубликовано 10 статей.

Заключение

.

В работе предложена модель взаимодействия импульсных нейронов, основанная на дифференциальных уравнениях с запаздыванием. Она достаточно детально отражает ряд свойств биологических нервных клеток. Уравнение для мембранного потенциала нейрона допускает аналитическое исследование при помощи специального метода пошагового асимптотического интегрирования. Исследовалось поведение модели под периодическим влиянием пачки внешних импульсов.

Рассмотрены вопросы строения и планирования колебательных режимов в сетях описанных импульсных нейронов. Исследовалось распространение волны возбуждения в однородной полносвязной сети, где нейроны произвольно разбиты на три попарно непересекающихся множества. Рассмотрено обобщение этой задачи, когда сеть разбивается на N > 3 попарно непересекающихся множеств. Изучены аналогичные режимы работы в слабо неоднородной полносвязной сети нейронов. Рассмотрен вопрос о проведении возбуждения по кольцу, образованному импульсными нейронами. Получены асимптотические формулы для временных промежутков между спайками нейронов.

Подробно описан метод анализа систем импульсных нейронов, позволяющий выбирать параметры модели так, чтобы она имела аттракторы заранее заданной структуры.

Получены следующие результаты:

1. Система нейронов способна хранить и воспроизводить заранее заданные периодические последовательности импульсов (возможность хранения).

2. Изучены режимы самоорганизации в однородной полносвязной сети.

Показано, что без подстройки синаптических весов сеть может бесконечно долго хранить разнообразные последовательности импульсов.

3. Исследованы колебательные режимы в слабо неоднородной полносвязной сети импульсных нейронов.

Автор хочет поблагодарить научного руководителя работы В. В. Майорова за постоянное внимание и полезные советы, Г. В. Шабаршину и С. Е. Ануфриенко за всестороннюю поддержку и содержательные обсуждения.