Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями

Общая характеристика работы.

Актуальность работы. Всюду, где в математических моделях имеются узлы и связи между ними, есть основания рассматривать их как нейронные сети. В многочисленных теориях узлы (нейроны) представляют природные объекты [26], блоки компьютерных программ [76], личности [64] и, наконец, собственно нейроны в живых организмах [32] или искусственных нейронных сетях [33]. Взаимодействие узлов в нейронной сети зависит от архитектуры и свойств её связей. Важной характеристикой сети является запаздывание во взаимодействии нейронов. Первые исследователи нервных систем живых организмов были удивлены, узнав, как мала скорость движения электрохимических импульсов по нервным волокнам. Поэтому учёт запаздываний в моделях нейронных сетей требует применения теории дифференциальных уравнений с запаздываниями (функционально-дифференциальных уравнений (ФДУ)). Инструментарий ФДУ создали Н. В. Азбелев, В. П. Максимов и Л. Ф. Рахматуллина [1], Н. В. Азбелев и П. М. Симонов [2, 3, 25], Р. Беллман и К. Кук [4], A.B. Ким и В. Г. Пименов [5], H.H. Красовский [9], В.Б. Колма-новский и В. Р. Носов [8], А. Д. Мышкис [10], Дж. Хейл [12], Л. Э. Эльсгольц и С. Б. Норкин [24].

Изучение моделей нейронных сетей посредством дифференциальных уравнений с запаздываниями проведено в монографиях L. О. Chua [35] (1998), L.O. Chua и Т. Roska [33] (2004), К. Gu, V. Kharitonov и J. Chen [41] (2003), J. Wu [80] (2001). Особенно много работ посвящено кольцевым конфигурациям нейронных сетей: S. Guo и L. Huang [42, 43] (2007), У. Horikawa и Н. Kitajima [47] (2009), С. Huang с соавторами [49] (2008), X. Lu и S. Guo [65] (2008), X. Xu [81] (2008). Кольцевые конфигурации нейронов обычны как в искусственных нейронных сетях [38], так и в биологических. Нейронные кольца обнаружены, например, у нематоды С. elegans [78].

Устойчивость нейронных сетей является их важной характеристикой. Глобальная устойчивость изучалась, например, в работах L. Idels и М. Kipnis [51] (2009), Kaslik и Bahnt [55] (2009), но глобальная устойчивость не всегда желательна в нейронных сетях (например, она неестественна в нейронных сетях, используемых в качестве памяти). В отличие от неё локальная устойчивость, по-видимому, всегда требуется.

Локальная устойчивость моделей нейронных сетей изучалась в работах I. Gyori и F. Hartung[44](2003, нелинейная модель изолированного нейро^-на), W. Yu и J. Сао [82] (2007, модель системы из двух нейронов), J. Wei и S. Ruan [79] (1999, также из двух нейронов), X. Lu и S. Guo [65] (2008, модель кольцевой сети из четырёх нейронов), S.A. Campbell, I. Ncube и J. Wu [29] (2006, модель кольцевой сети из трёх нейронов), Y. Yuan и S.A. Campbell [83] (2004, модель кольцевой сети с произвольным количеством нейронов, но с искусственной симметрией в реакции нейронов).

Степень разработанности темы. В указанной группе работ нет ответа на естественные вопросы, возникающие при исследовании устойчивости моделей нейронных сетей вообще, а также кольцевых и линейных сетей в частности. Это следующие вопросы. Есть ли значения параметров нейронной сети, при которых сеть остаётся устойчивой при любом увеличении количества нейронов и сохранении общей архитектуры сети? Каковы эти значения? Каковы значения параметров нейронных сетей, гарантирующих устойчивость сети при любом запаздывании во взаимодействии нейронов (delay-independent stability)? Положительно ли влияет на устойчивость разрыв в кольцевой нейронной сети? Как строить области устойчивости в пространстве параметров? Эти вопросы рассматриваются в настоящей диссертации.

Цель диссертационной работы. Целью работы является изучение проблемы устойчивости математических моделей кольцевых и линейных нейронных сетей. Мы намерены:

• разработать метод построения областей устойчивости в пространстве параметров указанных моделей;

• выявить динамику областей устойчивости при изменении количества нейронов в сети и изменении запаздывания во взаимодействии нейронов;

• найти области устойчивости в пространстве параметров, гарантирующие устойчивость независимо от величины запаздывания;

• выяснить асимптотику поведения областей устойчивости при запаздывании, стремящемся к нулю и бесконечности;

• указать предельные области устойчивости, когда количество нейронов в линейной или кольцевой конфигурации неограничено;

• сравнить области устойчивости моделей кольцевой сети и линейной сети, полученной в результате ее разрыва;

• «провести-численное моделирование динамики» области устойчивости в процесса разрыва нейронного кольца и превращения его в сеть линейной конфигурации.

Методы исследования. Поставленные задачи решаются в диссертации методом конуса устойчивости, разработанным автором совместно с научным руководителем и В. В. Малыгиной. Конус устойчивости это поверхность вМ3, построенная для анализа устойчивости систем линейных матричных дифференциальных уравнений произвольного порядка с запаздыванием. На основе метода в диссертации построены алгоритмы для поиска значений запаздываний, гарантирующих устойчивость системы. В свою очередь, алгоритмы реализованы в виде программ для анализа устойчивости как для общих систем, так и для специальных систем, описывающих модели кольцевых и линейных нейронные сетей с запаздываниями во взаимодействии соседних нейронов.

Научная новизна. В диссертации разработан новый метод анализа устойчивости, применимый к классу матричных дифференциальных уравнений, более широкому в сравнении с классами, рассмотренными в работах В. Cahlon и D. Schmidt [27] (2000), а также Н. Matsunaga [68] (2007) и S. Sakata [75] (1998). На основе этого метода разработаны новые алгоритмы и комплексы программ для построения области устойчивости в пространстве параметров указанного класса уравнений. Построены модификации алгоритмов и программ для анализа устойчивости математических моделей кольцевых и линейных нейронных сетей. Впервые указаны области в пространстве параметров указанных моделей, гарантирующие устойчивость независимо от величины запаздывания во взаимодействии нейронов. Получены новые данные об областях устойчивости в пространстве параметров математических моделей кольцевых и линейных нейронных сетей, включая класс сетей с неограниченным количеством нейронов. Поставлен и решён новый вопрос о влиянии разрыва на устойчивость кольцевой нейронной сети. Впервые изучена динамика области устойчивости в процессе разрыва кольцевой нейронной сети.

Практическая значимость. Созданные программные продукты и исследования областей устойчивости позволяют анализировать устойчивость нейронных сетей кольцевой и линейной конфигураций, выявлять диапазоны запаздываний, в которых~они приобретают и теряютустойчивость," регулировать коэффициенты моделей нейронных сетей с целью стабилизации их работы.

Апробация работы. Основные результаты, изложенные в диссертации, докладывались на седьмой Всероссийской конференции с международным участием «Математическое моделирование и краевые задачи» (Самара, 2010 г.), второй и четвёртой научных конференциях аспирантов и докторантов (Челябинск, 2010 г. и 2012 г.), Всероссийской конференции «Статистика. Моделирование. Оптимизация» (Челябинск, 2011 г.), на международной конференции в Вене «ICNPAA 2012 World Congress: 9th International Conference on Mathematical Problems in Engineering, Aerospace and Sciences» (Vienna, Austria, 2012), II Международной научно-практической конференции студентов и аспирантов «Математика и её приложения в современной науке и практике» (Курск, 2012 г.), Всероссийской научно-практической конференции «Физико-математические науки и образование» (Магнитогорск, 2012 г.), на семинаре профессора М. М. Кипниса в Челябинском государственном педагогическом университете.

Личный вклад автора. Все представленные в диссертации результаты получены лично автором. В совместные работах [59, 60] автору принадлежат все конкретные результаты, а научному руководителю и В. В. Малыгиной — общий замысел работы, постановка задачи и общее руководство. В работе [23] алгоритмы и программы принадлежат автору диссертации, соавтор А. Хохлов осуществлял техническую поддержку работы.

Публикации. Материалы диссертации опубликованы в 13 печатных работах, из них 4 статьи в рецензируемых журналах [13, 22, 59, 60], 6 статей в сборниках трудов конференций [14, 15, 18, 19, 21, 23], и 3 комплекса программ, зарегистрированных в Объединенном фонде электронных ресурсов «Наука и образование» [16, 17, 20] (программы доступны в интернете [56−58]).

Структура и объём диссертации. Диссертация состоит из введения, трёх глав, списка литературы и четырёх приложений. Общий объём работы.

2.3 Результаты исследования устойчивости кольцевой сети нейронов с неограниченным количеством нейронов.

В работе Mori и др. [70] доказано, что устойчивость уравнения (2.4), независимая от запаздывания, гарантирована при условии п п mm {ajj — ^ ajk} > max ^ |pjk, (2.16) к=, кф] k= 1 где ctjk, (3jk суть элементы матриц А, В соответственно. Отсюда вытекает следующее Предложение.

Предложение 2.1. Если |а| + |6| < 1, то системы (2.5), (2.6) и (2.5), (2.7) асимптотически устойчивы при любом п ^ 3 и любом т ^ 0.

Предложение 2.1 также несложно вывести из Теоремы 1.5 раздела 1.4 диссертации.

Теорема 2.1. Если, а + Ь > 1, то системы (2.5), (2.6) и (2.5), (2.7) неустойчивы при любом г > 0, если п достаточно велико.

Доказательство Теоремы 2.1 будет дано в разделе 2.6. Предложение 2.1 и Теорема 2.1 не дают информации о поведении систем (2.5), (2.6) и (2.5), (2.7) для случая, когда выполнены одновременно неравенства, а + Ь < 1 и |а| + |6| > 1. Для этого случая мы применили исходный код программы «Устойчивость нейронных сетей».

Здесь мы представляем результаты применения программного продукта, Предложения 2.1 и Теоремы 2.1. На рис. 2.7 (а), (б) показаны области Бт в плоскости параметров (а, Ъ) модели нейронной сети для некоторых значений т.

— 0.5.

— 1.5.

— 0.5.

— 1.5.

— 1.5 -1 -0.5 0 0.5 1 1.5 б).

Рис. 2.7. Области устойчивости для системы (2.5), (2.6) (а) и системы (2.5), (2.7) (б) с неограниченным числом нейронов.

Область Бт является расширением области, заданной неравенством |а| + +16| < 1, на северо-запад и юго-восток до границ, зависящих от г. Если точка (а, Ь) лежит внутри £)т на рис. 2.7 (а), то система (2.5), (2.6) асимптотически устойчива. Если (а, 6) лежит вне Эт на рис. 2.7 (а), то система (2.5), (2.6) неустойчива при достаточно больших п. Аналогичные утверждения верны для рис. 2.7 (б) и системы (2.5), (2.7). Область Ит центрально-симметрична: если (а, Ь)? то (—а, —Ъ) Е Вт. При одинаковых г область устойчивости для системы (2.5), (2.6) шире области для (2.5), (2.7).

Для обеих систем важна прямая, а = — b в плоскости (a, b), в окрестности которой сконцентрированы точки устойчивости систем. Поэтому естественно рассмотреть следующие две системы уравнений: ij (t) + xj (t) + a (xj-i (t) — Xj+i (t — г)) = 0 (j mod n), (2−17).

Xj (t) + Xj (t) + a (xj-i (t — t) — Xj+i (t — т)) = 0 (j mod n). (2−18).

Определение 2.2. Границей устойчивости системы (2.17) для больших п назовем такое число а (г) G М, что если |а| < ai®, то (2.17) устойчива при любом п, а если |а| > а (т), то (2.17) неустойчива при всех достаточно больших п. Аналогично определим аг (т) как границу устойчивости (2.18) для больших п.

В таблице 2.1 представлены результаты анализа устойчивости систем (2.17), (2.18) с помощью программного продукта «Устойчивость нейронных сетей».

Очевидно, НгПт-юо а (т) = lim,-*" а2(т) = ½.

Не столь очевидно поведение систем (2.17), (2.18) при г —>• 0, которое рассматривается в следующей теореме.

Теорема 2.2. lim а (т)/2т = lim а2(т)2у/т = 1. (2.19) т—"0 7-^0.

Доказательство Теоремы 2.2 дано в разделе 3.6. Таблица 2.1 подтверждает оценки Теоремы 2.2. Действительно, согласно таблице 2.1, при г = 0.01 имеем ах{т)/2т ~ 1.0017, а2{т)2^/т ~ 1.0033.

Заключение

.

В соответствии с целями настоящего диссертационного исследования автором разработан метод конуса устойчивости и основанные на этом методе алгоритм и программа для анализа устойчивости матричного дифференциального уравнения с запаздываниями. Указанный метод даёт результаты сильнее известных в литературе результатов В. Cahlon и D. Schmidt [27] (2000), а также Н. Matsunaga [68] (2007) и S. Sakata [75] (1998). Указанные алгоритмы и программы в следующих главах использованы для анализа устойчивости кольцевых и линейных нейронных сетей. Пространство параметров нейронных сетей многомерно. Мы считаем основными параметрами силы взаимодействия соседних нейронов и через все разделы диссертации проводим исследование области устойчивости именно в плоскости этих параметров. Остальные параметры, такие как величина запаздывания, количество нейронов в сети, показатель демпфирования собственных колебаний нейрона, рассматриваются с точки зрения их воздействия на изменение области устойчивости в плоскости основных параметров.

Такой подход позволил построить ясные графические иллюстрации влияния свойств кольца и линии нейронов на устойчивость системы.

Две темы, исследованные в диссертации, не затрагивались ранее в научной литературе. Во-первых, это задача об устойчивости нейронных сетей с неограниченным количеством нейронов. Во-вторых, задача об изменении области устойчивости кольцевой сети при её разрыве и переходе в линейную сеть. Отмеченный в диссертации эффект увеличения области устойчивости больших кольцевых нейронных сетей при разрыве кольца согласуется с известным явлением стабилизации психики человека при лоботомии.

Направление дальнейших исследований связано с тем, что разработанный автором метод конуса устойчивости, алгоритмы и программы обладают потенциалом значительно более широким, чем использованный в диссертации. В дальнейшем с их помощью автор планирует исследовать устойчивость других конфигураций нейронных сетей.