Методы синтеза пакетов прикладных программ автоматизированного производства с использованием нейросетевых технологий
Данный нейросетевой модуль в зависимости от комбинации на его входах может осуществлять не только операции распознавания номера точки по её координатам, но и сдвиг вдоль поля в прямом и обратном направлении, а также сложение и вычитание координат двух произвольных точек. Он может выполнять все основные операции, необходимые для построения нейросетевых систем, использующих эллиптические кривые… Читать ещё >
Содержание
- Список условных обозначений и сокращений
- Глава.
- Анализ методов использования искусственных нейронных сетей в задачах управления технологическими процессами
- 1. 1. Классификация архитектур искусственных нейронных сетей
- 1. 2. Многослойный персептрон (MLP)
- 1. 3. Сети с радиальными базисными функциями (RBF)
- 1. 4. Вероятностная нейронная сеть (PNN)
- 1. 5. Обобщенно — регрессионная нейронная сеть
- 1. 6. Сеть Кохонена (SOFM)
- 1. 7. Простая реккурентная сеть (SRN)
- 1. 8. Сеть Хопфилда
- 1. 9. Двунаправленная ассоциативная память (ДАЛ)
- 1. 10. Модульная нейронная сеть (BP-SOM)
- 1. 11. Неполносвязные гетерогенные сети (НГНС)
- 1. 12. Принципы управления информационными потоками в АСУТПП с использованием нейросетевых технологий
- 1. 12. 1. Логическая организация многоуровневой нейросетевой системы управления информационными потоками
- 1. 12. 2. Анализ методов тиражирования трафика интегрированной интеллектуальной системы управления информационной базой данных в АСУТП на основе нейросетевых технологий
- 1. 13. Выводы
- Глава 2.
- Синтез методов моделирования нейросетевых систем
- 2. 1. Разработка вероятностной модели функционирования двухуровневой системы управления АСУТПП
- 2. 2. Моделирование нейронных сетей с радиальными базисными функциями (RBF-сетей)
- 2. 3. Моделирование сетей двунаправленной ассоциативной памяти
- 2. 4. Синтез нейронных сетей Вольтерри
- 2. 5. Синтез методов моделирования нейронных сетей, функционирующих на основе нечеткой логики
- 2. 5. 1. Математический аппарат нечетких нейронных сетей
- 2. 5. 2. Основные правила вывода двоичной логики
- 2. 5. 3. Основные правила вывода в нечеткой логике
- 2. 5. 4. Правила нечеткой импликации
- 2. 5. 5. База правил
- 2. 5. 6. Блок фуззификации
- 2. 5. 7. Блок выработки решения
- 2. 5. 8. Блок дефуззификации
- 2. 5. 9. Синтез структуры модуля нечеткого управления
- 2. 5. 10. Обучение нейронечеткого модуля с применением алгоритма обратного распространения ошибки
- 2. 6. Синтез оптимальной структуры нейронной сети верхнего уровня многоуровневой модели интегрированной информационной системы
- 2. 7. Выводы
- Глава 3.
- Анализ и синтез методов обучения нейросетевых систем управления АСУТП
- 3. 1. Анализ методов обучения нейронных сетей, построенных на различных моделях
- 3. 1. 1. Градиентный метод обучения
- 3. 1. 2. Метод модельной закалки
- 3. 1. 3. Методы обучения радиальных нейронных сетей
- 3. 1. 4. Метод обучения сети двунаправленной ассоциативной памяти
- 3. 1. 5. Метод обучения сети каскадной корреляции Фальмана
- 3. 1. 6. Метод обучения сетей Вольтерри
- 3. 1. 7. Анализ проблем обучения нейронных сетей
- 3. 2. Методы синтеза нейросетевых модулей на эллиптических кривых
- 3. 2. 1. Синтез эллиптических кривых в циклических полях Галуа, используемых в алгоритмах АСУТПП
- 3. 2. 2. Выработка общего идентификатора достоверности на основе эллиптических кривых
- 3. 2. 3. Протокол идентификации достоверности на эллиптических кривых
- 3. 2. 3. 1. Алгоритм формирования идентификатора достоверности
- 3. 2. 3. 2. Алгоритм проверки корректности идентификатора достоверности
- 3. 1. Анализ методов обучения нейронных сетей, построенных на различных моделях
- 3. 3. Синтез топологии интегрированной интеллектуальной системы управления производством на основе многофункциональных многоуровневых нейросетевых систем
- 3. 4. Синтез функциональной схемы интегрированной многоуровневой нейро-сетевой системы управления информационными потоками
- 3. 5. Выбор оптимальной структуры сети
- 3. 6. Выводы
- 4. 1. Предварительный выбор параметров эллиптических кривых с использованием нейросетевых модулей
- 4. 1. 1. Синтез и оценка параметров эллиптической кривой
- 4. 2. Реализация алгоритма идентификации достоверности с использованием нейросетевых модулей
- 4. 2. 1. Пример реализации протокола выработки и проверки идентификатора достоверности с использованием нейросетевого модуля быстрых вычислений
- 4. 3. Синтез методов аутентификации с использованием нейросетевых технологий
- 4. 3. 1. Синтез метода встраивания функции аутентификации в нейроконтроллерный модуль
- 4. 4. Синтез нейросетевого модуля для алгоритма выработки идентификатора достоверности с использованием модуля быстрых вычислений
- 4. 4. 1. Синтез протокола контроля достоверности информационных потоков в распределенных сетях АСУТП с использованием алгоритма Менезеса
- 4. 4. 2. Пример практической реализации протокола Менезеса — Къю — Ванстона с использованием модуля быстрых вычислений
- 4. 5. Разработка программного обеспечения для выработки общей управляющей матрицы методом взаимного обучения удаленных нейросетевых модулей
- 4. 5. 1. Пример реализации выработки общей управляющей матрицы методом взаимного обучения удаленных нейросетевых модулей
- 4. 6. Синтез архитектуры и метода обучения нечеткой неполносвязной гибридной нейронной сети с помощью программного пакета «Neuronet»
- 4. 7. Разработка нейросетевых модулей для формирования вектора инициализации Ни, используемого в схемах генерации идентификаторов достоверности на эллиптических кривых
Методы синтеза пакетов прикладных программ автоматизированного производства с использованием нейросетевых технологий (реферат, курсовая, диплом, контрольная)
Нейронные сети как инженерно — техническое решение возникли при попытках программистов обеспечить приемлемое решение некоторых наиболее сложных с точки зрения алгоритмизации задач. К таким задачам относятся проблемы распознавания образов, анализ почерка, выявление фальшивых кредитных карточек, планирование движений манипулятора и др. Попытки найти решение для программирования подобных задач привели к разработкам нейрокомпьютеров, то есть машин, использующих сети, состоящие из простых обрабатывающих элементов и легко адаптируемые к выполнению совершенно разных задач. Нейронные сети не программируются, а обучаются тому, как правильно реализовать конкретную задачу. Постоянно растет число коммерческих приложений, использующих нейронные сети.
Развивается и теоретическая база применения нейронных сетей в так называемых когнитивных задачах типа задач понимания обычного разговорного языка или задач управления движением автономного транспортного средства. Такие задачи высокого уровня сложности долгие годы были предметом изучения дисциплины, областью интересов которой является искусственный интеллект.
Однако постепенно стало окончательно ясно, что подобные задачи невозможно адекватно решить в рамках традиционных, возможно даже весьма гибких алгоритмов.
Необходимо моделировать не функциональную, алгоритмическую часть, а материальный носитель, то есть создавать аналог биологических нейронных структур. В этом случае сам процесс вычислений становится подобен процессам, происходящим в живом прототипе. То есть создавать ИНС — искусственную нейронную сеть. Теперь выделяют новую область искусственного интеллекта, в рамках которой предпринимаются попытки объединить идеи «традиционного искусственного интеллекта» и идеи теории нейронных сетей. Этот «новый искусственный интеллект» несет в себе большие потенциальные возможности для перехода компьютерных систем на следующий уровень развития.
3.6. Выводы.
В данной главе рассмотрено несколько алгоритмов обучения, применяемых для различных нейросетевых архитектур. В качестве основных рассмотрены алгоритм обучения методом обратного распространения ошибки и его модификации для различных типов сетей. Преимущество алгоритма обучения по методу обратного распространения ошибки в возможности сетью самостоятельно приобретать знания и достаточно плавно настраивать коэффициенты связей. Недостаток в медленной скорости обучения, неопределенном количестве времени, требуемом для получения удовлетворительного результата, а также в трудностях подбора оптимальных параметров обучения. Исходя из проведенного анализа можно сделать вывод, что ни одна из конфигураций нейронных сетей самостоятельно не в состоянии полностью обеспечить решение всех поставленных в исследовании задач. Общий недостаток данных сетей заключается в том, что большинство из них для своего обучения требует алгоритма обратного распространения со всеми обычными проблемами этого метода, заключающимися в большом количестве шагов и негарантированной сходимостью. Из всех рассмотренных сетей критерию отсутствия необходимости обучать их по алгоритму обратного распространения ошибки удовлетворяют только сети каскадной корреляции Фальмана и сети Вольтерри. Однако этим сетям присущ серьезный недостаток, заключающийся в чрезмерном усложнении структуры сети при возрастании сложности аппроксимируемой функции. Кроме того, очевидно, что при переобучении сети необходимо синтезировать новую структуру всей сети в целом, что не всегда приемлемо с практической точки зрения. Таким образом, наиболее приемлемым вариантом для достижения поставленных в данном исследовании целей является использование гетерогенной нейросетевой структуры, состоящей из разнородных нейросетевых модулей, каждый из которых обучен выполнению своей собственной узко специализированной задачи. Наиболее перспективными в подобном применении представляются сети двунаправленной ассоциативной памяти, нейронечеткие структуры и гибридные гетерогенные нейронные сети с произвольными функциями активации.
Глава 4.
Формирование идентификаторов достоверности на основе искусственных нейронных сетей с использованием эллиптических кривых в циклических полях Галуа.
4.1. Предварительный выбор параметров эллиптических кривых с использованием нейросетевых модулей.
Для построения нейросетевых управляющих систем с использованием эллиптических кривых, предварительно требуется выбрать подходящую эллиптическую кривую, отвечающую указанным выше критериям.
Для предварительного выбора параметров ЭК в полях Галуа разработаны следующие архитектуры нейронных сетей:
1. Предварительно специально настроенная сеть осуществляет выбор коэффициентов, а и Ъ, исходя из уаюъш/= 4а +27Ь2. Структурная схема данной сети изображена на рисунке 4.1.
Рис. 4.1 НСМ для выбора ЭК по коэффициентам аяЬ (МВК).
Первые два нейрона осуществляют выбор текущей пары значений из множества пар, а и Ъ, представленных вторым слоем нейронов. Коэффициенты а, и представленные вторым слоем нейронов выбираются из множества {ао. ап и {¿-о — Ьп}. Выбранная пара нейронов передает значения, а и Ъ на вход единственного нейрона третьего слоя, активационная функция которого осуществляет вычисление условия выбора f=(4a3+27b2 mod р) = 0. В зависимости от результата вычисления данного сравнения, срабатывает либо нейрон 1 выходного слоя, что эквивалентно ситуации «подходящая пара чисел аяЬ найдена», либо нейрон 2, который является счетчиком, и запускает следующую итерацию цикла выбора значений, а и Ъ.
4.1.1. Синтез и оценка параметров эллиптической кривой.
Данный нейросетевой модуль осуществляет вычисление общего числа точек т используемой эллиптической кривой в соответствии с теоремой Хасса. р +1 — 2^р <�т<�р++.
Нейрон первого слоя генерирует р и передает это значение нейроном второго и третьего слоя, которые осуществляют вычисление компонентов формулы Хасса.
Единственный нейрон четвертого слоя осуществляет оценку количества точек, и в зависимости от результатов данной оценки, полученное количество точек либо принимается (нейрон 1 выходного слоя), либо с помощью нейрона 2 запускается следующая итерация. Структурная схема нейронной сети для вычисления порядка числа точек эллиптической кривой представлена на рисунке 4.2. Нейрон первого слоя получает сигнал счетного нейрона и выбирает текущее значение модуля р из таблицы. Нейроны второго слоя вычисляют различные элементы формулы Хасса и передают полученные значения на суммирующий и вычитающий нейроны третьего слоя. Нейрон / производит оценку попадания заданного числа элементов поля в интервал значений, полученных с помощью нейронов третьего слоя. В случае удовлетворения числа т неравенству Хасса, работа сети останавливается и на выходе фиксируется выбранное число т. В противном случае нейрон — счетчик СТ запускает следующую итерацию цикла работы сети.
Нейросетевой модуль выбора параметров п и q (МВП) показан на рисунке 4.3. Нейрон qt выбирает из таблицы текущее значение q. Данное значение передается единственному нейрону второго слоя, вместе с числом т7 поступающим с выхода первого нейрона т.
Рис. 4.2 Схема НСМ для оценки величины порядка числа точек ЭК (МОП), где 2х=(р+У)+24р- 2гр+ - 2Ур;
Рис. 4.3 Схема НСМ для выбора параметров п и, а (МВП).
Нейрон второго слоя вычисляет согласно формуле т/qi и передает полученное значение на слой сравнения, состоящий из нейронов «о, ., пт. Нейрон 3-го слоя, которому удается распознать своё значение я, передает его на выходные нейроны qh которые вычисляют соотношение /и/» и сравнивают его с текущим значением <у. В зависимости от результата данной операции происходит либо фиксация полученных значений и и q, либо переход на следующую итерацию алгоритма.
После выбора всех параметров эллиптической кривой с помощью модуля МРТ (модуль расчета точек), который представляет собой процедуру вычисления значений эллиптической функции производится расчет точек выбранной эллиптической кривой с помощью нейросетевого модуля, изображенного на рисунке 4.4.
Таким образом, общая схема подготовки параметров эллиптической кривой представлена на рисунке 4.5. Результаты вычислений загружаются в модуль быстрых вычислений в полях Галуа (МБВ), показанный на рисунке 4.6. Идентификация численного значения номеров точек осуществляется входными нейронами к и п первого слоя.
Координаты точек идентифицируются нейронами Сг&bdquoи Ок. Второй слой нейронов осуществляет функцию суммирования (или вычитания) сигналов первого слоя. После выполнения операции суммирования, выходной сигнал второго слоя поступает на третий слой распознавания, который определяет точку в поле Галуа по её координате или номеру.
Рис. 4.5 Общая схема подготовки параметров эллиптической кривой.
Рис. 4.6 Неполносвязная гибридная нейронная сеть, реализующая быстрые вычисления на ЭК (МБВ).
Четвертый слой — выходной, воспринимает сигнал определенного нейрона предыдущего слоя и распознает координаты или номер точки поля Галуа.
Для правильной работы данной сети используются управляющие сигналы, подаваемые на линии «+/- «и «+у/-у». Эти линии переключают соответствующие нейроны второго слоя в режим суммирования входных сигналов или вычитания их. Таким образом, происходит сложение (вычитание) координат или номеров точек, поступающих на соответствующие входные нейроны.
Данный нейросетевой модуль в зависимости от комбинации на его входах может осуществлять не только операции распознавания номера точки по её координатам, но и сдвиг вдоль поля в прямом и обратном направлении, а также сложение и вычитание координат двух произвольных точек. Он может выполнять все основные операции, необходимые для построения нейросетевых систем, использующих эллиптические кривые в циклических полях Галуа. Данный модуль допускает эффективную аппаратную реализацию и построение на его основе более сложных систем за счет каскадного соединения модулей для решения задач различного назначения, например, распознавания свой — чужой. Таким образом, разработанный нейросетевой модуль позволяет строить любые системы, основанные на вычислениях в циклических полях Галуа.
Кроме того, данный модуль допускает эффективную аппаратную реализацию, и построение на его основе более сложных нейросетевых систем за счет каскадного соединения модулей с применением для каждого каскада полученной системы своих индивидуальных параметров настройки, а также применения различных вспомогательных элементов. Один из вариантов подобной системы, реализующий функции нейроконтроллера, представлен на рисунке 4.7.
Рис. 4.7. Схема нечеткого нейросетевого управления.
С использованием разработанных нейросетевых модулей подготовки параметров ЭК были выбраны ряд параметров для различных значений модуля ЭК. Итоговая таблица представлена ниже. Таблица 1.
Автоматизированный расчет параметров ЭК. р, а ь т Ч Со пЮо пОо кс кс (}().
1531 1 5 -1454 1499 0,17 9Ю 94(7 20 20 В.
1610 (1381,1248) (0,1482) (736,1442).
1583 2 3 -1504 1607 0,186 405(5 406С 62 6Ю.
1663 (53,385) (0,1421) (109,458).
1627 3 9 -1547 1619 0,749 25 В гш 3 ЗС.
1708 (1596,1539) (0,870) (1593,51).
1759 4 2 -1676 +1844 1801 0,791 462G (530,255) 463G (0,1010) 54 54G (772,950).
1399 5 7 -1325 +1475 1409 0,203 1413G (1076,598) 1414G (0,1206) 62 62 G (855,362).
1163 6 1 -1096 +1232 1151 0,815 1176G (787,1106) 1177G (0,336) 48 48G (907,418).
1543 7 15 -1465 +1623 1511 0,748 20G (1115,1235) 21G (0,763) 7 7G (1233,1444).
1933 8 11 -1846 +2022 1901 0,75 1863G (341,372) 1864G (0,1826) 90 90G (1874,396).
1223 9 6 -1154 +1294 1229 0,660 1221G (57,328) 1222G (0,569) 80 80G (152,632).
1063 10 12 -999 +1129 1033 0,192 267G (577,51) 268G (0,841) 60 60 G (81,564).
2269 11 5 -2175 +2365 2293 0,432 84G (1281,1555) 85G (0,1861) 12 12G (2148,2274).
1709 12 13 -1627 +1793 1699 0,943 561G (1426,662) 562G (0,756) 48 48G (1068,154).
1847 13 7 -1762 +1934 1901 0,691 973G (304,416) 974G (0,1210) 124 124G (194,1005).
1109 14 3 -1043 +1177 1123 0,912 1177G (256,185) 1178G (0,211) 87 87G (963,556).
1009 15 1 -947 +1074 991 0,192 316G (77,946) 317G (0,799) 102 102G (826,42).
1723 16 17 -1641 +1807 1741 0,663 1669G (154,1408) 1670G (0,1078) 348 348G (968,39).
1249 17 2 -1179 +1321 1187 0,252 1167G (449,863) 1168G (0,935) 341 341G (319,667).
2909 18 19 -2802 +3018 2999 0,805 2913G (75,98) 2914G (0,2194) 85 85G (1160,1016).
3023 19 15 -2914 +3134 3041 0,53 3022G (868,1184) 3023 G (0,2988) 14 14G (515,1446).
Заключение
.
В данной работе предложена технология построения нейросетевых управляющих систем, предназначенная для гибких автоматизированных производств. На основании проведенного анализа показано, что наилучшей архитектурой сетей для построения подобных систем являются неполносвязные гетерогенные сети (НГНС), функционирующие на основе нечеткой логики с дополнительной подстройкой коэффициентов с помощью алгоритма обратного распространения ошибки. Предложена многоуровневая архитектура управляющей системы (ИИС), состоящей из отдельных нейросетевых модулей различного функционального назначения на нижнем уровне и нейронной сети верхнего уровня, работающей на основе системы нечетких управляющих правил. Показано, что наилучшими интерфейсными свойствами для сопряжения нечеткой управляющей сети верхнего уровня и набора функциональных нейросетевых модулей обладают КВР — сети. Преимуществом разработанной системы является модульная архитектура, широкое применение нечеткой логики, прежде всего для построения управляющей нейронной сети верхнего уровня, а также возможность интеграции в одной ИИС функций управления информационными потоками на сетевом уровне, взаимного обучения удаленных нейросетевых модулей и обеспечение контроля достоверности передаваемых данных. В качестве основы для построения большинства элементов многоуровневой нейросетевой системы был разработан универсальный НГНС — модуль (МБВ), позволяющий выполнять все основные вычислительные преобразования на эллиптических кривых и создание на основе этого модуля многоуровневых нейросетевых управляющих систем различного назначения. В частности управляющих нейросетевых модулей, модулей взаимного обучения удаленных нейронных сетей, модулей контроля достоверности информационных потоков, генераторов псевдослучайных чисел.
Разработан алгоритм, позволяющий использовать модуль быстрых вычислений в полях Галуа для создания различных нейросетевых управляющих модулей. По результатам патентного поиска можно утверждать, что данная технология не имеет доступных аналогов. Отдельные результаты работы были внедрены на ФГУП НИИ «СПЕКТР» и используются в составе программного обеспечения в частности программно — аппаратного комплекса «Вектор-М».
Список литературы
- Розенблатт Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга. М.: Мир, 1965.480 с.
- Hebb D.O. The organization of behavior: A neuropsychological theory. N. — Y.: Wiley, 1949.
- Минский M., Пейперт С. Перцептроны. M.: Мир, 1971. 262 с.
- Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. National Acad. Sci. 1982. № 79. P. 2554 2558.
- Hopfield J.J. Neurons with graded response have collective computational properties like those of two state neurons // Proc. National Acad. Of Sci. 1984. № 81. P. 3088 — 3092.
- Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation // Parallel Distributed Processing. 1986. Vol. 1, № 8. P. 318 362.
- Kohonen T. Self organization and associative memory. — Berlin: Springer Verlag, 1987.
- Цыпкин Я. З Адаптация и обучение в автоматических системах. М.: Наука, 1968. 400 с.
- Веденов А.А., Ежов А. А., Левченко Е. Б. Архитектурные модели и функции нейронных ансамблей // ИНТ. Сер. Физич. И математич. Модели нейронных сетей. Т. 1. 1990. с. 44−92.
- Гордиенко Е.К., Лукьяница А. А. Искусственные нейронные сети : 1. Основные определения и модели / Изв. РАН. Сер. Техническая кибернетика. 1994. № 5. с. 79 -92.
- Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика / Пер. с англ. М.: Мир, 1992. 240 с.
- Ani К. Jain, Jianchang Мао, Mohiuddin К.М. Artifical neural networks: A tutorial // Computer. 1996. Vol. 29, № 3. P. 31 44. (Рус. Пер. в ж. Открытые системы. 1997. № 4(24).
- Tadeusiewicz R. Sieci Neuronowe. Warszawa: PWN, 1993. 195 p.
- Роберт Каллан основные концепции нейронных сетей: Пер. с англ. М.: Издательский дом «Вильяме», 2001 г. — илл.
- StatSoft RUSSIA Нейронные сети. STATISTICA Neural Networks: Пер. С англ. -М.: Горячая линия Телеком. 2001. — 182 е., ил. Производственное издание
- В.А. Терехов, Д. В. Ефимов, И. Ю. Тюкин, В. Н. Антонов Нейросетевые системы управления: Издательство С. Петербургского университета 1999 г.
- Соколов Е.Н. Вайткявичус Нейроинтеллект от нейрона к компьютеру М. Наука. 1989 г.
- Haykin S. (1994). Neural Networks, A Comprehensive Foundation. New York: Macmillan College Publishing Company.
- Spech D.F. (1990). Probabilistic neural networks. Neural Networks, 3, p. 109 118.
- Kohonen T. (1990). The self organizing map. Proceedings of the IEEE Transactions on Systems, Man and Cybernetics, 18, p, 49 — 60.
- Elman J. (1990). Finding structure in time. Cognitive Science, 14, p. 179−211.
- Cleeremans A. (1993). Mechanisms of Implicit Learning, Connectionist Models of Sequence Processing. Cambridge, MA: MIT Press.
- Kosko B. (1988). Bidirectional associative memories. IEEE Transactions on Systems, Man and Cybernetics, 18, p.49 60.
- Norris D. (1989). How to build a connectionist idiot (savant). Cognition, 35, p. 277 -291.
- Kosko B. Bi-directional associative memories // IEEE Transactionson Systems, Man and Cybernetics 18(1), 1987, pp.49- 60. Reilly R. (1992). Connectionist technique for on -line parsing. Network, 3, p. 37 45.
- K. Haines and R. Hecht-Nieson, «A BAM with Increased Information Storage Capacity,» Proc. IEEE ICNN-88, vol. 1, pp. 181−190, July 1988.
- Y.-F. Wang, J.B. Cruz Jr., and J.H. Mulligan Jr., «Two Coding Strategies for Bidirectional Associative Memory // IEEE Trans. Neural Networks, vol. 1, pp. 81−92, Mar. 1990.
- Patterson, D,. (1996). Artificial Neural Networks. // Singapore: Prentice Hall.
- Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall.
- Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press.
- Shepferd, A. J. (1997). Second Order Methods for Neural Networks. New York: Springer.
- Fahlman, S. E. (1988). Faster learning variations on back — propagation: an emprical study. In D. Touretzky, G.E. Hinton and T.J.Sejnowski (Eds.). Proseedings of the 1988 Connectionist Models Summer School, 38−51. San Mateo, CA: Morgan Kaufmann.
- Jacobs, R.A. (1988). Increased Rates of Convergence Through Learning Rate Adaptation. Neural Networks 1(4), 295 307.
- Круглов B.B. Дли М.И. Голунов Р. Ю. Нечеткая логика и искусственные нейронные сети. М. Физматлит. 2001 г.
- Рутковская Д. Пилиньский М. Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М. Горячая линия -Телеком 2004 г.
- Назаров А. В. Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб. Наука и Техника, 2003 г.
- Антонов В. Н. Терехов В.А. Тюкин И. Ю. Адаптивное управление в технических системах. СПб. Издательство С.-Петербургского университета, 2001 г.
- Усков А. А. Кузьмин А.В. Интеллектуальные технологии управления, искусственные нейронные сети и нечеткая логика. М. Горячая линия Телеком 2004 г.
- Круглов В. В. Борисов В.В. Искусственные нейронные сети теория и практика. М. Горячая линия Телеком. 2002 г.
- Перуш М. Математические модели ассоциативных нейронных сетей. СПб. Каро 2000 г.
- Н. Haken. Synergetic Computers and Cognition (A Top Down Approach to Neural Nets), Springer — Verlag, Berlin etc., 1991.
- H. Haken. Synergetics (an Introduction). Third ed. Springer Verlag, Berlin etc., 1983.
- T. Kohonen. Self-Organization and Associative Memory. Springer. Berlin etc., 1984.
- T. Kohonen An Introduction to Neural Computing: Neural Networks 1 (1988) 3.
- Rumelhart, D.E. and McClelland, J. (eds.) (1986). Parallel Distributed Processing, Vol 1. Cambridge, MA: MIT Press.
- Spect, D.F. (1991). A Generalized Regression Neural Networks. Neural Networks 3 (1), 109−118.
- Kohonen, T. (1982). Self organized formation of topologically correct feature maps. Biological Cybernetics, 43, 59 — 69.
- Kosko B. (1988). Bidirectional associative memories. IEEE Transactions on Systems, Man and Cybernetics, 18, p. 49 60.
- Молдовян A.A. Молдовян H.A. Гуц Н.Д. Изотов Б. В. Криптография: скоростные шифры. СПб.: БХВ — Петербург, 2002. — 496 е.: ил.
- Грибачев В.П. Применение нейронных сетей для архивации данных. II Известия СПбГЭТУ «ЛЭТИ», изд. СПбГЭТУ ЛЭТИ., серия «Информатика, управление и компьютерные технологии». 2004. — Вып. 2. — с. 37.
- Грибачев В.П., Общие принципы моделирования нейронных сетей в объектно-ориентированной среде Delphi 5.0 // Проблемы машиноведения и машиностроения: Межвуз. Сб. СПб.: СЗТУ. — 2004. — Вып. 32 — с. 34 — 37.
- Грибачев В.П., Исследование возможности использования нейронных сетей в области защиты информации. // Проблемы машиноведения и машиностроения: Межвуз. Сб. СПб.: СЗТУ. — 2004. — Вып. 32 — с. 25 — 26.
- Грибачев В.П. Протокол ключевого обмена в криптосистемах, основанных на нейронных сетях. Сб. докладов международной конференции по мягким вычислениям и измерениям. Изд. СПбГТУ «ЛЭТИ» 2004. том 1, с. 282 — 283.
- Хамидулин P.P. Грибачев В. П. Применение нечетких ключей в нейро нечетких системах управления. СПбГТУ Сб. докладов юбилейной научно — технической конференции том 2, СПб 2006. 379с., — с. 262.
- Грибачев В.П. Настоящее и будущее нейронных сетей. // Компоненты и технологии. 2006. № 5. с. 28 — 32.
- Грибачев В.П. Элементная база аппаратных реализаций нейронных сетей. // Компоненты и технологии 2006. № 8. с. 72 — 75.
- Нестерук Г. Ф., Молдовян А. А., Грибачев В. П., Воскресенский С. И. О нейронечеткой реализации двухуровневой адаптивной системы информационной безопасности. //Вопросы защиты информации. М., ВИМИ. № 3 2005. с.6−12.
- Нестерук Г. Ф., Осовецкий Л. Г., Нестерук Ф. Г., Воскресенский С. И., Грибачев В. П. Информационная избыточность нейронечетких средств обеспечения безопасности. //Вопросы защиты информации. М., ВИМИ. 2005. № 3 с. 12−16.