Обучение без учителя

Описанный выше процесс обучения происходит под управлением учителя. Альтернативная парадигма обучения без учителя самим названием подчеркивает отсутствие руководителя, контролирующего процесс настройки весовых коэффициентов. При использовании такого подхода не существует маркированных примеров, по которым проводится обучение сети. [4].

Правило коррекции по ошибке

Розенблатт в 1957 году разработал модель обучения, которая использовала алгоритм обучения с учителем. Впоследствии эта модель стала основой для более сложных алгоритмов обучения.

Алгоритм коррекции по ошибки состоит в следующем: имеется входной пример, для него задается желаемый выход и если текущий выход нейронной сети не соответствует желаемому, то весовые параметры корректируются. Это делается до тех пор, пока реакция не станет правильной. Разница коррекции вычисляется по формуле (желаемый-текущий выход).

Принцип состоит в постепенном уменьшении ошибки.

Метод Хэбба

Метод, который к слову, был разработан в 1949 году (один из самых старых обучающих правил), основывался на нейрофизических процессах, протекающих в мозге человека.

Хэбб предположил, что вес соединения между двумя нейронами усиливается, если оба эти нейрона возбуждены. Хэбб основывался на следующих нейрофизиологические наблюдениях: если связанные между собой нейроны активизируются одновременно и регулярно, то сила связи возрастает. Главная особенность этого правила такова, что изменение веса синаптической связи зависит только от активности нейронов, соединенных данной связью.

Этот алгоритм можно расписать так:

• 1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.
• 2. На входы сети подается входной образ и сигналы проходят по всем слоям согласно принципу сетей прямого распространения. Ддя каждого нейрона рассчитывается сумма его входов, к которой применяется активационная функция нейрона, в результате получается выход нейрона.

3. На основании полученных выходных значений нейронов по формуле производится изменение весовых коэффициентов, где — выходное значение нейрона слоя, -выходное значение нейрона слоя n. и — весовой коэффициент, — коэффициент скорости обучения.

4. Повтор шага (2), пока выходные значения сети не стабилизируются с заданной точностью.