Перцептрон и обратное распространение ошибки

Перцептрон Розенблатта является самой простой моделью нейронной сети. Изначально, в работах Розенблатта, сеть была представлена всего двумя слоями: входной и выходной. Однако в следующих свих работах он уже рассматривал многослойные перцептроны. Тем не менее, они еще были далеки от глубоких нейронных сетей, которые имеют большое количество скрытых слоев, в силу ограничений, связанных с алгоритмом обучения.

Основные идеи, лежащие даже в современных алгоритмах обучения, были предложены Дональдом Хеббом еще в 1949 году. Хебб был нейропсихологом и сформировал свои правила обучения нейронной сети, руководствуясь принципами работы естественных нейронов. Он сформировал два правила для случаев неверного сигнала нейронной сети:

• · Если выходной сигнал равен нулю, следует увеличить значения синапсов, идущих к активным нейронам.
• · Если выходной сигнал равен единице, следует уменьшить значения синапсов, идущих к активным нейронам.

Иными словами, можно сказать, что синаптическая связь между двумя нейронами увеличевается, если оба эти нейрона активны. В общем виде эти два правила представляют собой дельта-правило, которое определяет алгоритм изменения веса синапса. Если определить выходной вектор нейронной сети как Out, а целевой вектор данных как Real, то отклонения полученного из входных данных вектора от целевого вектора (ошибку) можно записать как разницу двух векторов:

Тогда, следуя правилам Хебба, изменение веса можно определить следующей формулой:

.

где W — вектор весов, In — вектор входных данных, — скорость обучения.

Дальнейшее развитие данного алгоритма, обусловленное необходимостью решать более сложные задачи (прогнозирование непрерывных значений), привело к изменению формулы ошибки:

.

В таком виде, задача обучения нейронной сети сводится к задаче минимизации среднеквадратичной ошибки. В случае такого задания ошибки, исследователь волен выбирать алгоритм решения данной задачи, но самым простым, который лег в основу алгоритма обратного распространения ошибки, является метод градиентного спуска. Соответственно, изменение веса представляется следующей формулой:

Данная формула актуальная для однослойного перцептрона, однако она требует некоторой модификации, если добавляется один и более скрытых слоев. Стоит заметить, что на данном этапе происходит переход от перцептрона Розенблатга к многослойному перцептрону Румельхарта. Важно понимать, что многослойную нейронную сеть создавал и Розенблатг, однако отличие от сети Румельхарта было в том, что у последнего один алгоритм обучал сразу все слои. При таком подходе выходное значение сети зависит от каждого слоя последовательно. Так как каждый нейрон представлен суммой произведения веса и входного значения (S=W*In), формула градиента представляется следующим образом:

.

После некоторых преобразований, в общем виде изменение веса записывается следующей формулой:

.

где определяется в зависимости от уровня слоя; в общем же виде получается следующая формула:

.

где l — уровень слоя.

Сходимость данного алгоритма и модели перцептрона в целом, была доказана Розенблатгом. Таким образом, в процессе обучения мы гарантированно находим такие значения весов, которые дадут нам минимальное значение ошибки. Однако, ввиду того, что алгоритм обучения является модификацией метода градиентного спуска, нельзя гарантировать, что полученное решение будет являться глобальным оптимумом. Следующим недостатком является размер шага. Сходимость метода гарантируется при достаточно малой скорости обучения, однако это приводит к увеличению времени обучения сети. Еще один недостаток алгоритма проявляется при увеличении количества слоев, поскольку при распространении ошибки происходит сжатие корректировки S с каждым следующим слоем, то изменения весов между слоями в начале сети практически не происходит.

Для устранения этих недостатков были разработаны другие модели и алгоритмы обучения нейронных сетей, а именно: сети, основанные на байесовском подходе, и алгоритмы обучения глубоких нейронных сетей (предобучение).