Нейросетевые модели для управления инвестициями в финансовые инструменты фондового рынка

1. Искусственные нейронные сети.

Структура искусственных нейронных сетей была смоделирована как результат изучения человеческого мозга. Искусственные нейронные сети имеют такие аналогичные мозгу свойства, как способность обучаться на опыте, основанном на знаниях, делать абстрактные умозаключения, совершать ошибки, что является более характерным для человеческой мысли, чем для созданных человеком компьютеров.

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов,. каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Хотя парадигмы нейронных сетей весьма разнообразны, в основе почти всех их лежит эта конфигурация.

Задать нейронную сеть, способную решать конкретную задачу, — это значит определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой в меньшей степени моделями нейрона, а в основном топологией связей и правилами определения весов.

Поведение искусственной нейронной сети зависит как от значения весовых коэффициентов, так и от функции возбуждения нейронов (активационной функции или функции активации). Известны три основных вида функций активации: пороговая, линейная и сигмоидальная. Для нейронов с пороговой функцией активации выход устанавливается на одном из двух уровней в зависимости от того, больше или меньше суммарный сигнал на входе нейрона некоторого порогового значения. Для линейных элементов выходная активность пропорциональна суммарному взвешенному входу нейрона. Для сигмоидальных элементов в зависимости от входного сигнала, выход варьируется непрерывно, но не линейно, по мере изменения входа. Примерами сигмоидов [27] являются гиперболический тангенс и логистическая функция вид = -—а>0.

1 + е.

По структуре связей сети делятся на два больших класса: однослойные и многослойные.

Простейшая сеть состоит из группы нейронов, образующих слой, -однослойная нейронная сеть. К однослойным относятся модель Хопфилда и её последующие разработки [43], некоторые типы модели нейронной сети, известной под названием «машина Болыдмана» [33], [36].

Многослойная сеть имеет входной (распределительный), выходной и скрытые слои, на входной подается информация, с выходного снимается ответ, скрытые слои участвуют в обработке. Выход одного слоя является входом для последующего слоя.

Нейронные сети, созданные для решения конкретной задачи, приобретают свои свойства в процессе обучения. Обучение включает в себя либо определение значений весовых коэффициентов синаптических узлов, либо специальных правил, по которым весовые коэффициенты могут быть изменены в зависимости от отклика конкретной нейронной сети.

Сеть обучается, чтобы для некоторого множества входов давать желаемое (или, по крайней мере, сообразное с ним) множество выходов. Каждое такое входное или выходное множество рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал выходной вектор. Нейронные сети могут также обучаться совместно. В процессе совместного обучения наступает явление, названное синхронизацией. Подробное описание данного явления и его применение в криптографии дано в работах [14], [18].

Различают алгоритмы обучения с учителем и без учителя.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающим примером. Обычно сеть обучается на некотором числе обучающих примеров. Предъявляется входной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, разность (ошибка) с помощью обратной связи подается в сеть и веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Примеры из обучающего множества предъявляются последовательно, вычисляются ошибки, и веса подстраиваются для каждого примера до тех пор, пока ошибка по всему обучающему множеству не достигнет приемлемо низкого уровня.

Примерами алгоритмов обучения с учителем могут служить алгоритм обучения персептрона (модель Розенблатта) и алгоритм обратного распространения.

В отличие от алгоритма обучения с учителем, развитая Кохоненом и многими другими модель обучения, без учителя не нуждается в целевом векторе для выходов. Обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получились согласованные выходные векторы, т. е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы. Предъявление на вход вектора из данного класса даст определенный выходной вектор, но до обучения невозможно предсказать, какой выход будет производиться данным классом входных векторов. Следовательно, выходы подобной сети должны трансформироваться в некоторую понятную форму, обусловленную процессом обучения. Это не является серьезной проблемой, так как обычно не сложно идентифицировать связь между входом и выходом, установленную сетью.

Одним из алгоритмов обучения без учителя, оказавшимся наиболее плодотворным, был. алгоритм Д. Хэбба, который в 1949 году предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей.

Большинство современных алгоритмов обучения выросло из концепций Хэбба. Им предложена модель обучения без учителя, в которой синаптический вес возрастает, если активированы оба нейрона, Источник и приемник. Таким образом, часто используемые пути в сети усиливаются и феномен привычки и обучения через повторение получает объяснение:

В искусственной нейронной сети, использующей обучение по Хэббу, наращивание весов определяется произведением уровней возбуждения передающего и принимающего нейронов. Это можно записать как w.(t + l) = wu (t) + ayiyJ, где w (t) — значение веса от нейрона / к нейрону j до подстройки, wtJ (t +1) -значение веса от нейрона /' к нейрону j после подстройки, а — коэффициент скорости обучения, у — выход нейрона j.

Сети, использующие обучение по Хэббу конструктивно развивались, однако за последние 30 лет были развиты более эффективные алгоритмы, обучения. В частности, были развиты алгоритмы обучения с учителем, приводящие к сетям с более широким диапазоном характеристик обучающих входных образов и большими скоростями обучения, чем использующие простое обучение по Хэббу.

Первое систематическое изучение нейронных сетей было предпринято У. Мак-Каллоком (W. McCulloch) и У. Питтсом (W. Pitts). В 1943 году У. Мак-Каллок и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга [20]. Ими были получены следующие результаты:

1. разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;

2. предложена конструкция сети таких элементов для выполнения арифметических и логических операций;

3. сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

Нейрон Мак-Каллока — Питтса функционирует в дискретном времени. Он имеет N входов — синапсов и единственный выход. Значение выходного сигнала у{{) = 1 соответствует состоянию возбуждения. В состоянии покоя выходной сигнал у (0 = 0. В момент времени? выходной сигнал формируется в зависимости от сигналов — 1),.— 1), поступивших на синапсы в момент времени? —1. Последние также могут принимать значения ноль или единица. Если синаптический сигнал равен нулю, то говорят, что синапс находится в состоянии покоя. Единичное значение соответствует состоянию возбуждения синапса. Сигнал на синапс поступает либо от выхода другого нейрона, либо от сенсора — специального входа для внешних сигналов. Первоначально правила формирования выходного сигнала были введены авторами модели в виде ряда аксиом. Приведем две из них.

1. Для возбуждения нейрона в момент времени? необходимо в момент времени I-1 возбудить определенное, фиксированное число синапсов, которое не зависит ни от предыдущей истории, ни от состояния нейрона.

2. Нейрон имеет особые входы — тормозящие синапсы. Возбуждение любого из них в момент времени t — 1 исключает возбуждение нейронов в момент времени ^.

Впоследствии модель изменилась. Синаптические сигналы — -1) (не обязательно бинарные) стали взвешивать и формировать n суммарный входной сигнал = Здесь <7- - числа, которые.

1=1 называют синаптическими весами. Синапс называют возбудительным, если > 0, и тормозным, если <дг (< 0. Договорились, что в момент времени? нейрон находится в возбужденном состоянии (у (/) = 1), если суммарный входной сигнал в момент времени. / -1 превысил некоторое пороговое значение и0, т. е. n a (t-) = ^qixl{t-Х)>щ. Пусть 0(v) — функция Хевисайда. Она принимает нулевое значение при v < 0 и единичное при v > 0. Тогда можно записать: n (=i.

Описанный объект есть то, что в настоящее время называют формальным нейроном Мак-Каллока — Питтса.

Несмотря на то, что за прошедшие годы нейроинформатика ушла далеко вперед, многие утверждения Мак-Каллока остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Мак-Каллоком и Питтсом, остаётся неизменным.

Недостатком данной модели является пороговый вид переходной функции, не предоставляющий нейронной сети достаточную гибкость при обучении и настройке на заданную проблему.

Серьёзное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблатта (F. Rosenblatt) из Корнельского университета. В 1958 году он предложил свою модель нейронной сети. Розенблатт ввёл в модель Мак-Каллока и Питтса способность связей к модификации, что сделало её обучаемой. Эта модель была названа персептроном [22], [24], [57], [25]. Первоначально персептрон представлял собой однослойную структуру с жёсткой пороговой функцией процессорного элемента и бинарными или многозначными входами.

Первые персептроны были способны распознавать некоторые буквы латинского алфавита. Впоследствии модель персептрона была значительно усовершенствована [25].

Персептрон применялся для задачи автоматической классификации, которая в общем случае состоит в разделении пространства признаков между заданным количеством классов. В двухмерном случае требуется провести линию на плоскости, отделяющую одну область от другой. Однослойный персептрон способен делить пространство только прямыми линиями (плоскостями) [7], [22].

Персептрон обучают, подавая множество образов по одному на его вход и подстраивая веса до тех пор, пока для всех образов не будет достигнут требуемый выход.

Алгоритм обучения персептрона выглядит следующим образом:

1. системе предъявляется эталонный образ;

2. если выходы системы срабатывают правильно, весовые коэффициенты связей не изменяются;

3. если выходы срабатывают неправильно, весовым коэффициентам даётся небольшое приращение в сторону повышения качества распознавания.

В основе алгоритма лежит дельта-правило. Вводится в рассмотрение величина 8, которая равна разности между требуемым или целевым выходом Т и реальным выходом А.

8 — Т — А.

Случай, когда 8−0, отвечает тому, что выход правилен и в сети ничего не изменяется.

В случае, когда 6 > О или 5 < 0 персептронный алгоритм обучения сохраняется, если 8 умножается на величину каждого входа х1 и это произведение добавляется к соответствующему весу. С целью обобщения вводится коэффициент «скорости обучения» 77, который умножается на 8×1, что позволяет управлять средней величиной изменения весов.

В алгебраической форме записи.

А, = т]8х, +1) = ^(0 +А, > где А, — коррекция, связанная с /-м входом >^(/ + 1) — значение веса / после коррекцииту (/) — значение веса / до коррекции.

Дельта-правило модифицирует веса в соответствии с требуемым и действительным значениями выхода, как для непрерывных, так и для бинарных входов и выходов. Эти свойства открыли множество новых приложений.

Линейная разделяющая поверхность, формируемая персептроном, ограничивает круг решаемых им задач. Выходом из этого положения является использование многослойного персептрона, способного строить ломаную границу между распознаваемыми образами.

В 1969 году Минский и Пайперт показали, что персептрон не может решить задачу «ИСКЛЮЧАЮЩЕЕ ИЛИ». Выводы их по поводу перспектив персептронной модели были весьма пессимистичными. В связи с этим исследования в области нейронных сетей были почти полностью прекращены вплоть до конца 70-х годов.

Новый виток быстрого развития моделей на основе нейронных сетей, который начался в 80-х годах, связан с работами Амари (S. Amari), Андерсона, Карпентера (G. A. Carpenter) [33], Кохена (М. A. Cohen) [36] и других, и в особенности, Хопфилда (J. Hopfield) [26], [41]-[43], а также под влиянием обещающих успехов1 оптических технологий [1] и зрелой фазы развития СБИС [36] для реализации новых архитектур.

Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана [40] для программирования сети. Но не сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введённая Хопфилдом функция вычислительной энергии нейронной сети, являющейся аналогом функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа «все на всех» характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в в себе всю структуру взаимосвязей в сети. Понимание такой динамики нейронной сети было и у других исследователей. Однако Хопфилд и Тэнк [26] показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать её для отображения задачи в нейронную сеть. Например, для симметричной нейронной сети с обратными связями, т. е. связями, идущими от выходов сети к её входам, функция энергии может быть введена следующим образом: ' У j j где Е — искусственная энергия сети, — вес от выхода нейрона / к входу нейрона у, у1 — выход нейрона / и вход нейрона у, у] - выход нейрона у, I] -внешний вход нейрона ] ¦, Tj — порог нейрона у .

Этот подход получил развитие и для. решениядругих комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связейвычисляются на основании вида функции энергии, сконструированной для этой задачи.

3.6 Выводы к Главе 3.

В результате проведенных в третьей главе разработки и тестировании комплекса программ для управления инвестициями в финансовые инструменты фондового рынка получены следующие основные результаты:

1. Изложены основные положения, правила построения и механизм работы комплекса программ для управления инвестициями на фондовом рынке, включая формализацию биржевой стратегии, определяющей правила открытия и закрытия позиций по финансовым инструментам, методику управления капиталом, механизмы тестирования и оптимизации программного комплекса.

2. На основе портфельной теории Марковича проведено построение инвестиционного портфеля из произвольного количества финансовых инструментов с учетом ограничений на их состав и веса в портфеле (лимитов) и приведен алгоритм поиска численных решений данной задачи.

3. Реализован метод увеличения объема выигрывающей длинной позиции для трендовых систем, позволяющий снизить риски инвестирования, сохраняя высокую общую доходность.

4. На основе предложенных в работе алгоритмов и методов построения и функционирования комплекса программ для управления инвестициями на фондовом рынке, а также рассмотренной ранее методики прогнозирования временных рядов с помощью нейронных сетей и методов построения алгоритмических комбинаций моделей прогнозирования, реализован комплекс программ для биржевой торговли акциями российских эмитентов на ММВБ.

5. В соответствии с изложенной методикой проведено тестирование и оптимизация разработанного программного комплекса на примере временных рядов котировок акций ОАО «Полюс Золота» и ОАО «ГАЗПРОМ». Результаты тестирования показали, что разработанный программный комплекс для управления инвестициями в финансовые инструменты фондового рынка, по доходности более чем в два раза превзошла пассивную стратегию инвестирования.

Заключение

.

В диссертации получены следующие основные результаты:

1. С помощью разработанной в диссертации методики применения однослойных нейронных сетей проведено численное моделирование динамики временного ряда и прогнозирование биржевых котировок акций ОАО «Сбербанк» за период с 12.01.2009 по 12.07.2009 г. Получены однодневный и долгосрочный прогнозы для исследуемого временного ряда, рассмотрено влияние различных параметров модели и метода на скорость сходимости алгоритма обучения и качество прогноза. Проведенные численные эксперименты показали, что использование адаптивного шага обучения позволяет сократить число итераций алгоритма обучения, необходимых для сходимости градиентного метода минимум на 10%, но не приводит к росту качества прогноза для данной прикладной задачи. Наилучшее качество прогноза показали модели с сигмоидальной функцией активации, для которых ошибка однодневного прогноза значений котировок не превышает 2,6%.

2. С помощью аппарата однослойных нейронных сетей проведено построение адаптивных комбинаций моделей прогнозирования. Численное моделирование по данным котировок акций ОАО «Сбербанк» выявило преимущество адаптивных комбинаций в 30−40% по точности прогноза значений и в 10−20% по точности прогноза направления тренда по сравнению с базовыми алгоритмами, составляющими динамическую комбинацию.

3. Выработана схема применения нейронных сетей на основе радиальных базисных функций для прогнозирования временных рядов котировок финансовых инструментов на фондовом рынке. Проведено численное моделирование динамики временного ряда и прогнозирование биржевых котировок акций ОАО «Сбербанк» выявившее преимущество использования моделей на основе сетей радиальных базисных функций для долгосрочного прогноза.

4. С помощью выработанной методики применения многослойных нейронных сетей, обученных по алгоритму обратного распространения ошибки, проведено численное моделирование динамики временного ряда и прогнозирование биржевых котировок акций ОАО «Сбербанк» за период с 12.01.2009 по 12.07.2009 г. Получены однодневный и долгосрочный прогнозы для исследуемого временного ряда, рассмотрено влияние различных параметров модели и метода на качество прогноза. Предложена модификация целевого функционала в алгоритме обратного распространения, позволяющая повысить качество прогноза направления тренда для временного ряда котировок акций в среднем на 20% и обеспечить прогноз значений котировок с ошибкой не превышающей 2% в данной прикладной задаче.

5. Реализован метод увеличения объема выигрывающей позиции, позволяющий снизить риски инвестирования, сохраняя высокую общую доходность системы.

6. На основе предложенных в работе алгоритмов и методов управления инвестициями в финансовые инструменты фондового рынка, а также рассмотренных математических моделей прогнозирования временных рядов с помощью нейронных сетей и методов построения алгоритмических комбинаций моделей прогнозирования, в среде программирования Borland Delphi 7.0 реализован комплекс программ для управления инвестиционной деятельностью на фондовом рынке.

7. В соответствии с изложенной методикой проведено тестирование и оптимизация разработанного комплекса программ для управления инвестициями в финансовые инструменты фондового рынка на примере временных рядов котировок акций ОАО «Полюс Золота» и ОАО «ГАЗПРОМ».