Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей

Данная диссертационная работа посвящена вопросу разработки методики извлечения знаний из эмпирических данных с использованием теории нейронных сетей. Цель состоит в выявлении скрытых, нетривиальных и неформализуемых закономерностей в наборах данных. Получение практически полезных и доступных интерпретации знаний необходимо для принятия решений в различных сферах человеческой деятельности. Подобные задачи актуальны в областях, где присутствуют большие информационные массивы неоднородных, меняющихся во времени данных высокой размерности[133]. Например, методы извлечения знаний могут применяться для предприятий торговли[79] (анализ структуры клиентов и покупок, характера и моделей поведения), банков и страховых компаний [96] (выявление мошенничества, создание новых целевых программ и услуг), медицинских учреждений [54] [70] (выбор способа лечения, прогнозирование осложнений).

Существует пять различных типов закономерностей[78]: ассоциация, последовательность, прогнозирование, классификация, кластеризация. Ассоциация представляет собой определение связи между событиями. Если события связаны друг с другом по времени, то говорят о последовательности. Прогнозирование осуществляет предсказание поведения системы в будущем на основе ретроспективной информации, хранящейся в виде временных рядов. Классификация — выявление признаков, характеризующих группу, к которой принадлежит тот или иной объект. Более общим случаем является кластеризация, которая отличается от классификации тем, что сами группы заранее не заданы.

Ввиду широты проблематики, связанной с извлечением знаний из массивов данных, область исследований была сужена и в диссертационной работе рассматриваются задачи прогнозирования. Важной особенностью является то, что прогноз основывывается не только на предшествующих значениях прогнозируемой величины, но также учитывает влияние различных дополнительных факторов, также представленных временными рядами. Таким образом, данном случае прогнозирование осуществляетсчя на основе совместной обработки нескольких временных рядов.

Рассматриваемая задача актуальна в различных областях. В частности, в представляемой диссертационной работе приведены результаты решения задачи уточнения траекторного прогноза движения искусственного спутника земли (ИСЗ), а также задачи оценки влияния случайных возмущений на параметры авиационного насоса. Характерной предметной областью, в которой необходимо решение задачи нахождения прогноза с учетом выявляемых скрытых закономерностей в массивах данных, являются финансовые рынки. Прогнозирование финансовых временных рядов рассматривается в [42][62][81][119], и является актуальной научно-технической задачей. Так, в настоящее время существует несколько сот организаций-участников финансового рынка (национальная ассоциация участников фондового рынка (НАУФОР) по состоянию на 01.04.02 включала 507 членов. Существуют также и организации — не члены НАУФОР. [109]), результаты деятельности каждой из которых напрямую зависят от успешности решения подобной задачи. При этом данные организации оперируют значительными суммами. Например, совокупный оборот только московской межбанковской валютной биржи (ММВБ) в 2001 г. составил 107 млрд. долларов США[105], при этом в Российской Федерации имеются и другие торговые площадки [106] [122] [123]. В целом, рассматриваемая задача актуальна в областях, где требуется решение задачи прогнозирования, на основе анализа данных за предшествующие моменты времени в целью учета зависимости между значениями некоторого набора факторов и поведением исследуемого объекта или процесса, представленного временным рядом. При этом задача имеет следующие особенности[118]:

— на прогнозируемую величину влияют нескольких различных факторов (также являющихся временными рядами). Нахождение и аналитическое описание данных зависимостей затруднено.

— рассматриваемые временные ряды являются нелинейными и нестационарными.

— вид нелинейности временного ряда априорно не известен и не описан аналитически.

— в результате решения задачи требуется нахождение не сглаженного краткосрочного прогноза.

Математически рассматриваемая задача может быть описана следующим образом:

Пусть имеется объект прогноза У, представленный временным рядом своих значений в предшествующие моменты времени У,, где текущий момент времени, /¿—глубина ретроспективной выборки. На поведение У влияет совокупность факторов (характеристик): У, У&bdquo-, где пколичество факторов. Каждая г'-ая характеристика 0=1.л) также представлена совокупностью своих предыдущих значений ,.

Исходя из физического смысла задачи У принадлежит V, так как предыдущие значения У влияют на его будущее значение и, следовательно, должны входить в К В общем случае глубина ретроспективной выборки для различных У (0 может быть различной. Требуется найти значение У в будущий момент времени на основе известных предыдущих значений V. В зависимости от физического смысла задачи может одновременно прогнозироваться несколько величин, то есть значение У в каждый момент времени может быть вектором.

Традиционно для решения подобных задач используются методы математической статистики, изложенные в работах [53][63][73][90][107][59]. Однако описанные выше особенности ограничивают возможности применения статистических методов. Так, применение различных процедур сглаживания не отвечает поставленной задаче, так как при прогнозировании нас интересует не сглаженное значение, а именно отклонение от него в будущий момент времени. Кроме того, прогнозируемый временной ряд характерен тем, что он не является стационарным и не преобразуем к стационарному. Поэтому методы, разработанные для стационарных рядов, использованы быть не могут. Применение линейных регрессионных моделей ограничено ввиду явной нелинейности процесса, а нелинейных — из-за необходимости явного задания характера нелинейности.

Для прогнозирования на финансовых рынках де-факто используется технический анализ, под которым понимается исследование динамики рынка, чаще всего посредством графиков, с целью прогнозирования будущего направления движения цен [100]. Методы и индикаторы технического анализа описаны в [92] [99] [100] [44] [115]. Основным постулатом является предположение о том, что в существующие рыночные цены сделок уже заложено направление динамики цен, в виде ожиданий игроков[43][100]. То есть в самом характере изменения цены отражены все влияющие на нее факторы и текущая цена — результирующая всех этих факторов. Средства технического анализа являются распространенным способом прогнозирования временных рядов. Основными их достоинствами является простота использования и наглядность. Современный технический анализ включает в себя большое количество прикладных методов. Всего в настоящий момент насчитывается более 160 различных индикаторов и методик[98]. Положительные черты технического анализа заключаются в свойственных ему гибкости и адаптационных способностях. Также сильной стороной технического анализа является возможность его применения на любом отрезке времени. В целом средства технического анализа позволяют получать неплохие результаты, однако его большими минусами были и остаются субъективизм эксперта (особенно в графическом анализе), обилие ложных сигналов, противоречивость различных индикаторов. Другим принципиальным недостатком является то, что анализ основывается лишь на прогнозируемом ряде, не используя в явной форме информацию по другим факторам, влияющим на прогнозируемую величину. Таким образом, возможности аппарата технического анализа заведомо сужены по сравнению с методами, использующими для прогноза несколько различных факторов (например, нейронными сетями, применение которых обсуждается в данной работе).

По сравнению со средствами математической статистики и технического анализа, традиционно использовавшихся для прогнозирования, нейронные сети имеют ряд преимуществ[98].

Нейросетевой анализ не предполагает никаких ограничений на характер входной информации. Это могут быть как индикаторы данного временного ряда, так и сведения о динамике других факторов, в то время как другие методы рассматривают только значения прогнозируемого ряда.

Применение нейронных сетей не накладывает никаких ограничений на характер исследуемых рядов, поэтому нестационарность рассматриваемых процессов не представляет проблемы. Наиболее ценным свойством нейронных сетей является их способность успешно решать задачи, в которых затруднено или невозможно нахождение аналитических зависимостей между входными и выходными данными. Нейросети способны находить оптимальные для данной задачи индикаторы и строить по ним оптимальную для данного ряда стратегию предсказания. Кроме того, эта стратегия может быть адаптивна, меняясь вместе с ситуацией.

Для многослойных нейронных сетей строго математически доказано, что они могут представлять любую вещественную непрерывную векторную функцию любого вещественного непрерывного векторного аргумента [17]. То есть многослойные сети могут быть использованы для решения любой задачи, которая может быть сведена к построению функций, в том числе для прогнозирования.

Все вышеперечисленные факторы определяют возможность эффективного использования аппарата нейронных сетей в рассматриваемом классе задач.

Основным недостатком нейронных сетей является отсутствие формализованных алгоритмов настройки сети, а, как следствие, необходимость привлечения высококлассных специалистов ввиду высокой сложности такой настройки, отсутствие гарантий успешного решения поставленной задачи. Кроме того, произведенный анализ показал, что существующие программные средства не имеют конкретной проблемной ориентации и не адаптированы к решению рассматриваемого класса задач[75][111]. Поэтому большую практическую значимость приобретает разработка формальной методики настройки и обучения сети и выработка практических рекомендаций, которые позволят более успешно применять аппарат нейронных к решению задач прогнозирования временных рядов широкому кругу пользователей.

Таким образом, целью настоящей диссертационной работы является разработка и апробация методики извлечения знаний из совокупности эмпирических данных и учета неформализуемых информационных зависимостей для предсказания будущего состояния нестационарного временного ряда с помощью аппарата нейронных сетей, позволяющей решать рассматриваемый класс задач прогнозирования с обеспечением практически значимой устойчивой точности выдаваемых нейронной сетью прогнозов.

Для выбора типа используемой нейронной сети в диссертационной работе была выполнена классификация существующих архитектур нейронных сетей, а также выполнен анализ применимости конкретных видов нейросетей к решению различных классов задач. Результатом данного анализа явилось определение архитектур нейронных сетей, которые могут быть применены для решения задачи прогнозирования: это сети радиального базиса (RBF-сети) и сети типа «многослойный перцептрон» (MLP), и их сравнение. Сеть MLP характеризуется более высокой сложностью обучения. В то же время существует некоторая неэффективность сети RBF, которая связана с тем, что при работе сети в каждом конкретном случае используется лишь часть нейронов. Следствием этого является экспоненциальный рост размерности сети RBF при увеличении размерности входных данных [81]. При решении одной и той же задачи в большинстве случаев размер сети RBF будет превышать размер MLP. Кроме того, сеть RBF не обладает способностью к экстраполяции данных при увеличении ширины диапазона значений входных данных[113]. С учетом вышеизложенного, в данной диссертационной работе для построения моделей использовалась сеть типа «многослойный перцептрон».

Разработанная методика краткосрочного прогнозирования основана на учете неформализуемых зависимостей между различными факторами в массиве эмпирической информации. При этом предлагаемая методика позволяет решать задачу прогнозирования на основе совместной обработки нескольких влияющих друг на друга временных рядов, не накладывая никаких ограничений на их характер. В рамках методики предложены способы предварительной обработки данных для повышения экономичности нейросетевой модели, процедура определения параметров модели, определены параметры обучения (в т.ч. разработана и исследована новая функция ошибки обучения), предложены критерии оценки качества получаемой модели, разработан алгоритм обучения с учетом специфики решаемой задачи.

Правильная предварительная подготовка данных является ключевым фактором успешного решения задачи[81], и в работе предложен новый способ такой подготовки. Основная цель данного этапа — повышение информативности исходных данных.

Для этого в рамках методики предложен ряд процедур. Во-первых, отказ от использования абсолютных значений временных рядов и переход к относительным изменениям, взятым с лагом 1, что позволяет повысить чувствительность сети к ее входам. Во-вторых, нормировка данныхлинейная, либо на основе статистических характеристик ряда, позволяющая повысить информативность обучающих примеров. В-третьих, нелинейная нормировка с помощью функции активации нейронной сети, усиливающая эффект предыдущей нормировки. Новизна данного подхода заключается в изменяемом виде функции активации, что позволяет повысить эффективность нормировки путем лучшего приближения распределения данных к равномерному. Для возможности изменения вида функции активации в ее состав введен специальный коэффициент.

В работе предложен способ определения состава входных факторов, глубины ретроспективной выборки (то есть числа предыдущих значений, участвующих в нахождении прогноза) по каждому из них, а также иных параметров модели. Для этого предлагается использовать следующую процедуру: к уже существующей модели добавляется следующий фактор из числа неиспользованных, дающий наибольшее улучшение точности модели. Первоначальная модель строится только на основе прогнозируемого ряда. Глубина ретроспективной выборки по каждому фактору устанавливается при его добавлении путем варьирования найденного раньше ее начального приближения, которое определяется на основе анализа графиков автокорреляционных функций. Добавление дополнительных факторов прекращается, если оно перестанет улучшать точность модели. Описанная процедура позволяет находить приемлемые субоптимальные комбинации входных факторов и параметров модели.

Одним из результатов диссертационной работы является разработка новой функции расчета ошибки обучения сети. Идея ее применения заключается в том, что при прогнозировании экономических рядов важнее правильное определение знака будущего изменения, нежели его абсолютного значения, поэтому традиционно применяющаяся среднеквадратичная ошибка в силу специфики предметной области не является наилучшим критерием. В состав функции введены специальные коэффициенты, позволяющие изменять ее вид и использовать не только в экономической сфере, но и других областях в рамках рассматриваемого в диссертационной работе класса задач.

В качестве алгоритма обучения использовался модифицированный для учета специфики задачи алгоритм обратного распространения ошибки, отличающийся высокой надежностью и обеспечивающий удовлетворительную скорость сходимости.

В рамках данной работы была создана программная реализация разработанной методики, обеспечивающая автоматизированную обработку эмпирических данных. С этой целью были разработаны программные средства выполняющие расчет необходимых статистических характеристик, формирование обучающих примеров, а также реализующие обучение и работу нейронной сети с учетом предложенной в данной работе новизны.

В ходе экспериментальных исследований были рассмотрены три задачи из различных областей. В качестве предметной области в для первой задачи использовалась финансовая сфера, а именно прогнозирование котировок пятого транша облигаций государственного внутреннего валютного займа (ОГВВЗ). В качестве второй задачи было рассмотрено построение нейросетевой модели, выполняющей прогноз ошибки определения координат ИСЗ с помощью аналитической модели на основе анализа ретроспективной эмпирической информации. Третья задача заключалась в оценке влияния случайных возмущений на характеристики авиационного насоса.

Практическая ценность данной работы заключается в разработке методики применения аппарата нейронных сетей к решению задачи прогнозирования нестационарных временных рядов, выработку рекомендаций по ее применению, разработке программных средств, реализующих данную методику. Результаты данной диссертационной работы (конкретные алгоритмы, методика и программные средства) могут быть успешно использованы на практике, что подтверждается результатами численных экспериментов, проводившихся на реальных данных и показавших практически значимые результаты, а документально подтвержденными результатами внедрения.

В представляемой диссертационной работе решен комплекс научно-технических, прикладных и экспериментальных задач, а именно:

1) В результате анализа предметной области произведено выделение класса рассматриваемых в диссертационной работе задач.

2) Произведен анализ математических методов и программных средств, использующихся для решения подобных задач, и исследована применимость аппарата нейронных сетей. Выполнена классификация нейросетевых архитектур.

3) Выполнена формальная постановка задачи, предложена методика решения, основанная на нейронных сетях. Определены ограничения.

4) Выполнена разработка комплекса обработок, методов и алгоритмов для настройки, обучения и функционирования нейросетевой модели.

5) В рамках методики сформулированы конкретные практические рекомендации по решению рассматриваемого класса задач.

6) Определены критерии оценки эффективности разработанной методики.

7) Выполнена разработка программного комплекса для реализации предложенной методики.

8) Осуществлены экспериментальные исследования и апробация методики.

Автор имеет четыре печатные работы по теме диссертации, три подготовленных к публикации, а также ряд выступлений на научных конференциях.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем основного текста диссертации 138 страниц, включая 27 рисунков, 17 таблиц, список использованной литературы из 134 источников.

Выводы по главе 4.

1) Произведена апробация разработанной методики на реальных данных. Для этого была рассмотрены три различные задачи из различных предметных областей. Был проведен ряд численных экспериментов с целью оценки эффекстивности как различных этапов разработанной методики, так и методики в целом.

2) Была обоснована необходимость предложенного в рамках методики перехода от анализа абсолютных значений элементов временных рядов к анализу их относительных изменений, то есть разницы между соседними элементами ряда. Так, использование относительных изменений позволило в 6−12 раз снизить ошибку обучения сети, полученную на обучающем множестве.

3) Была подтверждена эффективность предложенной процедуры выбора глубины ретроспективной выборки на основе анализа графиков автокорреляционных функций. В ходе экспериментов были исследованы два различных ряда, в каждом случае было исследовано более 50 нейронных сетей с различными значениями глубины ретроспективной выборки. Для обоих рядов первые 10 сетей с наименьшей ошибкой имели значение глубины ретроспективной выборки, близкое к определенному в соответствии с методикой.

4) Проведенные эксперименты подтвердили эффективность предложенного в рамках методики способа нелинейной нормировки данных с изменяемым видом нелинейности. Сравнение четырех различных способов нормировки показало, что предложенный способ является лучшим и позволяет снизить ошибку обучения сети в 3−4 раза относительно данных, нормировка которых не проводилась.

5) Была подтверждена эффективность методики в целом. В ходе эксперимента, имитирующего реальную работу нейросетевой модели в наименее благоприятных условиях изменяющегося характера рынка была достигнута точность 73−75%, что является практически значимым результатом.

6) На примере задачи уточнения результатов прогнозирования координат ИСЗ с помощью аналитической модели были продемонстрированы возможности учета влияния случайных возмущающих факторов, формальный аналитический учет которых затруднен или невозможен. В данном эксперименте была достигнута точность 90% .

7) Для демонстрации возможности улучшения точностных показателей путем использования комитетов нейросетей (то есть нескольких сетей, имеющих идентичное строение, но различные начальные значения весовых коэффициентов) была рассмотрена задача оценки влияния случайных возмущений на характеристики авиационного насоса. В ходе данного эксперимента применение комитета нейросетей позволило на 25% улучшить первоначально полученный результат.

Заключение

.

В заключении приводятся основные выводы по представляемой диссертационной работе:

1) Выполнен анализ существующих методов прогнозирования временных рядов. Проведен анализ достоинств и недостатков каждого метода, оценена область его применимости при решении задач прогнозирования. В результате проведенной работы сделан вывод о предпочтительности применения нейронных сетей для некоторого класса задач.

2) Выявлен класс задач, при решении которых нейронные сети имеют преимущество перед традиционными статистическими методами. Данные задачи характеризуются следующими свойствами:

— Нестационарность и нелинейность прогнозируемого процесса.

— Необходимость нахождения несглаженных прогнозов.

— Необходимость совместного использования для нахождения прогноза нескольких временных рядов, содержащих значения факторов, влияющих на объект прогноза.

— Затрудненная формализация зависимостей между входными факторами и значением прогнозируемой величины.

3) Предложена формальная постановка задачи прогнозирования, предполагающая нахождение одношагового прогноза на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей. На основе выполненной классификации нейросетевых архитектур проведен сравнительный анализ применимости различных парадигм нейронных сетей к решению рассматриваемого класса задач.

4) Разработана состоящая из четырех этапов методика решения поставленной задачи. В рамках методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними линейных, а затем нелинейных преобразований с изменяемым видом нелинейности, предложена процедура подбора субоптимального состава входных факторов, а также способ определения глубины ретроспективной выборки на основе средств корреляционного анализа.

5) В рамках методики предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего изменения прогнозируемой величины, а также реализующий ее новый алгоритм обучения сети. В качестве его теоретического обоснования доказан ряд теорем. Разработана функция суммарной ошибки обучения, предложен основанный на данной функции критерий останова обучения. Разработан пакет программ, включающий программные средства моделирования работы нейронной сети и ее обучения по новому алгоритму.

6) Произведена апробация методики на примере прогнозирования котировок облигаций. В ходе экспериментов подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом.