Разработка интеллектуальной информационной системы прогнозирования нестационарных временных рядов на основе нейросетевого логического базиса

Данная диссертационная работа посвящена разработке интеллектуальной системы для прогнозирования временных рядов на основе нейросетевого логического базиса.

Цель состоит в выявлении скрытых, нетривиальных и неформализованных закономерностей в наборах данных. Получение практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Подобные задачи актуальны в областях, где присутствуют большие информационные массивы неоднородных, меняющихся во времени данных высокой размерности [6, 28, 63, 110, 133].

Существует пять типов закономерностей [138]: ассоциация, последовательность, прогнозирование, классификация, кластеризация. Ввиду широты проблематики, связанной с извлечением знаний из массивов данных, область исследований была сужена, и в диссертационной работе рассматриваются задачи прогнозирования.

Важной особенностью является то, что прогноз основывается не только на предшествующих значениях прогнозируемой величины, но также учитывает влияние различных дополнительных факторов, тоже представленных временными рядами. Таким образом, в данном случае прогнозирование осуществляется на основе совместной обработки нескольких временных рядов.

При этом задача имеет следующие особенности [5, 127, 130]:

— на прогнозируемую величину влияют несколько различных факторов (также являющиеся временными рядами). Нахождение и аналитическое описание данных зависимостей затруднено;

— рассматриваемые временные ряды являются нелинейными и нестационарными;

— вид нелинейности временного ряда априорно не известен и не описан аналитически;

— в результате решения задачи требуется нахождение не сглаженного краткосрочного прогноза.

Математически рассматриваемая задача может быть описана следующим образом:

Пусть имеется объект прогноза У, представленный временным рядом своих значений в предшествующие моменты времени У, к, У, 4+1,., У, где tтекущий момент времени, k — глубина ретроспективной выборки. На поведение У влияет совокупность факторов (характеристик): Vv., Vn, где пколичество факторов. Каждая iя характеристика (/ = 1. л) также представлена совокупностью своих предыдущих значений F/'], F/!]+l,., F,(<). Исходя из физического смысла задачи У принадлежит V, так как предыдущие значения У влияют на его будущее значение и, следовательно, должны входить в К. В общем случае, глубина ретроспективной выборки для различных F (,) может быть различной.

Требуется найти значение Y в будущий момент времени на основе известных предыдущих значений V. В зависимости от физического смысла задачи, можно одновременно прогнозировать несколько величин, т. е. значение Y в каждый момент времени может быть вектором.

Традиционно для решения подобных задач используются методы математической статистики, изложенные в работах [110, 117, 124]. Однако, описанные выше особенности ограничивают возможности применения статистических методов. Так, применение различных процедур сглаживания не отвечает поставленной задаче, так как при прогнозировании нас интересует не сглаженное значение, а именно отклонение от него в будущий момент времени. Кроме того, прогнозируемый временной ряд характерен тем, что он не является стационарным и не преобразуется к стационарному. Поэтому методы, разработанные для стационарных рядов, использованы быть не могут. Применение линейных регрессионных моделей ограничено ввиду явной нелинейности процесса, а нелинейных — из-за необходимости задания характера нелинейности.

Средства технического анализа является распространенным способом прогнозирования временных рядов. Основным их достоинством является простота использования и наглядность. Современный технический анализ включает в себя большое количество прикладных методов. Всего в настоящее время насчитывается более 160 различных индикаторов и методов [41]. Положительные черты технического анализа заключаются в свойственных ему гибкости и адаптационных способностях. Также сильной стороной технического анализа является возможность его применения на любом отрезке времени. В целом средства технического анализа позволяют получать неплохие результаты, однако его большими минусами были и остаются субъективизм экспертов (особенно в графическом анализе), обилие ложных сигналов, противоречивость различных индикаторов. Другим принципиальным недостатком является то, что технический анализ основывается на прогнозируемом ряде, не используя в явной форме информацию по другим факторам, влияющим на прогнозируемую величину. Таким образом, возможности аппарата технического анализа заведомо сужены по сравнению с методами, использующими для прогноза несколько различных факторов (например, нейронными сетями, применение которых обсуждается в данной работе).

По сравнению со средствами математической статистики и технического анализа, традиционно использовавшихся для прогнозирования, нейронные сети имеют ряд преимуществ [81, 82, 83,91, 92, 93].

Применение нейронных сетей не накладывает никаких ограничений на характер исследуемого ряда, поэтому нестационарность рассматриваемых процессов не представляет проблемы. Наиболее ценным свойством нейронных сетей является их способность успешно решать задачи, в которых затруднено или невозможно нахождение аналитических зависимостей между входными и выходными данными. Нейронные сети способны находить оптимальные для данной задачи индикаторы и строить по ним оптимальную для данного ряда стратегию предсказания. Кроме того, эта стратегия может быть адаптивна, меняясь вместе с ситуацией.

Для многослойных нейронных сетей строго математически доказано, что они могут представлять любую вещественную непрерывную функцию любого вещественного непрерывного векторного аргумента [38, 132]. То есть, многослойные сети могут быть использованы для решения любой задачи, которая может быть сведена к построению функций, в том числе и для прогнозирования.

Все вышеперечисленные факторы определяют возможность эффективного использования аппарата нейронных сетей в рассматриваемом классе задач.

Основным недостатком нейронных сетей является отсутствие формализованных алгоритмов настройки сети, а, как следствие, необходимость привлечения высококлассных специалистов, ввиду высокой сложности такой настройки, отсутствие гарантий успешного решения поставленной задачи. Кроме того, проведенный анализ показал, что существующие программные средства не имеют конкретной проблемной ориентации и не адаптивны к решению рассматриваемого класса задач [3, 50, 54,136].

Для выбора типа используемой в диссертационной работе нейронной сети выполнен анализ применимости конкретных видов нейронных сетей к решению различных классов задач. Результатом данного анализа явилось определение архитектур нейронных сетей, которые могут быть применены для решения задачи прогнозирования: это сети радиального базиса (RBF-сети) и сети типа «многослойный персептрон» (MLP), и их сравнение. Сеть MLP характеризуется более высокой сложностью обучения. В тоже время, существует некоторая неэффективность сети RBF, которая связана с тем, что при работе сети в каждом конкретном случае используется лишь часть нейронов. Следствием этого является экспоненциальный рост размерности сети RBF при увеличении размерности входных данных [1]. При решении одной и той же задачи, в большинстве случаев размер сети RBF будет превышать размер MLP. Кроме того, сеть RBF не обладает способностью к экстраполяции данных при увеличении ширины диапазона значений входных данных [6]. С учетом вышеизложенного, в данной диссертационной работе для построения моделей использовалась сеть типа «многослойный персептрон».

В рамках данной работы была описана интеллектуальная информационная система, разработана ее программная реализация, в виде программного комплекса NeuroPrognoz (версия 1.0), для решения задачи прогнозирования на основе нейросетевой прогнозной модели, по разработанной методике.

NeuroPrognoz (версия 1.0) — комплекс прогнозирования нестационарных временных рядов на основе аппарата нейронных сетей. Он написан на М-языке высокоуровневой системы программирования MATLAB и предназначен для решения задач краткосрочного (одношагового) прогнозирования (предсказание величины в следующий момент времени).

Логическая структура программного комплекса NeuroPrognoz (версия 1.0) имеет три функциональных блока:

— блок проектирования;

— пространство данных;

— блок составления прогноза.

Компонентами программного комплекса являются:

1. Компонент подготовки данных, имеющий три модуля: а) startf. mб) inputfirst. mв) makeOtn. m;

2. Компонент проектирования сети, имеющий модули: а) startm. mб) first. mв) inputfirst. mг) inputdatd. mд) netptj. mе) learn. mж) testing, mз) normLmи) normS. mк) normN. mл) trainm. mм) gbpm. mн) gsimm. mо) mef. mn) dmef. m;

3. Компонент составления прогноза, состоящий из следующих модулей: а) progn. mб) normL. mв) normS. mг) normN.m.

Листинг программного комплекса NeuroPrognoz (версия 1.0) представлен в Приложении А. В Приложении Г показан фрагмент генерирования программным комплексом NeuroPrognoz (версия 1.0) модифицированного алгоритма обучения сети с нестандартной функцией ошибки, разработанного в рамках методики и реализующего обучение и работу нейронной сети с учетом предложенной в данной работе новизны.

В ходе экспериментальных исследований была рассмотрена задача, предметной областью для которой являлась финансовая сфера, а именно прогнозирование финансовой устойчивости промышленных предприятий.

АКТУАЛЬНОСТЬ РАБОТЫ.

Только в последние несколько лет компьютерные технологии вышли на тот уровень, когда появилась реальная возможность говорить о разработке интеллектуальных информационных систем прогнозирования временных рядов, использующих в форме математического ядра нейросетевые алгоритмы.

Рассматриваемая задача актуальна в различных областях, в частности, в представленной диссертационной работе приведены результаты решения задачи прогнозирования финансовой устойчивости промышленного предприятия. Характерной предметной областью, в которой необходимо решение задачи нахождения прогноза с учетом выявленных скрытых закономерностей в массивах данных, является финансовая политика промышленных предприятий. Прогнозирование финансовых временных рядов рассматривается в [52, 128, 136] и является актуальной научно-технической задачей, так как результаты деятельности предприятий и экономики напрямую зависят от решения подобной задачи.

В целом рассматриваемая задача актуальна в областях, где требуется решение задачи прогнозирования на основе анализа данных за предшествующие моменты времени, с целью учета зависимости между значениями некоторого набора факторов и поведением исследуемого объекта или процесса, представленного временным рядом.

ЦЕЛЬ РАБОТЫ.

Целью настоящей диссертационной работы является разработка и апробация формализованной методики обучения и настройки нейронной сети для предсказания будущего состояния нестационарного временного ряда, осуществление ее реализации на практике в виде интеллектуальной информационной системы, реализованной программным продуктом NeuroPrognoz (версии 1.0).

ЗАДАЧИ ИССЛЕДОВАНИЯ.

1. Провести анализ существующих методов прогнозирования временных рядов.

2. Выявить класс задач, при которых нейронная сеть имеет преимущество перед традиционными методами.

3. Осуществить формальную постановку задачи прогнозирования, предполагающую нахождение одношагового прогноза, на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработать методику для решения поставленной задачи.

5. Разработать интеллектуальную информационную систему, позволяющую реализовать нейросетевые алгоритмы, для создания нейросетевой модели.

6. Осуществить, на основе разработанной методики, программную реализацию интеллектуальной информационной системы для прогнозирования нестационарных временных рядов.

7. Провести апробацию разработанной методики на реальных данных. Провести ряд численных экспериментов с целью оценки эффективности, как различных этапов методики, так и методики в целом.

МЕТОДЫ ИССЛЕДОВАНИЯ.

Поставленные задачи решены с применением метода теории искусственных нейронных сетей, аппарата математической статистики, системного анализа, вычислительной математики, математического моделирования, искусственного интеллекта, нейроматематики, оптимизации и идентификации, финансового менеджмента.

НАУЧНАЯ НОВИЗНА.

Теоретическая значимость выполненных в диссертационной работе исследований заключается в следующем:

1) осуществлена постановка задачи прогнозирования нестационарных временных рядов, на базе интеллектуальных систем;

2) предложена методика создания нейросетевых прогнозных моделей на базе интеллектуальных систем, не имеющая прямых аналогов;

3) разработанная методика краткосрочного прогнозирования основана на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачу прогнозирования на основе совместной обработки нескольких влияющих друг на друга временных рядов, не накладывая никаких ограничений на их характер;

4) в рамках методики предложены и разработаны:

— способы предварительной обработки данных для повышения экономичности нейросетевой модели;

— процедура определения параметров модели;

— определены параметры обучения (в том числе, разработана и исследована новая функция ошибки обучения);

— критерии оценки качества получаемой модели;

— алгоритм обучения с учетом специфики решаемой задачи.

Правильная предварительная подготовка данных является ключевым фактором успешного решения задачи [1], и в работе предложен новый способ такой подготовки. Основная цель данного этапа — повышение информативности исходных данных. Для этого в рамках методики предложено ряд процедур:

— отказ от использования абсолютных значений временных рядов и переход к относительным изменениям, взятым с лагом I, что позволяет повысить чувствительность сети к ее входам;

— нормировка данных — линейная, либо на основе статистических характеристик ряда, позволяющая повысить информативность обучающих примеров;

— нелинейная нормировка с помощью функции активации нейронной сети, усиливающая эффект предыдущей нормировки.

Новизна данного подхода заключается в изменяемом виде функции активации, что позволяет повысить эффективность нормировки путем лучшего приближения распределения данных к равномерному. Для возможности изменения вида функции активации в ее состав введен специальный коэффициент.

В работе предложен способ определения состава входных факторов, глубины ретроспективной выборки (то есть числа предыдущих значений, участвующих в нахождении прогноза) по каждому из них, а также иных параметров модели.

5) сформулирован принцип построения интеллектуальной информационной системы с нейросетевым блоком для прогнозирования нестационарных временных рядов;

6) разработана неформальная нейросетевая модель прогнозирования, на основе предложенной методики;

7) разработана структура интеллектуальной информационной системы с нейросетевым блоком для прогнозирования.

ПРАКТИЧЕСКАЯ ЦЕННОСТЬ.

Прикладная ценность полученных результатов заключается в создании интеллектуальной информационной системы, основанной на разработанной методики применения аппарата нейронных сетей к решению задачи прогнозирования нестационарных временных рядов. Выработке рекомендаций по ее применению. Программная реализация интеллектуальной информационной системы в виде программного комплекса NeuroPrognoz (версии 1.0).

Внедрение интеллектуальной информационной системы осуществляется путем адаптации (настройки параметров) применительно к конкретной предметной области. Она позволяет представить лицу, принимающему решение, доступную информацию из различных областей знаний в удобной форме, что способствует оперативности и обоснованности принимаемых решений.

РЕАЛИЗАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ.

В настоящее время разработанная методика создания нейросетевой модели прогнозирования нестационарных временных рядов реализована в виде программного комплекса NeuroPrognoz (версии 1.0) (см. Приложение А), созданного на основе нейросетевого пакета прикладных программ Neural Network Toolbox в среде высокого уровня программирования MATLAB. Команды с большим объемом вычислений написаны на языке С, многие представлены в терминах С-программ. Результаты исследований внедрены в ниже перечисленных организациях:

1. Общество с ограниченной ответственностью «Элакс» (г. Новороссийск) — для прогнозирования финансовой устойчивости предприятия.

2. «Союз программистов России» (г. Ростов-на-Дону) — для эффективного формирования и использования денежных ресурсов, проведения и оказания консалтинговых услуг.

3. Общество с ограниченной ответственностью «Уралтранспрод» (г. Екатеринбург) — для рационального управления собственными и заемными средствами, определения стратегии предприятия, управления денежными потоками.

Акты, подтверждающие внедрение результатов диссертационной работы, приведены в Приложении Д.

АПРОБАЦИЯ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.

Результаты работы докладывались и обсуждались на: — И Всероссийской научной конференции молодых ученых и студентов (г. Анапа, 2005 г.);

— VIII Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2002 г.);

— IX Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2003 г.);

— X Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2004 г.);

— XI Всероссийской научно-практической конференции «Инновационные процессы в высшей школе» (г. Краснодар, 2005 г.);

— XV Международной конференции-выставке «Информационные технологии в образовании (г. Москва, 2005 г.);

ПУБЛИКАЦИИ.

По теме диссертации опубликовано 12 печатных работ. Из них: 8 статей, 4 тезиса докладов на вышеперечисленных конференциях.

ОСНОВНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ.

1. Методика краткосрочного прогнозирования, основанная на учете неформализованных зависимостей между различными факторами в массиве эмпирической информации. При этом, предлагаемая методика позволяет решать задачи прогнозирования на основе совместной обработке нескольких, влияющих друг на друга, временных рядов, не накладывая никаких ограничений на их характер.

2. Способы предварительной обработки данных для повышения экономичности нейросетевой модели;

3. Процедура определения параметров модели;

4. Процедура определения параметров обучения (в том числе предложенная новая функция ошибки обучения);

5. Предложенные критерии оценки качества полученной модели;

6. Разработанный алгоритм обучения с учетом специфики решаемой задачи;

7. Предложенный способ определения состава входных факторов (глубины ретроспективной выборки);

8. Принципы построения и структура интеллектуальной информационной системы прогнозирования, реализованной с помощью разработанного программного комплекса NeuroPrognoz (версии 1.0).

СТРУКТУРА И ОБЪЕМ РАБОТЫ.

Диссертационная работа состоит из введения, четырех глав, заключения и приложения.

4.4 ВЫВОДЫ.

1. Проведена апробация разработанной методики на реальных данных. Для этого была рассмотрена задача, предметной областью которой является экономика. Был проведен ряд численных экспериментов с целью оценки эффективности, как различных этапов разработанной методики, так и методики в целом.

2. Обоснована необходимость предложенного в рамках методики перехода от анализа абсолютных значений элементов временных рядов к анализу их относительных изменений, то есть разница между соседними элементами ряда. Так использование относительных изменений позволило в 6−12 раз снизить ошибку обучения сети, полученную на обучающем множестве.

3. Обоснована эффективность предложенной процедуры выбора глубины ретроспективной выборки на основе анализа графиков автокорреляционных функций. В ходе экспериментов были исследованы два различных ряда, в каждом случае было исследовано более 50 нейронных сетей с различными значениями глубины ретроспективной выборки. Для обоих рядов первые 10 сетей с наименьшей ошибкой имели значение глубины ретроспективной выборки, близкое к определенному в соответствии с методикой.

4. Проведенные эксперименты подтвердили эффективность предложенного в рамках методики способа нелинейной нормировки данных с изменяемым видом нелинейности. Сравнение 4-х различных способов нормировки показало, что предложенный способ является лучшим и позволяет снизить ошибку обучения сети в 3−4 раза относительно данных, нормировка которых не проводилась.

5. Подтверждена эффективность методики в целом. В ходе эксперимента имитирующего реальную работу нейросетевой модели в наименее благоприятных условиях функционирования предприятия была достигнута точность 73−75%, что является практически значимым результатом.

ЗАКЛЮЧЕНИЕ

.

В заключении приводятся основные выводы по представляемой диссертационной работе.

1. Проведен анализ существующих методов прогнозирования временных рядов. На основе анализа достоинств и недостатков каждого метода, оценена область его применения при решении задач прогнозирования. В результате проведенной работы сделан вывод о предпочтительности применения нейронных сетей для некоторого класса задач.

2. Выявлен класс задач, при решении которых нейронная сеть имеет преимущество перед традиционными статистическими методами. Данные задачи характеризуются следующими свойствами:

— нестационарность и нелинейность прогнозируемого процесса;

— необходимость нахождения несглаженных прогнозов;

— необходимость совместного использования для нахождения прогноза нескольких временных рядов, содержащих значения факторов, влияющих на объект прогноза;

— затруднена формализация зависимостей между входными факторами и значениями прогнозируемой величины.

3. Предложена формальная постановка задачи прогнозирования, предполагающая нахождение одношагового прогноза на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей.

4. Разработана, состоящая из 4-х этапов, методика решения поставленной задачи. В рамках методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними линейных, а затем нелинейных преобразований с изменяемым видом нелинейности, предложена процедура субоптималыюго состава входных факторов, а также способ определения глубины ретроспективной выборки на основе средств корреляционного анализа.

5. В рамках методики предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего изменения прогнозируемой величины, а также реализующий ее модифицированный алгоритм обучения сети. Разработана функция суммарной ошибки обучения, предложен, основанный на данной функции, критерий останова обучения.

6. Разработана интеллектуальная информационная система, позволяющая реализовать нейросетевые алгоритмы, для создания нейросетевой модели, на основе разработанной методики. Разработан программный комплекс NeuroPrognoz-1 включающий программные средства моделирования работы нейронной сети и ее обучения по новому алгоритму.

7. Произведена апробация методики на примере прогнозирования финансовой устойчивости промышленных предприятий. В ходе экспериментов подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом.