Байесов подход к реконструкции динамических систем по временным рядам и долгосрочный прогноз их качественного поведения

В диссертационной работе излагается последовательный подход к реконструкции динамических систем и долгосрочному прогнозу возможного изменения их качественного поведения, как одной из возможных целей такой реконструкции. Динамической системой (ДС) мы будем называть объект, состояние которого описывается точкой фазового пространства, или фазовыми переменными, и изменяется во времени по закону, задаваемому оператором эволюции. Под реконструкцией здесь понимается построение математической модели оператора эволюции (ОЭ) системы по временному ряду, представляющему собой результаты последовательных измерений некоторой физической величины, связанной с фазовыми переменными моделируемой системы. Измерения при этом производятся с конечной точностью. В работе рассматривается два вида ДС — детермини;

I •<�"* рованные и случайные или стохастические. Детерминированной называется такая ДС, будущие состояния которой однозначно определяются г текущим, или по-другому начальными условиями. Под стохастической ДС понимается система, оператор эволюции которой в каждый момент времени является случайным. Физическим объектом, описываемым случайной*' ДС, является система, испытывающая случайные воздействия в процессе эволюции, которые часто называют динамическим или интерактивным шумом.

Разработке методов реконструкции ДС по порожденным ими временным рядам посвящено в последние тридцать лет большое количество работ (см., например, [1−3] и цитируемую там литературу). Такой подход не требует наличия полной и детальной априорной информации о процессах, протекающих в системе, в том смысле, что не включает в себя процедуру построения моделей из первых принципов (уравнений движения среды или отдельных частиц, уравнений для силовых полей, переноса излучения, химической кинетики, тепло и массопереноса и пр.). Математическая модель ОЭ исследуемой ДС при этом строится путем прямого анализа наблюдаемых данных, вообще говоря, без каких-либо допущений о природе изучаемого явления.

ОЭ ДС представляет собой отображение фазового пространства в себя, поэтому для построения его модели необходима реконструкция фазовых переменных системы. Фундаментальной основой методов реализации этого шага являются доказанные Такенсом теоремы [4], а также их обобщения на случай неавтономных и стохастических систем [6], в которых строится вложение фазового пространства произвольной ДС по последовательным измерениям произвольной скалярной функции фазовых переменных. Это вложение представляет собой взятые в достаточном количестве с фиксированным шагом по времени измерения, и носит название «метода координат с задержками». Количество таких координат является, тем самым, размерностью вложения, достаточная величина которой составляет 2Э+1, если ?> - размерность исходной ДС. После того, как последовательность состояний ДС восстановлена, может быть сформирован набор пар образов и прообразов, связанных искомым оператором эволюции. Специфика моделирования ДС состоит, в том, что прообразы определяются собственной эволюцией ДС, а не выбираются в процессе эксперимента. Следствием этого является необходимость хаотичности детерминированной ДС, для того, чтобы ее реконструкция была возможна. В то же время стохастическая ДС в ряде случаев может быть восстановлена и по более простым режимам [102].

По подходам к их построению модели ОЭ можно разбить на две группы [1,2] - локальные и глобальные. К первым относятся модели, определяемые в отдельно взятых элементарных ячейках фазового пространства. При их построении используется идея разложения ОЭ в ряд. В качестве функций, аппроксимирующих данный ОЭ, используются полиномы различной степени [7] (в частности, полином нулевой степени — в этом случае предсказание заключается в простом усреднении по образам всех точек из выбранной окрестности), так и более сложные функции, например, системы радиальных базисных функций [8]. В случае хаотической динамики такие модели обеспечивают характерное время предсказания, обратно пропорциональное значению старшего ляпуновского показателя ВР, являющегося мерой разбегания изначально близких фазовых траекторий на хаотическом аттракторе [9]. Для успешной реконструкции поведения системы с помощью описанных локальных моделей необходимо, прежде всего, чтобы окрестность каждой точки исследуемого аттрактора была хорошо посещаема восстановленной фазовой траекторией, т. е. протяженность наблюдаемого ВР (объем данных) должна быть достаточной для хорошего покрытия всего аттрактора. Другим требованием к наблюдаемым данным является стационарность исследуемого ВР (предполагающая постоянство управляющих параметров реконструируемой системы), поскольку описанные методы базируются на эргодической гипотезе. Главным недостатком-локальных моделей является очень большое количество коэффициентов, требуемых для их описания, что очевидным образом снижает точность реконструируемых характеристик системы. Кроме того, высокая чувствительность к измерительному шуму сильно затрудняет их использование при работе с реальными данными. Вследствие перечисленных ограничений локальные модели используются для краткосрочного количественного прогноза эволюции ДС [7].

В противоположность локальным моделям глобальные модели оператора эволюции определяются во всей области фазового пространства, соответствующей наблюдаемому ВР. Привлекательность такого подхода связана с тем, что весь набор имеющихся данных описывается моделью с небольшим (по сравнению с локальными моделями) числом параметров. Более того, с помощью глобальных моделей можно отслеживать изменения управляющих параметров исходной системы, что находит применение в задачах реконструкции неавтономности системы [10−14,101,102], восстановления бифуркационных диаграмм [15−18], передачи информации [1921] и т. д. Чаще всего глобальная модель строится в виде дискретного ОЭ, описывающего связь между состояниями системы, соответствующими соседним по времени пересечениям фазовой траектории с выбранной секущей аттрактора в восстановленном фазовом пространстве. При этом для аппроксимации ОЭ могут использоваться различные функции, такие как, например, системы ортогональных полиномов [22], системы радиальных базисных функций [8,23,24], искусственные нейронные сети (ИНС) [12,13,25,26] и др. Кроме того, предложены методы построения потоковых глобальных моделей, представляющих собой системы дифференциальных уравнений заранее выбранного вида [27−32].

Глобальная модель ОЭ строится в виде функции, зависящей от набора свободных параметров. При этом задача реконструкции ДС сводится к определению этих параметров. Теоретической основой такого определения, при условии, что функциональный вид модели постулируется, является теорема Байеса [44], которая связывает апостериорную плотность вероятности параметров модели (АПВ) с результатами измерений, а также с априорными распределениями параметров, отражающими априорные представления о моделируемой системе. Часто в качестве оценки параметров модели принимаются их наиболее вероятные значения, т. е. значения, соответствующие максимуму АПВ. Частными случаями такого подхода являются метод наименьших квадратов (МНК) (см., например, [9,33,35]), соответствующий системе с однородным динамическим шумомметод обобщенных наименьших квадратов (МОНК), эффективный в задачах аппроксимации данных, когда погрешность присутствует как в образах, так и в прообразах реконструируемого отображения [34,36,37]- метод множественной стрельбы [39,49], учитывающий «долгие» корреляции наблюдаемой динамической переменной. Одной из целей диссертационной работы является разработка и эффективная реализация «полной версии» Байесова подхода к глобальной реконструкции ДС, позволяющего извлекать из наблюдаемого ВР максимально полную информацию об исследуемой системе.

Попытки построения методик глобальной реконструкции детерминированных ДС, в которых в основе производимых оценок лежат статистические соображения, начали предприниматься сравнительно недавно. Первой работой, направленной на получение несмещенной оценки параметров известной ДС по зашумленному хаотическому ВР, является статья [40], в которой, во-первых, продемонстрировано растущее с увеличением уровня шума систематическое смещение оценок, полученных с помощью МНК и МОНК, и, во-вторых, предложена ценовая функция на основе инвариантной меры модели. На примере ВР, сгенерированного логистическим отображением, показано отсутствие систематической погрешности реконструкции параметра данной системы во всем представленном диапазоне уровня шума. Однако, как было отмечено в последующих работах [38, 41], предложенный метод построения ЦФ содержит ряд неточностей, связанных с неправильной статистической интерпретацией переменных, при этом использование предложенной ЦФ сопряжено с большой вычисли? тельной сложностью. Кроме того, в этих работах, а также в [42−44] отмечается трудность практического использования апостериорной плотности вероятности ненаблюдаемых, построенной статистически корректным' образом (в рамках «классического» Байесова подхода), в случае реконструкции динамической системы по зашумленному хаотическому ВР существенной протяженности. Основная проблема заключается здесь в практической невозможности учета «динамичности» системы в полной мере, что отражается в чрезвычайно сложной («изрезанной») структуре соответствующей функции АПВ. Поскольку именно хаотические ВР, неся в себе информацию о значительной части фазового пространства системы, представляют особый интерес с точки зрения глобальной реконструкции ДС, преодоление данной трудности является очень существенным шагом, на что и были направлены дальнейшие усилия в разработке Байесовых методов. Так, работе [41] предлагается подход, основанный на смягчении требований к динамичности исследуемой системы: при построении искомой АПВ предполагается наличие (кроме детерминированной) слабой стохастической связи между латентными переменными системы, т. е. по сути, в модель вводится динамический шум. Несмотря на то, что, как отмечено в работе [42], авторы фактически «неправомерно» подменили динамическую задачу стохастической, продемонстрировано, что такой подход позволяет получить несмещенные оценки на искомые характеристики системы. В работе [44] нами было показано, что при этом существенно снижается точность реконструкции из-за ослабления априорных требований к системе. В другой работе [38] предложена идея сегментации исходного ВР, при этом налагается требование, чтобы модель «максимально хорошо» воспроизводила наблюдаемую траекторию на этих сегментах. Вопросы выбора оптимальной длины сегмента, а также способа корректной оценки точности реконструкции остаются при этом открытыми.

В первой главе диссертационной работы развивается способ модификации Байесова подхода, направленный на построение функции АПВ, который корректно учитывает статистику шумов, и в то же самое время максимально возможным образом принимает во внимание динамичность исследуемой системы. Указанная выше трудность практического использования Байесова подхода для анализа хаотических рядов преодолевается при этом включением в процедуру реконструкции априорной информации о свойстве динамического хаоса, состоящем в потере информационной связи между отсчетами ряда с увеличением временного интервала между ними. Последнее позволяет получить апостериорное распределение ненаблюдаемых, пригодное для численного анализа. Предлагается также основанный на методе Монте-Карло метод статистического анализа (МСМС) [51,52] построенной функции АПВ, необходимый для расчета доверительных интервалов искомых величин. Отметим, что предложенный метод позволяет, кроме всего прочего, производить оценку параметров распределения шума (например, дисперсию), вообще говоря, неизвестных априори и являющихся ненаблюдаемыми наряду с параметрами модели и латентными переменными. В качестве возможного приложения формулируется и решается задача классификации режимов поведения ДС по коротким за-шумленным рядам [44].

В качестве одного из приложений предложенного подхода рассматривается задача реконструкции слабонеавтономной ДС (с медленно изменяющимися во времени управляющими параметрами). Наблюдаемый временной ряд при этом является слабонестационарным с масштабом нестационарности многократно превышающим характерные времена изменения динамических переменных. Неавтономность системы означает возможность смены типа поведения (бифуркаций) в процессе эволюции, что влечет за собой существенные (иногда катастрофические) изменения количественных характеристик наблюдаемого процесса, прогноз которых определяет практическую значимость задачи. На модельных примерах продемонстрирован успешный вероятностный прогноз типа поведения системы на времена, превышающие продолжительность наблюдений [10−14].

Вторая глава посвящена анализу фундаментальных ограничений на построение детерминированных моделей. Даже в случае, когда есть основания считать наблюдаемую систему детерминированной, построение по сгенерированному такой системой ВР детерминированной модели и использование этой модели для прогноза качественного поведения системы связано с рядом принципиальных ограничений. Первое — это ограничение на сложность системы. Дело в том, что в соответствии с теоремой Такенса [4], реконструкция фазовой траектории возможна в фазовом пространстве не слишком малой размерности йЕ: > 2с13 +1, где — размерность фазового пространства системы, породившей исходный временной ряд (ВР). Это означает, вообще говоря, что модель в форме детерминированной ДС (ДДС) корректно описывает поведение реконструируемой системы в подпространстве существенно меньшей размерности с18, чем размерность фазового пространства самой модели йЕ. Этот эффект называют оверимед-дингом [96]. В силу этого модель оказывается негрубой: она становится неадекватной системе при сравнительно небольших изменениях управляющих параметров. Второе — это ограничение на направление прогноза. Поскольку ВР содержит информацию только о части фазового пространства, определяемой «текущим» аттрактором, принципиально невозможен прогноз бифуркаций наблюдаемой системы «из простого в сложное». Например, нестационарный скалярный временной ряд позволяет правильно предсказать различные сценарии разрушения демонстрируемого системой хаотического поведения [11], однако прогноз возникновения хаотических осцилляций вследствие разрушения более простых типов поведения ДДС невозможен. И, наконец, третье — это ограничение на априорную информацию. Чтобы подтвердить детерминизм наблюдаемой системы, необходимо установить факт конечной размерности аттрактора, восстановленного по ВР, а также определить наименьшую для этого аттрактора размерности вложения. Существующие методы [1,82] определения упомянутых размерностей не применимы для анализа ВР, порожденных природными (например, атмосферными) системами. Дело в том, что, методы определения размерностей системы плохо работают в случае, когда исследуемый ВР содержит случайную компоненту («шум измерений»). Кроме того, требуемая для корректного определения размерности протяженность ВР степенным образом зависит от размерности системы, так что для не слишком простых систем необходимая продолжительность измерений становится практически недостижимой. Перечисленные ограничения являются, на наш взгляд, причиной того, что эффективность «детерминированной» глобальной реконструкции по временным рядам, порожденным природными системами, продемонстрировано в очень небольшом числе работ [27,28,29]. Реконструкция в форме модели случайной ДС (СДС) позволяет смягчить или преодолеть перечисленные выше ограничения, что делает такой подход существенно более универсальным. С точки зрения математики, СДС — это объект, состоящий из модели шума и модели системы, возмущаемой шумом [106]. Как уже было сказано, с точки зрения физики

СДС — это динамическая система, подверженная случайным внешним воздействиям в процессе эволюции. Известно, что большинство природных систем являются открытыми, то есть подверженными многочисленным внешним воздействиям, поэтому представление природных систем в виде СДС выглядит физически обоснованным. Можно сказать, что задача реконструкции СДС по ВР — это необходимый и важный шаг к реконструкции реальных (природных) систем в ситуации, когда неизвестны их адекватные математические модели, построенные из первых принципов (уравнений газои гидродинамики, химической кинетики, балансных соотношений для количества вещества, импульса, энергии и т. д.).

Во второй главе рассматриваются фундаментальные ограничения, обусловленные оверимбеддингом, на применимость изложенных в первой главе подходов к построению детерминированных моделей. Предлагается метод диагностики оверимбеддинга. Формулируется путь преодоления этих ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.

В третьей главе описывается последовательный Байесов подход к моделированию стохастических (случайных) динамических систем по временным рядам. Делаются базовые предположения о шуме, позволяющие эффективную алгоритмическую реализацию подхода. Предлагается универсальная модель случайного оператора эволюции в виде искусственных нейронных сетей.

В четвертой главе на модельных примерах демонстрируются возможности подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. В частности, мы демонстрируем успешный прогноз усложнения поведения системы по сравнению с наблюдаемым, что принципиально невозможно для детерминированных систем. Также в данной главе приводятся примеры успешного прогноза поведения некоторых детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей.

В пятой главе описывается подход к выбору размерности глобальных моделей динамических систем по зашумленным временным рядам (BP). Как известно [1], уже при сравнительно небольшом уровне шума используемые для определения размерности вложения методы (метод фальшивых соседей, вычисление корреляционного интеграла и др.) становятся не эффективными. Предлагаемый подход основан на построении глобальной модели в виде искусственной нейронной сети. При этом необходимое количество нейронов и размерность вложения выбираются так, чтобы длина описания была минимальна. В пятой главе показано, что такой подход является существенно более грубым по отношению к уровню и природе шума.

Апробация работы

Изложенные в диссертации результаты докладывались на семинарах и конкурсах работ молодых ученых Института прикладной физики РАН, семинарах НИИ ПМК, ИФА РАН, кафедры математической статистики ВМК МГУ им. М. В. Ломоносова, на семинаре «Российская наука ~ XXI век» Минпромнауки РФ, в Лондонском Империал колледже (Великобритания), на конкурсах научных работ, на международных и общероссийских конференциях и совещаниях: 12-ой Генеральной ассамблее Международного союза геодезии и геофизики (1999 г., Бирмингем, Великобритания), Международной конференции, посвященной 100-летию со дня рождения A.A. Андронова «Прогресс в нелинейной науке» (2001 г., Нижний Новгород), Международной конференции Хаос'01 (2001 г., Саратов), 120-ой Фа-радеевской дискуссии Королевского химического общества «Nonlinear Chemical Kinetics: Complex dynamics and Spatiotemporal Patterns» (Манчестер, Великобритания, 2001), XXXII Международном научно-методическом семинаре «Шумовые и деградационные процессы в полупроводниковых приборах» (Москва, 2001), 4-ом и 5-ом Рабочих совещаниях программы «REACTOR» Европейского научного фонда (2003 г., Будапешт, Венгрия- 2004 г., Прага, Чехия), Генеральной ассамблее Европейского союза наук о Земле (2005, 2006, 2007, 2008 г., Вена, Австрия), Международном симпозиуме «Topical Problems of Nonlinear Wave Physics» (2005, 2007, 2008 г.), Международной конференции «Динамические дни» (2006 г., Крит, Греция), 3-ой, 4-ой, 5-ой, 6-ой Нижегородской научной сессии молодых ученых (Н. Новгород, 1998, 1999, 2000, 2001 гг.), 9-ой Всероссийской школе-семинаре «Волны — 2004» (Москва), 6-ой, 7-ой, 8-ой, 9-ой и 10-ой Всероссийской школе-конференции молодых ученых «МАПАТЭ» (2000 г. и 2003 г., Нижний Новгород- 2004 г., Москва- 2005 г., Борок- 2006 г., Москва), 11-ой, 12-ой, 13-ой и 14-ой Научной школе «Нелинейные Волны» (2002, 2004, 2006 и 2008 гг., Нижний Новгород), 20-ой Всероссийской конференции по распространению радиоволн (2002 г., Н. Новгород)* 15-ой, 16-ой и 17-ой научной сессии Совета по нелинейной динамике (2006, 2007, 2008гг., Москва). I

Основные результаты диссертации опубликованы в 4 статьях в реферируемых российских (Известия ВУЗов — Радиофизика) и международных (Faradey Discussions, Physical Review E) научных журналах, 5 препринтах ИПФ РАН, 2 отчетах по программе фундаментальных исследований ОФН РАН, 6 сборниках трудов и 22 сборниках тезисов всероссийских и международных конференций.

2.4. Выводы. От детерминированных к стохастическим моделям.

В свете приведенных выше соображений, при построении модели по хаотическому временному ряду размерность множества обучения не может (сильно) превышать размерность наблюдаемого аттрактора, тогда как минимальная размерность вложения, напротив, может быть намного больше. В такой ситуации построение адекватной детерминированной модели становится невозможным, поскольку в размерности, меньшей наименьшей размерности вложения, однозначный оператор эволюции не существует. Одним из возможных способов описания этой неоднозначности может быть введение в динамику системы случайной компоненты, т. е. значение функции последования 0(х) на секущей в восстановленном фазовом пространстве считается случайной величиной.

Динамические системы такого типа называют стохастическими или случайными [106]. Объектом описания таких моделей являются физические системы, подверженные случайным внешним воздействиям. С другой стороны, с «экспериментальной» точки зрения высокоразмерный хаос в условиях ограниченного объема данных неотличим от случайного процесса, поэтому идея о попытке описания высокоразмерных детеминированных динамических систем с помощью низкоразмерных стохастических моделей выглядит вполне оправданной. В следующей главе мы покажем, что результаты такого подхода могут быть эффективны и в случае не слишком высокой размерности исходной детерминированной динамической системы. Заметим также, что аналогичный подход применяется для другого класса задач — при построении климатических моделей «из первых принципов» — для описания подсеточной динамики [100].

Еще одним важным преимуществом стохастического описания является существенно более широкий класс его объектов. Как правило, временные ряды, наблюдаемые в реальном эксперименте, являются короткими и/или зашумленными, что делает невозможным не только оценить размерность вложения, но и установить факт детерминированности породившей их системы как таковой. В такой ситуации стохастическое описание становится существенно более адекватным, поскольку не базируется на этих оценках.

Следующая глава данной диссертации посвящена разработке подходов к построению таких моделей по временным рядам.

Глава 3

Построение стохастических моделей: описание подхода. Введение

В предыдущих главах был подробно описан общий подход к реконструкции детерминированных систем и сформулированы фундаментальные ограничения. Как было показано, основным ограничением при построении детерминированных моделей является оверимбеддинг — существенное превышение минимальной размерностью вложения размерности аттрактора. Важным следствием оверимбеддинга является невозможность восстановления слабой неавтономности системы [96], а, следовательно, и прогноза ее качественного поведения. В пространстве меньшей размерности не существует однозначного оператора эволюции. В предыдущей главе было предложено учитывать эту неоднозначность в виде стохастической компоненты модели [102]. Кроме того, как уже отмечалось, построение стохастических моделей существенно расширяет класс исследуемых систем [103].

В 1-ом параграфе данной главы формулируется общая задача глобальной реконструкции случайной динамической системы «по Байесу». Во 2-ом параграфе предлагается эффективная с прикладной точки зрения общая стохастическая модель оператора эволюции. В 3-ем параграфе описывается аппроксимация детерминированной и стохастической части модельного оператора эволюции искусственной нейронной сетью. Формулируются априорные распределения параметров сетей. В 4-ой части предлагаемый подход обобщается на случай неавтономных стохастических систем.

3.1. Байесов подход к реконструкции случайной динамической системы

В работе [6] подход, предложенный к восстановлению фазовых координат по скалярным временным рядам [4,5,7], подробно изложенный в 1-ой главе, был теоретически обоснован также для нестационарных и стохастических систем. Поэтому, будем предполагать, что после восстановления фазовых переменных и построения отображения на секущей в нашем распоряжении имеется векторный временной ряд {и (^) = и"}^=1,и (0е5К'/, представляющий собой результаты последовательных измерений состояния некоторой случайной динамической системы (СДС) с дискретным временем 1п. Используя определение СДС данное в [106], будем предполагать, что данные состояния связаны посредством некоторого случайного оператора эволюции: где Г2 — некоторое измеримое множество (множество элементарных исходов), на котором заданы сигма-алгебра Е и вероятностная мера Р, в — эндоморфизм на вероятностном пространстве (Г2,?, Р).

Байесов подход к реконструкции такого случайного оператора будет состоять в определении вероятности Р (и | ср) (называемой иногда правдоподобием) наблюдать измеренный временной ряд при условии выбранного из некоторого класса ср. Будем считать, что каждому оператору из этого класса взаимнооднозначно сопоставлена точка из. Такое отображение будем называть параметризацией, а соответствующую точку — параметрами оператора, р — размерность пространства параметров. В зависимости от контекста под ср будем понимать либо сам оператор, либо его параметры.

По теореме Байеса, апостериорное распределение параметров ф с точностью до нормировки задается выражением: и

3.1)

Рposterior (Ф I U) ОС P (U | ф) Л, пог (ф), posterior

3.2) где априорное распределение Рр"ог (ф) определяет априорные ограничения на параметры оператора. Построение и анализ (3.2), тем самым, решает поставленную задачу моделирования.

3.2. Детерминированная и стохастическая компоненты случайного оператора эволюции

Для удобства преобразуем (3.1) к виду: и"+1=г (ия)+п (®, и"), (3.3) где Г (и) = Е (ф (й), Щ) ц (<�у, и) = ф (<�у, и) — Г (II). Форма (3.3) позволяет явным образом разделить в модельном операторе эволюции детерминированную и случайную компоненты (соответственно, Реконструкция СДС с помощью модели (3.3) означает, по существу, разделение присутствующих в ВР процессов по временным масштабам: детерминированная компонента будет определяться, главным образом, наиболее «долго коррелированными» процессами, а случайная — процессами со сравнительно малым, временем корреляции. С учетом вышесказанного представим случайную компоненту в виде:

Л (ю, и) = ?(11) • «X Й: И' -> 9ГЛ • & -» 91'м (3.4)

Отсчеты векторного случайного процесса С, п = (¡-(о>&bdquo-) размерности М будем считать независимыми во времени, или, другими словами, белым шумом, описываемым плотностью вероятности мгЦ^) = Е (5(£ - £(<�у))). С учетом (3.4) форма (3.3) принимает вид: ип+1=Г (и") + ?(и"К,. (3.5)

В (3.5) матричная функция § описывает распределение случайной компоненты в фазовом пространстве модели2.

В результате правдоподобие будет иметь вид:

1 Под Е понимается математическое ожидание.

2 Видно, что (3.5) представляет собой выражение, близкое к используемому в классическом методе наименьших квадратов (МНК) с той лишь разницей, что дисперсия ошибки предполагается зависимой от точки в фазовом пространстве. д и | Ф) — п Iи") — Пг) — ючо^ • (3 -6)

Далее будем полагать вектор? имеющим нормально распределенные независимые компоненты: ос N (0,1),/ = 1, М. На примере мы покажем, что такое огрубление модели позволяет успешно решать задачу реконструкции и в случае, когда статистика восстанавливаемой системы заведомо не гауссова. Подставляя нормальное распределение в (3.6), получим

Важным следствием (3.7) является то, что с точки зрения правдоподобия (3.7) все модели (3.3), (3.4), имеющие одинаковые детерминированные компоненты и одинаковые ковариационные матрицы стохастической компоненты 0 = являются равновероятными. Тем самым, мы можем без ограничения общности ограничить размерность случайного процесса С, размерностью фазового пространства с1. Кроме того, поскольку О — симметричная матрица, она может быть описана с1(с1+1)/2 независимыми функциями фазовых переменных.

Таким образом, правдоподобие (3.7) задает плотность вероятности на классе функций 1 Г (и)и (5(4), задаваемом априори, что полностью решает поставленную задачу.

3.3. Модели детерминированной и стохастической компонент в виде искусственных нейронных сетей.

В Главе 1 при реконструкции детерминированных систем по временным рядам для параметризации оператора эволюции мы успешно использовали искусственные нейронные сети с соответствующими априорными распределениями параметров сети. В данной главе мы демонстрируем возможности подхода, базируясь на такой же аппроксимации:

Р (и I Г, (?) ос П-гщ— ехр|~ (ип+1 — {(и"))г")(и"+1 — {(и&bdquo-))| (3.7) и) — А^(и), 0(1Т) = А^(</+1)/2(и) (3.8) где с1ш — количество входов ИНН, Ыош — количество выходов, и т — число нейронов в скрытом слое. В соответствии с соображениями, изложенными в Главе 1, мы задавали априорные распределения параметров сети в следующем виде:

РрпоМ,&trade-, у) ос ехр ~ Г, а 2 а 2 \ ик1, V У, 'I v м т с1 г,*- с!

— Е ¦ а-2 2<�т2уу

3.9) где сг&bdquo- = 1/ т, сг&bdquo- = 1, а-у = 1 — дисперсии соответствующих параметров.

Таким образом, выражения (3.7), (3.8) и (3.9), будучи подставленными в (3.2), определяют апостериорную плотность вероятности параметров нейронной сети.

3.4. Обобщение на случай слабонеавтономных динамических систем

В данном разделе мы обобщим предлагаемый подход на случай слабонеавтономных случайных динамических систем. Прикладное значение такого обобщения состоит в возможности прогноза качественного поведения СДС в случае, когда ее оператор эволюции медленно зависит от времени. При этом пусть известно, что характерный временной масштаб этой зависимости существенно превышает длину наблюдаемого ряда. Это означает, что функции Г (и)и (5(и), описывающие стохастическую модель, должны явно зависеть от «медленного» времени. В Главе 1 было показано, что в описанном случае такие зависимости могут быть аппроксимированы искусственными нейронными сетями (ИНН), в которых параметры нейронов выходного слоя линейно зависят от времени:

Г" М «» «

АШ?си, 0= > (3−10) 1 АШ2(и, 0, <3(и, 0 = АШ^+1)/2(и, 0 Как и в предыдущем разделе, априорные распределения параметров сети предполагаются гауссовыми, аналогично (3.9) дисперсия сг2 =сг2а = /т. С учетом явной зависимости от времени правдоподобие (3.7) преобразуется к виду

Р (и I ?,(5) «П г * -'(и">0)7 ¿-» '(^лки^ -г (ия, о)1 т! в (Уи, 1п) I 2

3.11)

Подставив (3.10) и (3.11) в (3.2), получим апостериорную плотность вероятности параметров сетей, определяющую ансамбль моделей системы, в которых медленное время / является единственным управляющим параметром. Как и в работах [10−14,44,93,103,105], такой ансамбль может использоваться для вероятностного прогноза изменения поведения системы, что соответствует экстраполяции по времени за пределы интервала наблюдений. Модельные примеры построения такого прогноза будут представлены в следующей главе.

Глава 4

Построение стохастических моделей: приложения и примеры. Введение

В данной главе на модельных примерах демонстрируются возможности описанного в предыдущей главе подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции автономной системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. А именно, демонстрируется успешный прогноз усложнения поведения системы по сравнению с наблюдаемым, что принципиально невозможно для детерминированных систем. Кроме того, строится прогноз поведения высокоразмерной детерминированной системы с помощью низкоразмерной стохастической модели. I

В 1-ом разделе показывается эффективность подхода реконструкции системы с неоднородным, негауссовым и не белым динамическим шумом. В 2-ом разделе предлагается способ репрезентации (классификации) режимов поведения стохастических систем на основе их инвариантных мер. В 3-ем разделе строится прогноз изменения качественного поведения на примере системы с неоднородным и негауссовым динамическим шумом. В 4-ом разделе демонстрируется возможность прогноза смены «простого» поведения стохастической системы более «сложным», что принципиально невозможно в «детерминированном» случае. В 5-ом разделе приводятся примеры прогноза поведения детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей.

В приводимых примерах мы ограничимся анализом наиболее вероятных моделей, то есть тех, которые соответствуют максимуму апостери

57 орного Байесова распределения. В такой постановке задача построения модели будет состоять в поиске максимума апостериорной плотности вероятности по параметрам сетей, аппроксимирующим детерминированную и стохастическую компоненты.

В Заключении формулируются задачи, решение которых позволит определить границы применимости нового подхода, и обсуждаются некоторые возможные приложения.

4.1. Реконструкция СДС с неоднородным, негауссовым и не белым динамическим шумом.

Для примера рассмотрим, во-первых, стохастическую динамическую систему в виде логистического отображения, возмущенного белым гауссовым шумом: 5 х&bdquo-+1=1 -Лх2п+а-Сп, 1) (4.1) и, во-вторых, ту же систему, в которой отсчеты регистрируются «через раз»: х&bdquo-+2 = 1 — А (1 -Лх2п+а-Сп)2+а-Сп+1 (4.2)

Система (4.2) интересна тем, что ее случайная компонента неоднородна и существенно не гауссова (бимодальна). Результаты рекострукции системы (4.1) приведены на Рис. 4.1. В качестве исходных данных использовался ВР длиной 1000 отсчетов, сгенерированный системой (4.2) при Л = 1.85. Из рисунка видно, что, несмотря на то, что стохастическая компонента системы является заведомо негауссовой, ее распределение в фазовом пространстве восстановлено с помощью модели (3.5), (3.2), (3.7), (3.9) корректно.

Рис. 4.1. Слева: Реконструкция автономной стохастической системы (4.2) с помощью модели в виде ИНН. Синие точки — состояния системы, красные — модели. Уровень шума о = 0.01. Справа: Сравнение случайных компонент системы и модели: стандартное отклонение распределения ?"(11) • ?, полученное аналитически для системы (4.2) (розовые точки), и вычисленное по модели в виде ИНН (синие точки). Зеленые и красные точкито же, но для системы (4.1).

4.2. Мерограммы

Традиционным способом качественной репрезентации зависимости режима поведения детерминированной динамической системы от управляющего параметра является бифуркационная диаграмма, визуализирующая асимптотические (предельные) режимы поведения, отвечающие различным значениям параметров (для примера см. рис. 4.2, левая панель). В случае стохастической системы предельный режим поведения (стохастический аттрактор) характеризуется инвариантной мерой рх (х,/?) [106], являющейся плотностью вероятности в фазовом пространстве в предельном режиме, зависящей от управляющего параметра ц. В данной работе для репрезентации качественного поведения стохастической системы мы используем инвариантную меру, показанную градациями серого на плоскости одной из фазовых координат и управляющего параметра (рис. 4.2, правая панель). Далее будем называть такой способ репрезентации мерограм-мой.

Рис. 4.2. Мерограмма как аналог бифуркационной диаграммы для стохастических систем на примере логистического отображенияхп -1 — Лхгпх + сг • С"ч, С «N (0,1). Слева: бифуркационная диаграмма детерминированной системы (сг = 0). Справа: мерограмма стохастического отображения (сг = 0.04), градациями серого показана зависимость рлхл).

4.3. Прогноз в случае неоднородного и негауссова шума

В приведенных в этом разделе примерах в качестве исходных данных использовался нестационарный ВР длиной 1000 отсчетов, сгенерированный неавтономной СДС в виде стохастического отображения (4.2), в котором управляющий параметр Я линейно менялся в интервале [1.8, 1.4]. Как уже ранее отмечалось, эта СДС является примером стохастической системы с негауссовым и не белым шумом, неравномерно распределенным по аттрактору (см. раздел 4.1). По исходному ВР строилась неавтономная модель (3.5), (3.1), (3.10), (3.11) и параметры модели экстраполировались в «будущее» на времена эквивалентные изменению параметра Л в интервале [1.4, 0.6]. На Рис. 4.3. изображены мерограммы исходной системы (слева) и модели (справа) при разных уровнях шума. Из рисунка хорошо видно, что модель адекватно описывает поведение неавтономной СДС во всем диапазоне изменения управляющего параметра для шума, а = 0.01 и сг = 0.02. При большем уровне шума, а = 0.04 горизонт прогноза приближается к границе ВР, однако и в этом случае модель верно предсказывает качественное поведение исходной СДС (в том числе — его изменение) на времена порядка протяженности исходного ВР. от = 0.02 о- = 0.02 о- = 0.04 о- = 0.04

Рис. 4.3. Слева: мерограммы системы (4.2), соответствует поведению системы при медленном изменении параметра Я от 1.8 до 0.6. Время меняется справа налево. Справа: мерограммы модели, построенной по ряду. Над каждым из рисунков указан уровень шума. а = 0.01 сг = 0.01

4.4. Прогноз «из простого в сложное»

Как уже отмечалось выше, для ДДС существует принципиальное ограничение на направление прогноза (см.

введение

): невозможен прогноз «из простого в сложное». В этом разделе демонстрируется, что для СДС прогноз «из простого в сложное» возможен и описанный выше алгоритм позволяет успешно осуществлять качественный прогноз поведения СДС при смене простого типа поведения на более сложный. Возможность такого прогноза качественно объясняется тем, что в присутствии шума состояние системы в каждый момент времени случайным образом возмущается.

Тем самым, в отличие от детерминированного случая, мы имеем информацию не только о предельном множестве, но и о его окрестности, определяемой величиной шума

В качестве исходных данных использовался нестационарный ВР длиной 1000 отсчетов, сгенерированный неавтономной СДС в виде стохастического логистического отображения (4.1), в котором управляющий параметр Я линейно менялся в интервале [0.5, 0.74]. По исходному ВР строилась неавтономная модель (3.11) и параметры модели экстраполировались в «будущее» на времена, эквивалентные изменению параметра Я в интервале [0.74, 1.4]. На Рис. 4.4. изображены мерограммы исходной системы (слева) и модели (справа) демонстрирующие результат прогноза поведения неавтономной СДС. Хорошо видно, что модель позволяет правильно предсказать ближайшую по времени смену типа поведения системы, в том числе — с хорошей точностью предсказать момент бифуркации. В дальнейшем модель перестает адекватно описывать поведение системы и не воспроизводит переход системы к еще более сложным режимам.

Рис. 4.4. Слева: мерограмма системы (4.1), соответствует настоящему поведению системы при медленном изменении параметра Я от 0.5 до 1.4. Время течет слева направо. Справа: мерограмма модели, построенной по временному ряду, сгенерированному системой (4.1) (см. подробнее в тексте). Уровень шума сг = 0.04.

4.5. Стохастические модели детерминированных систем

Еще одним важным приложением разработанного подхода является, как обсуждалась в разделе 2.4, возможность моделирования «слишком» (с

62 точки зрения реконструкции «по Такенсу» — см. выше Введение) высокоразмерных детерминированных систем, с помощью низкоразмерных стохастических моделей. Такая реконструкция дает возможность в некоторых случаях справиться с проблемой оверэмбеддинга [96], делающим невозможным восстановления слабой неавтономности в пространстве слишком высокой размерности.

4.5.1. Одномерная стохастическая модель отображения Эно

В качестве первой иллюстрации возможности низкоразмерной стохастической реконструкции высокоразмерных детерминированных систем приведем наглядный пример восстановления отображения Эно [54] одномерной стохастической моделью. Отображение Эно представляет собой двумерное точечное отображение вида: хп+1 =1 Ах2п ~ РУп

УпП = Хп

На Рис. 4.5 красными точками приведен типичный вид аттрактора в этой системе. Его корреляционная размерность составляет примерно 1. Однако, как видно из рисунка, он не вкладывается в одномерное пространство, поскольку в большей части области положительных абсцисс присутствует неоднозначность.

В соответствии с идеей, выдвинутой в конце 2-ой главы, аппроксимация данного отображения с помощью одномерной стохастической системы эквивалентно интерпретации этой неоднозначности как случайной компоненты. Зелеными точками на рисунке 4.5 показаны отсчеты, сгенерированные наиболее вероятной моделью в виде СДС. Как видно из рисунка, основной эффект состоит в том, что такая модель описывает точно исходные данные там, зависимость является однозначной, а неоднозначность проявляется в том, что в соответствующей области стохастическая компонента является существенной.

1.5 1

0.5

1 0

— 0.5

— 1

— 1.5

— 1.5 -1 -0.5 0 0.5 1 1.5 &

Рис. 4.5. Красные точки — аттрактор в отображении Эно при ?5 = -0.2,Л = 1.4. Зеленые точки — наиболее вероятная одномерная стохастическая модель.

Пусть теперь параметр Л в системе (4.3) медленно меняется от отсчета к отсчету. При этом система может демонстрировать изменение качественного поведения. На верхней панели рис. 4.6. приведен ряд, сгенерированной этой системой при указанных параметрах. При достаточно медленном изменении управляющего параметра такое представление близко к соответствующей бифуркационной диаграмме.

Как видно из рисунка, бифуркационный сценарий, реализующийся при изменении управляющего параметра исходного отображения, состоит из обратного каскада удвоений периода. Качественно близкое поведение демонстрирует и построенная одномерная стохастическая модель (см. нижнюю панель рис. 4.6), причем момент рождения двукратного предельного цикла (к~10 000) предсказан количественно точно. Для построения модели использовался ряд, лежащий в интервале ?=[2000,4000] (синие точки на рис. 4.6.).

Рис. 4.6. Верхняя панель. Временной ряд слабонеавтономного отображения Эно при ?3 = -0.2. По вертикальной оси отложена переменная х системы (4.3), в которой параметр Л линейно меняется в интервале [1.5:0.4] с течением медленного времени. По горизонтальной оси отложен номер отсчета отображения. Синими точками выделена часть ряда, использованная для построения прогноза. Нижняя панель. Мерограмма наиболее вероятной слабонеавтономной одномерной стохастической модели.

Таким образом, с помощью одномерной стохастической модели предсказана бифуркация, удаленная на время, превышающая время наблюдения (длину ряда, использованного для построения модели). В то же время более близкие бифуркации (окно 4-х кратного цикла при &-1000, начало обратного каскада удвоений при к от 7000 до 9000) диагностируются моделью только в виде медленной зависимости инвариантной меры от медленного времени. Причина слабой чувствительности модели к таким бифуркациям состоит в том, что детали данных изменений сопоставимы по масштабу с величиной стохастической части модели, которая, тем самым, и определяет «разрешение» модели в идентификации «детерминированных» режимов поведения.

4.5.2. Стохастическая модель двух связанных систем Ресслера

Для иллюстрации эффективности подхода в более высокоразмерном случае мы использовали 6-ти мерную систему ОДУ, представляющую собой две связанные системы Ресслера. Связь выбиралась возбуждающей и не симметричной. Уравнения системы приведены ниже. 2 я&с, / ей = -ух — + 0.03л:2 с1ух / Ж = хх + 0.2у{ с1гх IЖ = 0.2-сг[ + ххгх (4 4) йх2 /Л = у2 — г2 + 0.02х, йу2 / Ш = х2 + 0.2² с1гг / Л = 0.2 — сг2 + х2г2

Управляющим являлся параметр с. На рис 4.8. приведена оценка корреляционной размерности аттрактора системы (4.4) при с=6. Как видно из рисунка, корреляционная размерность составляет в этом случае около 3.5. Оценка минимальной размерности вложения, произведенная методом фальшивых соседей, дает для этого ряда с1Ё = 7. Тем самым, мы заведомо находимся в ситуации сильного оверимбеддинга, и построение адекватной детерминированной модели невозможно (см. рис. 4.7).

На рис 4.9 приведен результат восстановления одномерного точечного отображения. Красные точки соответствуют исходному ряду, зеленые произведены одномерной стохастической моделью, соответствующей максимуму байесового распределения.

1Э -1−1-1−1-г

В 580 гвви 138 В 2000 2508 3888

В 500 1. вВа 1500 2888 2588 3800

Рис. 4.7. Попытка построения прогноза с помощью детерминированного отображения. Красными точками показано восстановленное отображение по временному ряду системы (4.4). Параметр с меняется от 6 до 3. По первым 1000 отсчетам строилась детерминированная модель размерности 6, что соответствовало оценке методом фальшивых соседей. Трем рисункам соответствуют попытки прогноза с помощью трех равновероятных моделей вблизи максимума апостериорного распределения (зеленые точки). Видно, что даже в пределах первых 1000 отсчетов, по которым строилась модель, демонстрируется качественно различное поведение.

На рис. 4.10 приводится результат прогноза качественного поведения системы (4.4) с помощью одномерного стохастического отображения. Длина использованного ряда составляет 1000 отсчетов отображения. Контрольный параметр меняется в пределах от с=6 при к=0 до с=5 при ^=1000, где к — номер отсчета отображения. По ряду строится модель в виде неавтономного одномерного стохастического отображения, соответствующая максимуму байесова распределения, которая экстраполируется по медленному времени до &=3000. Зелеными точками показана реализация, сгенерированная полученной моделью. На нижней панели рисунка приводится мерограмма модели в тех же пределах изменения медленного времени.

4.5

— 4−3-2−101 234

Рис. 4.8. Красными линиями приведены логарифмические производные корреляционного интеграла по логарифму масштаба. Корреляционная размерность аттрактора системы (4.4) при с-6 составляет около 3.5.

Из рисунка 4.10 видно, что на масштабах, превышающих длину исходного ряда, удается не только правильно предсказать тренды статистических характеристик динамики системы (изменение инвариантной меры), но и факт (и момент) бифуркации рождении низкоразмерного аттрактора в исходной системе, качественно и количественного сходного с двукратным стохастическим предельным циклом в модельном отображении.

Заключение

В заключение приведем основные результаты работы, в целом совпадающие с положениями, выносимыми на защиту.

1. Разработан метод глобальной реконструкции слабонеавтономных детерминированных динамических систем по зашумленным ВР и прогноза их качественного поведения, основанный на байесовом подходе к решению обратных задач. Метод включает в себя a. модификацию классического Байесова подхода, делающую возможным его практическое использования для хаотической динамики, b. интегрирование апостериорных распределений по латентным переменным методом Лапласа для уменьшения размерности апостериорного распределения для его последующего исследования, c. универсальную модель неавтономного оператора эволюции в виде искусственной нейронной сети, исследование апостериорных распределений МСМС методами, позволяющее извлекать из наблюдаемого процесса максимально полную информацию об исследуемой системе.

2. С помощью разработанного метода реконструкции ДС по нестационарным рядам успешно произведен прогноз качественного поведения детерминированной системы. В качестве примеров наблюдаемых процессов использовались слабонестационарные ВР, порожденные как дискретными отображениями, так и потоковыми системами. По участкам ВР, соответствующим хаотической динамике систем, правильно предсказаны вероятности реализации различных динамических режимов и бифуркационных переходов, а также типы возможных бифуркаций. Применительно к задаче прогноза показана эффективность использования модифицированного Байесова подхода в ситуации, когда исследуемые данные содержат существенный измерительный шум.

3. Сформулированы фундаментальные ограничения реконструкции детерминированных систем по временным рядам, связанные с оверимбеддингом. Предложен метод диагностики оверимбеддинга. Предложен путь преодоления описанных ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.

4. Разработан Байесов подход к построению слабонеавтномных стохастических моделей по временным рядам. На модельных примерах продемонстрирована его эффективность как при реконструкции динамических систем стохастической природы, так и при моделировании выскокоразмерных детерминированных систем. Показана грубость подхода по отношению к базовым предположениям о свойствах динамического шума.

5. На модельных примерах успешно произведен прогноз качественного поведения по временным рядам, порожденным как высокоразмерными детерминированными, так и случайными динамическими системами.

6. Предложен метод оценки минимальной размерности вложения, основанный на принципе минимальной длины описания, пригодный как анализа зашумленных временных рядов, порожденных детерминированными динамическими системами, так и для рядов стохастической природы.

Список работ автора по теме диссертации

1. Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Восстановление динамических моделей атмосферных фотохимических систем по временной реализации одной динамической переменной, Третья нижегородская сессия молодых ученых. Тезисы докладов, Н. Новгород 1998, с. 99.

2. Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Создание прогностических моделей атмосферных фотохимических систем по данным наблюдения, Вторая Всеросийская научная конференция студентов-радио физиков. Тезисы докладов, С.-Петербург 1998.

3. Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Построение прогностических моделей нелинейных неавтономных динамических систем, Четвертая нижегородская сессия молодых ученых. Тезисы докладов. Н. Новгород, 1999, с. 154−155.

4. Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Адаптивный алгоритм долгосрочного предсказания поведения системы, демонстрирующей хаотическую динамику, Четвертая нижегородская сессия молодых ученых. Тезисы докладов, Н. Новгород, 1999, с. 153 154.

5. Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Долгосрочный прогноз эволюции малых газовых составляющих атмосферы по наблюдаемым временным зависимостям, Сборник трудов Международной конференции «Физика атмосферного аэрозоля», Москва, 12−17 апреля 1999 г. — М.: Диалог-МГУ, 1999,. — стр.480−485.

6. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognostic models of non-linear dynamic systems Печ. XXII General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291, 1999.

7. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Adaptive algorithm for long-term prognosis of observed chaotic dynamics,

General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291,

1999.

8. E.M. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Прогноз бифуркаций слабонеавтономных динамических систем на основе наблюдаемых временных рядов, Институт Прикладной Физики РАН, Нижний Новгород, Препринт № 508, 1999.

9. Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Прогноз бифуркаций динамической системы по наблюдаемому хаотическому временному ряду, Тезисы докладов VI всероссийской конференции молодых ученых «Малые примеси атмосферы. Атмосферное электричество» (Нижний Новгород, 11−13 мая 2000 г.), Н. Новгород.: Изд. ИПФ РАН, 2000, с. 49.

10.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Прогноз бифуркаций динамической системы по наблюдаемому хаотическому временному ряду, Труды VI всероссийской конференции молодых ученых «Малые примеси атмосферы. Атмосферное электричество» (Нижний Новгород, 11−13 мая 2000 г.), Н. Новгород.: Изд. ИПФ РАН,

2000, с.151−169.

11.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, О глобальной реконструкции слабо неавтономных динамических систем по наблюдаемой динамике с целью прогноза бифуркаций, Сборник тезисов докладов 5-ой Нижегородской научной сессии молодых ученых, Н. Новгород, 2000, с. 121.

12.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Об оценке точности прогноза бифуркаций неавтономной динамической системы, Там же, с. 122.

13.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамической системы по хаотическому временному ряду, Изв. ВУЗов — Радиофизика, т.44, № 5−6, с.376−399, 2001.

14. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by the observed chaotic time series, Abstracts of the International conference the 100th Anniversary of A.A. Andronov «Progress in Nonlinear Science», 2001, p.233.

15.E.M. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Построение прогностических моделей высокоразмерных слабонеавтономных динамических систем по наблюдаемой динамике, Сборник тезисов 6-ой Нижегородской научной сессии молодых ученых, 2001, c. l 1.

16.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамических систем по хаотическим временным рядам, 6th International Conference CHAOS'01 (Saratov, 2−7 October 2001), Book of Abstracts, Saratov, 2001, p. l 11.

17.E.M. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Построение прогностических моделей динамических систем по нестационарной зашумленной хаотической реализации, Там же, р. 112.

18.Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Investigation of Nonlinear Dynamical Properties by the Observed Complex Behaviour as a Basis for Construction of the Dynamical Models of Atmospheric Photochemical Systems, Faradey Discussions, v. 120, p. 105−123, 2002.

19.Я. И. Мольков, A.M. Фейгин, Прогноз качественного поведения динамической системы по нестационарному хаотическому временному ряду, Сборник «Нелинейные волны' 2002». — Нижний Новгород: ИПФ РАН, 2003, с.34−52.

20.Е. М. Лоскутов, Я. И. Мольков, A.M. Фейгин, Построение параметризованных моделей динамических систем по зашумленным временным рядам, Тезисы докладов VII всероссийской конференции молодых ученых «Малые примеси, атмосферное электричество и динамические процессы в атмосфере» (Нижний Новгород, 13−15 мая 2003 г.), Н. Новгород.: Изд. ИПФ РАН, 2003, с. 38.

21.Е. М. Лоскутов, Я. И. Мольков, A.M. Фейгин, Построение параметризованных моделей динамических систем по зашумленным временным рядам, Труды VII Всероссийской конференции молодых ученых «Малые примеси, атмосферное электричество и динамические процессы в атмосфере» (Нижний Новгород, 13−15 мая 2003 г.), Н. Новгород.: Изд. ИПФ РАН, 2003, с. 163−167.

22.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Статистический подход к реконструкции динамических систем по временным рядам, Там же, с. 80.

23.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Статистический подход к реконструкции динамических систем, Сборник «Нелинейные волны' 2004». — Нижний Новгород: ИПФ РАН, 2005, с.411−425.

24.Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Modification of Bayesian approach as applied to reconstruction of dynamic system from time-series, Proceedings of International Symposium «Topical Problems of Nonlinear Wave Physics», Nizhny Novgorod, Russia, 2−9 August, 2005, v. l, p.75−76.

25.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Modified Bayesian approach for the reconstruction of dynamical systems from time series, Physical Review E, 2006, vol.73, 36 211.

26.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by noisy chaotic time series, Geophysical Research Abstracts, Vol. 8, 6 966, 2006.

27.E.M. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Глобальная реконструкция динамических систем по слабонестационарным зашумленным хаотическим временным рядам, Препринт ИПФ РАН № 708, 2006.

28.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, МСМС метод в байесовой реконструкции динамических систем по зашумленным хаотическим временным рядам, Препринт ИПФ РАН № 716, 2006.

29.Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Markov chain Monte Carlo method in Bayesian reconstruction of dynamical systems from noisy chaotic time series, Physical Review E, 2008, vol.77, 66 214.

30.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, R.I. Timushev, Markov Chain Monte Carlo algorithm for Bayesian reconstruction of a dynamical system by noisy chaotic time series and its application to prognosis of bifurcations, Geophysical Research Abstracts, Vol. 9, 3 022, 2007, EGU General Assembly, Vienna, 15−20 April 2007.

31.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction of high dimensional dynamic systems from time series by stochastic models, Geophysical Research Abstracts, Vol. 10, 789, 2008.

32.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Parameterized modeling of stochastic systems by time series and prognosis of their qualitative behavior, Geophysical Research Abstracts, Vol. 10, 1 541, 2008.

33.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Stochastic models from time series, Proceedings of International Symposium «Topical Problems of Nonlinear Wave Physics», Nizhny Novgorod, Russia, 2026 July, 2008, NWP-3, p.36−37.

34.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction and prognosis of qualitative behavior of high-dimensional dynamic systems by low-dimensional stochastic models, Proceedings of International Symposium «Topical Problems of Nonlinear Wave Physics», Nizhny Novgorod, Russia, 20−26 July, 2008, NWP-3, p.62.

35.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Реконструкция случайных динамических систем по временным рядам и прогноз их качественного поведения, Тезисы докладов XIV научной школы «Нелинейные волны — 2008». — Нижний Новгород: ИПФ РАН, 2008, с. 115.

36.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Байесов подход к построению моделей в виде случайных динамических систем по наблюдаемым временным рядам, Препринт ИПФ РАН № 769, 2008.

37.Е. М. Лоскутов, Я. И. Мольков, Д. Н. Мухин, A.M. Фейгин, Е. Фиде-лин, Принцип минимальной длины описания при глобальной реконструкции динамических систем по зашумленным временным рядам, Препринт ИПФ РАН № ###, 2008.