Разработка методов и алгоритмов предварительной цифровой обработки стохастических процессов

Актуальность работы. При проведении любого научного исследования необходимо уделять особое внимание обработке данных наблюдений. Анализ один из ключевых компонентов обработки данных. Его теоретические основы рассматриваются в большом числе книг от учебников и учебных пособий до фундаментальных монографий. Применяемые при этом математические методы и алгоритмы, а также характер обработки, в первую очередь определяются спецификой конкретной исследовательской задачи и особенностями изучаемого процесса, а также поставленными целями.

Несмотря на различную физическую сущность изучаемых процессов можно указать общие и необходимые этапы обработки информации. Обычно различают первичную (оперативную) обработку информации и вторичную (основную) обработку. На этапах первичной обработки проводится анализ достоверности данных, выяснение предполагаемого состава временного ряда, выделение отдельных компонент ряда. Этот вид обработки непосредственно связан с учетом характеристик измерительного тракта и анализом свойств наблюдаемых сигналов (процессов). Вторичный анализ, как правило, включает методы статистического параметрического и непараметрического анализа временных рядов, а также построение динамических моделей исследуемого объекта, процесса, явления. Следует иметь в виду всю условность подобного деления, поскольку в ряде случаев методы и алгоритмы оперативной обработки могут составлять и суть основной обработки и наоборот.

Методы первичной обработки зачастую приходится использовать ещё на этапе предпроектных разработок, связанных с созданием соответствующей системы автоматизации экспериментальных исследованийпри этом результаты предпроектного этапа могут во многом определить требования к техническому и программному обеспечению системы, выбору технологических параметров и режимов работы аппаратуры. От качества выполнения первичной обработки данных, как на этапе предпроектных разработок, так и непосредственно в ходе проведения эксперимента напрямую зависит и качество конечного научного результата. Несмотря на необходимость применения в ряде случаев специальных частных методов анализа, методы и алгоритмы первичной обработки в значительной меньшей степени зависят от особенностей конкретного объекта исследования по сравнению с используемыми при вторичной обработке, что позволяет говорить о возможности построения достаточно универсальных подходов и методик первичной обработки.

Стоит отметить, что обозначенная область является достаточно хорошо проработанной, о чем говорит огромное число уже ставших классическими монографий (например [1−4]) и отдельных работ, затрагивающих данный вопрос. Многие работы опубликованы сравнительно недавно, что подтверждает неувядающий интерес к этой теме и подчеркивает важность и актуальность решаемых проблем. Задачи предварительной обработки весьма разнообразны, и для их решения используются общие статистические методы, которые также применяются и при вторичном анализе. Вместе с тем, большая часть из известных и хорошо изученных подходов к решению тех или иных задач использует в качестве предпосылки предположение о близости рассматриваемого процесса к последовательности независимых случайных величин, что выполняется не всегда, и является достаточно серьезным ограничением класса процессов, к которым подход может быть применен на практике.

За несколько последних десятилетий технический прогресс дал мощный толчок развитию вычислительных средств. Повышение производительности и уменьшение размеров современных средств цифровой обработки данных сделало возможным использование для предварительной обработки более сложные и ресурсоемкие методы анализа, применение которых ранее для этих целей казалось неоправданным. В сжатые сроки можно получить дополнительную информацию об обрабатываемых данных, применение которой способно существенным образом отразиться на достоверности получаемых результатов. Кроме того с развитием техники усложняются и решаемые с ее помощью задачи, повышаются требования к скорости и качеству обработки данных.

Таким образом, актуальным является развитие существующей алгоритмической базы и разработка новых средств предварительной обработки применительно к процессам с зависимыми значениями, а так же анализ предложенных методов.

Цель работы. Целью настоящей работы является разработка методов и алгоритмов предварительной цифровой обработки коррелированных стохастических процессов, предназначенных для выявления в них трендовой составляющей, выделения серий аномальных наблюдений и обнаружения разладки.

Задачи исследования. В соответствии с поставленной целью сформулированы и решены следующие задачи:

1. Обзор существующих методов предварительной обработки стохастических процессов, решающих задачи обнаружения тренда, выделения аномальных наблюдений и обнаружения разладки.

2. Сравнительный анализ непараметрических критериев обнаружения трендовой составляющей в стохастических временных рядахисследование свойств указанных критериев при тестировании коррелированных данных с последующей выработкой рекомендаций, позволяющих снизить негативное влияние коррелированности на качество результатов.

3. Разработка алгоритмов выделения серий аномальных наблюдений в коррелированных временных рядах на основе критерия нарушения гладкости их траектории.

4. Исследование поведения алгоритма кумулятивных сумм при решении задачи о разладке по среднему значению коррелированных последовательностей и выработка рекомендаций по настройке алгоритма с учетом коррелированности отсчетов.

5. Разработка программно-технического комплекса оперативного статистического анализа цифровых сигналов с целью практического использования предложенных методов предварительной обработки на реальных сигналах.

6. Разработка программного обеспечения лабораторных работ по методам предварительной обработки стохастических процессов и его апробация в учебном процессе.

Научная новизна.

1. Доказана существенная зависимость уровня значимости непараметрических критериев, наиболее часто используемых для обнаружения трендовой составляющей дискретного случайного процесса, от коррелированное&tradeего отсчетов и проведено сопоставление критериев по характеру и степени выраженности этой зависимости;

2. Предложен метод коррекции рассмотренных непараметрических критериев, позволяющий учесть наличие корреляции отсчетов и повысить надежность выводов, получаемых с их помощью.

3. Разработаны три алгоритма обнаружения серий аномальных наблюдений, значимо нарушающих гладкость траектории дискретного коррелированного процесса, основанные на анализе сезонных разностей и цифровой фильтрации.

4. Исследована зависимость рабочих характеристик алгоритма кумулятивных сумм от параметров корреляционной функции анализируемого процесса и показана необходимость учета этой информации при синтезе АКС.

5. Получены расчетные формулы, обеспечивающие настройку АКС с учетом коррелированности процесса при решении задачи обнаружения его разладки по среднему значению.

Методы исследования. Полученные в диссертации результаты основываются на применении аппарата теории вероятностей, математической статистики, теории случайных процессов, методов имитационного моделирования и цифровой обработки сигналов.

Обоснованность и достоверность научных положений, выводов и результатов подтверждается данными имитационного моделирования, которые в частном (предельном) случае некоррелированных отсчетов совпадают с известными теоретическими результатами, данными о применении разработанных методов и алгоритмов в программно-техническом комплексе оперативного статистического анализа реальных цифровых сигналов, апробацией полученных результатов среди квалифицированных специалистов на ХХХХ юбилейной международной конференции • «Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+8Е'2012», Украина, Крым, Ялта-Гурзуф, 2012 г.

Практическая значимость работы.

Полученные результаты исследований позволяют более эффективно использовать алгоритмы предварительной обработки при решении задач обнаружения тренда, аномальных наблюдений и разладки процессов по среднему значению с учетом корреляционных свойств наблюдаемых временных рядов. Кроме того, предложенные новые методы и подходы, учитывающие специфику работы с коррелированными процессами, способны расширить имеющуюся методологическую базу и вооружить исследователя работоспособными средствами решения рассмотренных в работе задач. Созданные алгоритмы могут применяться в технической диагностике, в научных исследованиях, при решении прикладных задач в различных предметных областях, связанных с цифровой обработкой сигналов. В частности, они нашли применение в разработанном программно-техническом комплексе предварительной обработки цифровых сигналов и легли в основу созданного программного и методического обеспечения для проведения курса лабораторных работ по данной тематике.

Реализация результатов. Результаты работы были использованы:

• при разработке программно-технического комплекса оперативного статистического анализа цифровых сигналов, включающего в себя аппаратную часть в виде программных модулей для программируемых логических интегральных схем и программную часть в виде специализированного приложения для персонального компьютера (ПК);

• для расширения возможностей лабораторного практикума по курсу «Анализ стохастических процессов» в Национальном исследовательском университете МЭИ в виде программного и методического обеспечения.

Апробация работы. Результаты работы и ее основные положения докладывались на международных конференциях «Радиоэлектроника, электротехника и энергетика» (Москва, 2010), «Информационные средства и технологии» (Москва, 2010), «ХХХХ юбилейной международной конференции.

Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+8Е'2012″ (Украина, Крым, -Ялта-Гурзуф), на заседании кафедры «Управления и Информаттики» Национального исследовательского университета МЭИ.

Публикации. По результатам выполненных исследований опубликовано 11 работ, в том числе 1 статья в рецензируемых журналах из списка ВАК [5], 7 тезисов докладов [6−12] и 3 доклада [13−15] в материалах Международных конференций.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и списка литературы из 100 наименований, включает 181 страницу текста, 81 рисунок, 25 таблиц.

5.4 Выводы по главе.

1) Разработан программно-технический комплекс, позволяющий использовать полученные в работе результаты для оперативного анализа цифровых сигналов присутствующих внутри ПЛИСкомплекс включает вычислительную плату на базе ПЛИС Xilinx Virtex-4 и ПК, соединенные сетевым кабелем, битовый массив конфигурации ПЛИС и запускаемые на ПК программные средства для управления системой и взаимодействия с пользователем.

2) Для целей предварительной обработки анализируемого сигнала разработаны отдельные HDL модули, которые использованы в составе комплекса, но могут иметь и самостоятельное применение.

3) Разработаны средства автономного статистического анализа полученной из ПЛИС реализации сигнала длиной до 16 384 отсчета с использованием рассматриваемых в работе методов.

4) Проведено тестирование разработанного комплекса на отладочном тестовом сигнале, генерируемого самой системой, и на принимаемом внешнем сигналетестирование доказало эффективность использования разработанных средств оперативной предварительной обработки сигналов.

5) Разработанная для проведения исследований библиотека программных функций адаптирована для использования при проведении лабораторных работ в учебных курсах, рассматривающих вопросы предварительной обработки стохастических процессов, на инженерных специальностях высших учебных заведений.

6) Разработан курс из трех лабораторных работ по изучению и применению рассматриваемых в настоящей работе методовпредложена методика проведения лабораторных работ с использованием разработанных программных средств.

7) Спроектированы программные средства с графическим пользовательским интерфейсом, позволяющие в полном объеме выполнить разработанный курс лабораторных работ.

ЗАКЛЮЧЕНИЕ

.

1. Проведен обзор и анализ известных методов предварительной обработки стохастических процессов, решающих задачи обнаружения тренда, выделения аномальных наблюдений и обнаружения разладки. Выявлено, что сферой их применимости являются, в основном, только процессы с некоррелированными отсчетами. На базе проведенного анализа уточнены основные направления и задачи исследования.

2. С помощью имитационного моделирования доказана существенная зависимость уровня значимости непараметрических критериев, наиболее часто используемых для обнаружения аддитивного тренда дискретного случайного процесса, от коррелированности его отсчетов. Проведено сопоставление критериев по степени их устойчивости к нарушению предпосылки некоррелированности отсчетов. Предложен метод коррекции критериев, позволяющий учесть наличие корреляции отсчетов с помощью введения корректирующих множителей для математического ожидания и СКО исходной решающей статистики критерия. Продемонстрирована эффективность предложенного метода в сравнении с искусственным уменьшением корреляции путем децимации исходных данных.

3. Доказана принципиальная возможность использования сезонных разностей первого порядка для выявления серий аномальных наблюдений в коррелированных временных рядах с использованием критерия нарушения гладкости наблюдаемых траекторией процесса и разработан алгоритм выделения таких серий. Для решения данной задачи предложены также два других алгоритма, основанные на применении цифровых фильтров. Приведена методика построения фильтров и анализа сигналов на их выходах для выявления аномальных наблюдений в виде серий заданной длины. На модельном примере показана работоспособность разработанных алгоритмов.

4. Исследована зависимость рабочих характеристик алгоритма кумулятивных сумм от параметров корреляционной функции анализируемого процесса и доказана необходимость учета этой информации при синтезе АКС. Для сохранения среднего времени между ложными тревогами на неизменном уровне при усилении взаимосвязи между отсчетами процесса показана необходимость соответствующего увеличения порога решающей функции. Получена эмпирическая формула, позволяющая вычислить значение порога при известной степени взаимосвязи отсчетов исследуемого процесса, в качестве которой рекомендовано использовать ширину основного пика автокорреляционной функции. Предложен метод использования алгоритма кумулятивных сумм в сочетании с параметрической идентификацией АРСС-модели процесса и построением ряда ошибок прогноза на шаг впередсформулированы указания по настройке его параметров.

5. Разработан специализированный программно-технический комплекс оперативного статистического анализа цифровых сигналов, в рамках которого применяются предложенные методы и алгоритмы предварительной обработки. Комплекс успешно использовался для оперативного анализа реальных сигналов, относящихся к категории коррелированных стохастических процессов.

6. Разработанные в ходе проведения исследований библиотеки программных модулей адаптированы и дополнены пользовательским графическим интерфейсом для проведения лабораторных работ в учебных курсах, рассматривающих вопросы предварительной обработки стохастических процессов. Подготовлено и успешно апробировано методическое обеспечение трех лабораторных работ по данной тематике.