Математические модели и методы статистического анализа случайных показателей, имеющих распределение, отличное от нормального

Актуальность темы

исследования. В задачах исследования параметров производственных процессов, при оценке надежности функционирования технических устройств, в эконометрических и экономико-математических моделях, применяемых при решении задач управления и прогнозирования, используются понятия и результаты теории вероятностей и математической статистики. Наиболее важную роль в математическом моделировании многих явлений и процессов, включая технологические, играет нормальный закон распределения (закон Гаусса). Этот закон применяется для анализа точности и стабильности технологических процессов, при решении задач надежности, в построении моделей расчетов предельных уровней тех или иных характеристик, используемых при проектировании систем обеспечения безопасности функционирования экономических структур, технических устройств и объектов. На предположении нормальности построены классические модели регрессионного, дисперсионного и факторного анализов, а также метрологические модели.

Проблема проверки нормальности распределения данных модели является одной из фундаментальных в теоретических и эмпирических исследованиях. Критериям согласия в литературе уделено значительное внимание. Широко известны критерии согласия, основанные на близости эмпирической и теоретической функции распределения. Среди них отметим критерии Колмогорова-Смирнова, Крамера-Мизеса-Смирнова, Андерсона-Дарлинга и другие. Другая группа критериев проверки нормальности опирается на характеризацию распределения свойствами определенных статистик выборки. Теоретические основы таких критериев изложены в работах Б. В. Гнеденко, Д. Пойа, С. Н. Бернштейна, В. П. Скитовича и Ж. Дармуа, А. М. Кагана, Ю. В. Линника, С. Р. Рао, Я. И. Галамбоша, И. В. Островского, Ю. В. Прохорова и других. Следующая группа критериев — это тесты, основанные на моментах третьего и четвертого порядков нормального распределения. Наиболее известный представитель этой группы — критерий Жака-Бера. Еще одна группа критериев проверки нормальности — это корреляционно-регрессионные критерии. К ним относятся критерии Шапиро-Вилка, Эппса-Палли, Шапиро и Француа.

Между тем, несмотря на разнообразие критериев, нет методологии, которая для любого случая может дать ответ на вопрос, каким критерием целесообразней пользоваться при проверке нормальности совокупности.

Отечественный стандарт ГОСТ Р PICO 5479−2002 «Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения введенный в действие в 2002 г., представляет собой аутентичный текст международного стандарта ISO 5479−97. В нем рассматриваются графический метод проверки на нормальность с использованием вероятностной бумаги, критерии проверки на симметричность совокупности и на значение эксцесса, критерии Шапиро-Уилка и Эппса-Палли. Однако введенный стандарт не позволяет его пользователям сориентироваться в том, какой из критериев является предпочтительным, оказывается более мощным, против каких альтернатив и при каких объемах выборок конкретный критерий имеет преимущество.

Кроме того, в прикладных исследованиях нормальный закон распределения далеко не всегда является наилучшей моделью для описания реально наблюдаемых случайных величин. Особый интерес представляют модели, в которых истинное распределение отличается от нормального. Нарушение предположения о нормальности таких величин по-разному отражается на распределениях статистик, используемых при проверке гипотез и построении доверительных интервалов параметров распределения модели. Поэтому нахождение интервальных оценок различных параметров моделей при нарушении предположения о нормальности исходных данных является фундаментальной задачей.

Из вышесказанного можно сделать вывод о том, что в настоящее время при разработке и применении прикладных вероятностно-статистических моделей вопросы определения выборочного закона распределения и построения доверительных интервалов параметров модели остаются важнейшими и актуальными. Так, при анализе свойств моделей материалов важнейшей задачей является определение вида статистического распределения размеров структурных элементов композиционных материалов и интервальных оценок параметров микроструктур для установления соответствия между реальными и синтезированными структурами.

Решению вопросов, связанных с разработкой и исследованием методов проверки статистических гипотез нормальности повторной выборки и построения доверительных интервалов для параметров и числовых характеристик моделей, когда истинное распределение отличается от нормального, и посвящена настоящая работа.

Целью диссертационного исследования является разработка новых математических методов проверки статистических гипотез о нормальности исходной выборки при некоторых альтернативах, построение точных и приближенных доверительных интервалов параметров и некоторых числовых характеристик распределения, когда истинная модель отличается от нормальной, а также использование этих методов при анализе математических моделей реальных процессов.

Для достижения поставленной в работе цели былрг сформулированы следующие задачи:

1) построение критерия сдвиго-масштабного инварианта для проверки нормальности исходной выборки при таких альтернативах, как равномерное, показательное или гамма-распределение, и сравнение по мощности этого критерия с критериями Жака-Бера и Колмогорова при указанных выше альтернативах, а также нахождение распределения инвариантов по выборке из генеральной совокупности, имеющей нормальное, равномерное, показательное или гамма-распределепие;

2) разработка метода построения доверительных интервалов для математического ожидания и среднеквадратичного отклонения распределений, основанного на асимптотическом разложении нормализованных сумм, в случае распределения исследуемого случайного показателя, отличного от нормального;

3) построение оптимальных доверительных интервалов для параметров положения и масштаба распределений, максимизирующих доверительную вероятность, с помощью алгебраического метода нахождения центральных функций, предложенного П.Н.Сапожниковым1;

4) применение разработанных методов идентификации распределений для анализа моделей структурно-неоднородных сред.

Научная новизна работы. Изложенные в диссертации результаты являются новыми, имеют важное теоретическое и практическое значение. В работе разработаны новые методы идентификации распределений параметров вероятностно-статистических моделей: метод проверки соответствия распределения исходных данных модели нормальному распределению, основывающийся на критерии сдвиго-масштабного инварианта, методы построения интервальных оценок параметров и числовых характеристик распределения модели, отличного от нормального.

Наиболее существенные положения, выносимые на защиту. Цель работы и решаемые в рамках поставленной цели задачи позволяют выделить следующие основные результаты:

1) критерий сдвиго-масштабного инварианта для проверки иормальности исход.

1 Сапожников П. Н. Привлечение алгебраических свойств статистических моделей к нахождению распределений статистик / Статистические методы оценивания и проверки гипотез: межвуз. сб. науч.тр. / Перм.гос.ун-т, — Пермь, 1993, С. 200−216. ной выборки при таких альтернативах, как равномерное, показательное или гамма-распределение;

2) выражения функций и плотностей распределений сдвиго-масштабного инварианта по выборке из генеральной совокупности, имеющей нормальное, равномерное, показательное или гамма-распределение;

3) результаты сравнения мощности критерия сдвиго-масштабного инварианта с критериями Жака-Бера и Колмогорова при указанных выше альтернативах;

4) доверительные интервалы для математического ожидания и среднеквадратичного отклонения исследуемого показателя, построенные на основе асимптотического разложения функций и плотностей нормализованных сумм элементов выборки, в том случае, когда данные не имеют нормального распределения;

5) выражение для функции и плотности аналога распределения хи-квадрат, построенного на основе нормализованных величин;

6) доверительные интервалы заданного размера для параметров положения и масштаба различных распределений, максимизирующие доверительную вероятность;

7) результаты численных расчетов проверки принадлежности выборки размеров зерен нормальному закону для синтезированных микроструктур композиционных материалов с зернистой структурой;

8) результаты численных расчетов построения интервальных оценок средних размеров зерен и среднеквадратичных отклонений размеров зерен для синтезированных микроструктур композиционных материалов с зернистой структурой.

Теоретическая и практическая значимость. В диссертации установлена принципиальная возможность применения разработанных в ней методов и схем к исследованию конкретных статистических моделей реальных процессов, возникающих в некоторых отраслях практической деятельности, в частности к исследованию моделей структурно-неоднородных сред. Разработанные в диссертации методы имеют фундаментальный характер и не ограничиваются применением только к моделям структурно-неоднородных сред.

Материалы диссертации вошли в курсы лекций и лабораторных практикумов для бакалавров и магистров механико-математического факультета Пермского государственного университета направления «Механика. Прикладная математика» .

Методика исследования. Достоверность результатов. Для решения поставленных в диссертационной работе задач были использьзованы методы и результаты теории вероятностей, математической статистики, статистического моделирования, а также методы математического анализа и численные методы. В основе всех сформулированных теоретических положений — строгие математические доказательства. Кроме того, достоверность результатов подтверждена путем сравнениея известных теоретических результатов с результатами, полученными в работе посредством метода статистического моделирования.

Апробация работы. Теоретические положения и прикладные результаты были изложены и обсуждались на следующих семинарах и конференциях: научный семинар кафедры теории вероятностей и математической статистики ПермГУ, руководитель: проф. Я. П. Лумельский (Пермь, 1995), XX International Seminar on Stability Problem of Stochastic Models (Poland, 1999), VI Всероссийская школа-коллоквиум по стохастическим методам (Самара, 1999), Международная научно-методическая конференция «Применение многомерного статистического анализа в экономике и оценке качества продукции» (Москва, 2001), Международная научно-практическая конференция «Здоровье и образование. Медико-социальные и экономические проблемы» (Париж, 2004), научный семинар Международной лаборатории конструктивных методов исследования динамических моделей при кафедре информационных систем и математических методов в экономике ПермГУ, руководитель: проф. В. П. Максимов (Пермь, 2008), научный семинар кафедры высшей математики ПермГУ, руководитель: проф. И. Е. Полосков (Пермь, 2008), научный семинар кафедры высшей математики ПФ ГУ-ВШЭ, руководитель: проф. А. П. Иванов (Пермь, 2007, 2009), научный семинар кафедры механики композиционных материалов и конструкций ПермГТУ, руководитель: проф. Ю. В. Соколкин (Пермь, 2009), научный семинар кафедры математического моделирования систем и процессов ПермГТУ, руководитель: проф. П. В. Трусов (Пермь, 2010), научный семинар Института механики сплошных сред УрО РАН, руководитель: проф. А. А. Роговой (Пермь, 2010).

Коротко о содержании диссертации.

Во введении обоснована актуальность выбранной темы диссертации, сформулированы цели и задачи исследования, приведено краткое описание основных результатов, представленных в диссертации.

В первой главе приведен обзор имеющихся статистических критериев проверки нормальности исходных данных модели (раздел 1.1), предложен критерий сдвиго-масштабного инварианта для проверки гипотезы нормальности исходных данных (раздел 1.2), найдены распределения инвариантов по выборке из генеральной совокупности, имеющей нормальное, равномерное, показательное или гамма распределение. Методом статистического моделирования проведен анализ мощности критерия сдвиго-масштабного инварианта при различных альтернативах. Дан сравнительный анализ мощности этого критерия с критериями Колмогорова-Смирнова и Жака-Бера. Показано, что при небольших объемах исходной выборки предложенный критерий является в некоторых случаях более мощным критерием для проверки гипотезы нормальности.

Во второй главе обсуждается проблема статистических выводов в том случае, когда исходные данные не имеют нормального распределения. Предлагаются новые универсальные методы точечного и интервального оценивания математического ожидания и среднеквадратичного отклонения, основанные на асимптотическом разложении функций и плотностей нормализованных сумм.

Раздел 2.1 посвящен основным понятиям теории асимптотического разложения функций и плотностей распределения нормализованных сумм. Хотя сами эти суммы не наблюдаемы, но их приближенное распределение при определенных ограничениях определяется посредством асимптотических разложений в центральной предельной теореме, а квантильные оценки параметров, найденные по выборке нормализованных сумм, выражаются через исходные наблюдения и моменты высших порядков нормализованных наблюдений. В разделе 2.2 предложен метод нахождения состоятельных оценок неизвестных числовых характеристик (математического ожидания, среднеквадратичного отклонения, коэффициентов асимметрии и эксцесса) исходных величин, основанный на квантилыюм методе, с помощью асимптотических разложений достаточно высокой точности.

В разделах 2.3−2.4 получены приближения для распределения суммы квадратов нормализованных величии с небольшим числом слагаемых. На модельных примерах сравниваются доверительные интервалы для стандартного отклонения, построенные па основе указанных приближений, с интервалами, построенными с помощью классического распределения хн-квадрат в предположении нормальности сумм. Получен также модифицированный аналог распределения Стьюдента на основе выборки нормализованных сумм и для частного случая рассчитаны квантили такого аналога (раздел 2.5). Кроме того, рассмотрены доверительные интервалы для математического ожидания, построенные на основе асимптотического разложения функций и плотностей нормализованных сумм. Предложенные в работе методы построения интервальных оценок применены для получения референтных границ лабораторных показателей при диагностике определенных функций печени. Подвергнута обоснованной критике существующая методика, и на основе реальных данных рассчитаны более реалистичные референтные границы (раздел 2.6).

В разделе 2.7 методом статистического моделирования проведен сравнительный анализ различных методов построения доверительных интервалов для числовых характеристик распределения по надежности оценивания. Сравниваются интервалы для математичсского ожидания и среднеквадратичного отклонения смоделированных величин, построенные на основе классических методов, на основе асимптотического разложения и на основе истинного распределения исходных величин. Показано, что доверительные интервалы, построенные на основе асимптотического разложения, являются наиболее точными по сравнению с классическими методами построения интервальных оценок.

Глава 3 посвящена построению доверительных интервалов фиксированного размера для параметров положения и масштаба, максимизирующих доверительную вероятность, предложен универсальный метод построения таких интервалов для параметров положения и масштаба семейств сдвигов, основанный па центральных функциях (раздел 3.1−3.3). Приведены примеры построения доверительных интервалов для таких законов распределения, как нормальное, гипернормальное, логнормальное, гамма-распределение и др. Отдельно рассмотрен случай, когда оба параметра положения и масштаба а, а неизвестны. Кроме того показано, что существует лишь четыре семейства сдвигов, допускающих полные достаточные статистики: это нормальное, правое и левое показательное и равномерное (раздел 3.5). Также создано программное обеспечение [раздел 3.6), позволяющее моделировать данные и на основе модельных данных строить наилучшие доверительные интервалы параметров положения и масштаба различных распределений. Комплекс программ составляют отдельные модули, написанные на языке TURBO — PASCAL с применением средств пакета TURBO VISION.

Четвертая глава посвящена применению предложенных в работе методов к статистическому анализу моделей структурно-неоднородных сред. Критерий сдвиго-масштабного инварианта применен для идентификации распределений структурных параметров моделей структурно-неоднородных сред, а также найдены доверительные интервалы средних размеров и среднеквадратичного отклонения размеров зерен микроструктур композиционных материалов с зернистой структурой.

В заключении приведены основные выводы, полученные в процессе исследования.

По теме диссертации опубликованы следующие работы: [25, 26, 27, 37, 68, 69, 70, 71, 72, 73, 74].

Основные результаты работы являются новыми и состоят в следующем:

1. Для решения задач идентификации распределений случайных параметров математических моделей разработан новый метод проверки нормальности исходных данныхкритерий сдвиго-масштабных инвариантов.

2. Для практического использования данного метода в задачах математического моделирования найдены аналитические выражения функций и плотностей распределений сдвиго-масштабного инварианта по выборке из генеральной совокупности, имеющей нормальное, равномерное, показательное или гамма-распределение.

3. На основании результатов моделирования распределений статистик показано, что предложенный критерий сдвиго-масштабного инварианта при небольших объемах исходной выборки является более мощным при проверке нулевой гипотезы, соответствующей нормальному закону, против альтернатив, соответствующих равномерному закону или гамма-распределению, чем известные критерии Колмогорова-Смирнова и Жака-Бера.

4. Разработан метод построения доверительных интервалов для математического ожидания и среднеквадратичного отклонения, основанный на асимптотическом разложении функций и плотностей распределения нормализованных сумм.

5. Для теоретического обоснования такого метода: применена процедура нормализации данныхнайдены оценки параметров (математического ожидания, дисперсии, коэффициентов асимметрии и эксцесса), построенные на основе нормализованных случайных величин, и исследовано их асимптотическое поведениеполучен аналог распределения хи-квадрат при известном и неизвестном математическом ожидании исходной совокупностиопределены квантили аналога распределения хи-квадрат, построенного на основе асимптотического разложения функций и плотностей распределения нормализованных величин и определены квантили аналога распределения Стыодента, построенного на основе асимптотического разложения.

6. Проведен сравнительный анализ различных методов построения доверительных интервалов для параметров распределения по надежности оценивания. Показано, что доверительные интервалы, построенные на основе асимптотического разложения, являются наилучшими, т.к. относительная частота попадания истинного значения параметра за пределы таких интервалов более низкая, что увеличивает точность статистических выводов.

7. Разработан метод характеризации распределений, допускающих оптимальные доверительные интервалы фиксированного размера для параметров положения и масштаба совокупности, максимизирующие доверительную вероятность.

8. Для теоретического обоснования построения таких доверительных интервалов:

— указан алгебраический метод нахождения центральных функций, являющихся основой построения таких доверительных интервалов,.

— получено другое доказательство теоремы Клебанова-Рухина, описывающей классы распределений, для которых можно построить такие доверительные интервалы, основанное на центральных функциях.

9. Приведены примеры построения доверительных интервалов заданного размера максимизирующих доверительную вероятность для нормального, гипернормального, ло-гнормального, гамма-распределения и распределения Клебанова-Рухина.

10. Предложенные методы идентификации распределений параметров моделей численно реализованы при помощи специализированных математических пакетов Mathematica, MathCad, Statistica и MS Office Excel. А также создано программное обеспечение, позволяющее моделировать данные и на основе модельных данных строить наилучшие доверительные интервалы параметров положения и масштаба различных распределений.

11. Критерий сдвиго-масштабного инварианта применен для идентификации распределений структурных параметров моделей структурно-неоднородных сред, а также найдены доверительные интервалы средних размеров и среднеквадратичного отклонения размеров зерен микроструктур композиционных материалов с зернистой структурой.

ЗАКЛЮЧЕНИЕ

.