Статистический мониторинг и анализ телекоммуникационных сетей

Проблема научно обоснованного совершенствования теоретической и технологической базы анализа и мониторинга телекоммуникационных систем и компьютерных сетей, во многом определяющих развитие страны, имеет важное социально-культурное и народно-хозяйственное значение. Высокими темпами создаются и развиваются международные, национальные, региональные, ведомственные и корпоративные телекоммуникационные системы и компьютерные сети, ориентированные как на решение общефедеральных задач, так и на развитие отдельной личности, определенных профессиональных и социальных групп и всего общества в целом [15, 24, 41, 44, 55, 60, 63, 73, 89, 92, 96, 97, 115, 117, 118, 124, 125, 130, 131, 132, 133, 134, 136, 142, 151, 152, 158, 159, 162,164].

Развитие телекоммуникационных систем и компьютерных сетей обуславливает необходимость создания и надежного функционирования большого набора инфокоммуникационных сервисов, обеспечивающих эффективную работу пользователя с разнородной информацией в гетерогенной телекоммуникационной сети. Вместе с тем, исторически сложившаяся неоднородность как телекоммуникационных систем, компьютерных сетей, сетевых информационных ресурсов, так и аудитории пользователей, которой данная информация адресована, осложняет объективный анализ и мониторинг телекоммуникационных архитектур и ресурсов. Поэтому безусловно актуально, что при эксплуатации телекоммуникационных систем и компьютерных сетей должен быть использован достаточно широкий спектр современных и научно обоснованных технических и технологических решений их анализа и мониторинга. Практика использования и эксплуатации гетерогенных телекоммуникационных систем и компьютерных сетей, связанная с недостаточной их прозрачностью, сложностью, организационными ограничениями и спецификой, определяет необходимость более широкого и научно обоснованного внедрения статистических методов их анализа и мониторинга на основе открытой потоковой информации, которую можно получить используя предлагаемые методы и средства [31, 32, 33, 54, 58, 86, 116, 119,128,139, 140, 141, 163, 173].

При решении данной проблемы автор в своих исследованиях опирался на труды российских и зарубежных ученых, внесших большой вклад:

— в развитие компьютерных телекоммуникационных сетей.

A.Н.Тихонов, Е. П. Велихов, А. А. Солдатов, В. Н. Васильев, А. Д. Иванников, Ю. Л. Ижванов, А. П. Платонов, А. С. Мендкович, В. Г. Домрачев, В. Г. Олифер, H.A. Олифер, X. Остерлох, А. В. Вишняков, В. С. Жданов, А. П. Пятибратов, Л. А. Крукиер, А. И. Русаков, Н. С. Рузанова, С. Фейт, Г. Хелд, В. В. Шахгильдян,.

B.Е.Подольский, М. Спортак и др.;

— в разработку систем анализа и мониторинга компьютерных телекоммуникационных стей — А. Н. Тихонов, В. Н. Васильев, В. С. Заборовский,.

A.П.Платнов, А. С. Мендкович, В. П. Корячко, В. А. Васенин, В. Н. Азаров, Ю. Л. Леохин, У. Блэк, P.P. Назиров, В. В. Коноплев, К. Н. Максимов,.

B.Столлингс, Эд. Уилсон и др.;

— в развитие теории статистического анализа — И. С. Енюков, С. А. Айвазян, М. Дж. Кендалл, Т. Андерсон, И. В. Ретинская, В. Н. Афанасьев, М. М. Юзбашев, Дж. Бокс, Г. Дженкинс, Э. В. Калинина, Н. Дрейпер, Г. Симт, И. Г. Журбенко, Г. С. Кильдишев, A.A. Френкель, Д. Кокс, П. Льюис, С. Е. Кузнецов, В. А. Халиев, Э. Хеннан, H.A. Хованова, -И.А. Хованов, Ю. Н. Тюрин, Л. Д. Мешалкин, Н. Н. Миоисеев, В. Н. Вапник, А. А. Дорофеюк, Н. Г. Загоруйко, Г. С. Лбов, и др.

В диссертационной работе разрабатываются научные методы и методики, направленные на мониторингом и анализ научно-образовательных сетей [15, 34, 41, 54, 87, 89, 92, 107, 113, 131, 134, 153, 186, 187, 188, 189, 190, 191]. Научно — образовательные сети, такие как RUNNet, RBNet, FREEnet, RELARN-IP и др., получили реальное развитие лишь в течение последних десяти лет, поэтому вопросы, связанные с мониторингом, управлением и прогнозированием работы таких сетей, являются актуальными. Тем не менее, в настоящее время они объединяют примерно 20% пользователей российского интернет. Развитие сетей, а именно увеличение числа пользователей [92], появление приложений, работающих с мультимедийной информацией, которая хранится в файлах очень больших размеров, увеличение числа сервисов, работающих в реальном масштабе времени, попытки несанкционированного доступа к сети и т. д., предъявляет повышенные требования к пропускной способности каналов между клиентами сети и серверами. Отмеченные причины приводят к перегрузке сети, что можно предотвратить с помощью системы сетевого управления. Одним из основных блоков в системе сетевого управления является блок сбора и обработки информации по отдельным характеристикам сети таким как загрузка канала на входе и выходе (байт), число пакетов на входе и выходе, число ошибок в их регистрации, число вошедших системных пакетов, загрузка процессора (% от 100), объем свободной памяти процессора и системы ввода-вывода для маршрутизатора (байт) и т. д.

Несмотря на то, что отмеченной выше проблемой занимаются научные группы ряда зарубежных и российских НИИ и университетов (Санкт-Петербургский государственный институт инфрмационных технологий, точной механики и оптики (технический университет), Российский НИИ развития общественных сетей, Московский государственный университет, Московский институт электроники и математики (технический университет), Тамбовский государственный технический университет, Центральный научно-исследовательский институт робототехники и технической кибернетики, Тульский государственный университет, Уфимский государственный авиационный университет, Новгородский государственный университет, Самарский государственный аэрокосмический университет, Санкт-Петербургский государственный университет, и ряд других), в открытой печати не опубликованы методы, модели и алгоритмы обработки такой информации.

Цель и задачи исследований.

Целью данной работы является разработка научных основ, методов, алгоритмов и программ для статистического анализа и мониторинга телекоммуникационных сетей.

Для достижения поставленной цели потребовалось решить следующие основные задачи:

1. Провести анализ российских телекоммуникационных сетей и определение основных характеристик функционирования телекоммуникационных сетей для целей статистического мониторинга и анализа.

2. Определить средства сбора и разработать методы обработки первичной информации информационных потоков телекоммуникационной сети.

3. Выбрать и модифицировать методы теории статистики с целью разработки научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.

4. Разработать методы и алгоритмы реализации научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.

5. Разработать программные средства статистического мониторинга и анализа телекоммуникационных сетей.

Методы исследования.

Для решения поставленных задач применялись статистические методы анализа многомерных данных, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, использование нейронных сетей для целей статистического анализа телекоммуникационной сети, а также прогнозирование временных рядов.

Результаты, выносимые на защиту.

1. Концепция мониторинга и анализа телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами.

2. Научное обобщение практических задач, для решения которых проводится статистический мониторинг и анализ телекоммуникационной сети.

3. Методология сбора первичной информации о телекоммуникационной сети и процедуры преобразования первичных значений основных параметров телекоммуникационной сети во временной ряд и случайную последовательность, позволяющие перейти к анализу параметров телекоммуникационной сети статистическими методами.

4. Новый подход к применению методов и методик статистического анализа, таких как регрессионный анализ, дискриминантный анализ, кластер-анализ, использование нейронных сетей, для целей проведения статистического анализа параметров телекоммуникационной сети.

5. Математическая модель телекоммуникационной сети для целей статистического мониторинга и анализа.

6. Алгоритмы, реализующие модифицированные методы статистического анализа параметров телекоммуникационной сети.

7. Результаты экспериментальной реализации разработанных и модифицированных методов, методик и алгоритмов на примере научно-образовательной сети.

Научная новизна результатов.

В результате выполнения данного исследования были разработаны аналитические, теоретические, методологические и практические основы статистического мониторинга и анализа компьютерных телекоммуникационных сетей, а именно:

— в результате исследования и анализа текущего состояния, перспектив и тенденций развития телекоммуникационных сетей на федеральном и на региональном уровнях выявлено, что российские телекоммуникационные сети отличаются нерегулярной структурой, обусловленной нерегулярным проектированием и финансированием, для российских телекоммуникационных сетей характерно ведомственное (корпоративное) разделение, что затрудняет их адекватный мониторинг с целью оптимального предоставления инфокоммуникационных сервисов;

— для целей статистического мониторинга и анализа определены основные показатели функционирования телекоммуникационной сети, основные требования, предъявляемые к телекоммуникационным сетям, характеризующие качество обслуживания сетиопредлены понятия мониторинг и анализ телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методамипрактические задачи, для решения которых проводится мониторинг и анализ телекоммуникационной сети;

— разработанные процедуры преобразования первичных значений основных параметров телекоммуникационной сети во временной ряд и случайную последовательность позволяют перейти к анализу параметров телекоммуникационной сетиметодики преобразования информационных потоков, циркулирующих в глобальных сетях, учитывающие особенности средств регистрации поступающей информацииматематическая модель исследования параметров телекоммуникационной сети в виде временного ряда, который разлагается на такие компоненты как тренд, периодическую и случайную составляющую, при этом можно предсказать будущее каждой компоненты и, анализируя их, предсказать будущее всего ряда;

— модифицированные методы теории статистики для системы статистического анализа телекоммуникационной сети, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, нейронные сетиих можно использовать как инструменты для обработки статистических данных в статистической системе анализа телекоммуникационной сети;

— алгоритм анализа данных с пропущенными значениями для применения в случае многомерных временных рядов, набор алгоритмов восходящей или агломеративной, иерархической классификации с целью реализации в статистической системе анализа телекоммуникационной сети;

— алгоритма обработки рядов содержащих компоненты тренда и сезонности основанные на развертке ряда в двух-входовую таблицу, алгоритм, удаления средних значений, итерационный алгоритм медианного сглаживания, алгоритм разложения по целевым факторам.

В данной работе предлагается новый подход мониторинга и анализа телекоммуникационной сети, основанный на обработке статистической информации о функционировании телекоммуникационной сети и определении нормального профиля сети на основе этой обработки.

Решение вышеуказанных задач позволяет практически осуществлять:

1. Предсказание изменения параметров телекоммуникационного трафика на основе обработки статистической информации о работе элементов сети. Эта информация носит, как правило, статистический характер и представляет собой зачастую временные последовательности. В этом случае речь идет о статистическом анализе сетевого трафика как анализе временных рядов, а анализируемая статистика может быть как текущей (с интервалом усреднения информации от одной до десятков секунд), так и долговременной (с интервалом усреднения информации от одной минуты до нескольких часов или суток).

2. Интеллектуальное управление телекоммуникационными сетями для перераспределения сетевых ресурсов, в частности, пропускной способности виртуальных каналов. Это достигается за счет статистического мультиплексирования с временным разделением пропускной способности между различными информационными приложениями. Методы управления перераспределением пропускной способности позволяют распределить информационные потоки по виртуальным каналам. При этом учитываются ограничения на доступную пропускную способность и уровень показателей качества. Указанные методы представляют собой симбиоз алгоритмов резервирования пропускной способности виртуальных каналов и статистического мультиплексирования ресурсов.

3. Исследование временных задержек вдоль маршрута прохождения пакета, снижение которых повышает качество работы сети. Временные задержки являются важным фактором, влияющим на пропускную способность сети. Чем больше эти задержки, тем меньше пропускная способность сети. В соответствии с протоколом TCP/IP пропускная способность со стороны источника пакетов определяется текущим окном перегрузки, равным числу разрешенных к передаче пакетов до прихода пакета подтверждения. При более или менее регулярном поступлении пакетов подтверждения величина окна увеличивается в два раза. В итоге достигается максимально возможная для принятого протокола пропускная способность, уменьшается окно перегрузки и соответственно пропускная способность соединения.

4. Формирование прогноза времени появления перегрузки и ее величины. Задержка и потеря пакетов в пути может происходить из-за очередей в промежуточных узлах — маршрутизаторах, в компьютерах — источниках и приемниках пакетов, а также из-за переполнения буферов в этих узлах. В таком случае пакеты подтверждения не отсылаются, и протоколом TCP на стороне источника формируется окно перегрузки уменьшенного размера. Интервал между моментами отсылки пакета из источника и получения пакета подтверждения называется RTT-задержкой [англ. round-trip time — задержка] [34]. Указанная задержка является важной характеристикой, обеспечивающей нормальное функционирование TCP-соединения в фазе медленного старта и поэтому требующей тщательной настройки и контроля. Для избежания простоев из-за ожидания потерянных и задержавшихся пакетов вводится пороговое значение RTT-задержки. Пакеты считаются потерянными, если RTT превышает заданный порог. По величине спрогнозированной RTT-задержки можно судить об уровне перегрузки и перенастроить величину окна, т. е. определить закон изменения окна перегрузки.

5. Контроль и прогнозирование переполнения системных буферов телекоммуникационной сети. На пропускную способность участка сети между /-м и у-м узлами очевидно влияет очередь в узле у. Эта очередь может возникнуть из-за ограниченного объема памяти данного буфера, низкой интенсивности разгрузки этого буфера (скорость работы процессора), чрезмерно больших объемов информации, поступивших на него. В связи с этим интенсивность потока информации от узла / к узлу у понижается, а в случае переполнения буфера в узле у передача информации прекращается и часть пакетов теряется. Для предотвращения потери пропускной способности узла необходимо регулировать уровень загрузки буфера на основе прогноза его переполнения.

6. Сравнение наблюдаемого поведения телекоммуникационной сети с определенным ранее нормальным профилем и выявление сетевых аномалий. Нормальным профилем или шаблоном работы сети называется совокупность ее характеристик в течение некоторого промежутка времени, которая соответствует работе всей системы без каких-либо существенных отклонений от нормы. Однако вопрос о системе характеристик качества сети, на основе которых можно описать нормальный профиль, является весьма неординарным и представляет собой отдельную научную задачу.

Достоверность научных результатов и выводов, сформулированных в диссертации, определяется корректным применением информационных технологий и методов математической статистики, статистического анализа временных рядов. При этом теоретические расчеты согласовывались с экспертами в области сетевого администрирования и информационных технологий.

Практическая ценность полученных результатов определяется разработкой реально действующих алгоритмов и программ для статистического мониторинга и анализа телекоммуникационных сетей, которые, в частности, используются при развитии и администрировании отраслевой телекоммуникационной научно-образовательной сети, а именно:

— проведен анализ и исследование параметров телекоммуникационной сети с помощью пакета программы Те1е81а1;

— для статистической обработки характеристик сетевого трафика на основе долговременной статистики была разработана и использована программа «Роутер" — для анализа периодической составляющей на основе модифицированного метода спектрального анализа разработана и использована программа «АБШТ»;

— с помощью программы «Анализатор трафика» определен нормальный профиль сети (этап анализа), выявлены отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети.

Результаты, полученные в работе, внедрены в рамках выполнения следующих проектов: в Министерстве образования и науки Российской Федерации № гос. регистрации 0120.503 656- УДК 621.394/.396.019.3 «Развитие методов и средств обеспечения защиты информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации», № гос. регистрации 0120.503 662- УДК 37.014.15 «Исследование и реализация методов обеспечения качества передачи информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации» и «Разработка системы мониторинга и управления телекоммуникационным трафиком Минобрнауки России" — в Министерстве промышленности, науки и технологий Российской Федерации «Разработка и реализация методов мониторинга и статистического анализа научно — образовательных компьютерных сетей» и «Создание методов, средств и распределенных систем обеспечения защиты информации в телекоммуникационных сетях науки и образования" — в Государственном НИИ системной интеграции «Разработка предложений по организации сетевого взаимодействия объектов управления сферы образования с учетом обеспечения безопастности» — в Федеральном агентстве по образованию Российской Федерации «Обеспечение региональной связности отраслевой телекоммуникационной сети сферы образования» и «Разработка математической модели угроз безопасности систем и формирование методики мониторинга и прогнозирования состояния критических параметров системы информационной безопасности" — в ФГУ РНЦ «Курчатовский институт» «Разработка и исследование сегментов высокоскоростных участков научно-образовательной сети базирующихся на новых простоколах передачи данных" — в СПб ГУ информационных технологий и точной механики «Разработка типовых сегментов высокоскоростных вычислений на ресурсах науки использующих новые технологии передачи данных» и Анализ функционирования информационно-аналитических центров мониторинга в области информационно-телекоммуникационных ситсем" — в Федеральном агентстве по науке и инновациям Российской Федерации «Обеспечение технологического развития национальной компьютерной сети науки и высшей школы как уникального объекта инфраструктуры науки и образования»;

Исходя из вышеизложенного принята следующая стркутура диссертации.

В первой главе проведен обзор, исследование и анализ состояния, перспектив и тенденций развития телекоммуникационных сетей на федеральном и на региональном уровнях в целях обоснования необходимости анализа и мониторинга телекоммуникационных сетей с использованием статистических методов.

1. Рассмотрены общие принципы создания, оснащения и развития российских телекоммуникационных сетей.

2. Исследованы вопросы технологического состояния российских телекоммуникационных сетей и условий их дальнейшего развития на современном этапе.

3. Проведен анализ сегмента некоммерческих, научно-образовательных сетей в российском телекоммуникационном пространстве.

4. Исследованы особенности организации и построения российских телекоммуникационных сетей и связанные с этим особенности их анализа и мониторинга.

5. Проведен анализ наиболее перспективных архитектур и способов организации доступа в телекоммуникационных сетях.

6. Исследованы вопросы распределенного доступа к научно-образовательным ресурсам с использованием региональных «зеркал».

7. Рассмотрена постановка проблемы.

Во второй главе введено понятие «нормальный профиль телекоммуникационной сети», как совокупность показателей ее нормального функционирования, в целях анализа и мониторинга телекоммуникационной сети в случае невозможности доступа к ее структуре, а также для обеспечения оперативности и технологичности.

1. Определены основные показатели функционирования телекоммуникационной сети.

2. Сформулированы основные требования, предъявляемые к телекоммуникационным сетям, характеризующие качество обслуживания сети.

3. Исследованы задачи управления телекоммуникационными сетями.

4. Введены понятия «мониторинг» и «анализ» телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами.

5. Сформулированы практические задачи, для решения которых проводится мониторинг и анализ телекоммуникационной сети.

В третьей главе анализируются структуры временных рядов, модель, описывающая поступление информации за единицу времени, методы анализа составляющих моделиметод прогнозирования загрузки канала на короткий период, разрабатываются технология и методы первичной обработки значений параметров телекоммуникационной сети.

1. В качестве инструмента первичного сбора статистической информации о функционировании телекоммуникационной сети обоснована процедура сбора информации с помощью протокола управления SNMP.

2. Разработаны две процедуры преобразования первичных значений основных параметров телекоммуникационной сети в временной ряд и случайную последовательность, позволяющие перейти к анализу и моделированию информационных потоков.

3. Проанализированы характеристики сетевого трафика телекоммуникационной сети RUNNet, выявлены их особенности: нестационарность, неоднородность, периодичность, сложная форма периодического сигнала.

4. Обосновано предположение, что для анализа параметров функционирования телекоммуникационной сети целесообразно использовать статистический анализ временных рядов.

В четвертой главе представлены математические методы и модели для проведения статистического анализа и мониторинга параметров функционирования телекоммуникационной сети.

1. Проведена оценка статистических характеристик и выделены главные компоненты в системе статистического анализа телекоммуникационной сети.

2. Исследованы методы статистического анализа, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, использование нейронных сетей.

3. Определены инструменты для обработки статистических данных, такие как матрица данных, шкалы и расстояния в статистической системе анализа телекоммуникационной сети.

4. В качестве математической модели функционирования телекоммуникационной сети для целей статистического мониторинга и анализа выбран временной ряд с учетом таких методов его обработки, как сглаживание и декомпозиция, в частности, модель авторегрессии и модель скользящего среднего (с учетом сезонности и тренда).

5. Разработаны процедуры прогнозирования временных рядов, такие как: простые процедуры прогноза, процедура «без изменения», процедура «постоянное приращение», непараметрическое прогнозирование временных рядов, прогнозирование с помощью нескольких рядов.

6. Выявлены особенности представления значений характеристик телекоммуникационной сети в виде временного ряда.

7. Разработана математическая модель функционирования телекоммуникационной сети как типичного временного ряда для целей ее статистического анализа и мониторинга, которая складываться из следующих составляющих:

• тренд, или систематическое изменение;

• колебание относительно тренда с большей или меньшей регулярностью;

• сезонная составляющая;

• случайная или несистематическая составляющая.

8. Определено, что тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая — это периодически повторяющаяся компонента. Оба эти вида регулярных компонент обязательно присутствуют в ряде, формально описывающем характеристики телекоммуникационной сети одновременно.

9. Сформулирована основная цель анализа временных рядов в данной работе, которая состоит в прогнозировании поведения исследуемой телекоммуникационной сети в некоторый период времени. Решение данной задачи носит статистический характер: изучается прошлое поведение временного ряда значений основных характеристик телекоммуникационной сети, и в предположении, что телекоммуникационная сеть не меняется во времени, предпринимаются попытки экстраполяции ряда на будущее без детального изучения архитектуры телекоммуникационной сети.

10. Разработана математическая модель загрузки канала телекоммуникационной сети.

11. Сформулированы принципы прогнозирования загрузки каналов телекоммуникационной сети.

В пятой главе представлены алгоритмы статистической системы анализа и мониторинга телекоммуникационной сети, разработанные в соответствии с математическими методами и методиками, представленными в Главе 4.

1. Разработан алгоритм анализа данных с пропущенными значениями для применения в случае многомерных временных рядов.

2. Модифицирован подход на основе целенаправленного проецирования с целью реализации в статистической системе анализа телекоммуникационной сети визуального метода анализа резко выделяющихся наблюдений.

3. Адаптирован алгоритм к-средних при заданном числе классов для реализации в статистической системе анализа телекоммуникационной сети.

4. Разработан ряд алгоритмов восходящей или агломеративной, иерархической классификации с целью реализации в статистической системе анализа телекоммуникационной сети.

5. Адаптированы следующие алгоритмы обработки рядов, содержащих компоненты тренда и сезонности и основанные на развертке ряда в двух-входовую таблицу:

• алгоритм, удаления средних значений;

• итерационный алгоритм медианного сглаживания;

• алгоритм разложения по целевым факторам.

6. Рассмотрены тесты для проверки непараметрических гипотез во временных рядах.

В шестой главе приведены экспериментальные результаты реализации научных методов и методик, разработанных в Главе 4 в соответствии с алгоритмами, разработанными в Главе 5. Эксперименты проводились в научно-образовательной сети ШМ^ при помощи комплекса программ сетевого администратора: Роутер, АБЮТ, Анализатор трафика и Те1е81а1 на основе анализа совокупности ее временных характеристик, представленных в виде параметров временных рядов.

1. Проведен анализ и исследование параметров телекоммуникационной сети с помощью пакета программы Те1е81а1-, включая использование процедур подготовки и обработки данных, анализ и исследование данных, преобразование накопительных рядов с обнулением, преобразование рядов ошибок регистрации, обработку рядов с выбросами. Продемонстрирован процесс использования команд и меню пакета программ Те1е81а1-.

2. Для статистической обработки характеристик сетевого трафика на основе долговременной статистики разработана и представлена программа «Роутер».

3. Для анализа периодической составляющей на основе модифицированного метода спектрального анализа, описанного в Главе 4, разработана и представлена программа «AFINT».

4. Представлены результаты исследования загрузок каналов научно-образовательной сети RUNNet по трем интерфейсам: ATM, FastEthernet 1/0 и FastEthernet 4/0 на основе анализа и исследования разработанной в Главе 4 составляющих математической модели, которая описывает поступление и передачу информации по каналам связи.

5. Представлены результаты проведения экспериментов по основным методикам анализа и исследования телекоммуникационной сети: идентификация аномальных наблюдений, метод агрегирования данных, метод конечных разностей, прогнозирование сетевого трафика по методу экспоненциального сглаживания. В результате:

• разработана модифицированная методика повышения значимости регрессионной модели за счет удаления периодической составляющей и последующего применения метода скользящего среднего;

• разработан модифицированный метод конечных разностных операторов для исключения влияния тренда и основных гармоник периодической составляющей;

• выявлена хорошая адаптация метода экспоненциального сглаживания к изменениям в поведении временного ряда при прогнозировании загрузки канала на короткий период;

• предложены методики идентификации аномальных наблюдений на основе агрегирования данных, конечных разностных операторов и критерий резко выделяющихся наблюдений.

7. Разработана программа «Анализатор трафика» с целью обработки статистической информации о функционировании телекоммуникационной сети и выдачи рекомендаций системному администратору сети. С ее помощью можно определить нормальный профиль сети (этап анализа), выявить отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятия соответствующего решения об изменении конфигурации или загрузки сети.

В заключении изложены основные результаты и выводы по диссертационной работе.

В приложениях представлена основная программно-экспериментальная реализация системы анализа и мониторинга телекоммуникационных сетей с использованием статистических методов — Те1е81а1, а также Акты внедрения практических результатов работы.

Таким образом, в данной работе выполнены:

1. Разработка научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.

2. Теоретический анализ (на основе обработки статистической информации) и экспериментальное исследование функционирования научно-образовательных телекоммуникационных сетей.

3. Разработка научных подходов, методов, алгоритмов и программ, обеспечивающих контроль и диагностику функционирования телекоммуникационных систем и компьютерных сетей.

4.Разработан и апробирован комплекс программных средств для различного уровня использования начиная от системного администратора телекоммуникационной сети до системного аналитика.

Эффективность комплекса программных средств подтверждается внедрением разработанных в диссертации теоретических основ, методов и алгоритмов как на федеральном уровне — в Министерстве образования и науки Российской Федерации, так и на региональном — в научно-образовательной сети RUNNet-RBNet — в Ростовском ГУ, Тамбовском ГТУ, Пермском ГУ, Ярославском ГУ, СПб ГУ информационных технологий и точной механики, Владимирском ГУ, Рязанской радиотехнической академии, Новгородском ГУ.

Результаты диссертационной работы непосредственно отражены в 72 публикациях, в том числе в монографии Енюков И. С., Ретинская И. В., Скуратов А. К. Статистический анализ и мониторинг научно-образовательных интернет-сетей. Под. ред. Тихонова А. Н. -М.: Финансы и статистика, 2004.-320с.:ил. ISBN 5−279−2 801−0, УДК 004.738.5:311, ББК 32.973.202вбв двух учебно-методических пособиях, 12 статьях, опубликованных в журналах ВАК, 11 статьях в других журналах и 38 трудах конференций, а также 8 научно-технических отчетах по госбюджетным и хоздоговорным темам, выполненным по теме диссертации при непосредственном участии и руководстве автора.

ВЫВОДЫ К ГЛАВЕ 6.

1. В данной главе приведены экспериментальные результаты реализации научных методов и методик, сформулированных и модифицированных в Главе 4 в соответствии с алгоритмами, разработанными в Главе 5.

2. Проведен анализ и исследование параметров телекоммуникационной сети с помощью пакета программы TeleStat, включая использование процедур подготовки и обработки данных, анализ и исследование данных, преобразование накопительных рядов с обнулением, преобразование рядов ошибок регистрации, обработку рядов с выбросами, анализ двумерных диаграмм рассеивания с помощью матричного дисплея. Продемонстрирован процесс использования команд и меню пакета программ TeleStat.

3. Для оперативной статистической обработки характеристик сетевого трафика на основе долговременной статистики была разработана и представлена программа «Роутер».

4. Для анализа периодической составляющей на основе модифицированного метода спектрального анализа, описанного в Главе 4, разработана и представлена программа «AFINT».

5. Представлены результаты исследования загрузок каналов научно-образовательной сети RUNNet по трем интерфейсамATM, FastEthernet 1/0 и FastEthernet 4/0 на основе анализа и исследования разработанной в Главе 4 составляющих математической модели, которая описывает поступление и передачу информации по каналам связи: a. для всех исследуемых характеристик в значениях временных рядов доминирующими частотами являются суточная и недельная гармоникиb. начальный момент времени для разложения временного ряда, представляющего собой загрузку канала, в ряд Фурье, необходимо брать равным 6 ч. 00 мин.

6. Представлены результаты проведения экспериментов по основным методикам анализа и исследования телекоммуникационной сети: идентификация аномальных наблюдений, метод агрегирования данных, метод конечных разностей, прогнозирование сетевого трафика по методу экспоненциального сглаживания. В результате: a. Разработана модифицированная методика повышения значимости регрессионной модели за счет удаления периодической составляющей и последующего применения метода скользящего среднего. b. Разработан модифицированный метод конечных разностных операторов для исключения влияния тренда и основных гармоник периодической составляющей. c. Выявлена хорошая адаптация метода экспоненциального сглаживания к изменениям в поведении временного ряда при прогнозировании загрузки канала на короткий период. Предложены методики идентификации аномальных наблюдений на основе агрегирования данных, конечных разностных операторов и критерий резко выделяющихся наблюдений.

7. Разработана программа «Анализатор трафика» с целью обработки статистической информации о функционировании телекоммуникационной сети и выдачи рекомендаций системному администратору сети. С ее помощью можно определить нормальный профиль сети (этап анализа), выявить отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети.

ЗАКЛЮЧЕНИЕ

.

В ходе диссертационного исследования получены следующие основные результаты:

1. Выполнены исследование и анализ текущего состояния, перспектив и тенденций развития телекоммуникационных сетей на федеральном и на региональном уровнях, в результате чего выявлено, что российские телекоммуникационные сети отличаются нерегулярной структурой, что обусловленно нерегулярным проектированием и финансированием, для российских телекоммуникационных сетей характерно ведомственное (корпоративное) разделение, что затрудняет их адекватный мониторинг с целью оптимального предоставления инфокоммуникационных сервисов.

2. Обосновано, что использование методологии и технологии сетей доставки содержания позволяет эффективно взаимодействовать со статистической системой мониторинга и анализа функционирования телекоммуникационных сетей. Одновременное развертывание сети доставки содержания и статистической системы анализа и мониторинга функционирования телекоммуникационных сетей обеспечивает необходимую управляемость и масштабируемость системы.

3. Выделены основные показатели функционирования телекоммуникационной сети для целей статистического анализа и мониторинга и, наиболее информативный параметр — загрузка канала. Анализ загрузок каналов дает информацию об их стабильности и надежности позволяет эффективно управлять каналом, находить узкие места и делать прогнозы о необходимости дальнейшего расширения канала или сети.

4. Сформулированы практические задачи, для решения которых целесообразно проводить статистический мониторинг и анализ телекоммуникационной сети.

5. Определены понятия анализ и мониторинг телекоммуникационной сети со статистической точки зрения как процессов, связанных с выявлением нормального и текущего профилей телекоммуникационной сети и исследования их статистическими методами.

6. В качестве инструмента первичного сбора статистической информации о функционировании телекоммуникационной сети выбрана процедура сбора информации с помощью протокола управления SNMP. Выбраны и рассмотрены процедуры преобразования первичных значений основных параметров телекоммуникационной сети во временной ряд и случайную последовательность, позволяющие перейти к анализу и моделированию информационных потоков.

7. Предложены методики преобразования данных, циркулирующих в глобальных сетях, учитывающие особенности средств регистрации поступающей информации и предложена модель для описания передачи информации по сети.

8. Проанализированы характеристики сетевого трафика научно-образовательной сети RUNNet, выявлены их особенности: нестационарность, неоднородность, периодичность, сложная форма периодического сигнала. На основе проведенных экспериментов сделан вывод, что для анализа параметров функционирования телекоммуникационной сети целесообразно использовать статистический анализ временных рядов.

9. Для целей статистического анализа телекоммуникационной сети модифицированы методы статистического анализа, такие как регрессионный анализ, дискриминантный анализ, кластер-анализ, нейронные сети. Адаптирован алгоритм к-средних и ряд алгоритмов иерархической классификации для анализа данных в телекоммуникационной сети. Адаптирован алгоритм анализа данных с пропущенными значениями для применения в случае многомерных временных рядов. Модифицирован подход на основе целенаправленного проецирования для анализа резко выделяющихся наблюдений.

10. Разработана математическая модель загрузки канала телекоммуникационной сети. Данная математическая модель телекоммуникационной сети для целей статистического мониторинга и анализа основывается на том, что последовательные значения характеристик телекоммуникационной сети образуют временные ряды. Анализ временных рядов значений характеристик телекоммуникационной сети позволяет предсказать функционирование сети в будущем на основании знания их прошлого функционирования, выяснить механизм, порождающий ряд, или описать характерные особенности ряда.

11. Для моделирования и прогноза временных рядов адаптированы следующие алгоритмы обработки рядов содержащих компоненты тренда и сезонности: алгоритм удаления средних значений, итерационный алгоритм медианного сглаживания, алгоритм разложения рядов остатков по целевым факторам. Развиты методы моделирования временных рядов с оптимизацией параметрической структуры моделей с помощью штрафных функций. Указанные алгоритмы реализованы в пакете программ Те1е81а1 для анализа данных в телекоммуникационных сетях.

12. Приведены экспериментальные результаты реализации разработанных и модифицированных научных методов и методик в соответствии с разработанными алгоритмами. А именно:

— проведен анализ и исследование параметров научно-образовательной сети 111Ж№ 1 с помощью пакета программ Те1е81а1,.

— для статистической обработки характеристик сетевого трафика на основе долговременной статистики разработана программа «Роутер" — для анализа периодической составляющей на основе модифицированного метода спектрального анализа разработана и представлена программа «АП1ЧТ»;

— программа «Анализатор трафика» разработана с целью обработки статистической информации о функционировании телекоммуникационной сети и выдачи рекомендаций системному администратору сетис ее помощью можно определить нормальный профиль сети (этап анализа), выявить отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети;

— представлены результаты исследования загрузок каналов научно-образовательной сети RUNNet по интерфейсам ATM и FastEthernet на основе анализа и исследования составляющих математической модели, которая описывает поступление и передачу информации по каналам связив частности представлены результаты проведения экспериментов по основным методикам анализа и исследования телекоммуникационной сети: идентификация аномальных наблюдений, метод агрегирования данных, метод конечных разностей, прогнозирование сетевого трафика по методу экспоненциального сглаживания.

Таким образом, в диссертации решена крупная научная проблема, состоящая в:

1. Разработке научных основ исследования статистических принципов функционирования телекоммуникационных систем и компьютерных сетей.

2. Проведении теоретического анализа и экспериментальных исследований функционирования научно-образовательных телекоммуникационных сетей основанных на разработанной научной базе.

3. Разработке научных подходов и методов, обеспечивающих контроль и диагностику функционирования телекоммуникационных систем и компьютерных сетей.

4. Разработке и апробация комплекса алгоритмических средств для различного уровня использования, начиная от системного администратора телекоммуникационной сети до системного аналитика (доведенных до программной реализации).

Эффективность комплекса алгоритмических средст, доведенных до программной реализации, средств подтверждается внедрением разработанных в диссертации теоретических основ, методов и алгоритмов как на федеральном уровне — в Министерстве образования и науки Российской Федерации, так и на региональном — в научно-образовательной сети ШЖ^ - в Ростовском ГУ, Тамбовском ГТУ, Пермском ГУ, Ярославском ГУ, СПб ГУ информационных технологий, механики и оптики, Владимирском ГУ, Рязанской радиотехнической академии, Новгородском ГУ, а также в телекоммуникационных компаниях: Владимирском филиале ОАО «ЦентрТелеком», ООО «Цифровые телефонные сети» (г.Ростов-на-Дону).

Практическая ценность и внедрение результатов.

Решение вышеуказанных задач позволяет практически осуществлять:

1. Предсказание изменения параметров телекоммуникационной сети на основе обработки статистической информации о ее функционировании.

2. Интеллектуальное управление телекоммуникационной сетью на основе анализа статистической информации о ее загрузке.

3. Исследование временных задержек вдоль маршрута прохождения пакета, снижение которых повышает качество работы сети.

4. Формирование прогноза времени появления перегрузки и ее величины.

5. Контроль и прогнозирование переполнения системных буферов телекоммуникационной сети.

6. Сравнение наблюдаемого поведения телекоммуникационной сети с определенным ранее нормальным профилем и выявление сетевых аномалий.

Практическая ценность выбранного пути решения проблемы определяется разработкой реально действующих алгоритмов и программ для статистического мониторинга и анализа телекоммуникационных сетей, которые, в частности, используются при развитии и администрировании отраслевой телекоммуникационной научно-образовательной сети ШМ^, а именно:

— проведен анализ и исследование параметров телекоммуникационной сети тЖ^ с помощью пакета программ Те1е81а1;

— для статистической обработки характеристик сетевого трафика на основе долговременной статистики была разработана и использована программа «Роутер" — для анализа периодической составляющей на основе модифицированного метода спектрального анализа разработана и использована программа «АБШТ»;

— с помощью программы «Анализатор трафика» определен нормальный профиль сети (этап анализа), выявлены отклонения от нормального профиля сети (этап мониторинга) с целью определения возникновении нештатной ситуации и принятии соответствующего решения об изменении конфигурации или загрузки сети.

Результаты, полученные в работе, внедрены в рамках выполнения следующих проектов: в Министерстве образования и науки Российской Федерации № госрегистрации 0120.503 656- УДК 621.394/.396.019.3 «Развитие методов и средств обеспечения защиты информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации», № госрегистрации 0120.503 662- УДК 37.014.15 «Исследование и реализация методов обеспечения качества передачи информации в телекоммуникационных сетях Министерства образования и науки Российской Федерации», № госрегистрации 0120.0 508 459 «Исследование методов и реализация системы защиты информации, в том числе от спама и вирусных атак в корпоративной сети Минобрнауки России» и «Разработка системы мониторинга и управления телекоммуникационным трафиком Минобрнауки России" — в Министерстве промышленности, науки и технологий Российской Федерации № госрегистрации 0120.0 405 211 «Разработка и реализация методов мониторинга и статистического анализа научно — образовательных компьютерных сетей» и № госрегистрации 0120.0 405 219 «Создание методов, средств и распределенных систем обеспечения защиты информации в телекоммуникационных сетях науки и образования" — в Федеральном агентстве по науке и инновациям Российской Федерации № госрегистрации 0120.0 508 460 «Обеспечение технологического развития национальной компьютерной сети науки и высшей школы как уникального объекта инфраструктуры науки и образования" — в Федеральном агентстве по образованию Российской Федерации «Обеспечение региональной связности отраслевой телекоммуникационной сети сферы образования» и № госрегистрации 0120.0 409 936 «Разработка математической модели угроз безопасности систем и формирование методики мониторинга и прогнозирования состояния критических параметров системы информационной безопасности" — в Государственном НИИ системной интеграции «Разработка предложений по организации сетевого взаимодействия объектов управления сферы образования с учетом обеспечения безопастности» — в ФГУ РНЦ «Курчатовский институт» № госрегистрации 0120.0 504 287 «Разработка и исследование сегментов высокоскоростных участков научно-образовательной сети базирующихся на новых протоколах передачи данных" — в СПб ГУ ИТМО «Разработка типовых сегментов высокоскоростных вычислений на ресурсах науки использующих новые технологии передачи данных» и № госрегистрации 0120.0 508 458 «Анализ функционирования информационно-аналитических центров мониторинга в области информационно-телекоммуникационных систем». Основания для выполнения работы.

Работа явилась обобщением результатов исследований автора в период с 1996 года по настоящее время и выполнена в Федеральном государственном учреждении Государственный НИИ информационных технологий и телекоммуникаций «Информика». В последние годы работа связана с выполнением Программ Минобразования России «Научное, научно-методическое, материально-техническое и информационное обеспечение системы образования» (2000 — 2003 гг.), «Государственная поддержка региональной научно-технической политики высшей школы и развитие ее научного потенциала» (2001;2002 гг.), Федеральных целевых программ «Электронная Россия» (2002 — 2005 гг.), «Интеграция науки и высшего образования» (2002;2004 гг.), «Развитие единой образовательной информационной среды» (2002 — 2005 гг.), Федеральной программы развития образования (2000;2005), а также ряда хоздоговорных научно-исследовательских работ.

Работа поддержана государственными грантами РФФИ по фундаментальным исследованиям в области технических наук (направление «Информационные технологии в проектировании изделий и технологических процессов их изготовления») по темам «Разработка системы коллективного пользования для статистического анализа телекоммуникационных ресурсов» № 02−07−90 026, 2002;2004гг., «Развитие материально-технической базы для проведения исследований в области мониторинга телекоммуникационных ресурсов и проблем информационной безопасности» № 04−07−900 286, 2004 г, «Система мониторинга, оперативной диагностики и контроля трафика 1Р-сетей «, № 05−07−90 360, 2005 г. Результаты выполнения работ по данным грантам размещены в виде свободно распространяемого ПО по адресу: http://www.informika.ru.

Апробация работы и публикации.

Основные положения, представленные в диссертации, начиная с 1997 года, регулярно докладывались и обсуждались на научных мероприятиях различного уровня. В том числе на:

Всероссийской научно-методической конференции «Телематика», г. Санкт-Петербург, 1997;2005 гг.

IX Всероссийской школе-семинаре «Современные проблемы математического моделирования», п. Дюрсо, 2001 г.

Всероссийской научной конференции, г. Новороссийск, 2001.

Всероссийской научно-практической конференции, г. Петрозаводск,.

Научно-техническом совещании «Создание телекоммуникационной среды высокопроизводительных технологий в регионах России: состояние, проблемы», г. Уфа, 2000 г.

Конференции «Высокопроизводительные вычисления и технологии» Москва-Ижевск, 2003 г.

X конференция представителей региональных научно-образовательных сетей «RELARN-2003». г. Санкт-Петербург, 2003 г.

The 19th ICDE World Conference «The New Educational Frontier: Teaching and Learning in a Networked World. Vienna, 1999.

LEARNTEC 2001″ 9th European Congress and Trade Fair for Educational and Information Technology. Karlsruher, Germany, 2001.

The 18th ICDE World Conference «The New Learning Environment. A Global Perspective. The Pennsylvania State University, 1997.

20-th World Conference on Open Learning and Distance Education «The Future of Learning — Learning for the Future: Shaping the Transition». Dusseldorf, Germany, 2001.

Результаты диссертационной работы непосредственно отражены в 79 публикациях, в том числе в монографии, в 14 статьях, опубликованных в журналах ВАК, в 11 статьях в других журналах и 38 трудах конференций, в 2 учебно-методических пособиях, а также 13 научно-технических отчетах по госбюджетным и хоздоговорным темам, выполненным по теме диссертации при непосредственном участии и руководстве автора.