Применение масштаба времени для описания, анализа свойств и управления информационными потоками сервера данных

Актуальность работы. Сети с коммутацией пакетов являются существенно более эффективными, чем сети с коммутацией каналов, поскольку в них не резервируется фиксированная полоса пропускания для каждого соединения. Вместо этого пакеты данных отправляются независимо, используя любую доступную ёмкость. Поэтому эффективность использования каналов в сетях с коммутацией пакетов значительно выше. Но возникает задача предотвращения перегрузок на промежуточных маршрутизаторах, когда они получают на входных каналах больше пакетов, чем могут отправить через выходные каналы. С кратковременными перегрузками можно справиться, используя буферы для временного хранения пакетов, но длительная перегрузка может привести к потере пакетов, когда буфер переполняется.

Сегодня управление перегрузками в Интернет остаётся активной областью для исследований. Постоянно выдвигаются новые идеи для дальнейшего увеличения чувствительности и эффективности методов управления перегрузками, вводятся новые сигналы о перегрузке и т. д. Кроме того, развитие Интернет предъявляет новые требования, например, управление трафиком большого объёма, генерируемого приложениями коллективного доступа к файлам, и трафиком Web серверов, содержащих мультимедийные файлы, которые существенно отличаются по своему размеру.

Существует две ключевые проблемы в исследовании управления перегрузками. Во-первых, требуется детальное статистическое и математическое описание Интернет трафика. Понимание его структуры и особенностей должно обеспечивать прочный фундамент для анализа новых идей по управлению трафиком и усовершенствования существующих. Во-вторых, высокая сложность системы приводит к необходимости дополнительных теоретических исследований, включающих в себя разработку математической модели сетевого трафика, имитационное моделирование и экспериментальные исследования в лабораторных условиях. Такие исследования способны в значительной степени воспроизвести сложность многоуровневой, высоко динамичной природы инфраструктуры Интернет. Но для того чтобы экспериментальные исследования и моделирование были показательными, они должны воспроизводить известные характеристики реального трафика в сети.

Анализ трафика в высокоскоростных сетях показывает, что такой трафик обладает свойствами, характерными для самоподобного трафика. За последние 20 лет этой тематике посвящено большое число работ. Отметим работы О. И. Шелухина [32], М. Crovella [51−53], A. Feldmann [57], S. Floyd [59, 77, 86], W. Leland [73], V. Paxson [77, 85, 86, 101], W. Willinger [57, 61, 73, 88, 101], и др. Однако математический анализ моделей, основанных на самоподобных процессах, является очень сложным для анализа и создания на их основе инженерных методик управления трафиком.

С другой стороны, традиционные модели телетрафика являются хорошо изученными. Разработке математических моделей трафика, а также методов управления им посвящены работы отечественных и зарубежных исследователей Г. П. Башарина [1−3], Ю. В. Гайдамаки [1, 2, 5, 33], В. А. Ефимушкина [7,8], А. П. Пшеничникова [11], К. Е. Самуйлова [1, 2], C.H. Степанова [10, 13−16], А. Д. Харкевича [11], V. Iversen [69], L. Kleinrock [9] и др. Но необходимо отметить, что классические модели теории телетрафика не всегда могут обеспечить достаточно точное описание реального трафика в современных сетях передачи данных, включая долговременные зависимости.

В традиционных моделях телетрафика масштаб времени, соответствующий системе обслуживания, определяется на основании средней длительности обслуживания запросов пользователей и данная величина не сильно отличается для различных требований. Однако в настоящее время существенную долю ресурсов в Интернет составляют файловые серверы, содержащие данные различного типа и объёма. Причём размер файлов и, соответственно, длительность их передачи отличаются значительно для файлов различного типа. Трафик, порождаемый такими серверами, можно разделить на группы в зависимости от объёма запрашиваемых данных. 9.

Таким образом, является актуальной задача разработки математической модели, которая бы могла адекватно отображать основные свойства трафика, генерируемого современными серверами данных, но при этом была бы основана на классических и хорошо изученных моделях телетрафика. Для этого необходимо провести анализ свойств трафика реальных серверов в Интернет для выявления основных особенностей такого трафика, а также разработать методов управления им для предотвращения перегрузок в сети.

Объектом исследования является сервер данных, на вход которого поступают запросы пользователей на передачу файлов различного размера.

Предметом исследования являются характеристики информационных потоков, генерируемых сервером данных, исследование которых позволяет разработать наиболее эффективные методы управления трафиком сервера.

Цель работы и задачи исследования. Целью диссертации является исследование влияния масштаба времени на свойства информационных потоков сервера данных.

Для достижения поставленной цели в диссертации проведены следующие исследования:

• анализ свойств реального сетевого трафика, порождаемого различными Web серверами, на вход которых поступают запросы пользователей на передачу файлов существенно различного размера;

• разработка математической модели трафика сервера данных, в которой каждому из потоков соответствует свой временной масштаб;

• проведение имитационного моделирования трафика сервера данных и исследование факторов, влияющих на вероятность потерь при его обслуживании;

• разработка методов управления скоростью передачи данных, поступающих от сервера, и оценка их эффективности при различных значениях параметров системы обслуживания потоков запросов.

Методы исследования. Для решения поставленных задач используются методы теории сетей связи, теории вероятностей и математической статисти.

10 ки, теории массового обслуживания и методы математического моделирования.

Достоверность результатов. Достоверность результатов обеспечивается адекватностью используемых методов математической статистики и теории вероятностей, верификацией математической модели, а также сравнением аналитических результатов с результатами математического моделирования.

Научная новизна результатов.

1. На основании исследования трафика двух мультимедийных ресурсов впервые предложен метод разделения трафика сервера на несколько потоков, соответствующих различным типам запросов, основанный на анализе скорости изменения функции распределения объёма переданных данных.

2. Разработана математическая модель, позволяющая анализировать долговременные зависимости сетевого трафика, используя компоненты, которым соответствует большой временной масштаб. В отличие от самоподобного трафика этот подход даёт возможность использовать классические модели телетрафика для исследования процессов, которые обычно описываются процессами с долговременными зависимостями.

3. Впервые предложены методы управления трафиком, основанные на индивидуальных особенностях потоков данных, генерируемых сервером. Показано, что эффективность этих методов зависит не только от свойств сетевого трафика, но и от характеристик сетевых узлов и каналов, через которые проходит этот трафик.

Личный вклад: все основные научные положения и выводы, составляющие содержание диссертации, разработаны соискателем самостоятельно. Теоретические и практические исследования, а также вытекающие из них выводы и рекомендации проведены и получены автором лично.

Практическая ценность и реализация результатов работы: выполненные в диссертационной работе исследования, а также предложенные инженерные методики могут быть использованы для управления скоростью пе.

11 редачи данных в современных сетях пакетной передачи данных. Это управление может осуществляться на отдельном сервере, на границе сети центра обработки данных, в котором располагаются различные серверы данных, и на границе сети оператора, предоставляющего пользователям доступ в Интернет, путём применения глубокого анализа абонентского трафика (DPIDeep Packet Inspection).

Разработанная модель трафика сервера может использоваться при проектировании сетей для оценки потерь при обслуживании трафика сервера.

Основные результаты диссертационной работы использованы в ФГБУН Институте проблем передачи информации им. А. А. Харкевича РАН при исследованиях беспроводных сетей связи, в ООО «Информационные бизнес системы» при расчете информационной нагрузки, создаваемой Web сервером, и определении характеристик систем, необходимых для обслуживания трафика сервера, а также применяются в учебном процессе МТУСИ на базовой кафедре Информационных сетей и систем при ИРЭ РАН.

Апробация результатов работы. Основные результаты диссертационной работы докладывались и обсуждались на международной конференции the 22-nd Belarusian winter workshop in queueing theory «Modern probabilistic methods for analysis, design and optimization of information and telecommunication networks» (Минск, 2013), на Всероссийских конференциях «Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем» (Москва, РУДН, 2011, 2012), на 11-м Всероссийском симпозиуме по прикладной и промышленной математике (Сочи, 2010), на 62-й, 64-й и 66-й научных сессиях РНТОРЭС им. А. С. Попова (Москва, 2007, 2009, 2011), на 30-й, 31-й, 32-й, 33-й, 34-й и 35-й конференциях молодых ученых и специалистов Р1ППИ РАН «Информационные технологии и системы» (Москва, 2007 — 2012), на 5-й Московской межвузовской научно-практической конференции «Студенческая наука» (Москва. 2010), на научных семинарах кафедры Информационных сетей и систем ФГОБУ ВПО.

МТУСИ и научном межвузовском семинаре «Современные телекоммуника.

12 ции и математическая теория телетрафика" ФГБОУ ВПО Российского университета дружбы народов (Москва, 2012).

Публикации. По теме диссертации опубликовано 16 печатных работ, в том числе 4 работы в ведущих рецензируемых научных журналах и изданиях, внесенных в перечень журналов и изданий, утвержденных ВАК.

Основные положения, выносимые на защиту. На защиту выносятся следующие положения:

1. Сетевой трафик, порождаемый мультимедийными ресурсами, имеет ярко выраженный пульсирующий характер и должен описываться процессами с долговременными зависимостями.

2. Трафик сервера данных может быть разделён на несколько потоков в соответствии с размером запрошенных файлов. Основные характеристики этих потоков, такие как интенсивность поступления требований и объём запрошенных данных, отличаются существенно.

3. Для описания трафика сервера данных может использоваться математическая модель, в которой, общий трафик рассматривается как линейная комбинация однородного трафика, но с различной шкалой времени для каждой компоненты. С помощью данной модели можно сгенерировать самоподобный трафик с параметром Хёрста изменяющимся в широких пределах.

4. Для систем с явными потерями или систем, в которых среднее время заполнения буфера маршрутизатора, через который проходит трафик сервера, существенно меньше времени обслуживания требований, все потоки вносят вклад в вероятность потерь пропорциональный создаваемой нагрузке.

5. Вклад, вносимый каждым из потоков в вероятность потерь, различается в зависимости от соотношения между масштабом времени, соответствующим системе обслуживания и определяющимся временем заполнения буфера, и масштабами времени, соответствующими различным потокам.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 наименований и приложения. Основная часть содержит 172 страницы, включая 64 рисунка, 8 таблиц.

4.8. Выводы.

1. Результаты оценки параметра Хёрста методами анализа Я/£ статистики и изменения дисперсии для различных систем обслуживания, на вход которых поступает несколько потоков, показали, что при различных значениях параметра к, определяющего во сколько раз отличаются длительности обслуживания требований из разных потоков, параметр Хёр

160 ста почти не отличается. То есть ни один из методов управления не приводит к снижению значения параметра Хёрста. Однако вероятность переполнения буфера коммутационного устройства, обслуживающего трафик сервера данных, существенно отличается для системы без управления и системы, в которой управление применяется к запросам на передачу файлов максимального размера.

2. Для системы с явными потерями (без буфера) или системы, в которой среднее время заполнения буфера существенно меньше времени обслуживания требований, вместо рассмотрения системы с несколькими потоками на входе можно перейти к системе с одним пуассоновским потоком на входе с суммарной интенсивностью и с соответствующей средней длительностью обслуживания требований.

3. При увеличении размера буфера и ёмкости выходного канала растёт различие между вероятностями потерь для системы, на вход которой поступает несколько потоков, и системы с одним потоком на входе. Таким образом, для систем, в которых стремятся обеспечить высокое качество обслуживания внося дополнительную избыточность (увеличивая объём буфера или пропускную способность), игнорирование реальной структуры потоков приводит к недооценке вероятности переполнения буфера и росту потерь.

4. При больших значениях размера буфера вероятность потерь определяется длительностью периодов времени с высокой нагрузкой, к которым приводит обслуживание запросов на передачу файлов большого размера. Поэтому для таких систем наиболее эффективным методам управления является уменьшение скорости передачи данных при обслуживании именно этих типов требований.

5. В зависимости от соотношения между масштабом времени, соответствующим системе обслуживания и определяющимся временем заполнения буфера, и масштабами времени, соответствующими различным потокам, вклад, вносимый каждым из потоков в вероятность потерь, бу.

161 дет различным. Для систем, в которых время заполнения буфера сопоставимо со временем обслуживания требований, вклад, вносимый определённым потоком, будет зависеть от размера буфера и ёмкости канала, и, следовательно, от этого будет зависеть эффективность методов управления, применяемых к различным потокам.

6. Анализ вероятности переполнения буфера коммутационного устройства при обслуживании трафика реального Web сервера показал, что выводы о структуре трафика сервера и эффективности методов управления им, полученные на основании исследования системы в рамках предложенной модели, могут быть распространены на реально существующие системы.

7. Вероятность потерь, полученная для системы с непрерывной функцией распределения объёма запрашиваемых данных, соответствующей эмпирической функции распределения реальных серверов данных, незначительно превышает вероятность потерь при дискретной функции распределения. При этом отличие в характере изменения вероятности переполнения буфера при различных параметрах системы обслуживания будем уменьшаться при правильном выборе числа потоков и границ между ними.

Заключение

.

Приведем основные результаты исследования.

1. Проведён анализ свойств реального сетевого трафика, порождаемого различными Web серверами, на вход которых поступают запросы пользователей на передачу файлов существенно различного размера. Показано, что такой трафик является самоподобным (оценка параметра Хёрста для трафика мультимедийного ресурса ~ 0,88).

2. Разработан метод разделения трафика сервера на несколько потоков, различающихся интенсивностью поступления запросов пользователей и объёмом переданной информации в рамках отдельной TCP сессии.

3. Разработана математическая модель трафика сервера данных, основанная на пуассоновских потоках запросов, где каждому из потоков соответствует свой временной масштаб. Такой подход даёт возможность анализировать долговременные зависимости трафика, используя компоненты, которым соответствует больший временной масштаб.

4. Исследована зависимость выборочной дисперсии нагрузки от времени агрегирования Т. Показано, что для конкретного потока при увеличении Т дисперсия начинает уменьшаться с высокой скоростью только для значений Т, превышающих длительность обслуживания запросов пользователей. Поскольку длительность обслуживания требований различных потоков отличается существенно, то вклад, вносимый каждым потоком в суммарную дисперсию, зависит от того масштаба времени, в котором рассматриваются колебания трафика.

5. Для предложенной модели трафика сервера изменяя параметр, определяющий во сколько раз отличается объём запрошенных данных для различных потоков, можно сгенерировать трафик с оценками параметра Хёрста, отличающимися в широких пределах.

6. Проведено исследование системы обслуживания с явными потерями и системы, в которой среднее время заполнения буфера маршрутизатора существенно меньше среднего времени обслуживания требований. Показано, что в этом случае можно не учитывать реальную структуру трафика, а ограничиться рассмотрением упрощённой модели с одним пуассоновским потоком на входе с суммарной интенсивностью и с соответствующей средней длительностью обслуживания запросов.

7. Рассмотрены методы управления скоростью передачи данных поступающих от сервера к пользователям. Показано, что наиболее целесообразно применение управления к тем потокам, для которых время передачи запрошенного файла сопоставимо со временем заполнения буфера маршрутизатора, обслуживающего трафик сервера данных.

8. Проведено моделирование системы с использованием данных наблюдений реального Web трафика. Показано, что выводы об эффективности методов управления трафиком сервера, полученные на основании исследования системы в рамках предложенной модели, могут быть распространены на реально существующие системы.