Программный комплекс компьютерного исследования атмосферных процессов для многоядерных процессоров

Механизм переноса тепла и формирования осадков в конвективных облаках является интересной и важной проблемой, как с научной, так и с практической точек зрения, поскольку именно с развитием конвективных облаков связаны такие опасные природные явления как гроза, смерч, шквал ливень, град. Прогноз их возникновения и эволюции является одной из важнейших задач, стоящих перед исследователями.

Еще одной задачей является оценка эффекта активного воздействия на конвективное облако. К этой же задаче относится и определение оптимальных параметров воздействия для достижения необходимых результатов. В [26] приведены основные параметры воздействия: время воздействия относительно стадии жизни облака, место введения и дозировка реагента. Целями воздействия на облако могут быть как предотвращение, так и вызывание осадков, а также изменение характеристик облака (например, борьба с грозовыми облаками для обеспечения безопасности полетов).

Одним из наиболее эффективных инструментов изучения конвективных облаков и механизмов воздействия на них является компьютерное исследование, которое позволяет, не прибегая к дорогостоящим натурным экспериментам, провести анализ развития облака, проследить влияние различных способов воздействия и метеорологических условий на ход процессов облакои осадкообразования. Такие исследования с помощью компьютерного моделирования описаны в [6] (изучение эволюции облака, выявление опасности обледенения или поражения самолета молнией, определение дальности видимости, турбулентности, вероятности града), [7] (исследование развития облака при взрыве или пожаре), [2, 10, 13, 16] (изучение влияния активных воздействий на предотвращение или увеличение осадков).

Существует множество представлений конвективных облаков, отличающихся как размерностью, так и степенью детализации описания микрофизических процессов.

По размерности пространства различают одномерные, полуторамерные, двумерные и трехмерные представления. Для научных исследований, направленных, прежде всего, на детальное изучение динамических, микрофизических процессов в облаке и их взаимосвязи, необходимо использовать представления, наиболее полно отражающие природные процессы, т. е. двухи трехмерные (см., например, [17, 36, 39, 49, 52]). Такие представления достаточно сложные и требуют больших вычислительных ресурсов.

Для целей оперативного прогноза опасных конвективных явлений, например в метеорологических центрах аэропортов, где для расчетов могут использоваться не суперкомпьютеры, а обычные ПК, необходимы более простые представления, которые не требуют больших вычислительных ресурсов, способные, однако, воспроизводить те характеристики облака (значение высоты верхней и нижней границы, максимальные значения водности, перегрева, скорости восходящего потока и т. п.), которые могут стать предикторами для существующих методов прогноза опасных конвективных явлений. Наиболее распространенным упрощением является уменьшение размерности пространства. В [2] показано, что с помощью представлений малой размерности удается выявить ряд закономерностей развития. Такие представления позволяют получить пространственно-временное распределение динамических и микрофизических параметров, а их реализация не требует больших вычислительных ресурсов. Программы, реализующие представления малой размерности, успешно используются в оперативной практике.

Наилучшими, с этой точки зрения, являются полуторамерные представления. В основе современных полуторамерных представлений (например, [2]) лежит модель Шиино [50]. В ней облако образуется в области в форме цилиндра. Эта область разбивается на слои по высоте. Значение параметров, таких как температура, скорость потока, влажность и др., усредняются в каждом слое. В отличие от одномерных представлений, где скорость потока имеет только вертикальную составляющую, и взаимодействие происходит только в вертикальном направлении, в полуторамерных дополнительно учитывается радиальная составляющая скорости (в горизонтальном направлениинаправлена внутрь цилиндра или во внешнюю среду) и взаимодействие с внешней средой через боковую поверхность цилиндра.

Полуторамерные представления позволяют достаточно быстро делать достоверные прогнозы на краткосрочный период и исследовать активные воздействия на метеорологические процессы. Описание исследования с применением таких представлений приведено в [7, 10, 13, 16], а одна из их модификаций прошла независимые испытания в аэропорту «Пулково» и рекомендована для использования в оперативной практике [6, 9].

Однако, при некоторых данных радиозондирования атмосферы (реальных и модельных) такое полуторамерное представление не может адекватно воспроизвести все стадии жизни облака, в частности, стадию диссипации (рассеяния). При этом облако проходит стадию развития и зрелости, затем фактически стабилизируется: ни динамические, ни микрофизические характеристики не претерпевают существенных изменений. Подобное поведение облака при использовании данного представления описано в [10, 13]. Это вызвано отсутствием нисходящего потока, который должен компенсировать развитие восходящего потока в облаке (роль нисходящих компенсирующих движений исследовалась в [27]).

Решение этой проблемы путем введения второго (внешнего) цилиндра было предложено Асаи и Касахарой [28]. Пространство в их модели разбивается на два концентрических цилиндра с разными диаметрами. В этом случае внутренний цилиндр соответствует области с восходящим потоком (в этом цилиндре и формируется облако), внешний — области с компенсирующим нисходящим движением. Значения параметров усредняются в каждом слое для каждого из цилиндров. Происходит взаимодействие в горизонтальном направлении между внутренним и внешним цилиндром. Однако, в отличие от модели Шиино, в полуторамерной модели Асаи и Касахары не учитывается взаимодействие с окружающей средой и не моделируются осадки. Поэтому актуальной является разработка представления, сочетающего преимущества этих двух моделей.

Многие современные представления облаков (не только полуторамерные, но и с большей размерностью) используют параметрическое описание микрофизических процессов (например, [2, 5, 7, 17, 50]). В таких представлениях форма спектров частиц не учитывается, фигурируют только интегральные характеристики от функции распределения облачных элементов по размерам. Предполагается, что существуют облачные капли (маленькие), которые не движутся относительно потока, дождевые капли (крупные) и градины, которые падают относительно потока (некоторые представления не учитывают градины, а иногда даже и дождевые капли, т. е. совсем не моделируют образование осадков, см. [28]). Переходы между паром, облачными каплями, дождевыми каплями и градинами (т.е. процессы конденсации, испарения, замерзания, таяния, нуклеации, коагуляции и др.) задаются параметрически и никак не учитывают реальные размеры частиц. Скорость падения дождевых капель и градин рассчитывается исходя из их концентраций. Такое описание микрофизических процессов является упрощенным.

Для увеличения точности прогноза желательно использовать не параметрическое, а наиболее полное спектральное описание микрофизических процессов. Представления со спектральной (детальной) микрофизикой (например, [15, 36−38, 40]) учитывают спектры частиц (используются кинетические уравнения для спектров, функция распределения присутствует в явном виде). Частицы разных размеров имеют разные устоявшиеся скорости падения относительно потока. Микрофизические процессы описываются более подробно и учитывают размеры, а иногда и форму частиц. Эти представления позволяют проследить за эволюцией спектров, т.к. форма спектра рассчитывается в течение моделирования. В [35] показано, что представления со спектральной микрофизикой способны наиболее подробно воспроизводить облачные процессы.

К настоящему времени было разработано несколько пресдставлений облака со спектральной микрофизикой. В представлении [40] уделено внимание только микрофизическим процессам, используется упрощенная динамическая часть, нет ледяных частиц. В полуторамерных представлениях [15, 43] не учитываются ледяные частицы и нисходящий поток. Двумерные представления [36−38] являются более совершенными, но слишком сложными с точки зрения вычислений и поэтому не подходят для оперативного прогноза. Также вычислительно сложным является и трехмерное представление [39], к тому же в нем отсутствуют ледяные частицы.

При одинаковой размерности, представления со спектральной микрофизикой позволяют делать более точный прогноз, по сравнению с представлениями с параметрической микрофизикой. Но при этом такие представления требуют гораздо больше вычислений. Основная часть компьютерных ресурсов в представлениях со спектральной микрофизикой тратится на вычисление микрофизических процессов. В [39] показано, что из всех микрофизических процессов коагуляция — самый ресурсоемкий. Коагуляция — это процесс столкновения и слияния частиц друг с другом. При слиянии образуются новые частицы большего размера, т. е. меняется спектр частиц, а общая масса частиц при этом остается постоянной. Возникновение осадков связано главным образом с коагуляцией, т.к. благодаря ней возникают частицы (капли или ледяные частицы) таких размеров, при которых они способны падать со скоростью, большей, чем скорость восходящих потоков. Процесс коагуляции описывается с помощью стохастического уравнения коагуляции [31].

Различные методы и алгоритмы расчета коагуляции обсуждаются в [32, 35, 44]. В настоящий момент для решения уравнения коагуляции применяются: метод Коветца и Олунда [40] и его модификации [51], метод Берри и Реинхарда [30], метод моментов [53].

Метод Берри-Рейнхарда [30] применяется в представлениях [38, 39] и является одним из самых точных. В этом методе спектр дискретизируется (значения запоминаются только для узлов сетки по массам). Для решения уравнения коагуляции используется численное интегрирование. Для расчета значения функции распределения в точках, отличных от узлов сетки, использовуются 6-точечные формулы интерполяции Лагранжа. В [35, 44] описаны существенные недостатки этого метода: способ медленный, не сохраняет общую массу частиц (до 30% уменьшения массы в некоторых случаях). В [32] показано, что из-за этих недостатков нежелательно использовать этот метод в представлениях с детальной микрофизикой.

Метод моментов [53] основан на преобразовании уравнения коагуляции в систему дифференциальных уравнений для моментов спектра. Система решается для первых двух моментов спектра. Этот метод позволяет сохранять общую массу частиц. Метод моментов имеет большую сложность, поэтому он очень медленный.

Метод Коветца-Олунда [40, 51] использует дискретизацию спектра (разбиение на интервалы и сохранение концентрации в каждом интервале). Частицы при слиянии пропорционально распределяются между двумя ближайшими смежными интервалами. Достоинства данного метода: достаточно быстрый (по сравнению с другими методами), сохраняет массу частиц. Есть у метода и недостаток — при небольшом количестве интервалов метод может приводить к расширению спектра. В [44] выявлено, что этот недостаток можно устранить, если увеличить число интервалов, вследствие этого заодно улучшится определение спектра. Метод Коветца-Олунда и его модификации используется во многих (в том числе и полуторамерных) представлениях облаков [14, 15, 44].

Как было показано выше, многие представления не учитывают наличие твердой фазы (т.е. ледяных частиц) в облаке. В реальном облаке вода присутствует не только в виде пара (газообразное состояние) и капель (жидкое состояние), но и в виде ледяных частиц, поэтому необходимо учитывать это. Такие частицы могут иметь различную форму, образуются при разных условиях. Классификация ледяных частиц и условия их образования приведены в [41]. При столкновении между собой ледяные частицы образуют более сложные составные частицы (снежинки, крупа, градины в зависимости от условий). Учесть все типы частиц очень сложно. В настоящий момент предложены представления [36−38] со смешанной (т.е. жидкой и твердой) фазой, в которых учитываются капли и 6 типов ледяных частиц.

Учет ледяных частиц в представлениях со спектральной микрофизикой приводит к дополнительному увеличению вычислительной сложности. В особенности это касается процесса коагуляции, т.к. возникает необходимость учитывать столкновения частиц различных типов друг с другом, причем тип образовавшейся частицы зависит как от типов столкнувшихся частиц, так и от их размеров и условий окружающей среды. Такая зависимость показана в.

38]. Описанные методы и алгоритмы расчета коагуляции применяются только для капель, поэтому для использования в представлениях со смешанной фазой требуется модификация этих алгоритмов.

Так как расчет коагуляции занимает больше времени, по сравнению с расчетом других процессов, то ускорять расчет коагуляции требуется в первую очередь.

Большинство современных ПК имеют многоядерные (2−8 ядер) процессоры (CPU — Central Processing Unit), допускающие параллельное выполнение расчетов, поэтому одним из способов ускорения вычислений является их распараллеливание [3, 8, 29, 55].

По сравнению с CPU современные видеокарты (графические процессоры, GPU — Graphics Processing Unit) имеют гораздо больше вычислительных ядер (несколько сотен и даже тысяч). Кроме того, пропускная способность шины оперативной памяти видеокарт в несколько раз больше пропускной способности оперативной памяти компьютера. Таким образом, еще одним способом ускорения вычислений является перенос их на видеокарту. Возникло даже специальное направление — GPGPU (GeneralPurpose computing on Graphics Processing Units) — использование графических процессоров для решения неграфических задач (см. [4, 56]).

Чтобы полностью реализовать преимущество GPU, нужны специальные «существенно параллельные» алгоритмы (их выполнение должно разбиваться на тысячи потоков, которые выполняют одни и те же действия над разными данными). Эти алгоритмы используют гетерогенные вычисления [34], т. е. выполняются и на CPU и на GPU. Для достижения существенного ускорения, необходимо также накладывать и дополнительные ограничения: действия внутри потоков должны быть достаточно простыми, должно быть как можно меньше ветвлений, синхронизаций потоков и обращений к глобальной памяти.

В настоящее время существует несколько технологий GPGPU: CUDA [4, 61, 62], ATI Stream [58], OpenCL [34], DirectCompute [59]. Одной из самых популярных технологий является CUDA. Она позволяет наиболее полно использовать возможности видеокарт, а в ее основе лежит язык C/C++ с некоторыми расширениями и ограничениями.

Данная работа посвящена созданию программного комплекса, предназначенного для компьютерного исследования эволюции конвективных облаков и планирования мер активного воздействия на такие облака. Этот комплекс основан на разработанных автором представлениях конвективного облака, сочетающего преимущества традиционного полуторамерного представления Шиино и представления Асаи и Касахары с двумя цилиндрами. Два из трех разработанных представлений включают подробное спектральное описание микрофизических процессов (одно для жидкой фазы, второе для смешанной фазы) для повышения точности прогнозов.

Поскольку такие представления вычислительно сложнее традиционного, использующегося в оперативной практике, то для сохранения достаточного быстродействия были разработаны новые квадратичные по времени алгоритмы расчета коагуляции (использовавшийся до этого метод Коветца-Олунда имеет кубическую сложность). Алгоритм расчета коагуляции для представления со смешанной фазой является универсальным и применим в представлениях с большей размерностью. Для дополнительного ускорения расчетов было проведено распараллеливание между ядрами процессора. Также был разработан многопоточный алгоритм расчета коагуляции для графического процессора с использованием технологии CUDA, что дополнительно позволило сократить время вычислений.

Цель работы.

Целью работы является разработка и реализация программного комплекса, позволяющего эффективно и точно исследовать развитие конвективного облака.

Основные задачи:

• разработать и реализовать программный комплекс для компьютерного исследования развития конвективного облака на основе расширенных представлений;

• разработать квадратичные по времени алгоритмы (в частности алгоритм расчета коагуляции) для расчета характеристик облака;

• разработать модификации этих алгоритмов для многоядерных процессоров (CPU);

• разработать модификации этих алгоритмов для графических процессоров (GPU).

Структура работы.

Введение

содержит обзор современного состояния предметной области и обоснование актуальности диссертационной работы. Сформулирована цель работы и представлены выносимые на защиту положения. Также рассмотрена структура и краткое содержание диссертации по главам.

Заключение

.

В работе получены следующие результаты:

• Разработан и реализован программный комплекс, который позволяет эффективно и точно исследовать как развитие конвективного облака, так и активные воздействия на него.

• Разработаны более совершенные комбинированные методы представления конвективного облака, включающие учет жидких и твердых частиц различных размеров. Эти представления основаны на так называемых полуторамерных представлениях, в них устранены недостатки традиционного представления.

• Разработаны новые квадратичные по времени алгоритмы расчета коагуляции для представлений со спектральной микрофизикой для жидкой и смешанной фазы.

• Разработаны методы распараллеливания вычислений между ядрами процессора: распараллеливание по экспериментам и по пространству с использованием потоков. Приведен способ балансировки нагрузки. Для 4-х ядерного процессора время расчета сократилось в 3.8 раза (при распараллеливании по экспериментам) и в 2.7 раза (при распараллеливании по пространству).

• Разработан многопоточный алгоритм расчета коагуляции для графического процессора с использованием технологии CUDA. Представлен способ разбиения вычислений на несколько этапов, приведен и проанализирован способ распределения расчетов по потокам, описан метод предотвращения коллизий записи при обращении к памяти несколькими потоками одновременно, показаны способы оптимизации доступа к памяти. Оценена теоретическая эффективность работы алгоритма для GPU. Разработанный алгоритм позволил сократить время расчета в 15−20 раз.

• Алгоритмы (для CPU и GPU) расчета коагуляции для представлений со смешанной фазой являются универсальными и допускают применение в представлениях с разным набором учитываемых частиц, а также в представлениях размерности 2 и 3.

Разработанные более совершенные представления конвективных облаков обладают большей вычислительной сложностью. Применение в этих представлениях разработанных алгоритмов расчета коагуляции позволяют получить существенное ускорение (в несколько десятков раз). Тем не менее, расчет коагуляции даже после такого ускорения занимает большую часть времени. Распараллеливания на ядра процессора дополнительно дает ускорение всех расчетов в 1.6 — 2.7 раза. Перенос вычислений коагуляции на видеокарту позволяет ускорить расчет почти в 20 раз.

Программный комплекс реализован на языках Delphi и С++, также использовались CUDA Toolkit 4.0 и GPU Computing SDK 4.0. Этот комплекс предназначен для оперативного прогноза эволюции конвективных облаков и опасных конвективных явлений, а также для исследования активного воздействия на облака (определения времени и места наиболее эффективного воздействия) с целью искусственного вызова осадков (для тушения лесных пожаров, увеличения урожая в засушливых районах), или с целью предотвращения или уменьшения количества выпадающих осадков (борьба с ливнями, градом), предотвращения появления грозовых облаков.