Разработка информационных систем для работы с экспериментальными данными установок управляемого термоядерного синтеза

Эксперименты на различных установках управляемого термоядерного синтеза (УТС) имеют много общего в организации и характеристиках информационных потоков, в методах обработки данных, в способах представления результатов измерений. К настоящему времени создано множество проблемно-ориентированных кодов, позволяющих на основе экспериментальных данных производить расчеты неизмеряемых параметров и моделировать процессы в плазме. Накоплено значительное количество экспериментальных данных, и их объем быстро растет, иногда опережая темпы детального изучения полученной информации, этому способствует появление новых многоканальных диагностик с высоким разрешением. Для повышения эффективности исследований, проводимых на установках УТС, нужен новый уровень работы с экспериментальными данными. Кроме того, инфраструктуру исследовательских установок и накопленную экспериментальную информацию целесообразно использовать в учебном процессе при подготовке специалистов. Для обмена экспериментальными данными и эффективного использования специализированных кодов становится актуальной унификация информационной среды для установок УТС, интеграция экспериментальной базы и исследовательских ресурсов отдельных установок в общую российскую и международную (Fusion Grid, www.fusion.org) научно-образовательную информационную сеть на основе Интернет.

Наличие этих общих моментов является важной предпосылкой для разработки унифицированных средств сбора, хранения, обработки и представления экспериментальных данных плазменных установок, создания систем коллективного пользования вычислительными ресурсами, эффективных механизмов обмена и доступа к данным и средствам их обработки через Интернет.

Продолжение масштабных исследований в области физики плазмы требует создания адекватных информационных систем (ИС). Для интеграции ИС российских и зарубежных установок УТС необходимо наличие и использование общих корпоративных стандартов. Это подразумевает разработку: специализированной базы данных (БД) для экспериментальных установок УТС-. эффективной унифицированной программной среды для работы с экспериментальными данными на этапах сбора и обработки-. набора средств для представления данных в стандартном виде и доступа к ним из приложений и математических пакетов в различных ОС, из глобальной сети Интернет и Fusion Grid. При создании нового ПО следует найти приемлемый уровень унификации с учетом специфики предметной области и необходимости интеграции с другими ИС, разработать платформу для создания новых прикладных подсистем. При этом целесообразно максимально широко использовать открытые алгоритмы и системы, современные технологии и индустриальные решения.

Примером подобной ИС может служить созданный в Институте ядерного синтеза (ИЯС) РНЦ «Курчатовский институт» измерительно-вычислительный комплекс (ИВК). ИВК ИЯС — это общая информационная среда с удаленным доступом для действующих установок и стендов ИЯС, со следующими возможностями:

1. Многоканальная регистрация аналоговой и видео информации в условиях физического эксперимента.

2. Хранение разнообразных измерительных данных и поиск по заданным критериям.

3. Представление в стандартном виде экспериментальных данных различных установок.

4. Предварительная обработка данных в ходе эксперимента.

5. Интегрируемость с другими ИС и средствами обработки.

Для участников совместных работ обеспечен регламентируемый доступ через Интернет к следующим ресурсам:

• БД и средства обработки данных;

• Управление некоторыми диагностиками;

• Выполнение транспортных кодов на сервере приложений.

В основе унифицированной информационной среды объединяющей крупнейшие экспериментальные установки и стенды ИЯС лежит эффективная система управления данными (СУД). Современная СУД для систем автоматизации эксперимента на термоядерных установках должна обеспечивать решение сформулированной выше задачи: повышения эффективности работы с экспериментальной информацией в сообществе У ТС. Поэтому, наряду с традиционным набором функций СУД (сбор, хранение данных, обработка запросов пользователей) сегодня большое значение приобретает возможность представления разнообразных экспериментальных данных в стандартном виде и организация удаленного доступа к данным, а также интеграция с проблемно-ориентированными кодами, специализированными инструментами обработки данных и с другими ИС.

В диссертации показаны информационные особенности предметной области, связанной с проведением экспериментов на плазменных установках, а также особенности разработки программного обеспечения для систем автоматизации эксперимента (САЭ) на крупных установках УТС. Рассмотрены архитектура ИВК ИЯС, форматы данных и специализированная БД, набор программ и сетевых сервисов для обработки данных и организации доступа к вычислительным ресурсам и экспериментальным данным через Интернет. Предложены масштабируемые и тиражируемые решения для использования в ИС экспериментальных установок УТС, которые также могут быть использованы и для других импульсных и квазистационарных экспериментальных установок.

Цель работы состояла в разработке и реализации подхода к созданию ИС и унифицированной высокоэффективной программной среды для проведения научных исследований на импульсных и квазистационарных термоядерных установках и интеграции исследовательских ресурсов установок УТС в российскую и международную научно-образовательную информационную сеть.

Для достижения сформулированной цели автором решались следующие основные задачи: Определение состава и требований к ПО ИС крупных плазменных установок на основе анализа их информационной среды.

• Разработка унифицированных форматов, алгоритмов и ПО для работы с экспериментальными данными на этапах сбора, хранения и обработки. Разработка специализированной БД для эффективной работы с данными различных установок У ТС. Разработка архитектуры и создание программных средств измерительно-вычислительного комплекса (ИВК) установок и стендов ИЯС (токамак Т10, плазменный нейтрализатор ПН-3, плазменный сепаратор ПС-1, испытательный гиротронный стенд ИГС и др.). Разработка и создание сетевых сервисов, обеспечивающих доступ к информационным и вычислительным ресурсам экспериментальных установок через Интернет. Создание на основе ПО ИВК унифицированных grid-узлов для доступа к экспериментальным данным и средствам их обработки в ИЯС, ТРИНИТИ (токамак Т-11М), ИОФ РАН (двухзаходный стелларатор Ливень-2М (JI-2M)), на профильных кафедрах МГТУ им. Баумана, МЭИ и МИФИ. А также, применение разработанных средств для совместных работ на установках Физико-технического института им. А. Ф. Иоффе (токамак Туман-ЗМ и сферический токамак Глобус-М).

Научная новизна выполненной работы состоит в следующем:

1. Обоснован и реализован подход к построению ИС для работы с экспериментальными данными термоядерных установок с использованием современных информационных технологий, индустриальных решений, открытых алгоритмов и систем.

2. Разработан подход к созданию новых типов данных на основе предложенной структуры записи, и создан ряд унифицированных форматов для работы с данными в виде произвольных временных рядов, таблиц переменной размерности и с медиа данными.

3. Предложена архитектура системы управления данными (СУД), обеспечивающая одновременную работу с данными нескольких больших термоядерных установок.

4. Разработана специализированная расширяемая БД DASSQL для эффективной работы с данными различных экспериментальных установок УТС.

5. Разработаны унифицированные программные средства для работы с экспериментальными данными различных установок УТС на этапах сбора и обработки.

6. Разработана архитектура экономичного, масштабируемого ИВК, обеспечивающего проведение исследований сразу на нескольких крупных установках.

7. Обеспечен унифицированный удаленный доступ к экспериментальным данным различных установок УТС и методам их обработки из прикладных программ, работающих в различных ОС, а также через Интернет браузер и интерфейс MDSPlus.

Автор считает, что перечисленные достижения не имеют равноценного аналога на российских термоядерных установках. Предложенные решения могут быть взяты за основу при создании унифицированной Системы сбора и обработки данных (ССОД) и хранилища экспериментальных данных российских термоядерных установок, а также использованы в проекте международного термоядерного реактора ИТЭР.

Практическая ценность работы состоит в разработке подхода к созданию ИС для работы с экспериментальными данными импульсных и квазистационарных установок УТС и реализации этого подхода при создании унифицированной программной среды, обеспечившей новые возможности физикам — экспериментаторам при проведении исследований по программам ИТЭР и УТС. На основе предложенной архитектуры и разработанного ПО создан масштабируемый ИВК для экспериментальных установок УТС. В ИЯС применение созданного ИВК позволило решить следующие задачи: Унифицировать сбор, хранение, обработку и обеспечить стандартное представление экспериментальных данных различных установок и стендов УТССнизить затраты на автоматизацию экспериментов за счет централизации, унификации и стандартизации вычислительных ресурсов и ПО-. Увеличить объем получаемой диагностической информации и повысить эффективность работы с экспериментальными данными-. Обеспечить унифицированный регламентируемый доступ через Интернет к вычислительным и информационным ресурсам экспериментальных установок-. Начать интеграцию отечественных термоядерных установок в Fusion Grid. Ресурсы ИВК ИЯС используются также для подготовки студентов старших курсов профилирующих кафедр МГТУ им. Баумана, МЭИ и МИФИ в рамках программы «Интеграция науки и высшего образования России на 2002;2006 годы».

Созданные автором программные средства и информационно-вычислительные ресурсы успешно обеспечивают проведение экспериментальных кампаний в течение многих лет на установках Т-10, ПН-3, ИГС и др. ИВК ИЯС предоставил качественно новые возможности при проведении экспериментов и последующей работе с экспериментальными данными, существенно повысил эффективность исследований в области УТС и ИТЭР. Кроме того, разработанные решения и ПО используются: в ФТИ им. Иоффе в совместных работах по инжекторам на установках Туман-ЗМ и Глобус-Мв ИОФ РАН в рамках исследования удержания высокотемпературной плазмы в замкнутой магнитной ловушке стеллараторного типа-. в ТРИНИТИ для подготовки совместных исследований на Т-10 и Т-11М-. на профильных кафедрах МГТУ им. Баумана и МИФИ, в ИЯС, ТРИНИТИ и |.

ИОФ РАН для создания grid-узлов научно-образовательной сети. Предложенные автором подходы и решения обеспечивают тиражирование отдельных модулей и комплекса в целом, позволяют сократить затраты на разработку САЭ, объединить ССОД действующих установок УТС в общее информационное пространство, а также выработать корпоративные стандарты для работы с экспериментальными данными отечественных установок УТС и отработать механизмы интеграции в международную сеть Fusion Grid.

На защиту выносится: Концепция построения ИС установок УТС с использованием современных технологий, индустриальных решений, открытых алгоритмов и системСУД, архитектура и унифицированная программная среда масштабируемого ИВК, обеспечивающего проведение исследований сразу на нескольких крупных установках УТС и интеграцию этих установок в научно-образовательную сеть типа Fusion GridМетод создания унифицированных форматов экспериментальных данных и алгоритмы для работы с нимиСпециализированная расширяемая БД DASSQL для разнообразных данных различных установок УТС с набором утилит и задачных интерфейсовПредложенный подход к разработке и реализация набора программных модулей для создания новых приложений в среде ИВК, сетевых сервисов и кросс-платформенной библиотеки для доступа к экспериментальным данным и средствам их обработки через ИнтернетМногофункциональная графическая оболочка DAS Tools для работы с экспериментальными данными различных установок УТС на этапах сбора и обработки.

Основные результаты диссертации были использованы: 1988 г. при создании графического интерфейса ССОД Т-10 «Конвейер" — 1991 г. при разработке ПО диагностики WASA-II по заказу Центрального института электронной физики, Берлин- 1993 г. при создании ССОД-93 токамаков Т-10, Т-15 на основе распределенных вычислительных ресурсов в компьютерной сети с файловым сервером, специализированной БД Libra, унифицированными многоканальными диагностическими комплексами (МДК) Captain и рабочими станциями для обработки данных в программе XPlus- 1994 г. при разработке ПО для диагностики XRAY на базе VAX по заказу General Atomics- 1998 г. при разработке и испытаниях ПО цифровой системы автоматического регулирования системы питания полоидальных полей токамака Т-15- 2000 г. при разработке ПО для измерения и анализа вибраций элементов установок Т-10 и TEXTOR- 1998;2002гг. при разработке и внедрении ПО ИВК ИЯС, обеспечивающего проведение экспериментальных кампаний на установках и стендах: Т-10, ПН-3, ИГС, ДИНА- 2002;2004гг. при создании на основе ПО ИВК ИЯС центров удаленного обучения студентов по специальностям теория физики плазмы и плазменные технологии в МГТУ им. Баумана, МИФИ и МЭИ- 2003 г при разработке ПО для управления вакуумной системой токамака Т-15- 2004 г. при создании на основе ПО ИВК ИЯС и MDSPlus grid-узла в ТРИНИТИ- 2004 г. при освоении инжекторов нейтралов на установках ТуманЗМ и Глобус-М в Физико-технический институте им. А.Ф. Иоффе- 2004 г. при использовании ПО ИВК ИЯС в ИОФ РАН для установки JI-2M.

Результаты диссертации представлялись на следующих конференциях: IV Всесоюзный семинар по обработке физической информации. Ереван, май 1988. 16th Symposium on Fusion Technology. 3−7 September 1990 London. 5-й Всесоюзная конференция по проблемам ТЯР. Ленинград, октябрь 1990 г. ч 8-й международный симпозиум по проблемам модульных информационно-вычислительных систем и сетей. Дубна, сентябрь 1991. International congress on plasma physics Praha 06.29−07.03.1998. 21st Symposium on Fusion Technology (SOFT-21) Madrid, Spain, September 11−15, 2000. 10-я Всероссийская конференция физики плазмы. Троицк, 2003. 30th EPS Conference on Controlled Fusion and Plasma Physics. St Petersburg, Russia, July 7−11, 2003. 31-й конференция по ФП и УТС. Звенигород 2004.

Всего с 1988 г. по теме диссертации сделано не менее 11 докладов на отечественных и зарубежных конференциях. Выполненные при участии и под руководством автора разработки становились лауреатами конкурса в области инженерных и технологических разработок РНЦ «Курчатовский институт» в 1992, 1994 и 2002 г.

Личный вклад автора. Автором диссертации сформулированы задачи и принципы построения современных ИС крупных установок УТС, определен состав программных и вычислительных средств, архитектура масштабируемого ИВК, а также предложены, разработаны и внедрены:

1. Терминальный и программный интерфейсы для БД ССОД «Конвейер» образца 1988 г.

2. БД Libra с графическим интерфейсом XPlus и архитектура ССОД-93.

3. Метод идентификации данных для работы с данными различных установок в общей БД и структура записи данных для хранения разнотипной измерительной информации с произвольным количеством описательных параметров. Механизм создания новых типов данных и форматы для работы с временными рядами, таблицами, видео и др. Механизм индексируемых параметров для поиска данных средствами SQL.

4. СУД ИВК ИЯС, локальные архивы DAS TFile, DAS Heap и БД DASSQL.

5. Набор сетевых сервисов и библиотека DAS Access для удаленного доступа.

6. Набор программных модулей, составляющий ядро специализированного ПО и обеспечивающий быструю разработку новых прикладных подсистем ИВК ИЯС.

7. Многофункциональная графическая оболочка DAS Tools для работы с экспериментальными данными различных установок на этапах сбора и обработки, интегрируемая с другими программными средствами.

8. Задачный интерфейс к БД и локальным архивам (DASText, DASLoad и др.).

Это составляет ядро и большую часть специализированного ПО ИВК ИЯС. Кроме того: Разработка унифицированных диагностических подсистем Captain и DAS Sampier на разных этапах велась с В. В. Тимониным, Д. Ю. Шугаевым и И. Д. Кучеренко. Совместно с Г. Б. Игонькиной велась разработка платформы SigmaWeb, интерфейса DASWeb, библиотеки SQL-запросов к БД DASSQL, алгоритмов обработки данных и интеграция разработанного ею кода Function minimize в DAS Tools.. Интеграция MDSPlus в среду ИВК ИЯС осуществлена совместно с В. А. Вознесенским. Развитие ИВК ИЯС по пути создания российской сети подобной Fusion Grid осуществляется совместно с профилирующими кафедрами МИФИ, МГТУ им. Баумана и МЭИ.

Большое влияние на принятые при создании ИВК ИЯС решения оказал период совместной работы 1987;1992гг. с А. Н. Фяхретдиновым, В. В. Тимониным, Ю. В. Балабановым и Д. Ю. Шугаевым, а также опыт, переданный JI.A. Маталиным-Слуцким.

Краткое содержание работы.

В первой главе на примере токамака Т-10 описана предметная область, связанная с проведением исследований на крупных термоядерных установках. Показана эволюция ССОД ИЯС, начиная с 1987 г. Рассмотрены общие вопросы построения комплексных ИС для установок УТС на примере ИВК крупных установок ИЯС. Сформулированы задачи ИВК. Эти задачи сводятся к обеспечению сбора и хранению экспериментальных данных, выполнению предварительной обработки данных за время между отдельными экспериментами, представлению данных в унифицированном виде, интеграции со стандартными математическими пакетами и проблемно-ориентированными расчетными кодами, реализации удаленного доступа к информационным и вычислительным ресурсам. Сформулированы требования к СУД. Приведена архитектура и состав вычислительных ресурсов ИВК ИЯС.

Во второй главе приведена концептуальная модель данных СУД ИВК ИЯС.

Предложена структура записи, обеспечивающая хранение разнотипной измерительной информации большого объема и произвольного количества описательных параметров. Рассмотрен метод создания новых типов данных на основе предложенной структуры записи. Описана специализированная БД DASSQL и форматы данных использующихся в ИВК ИЯС.

В третьей главе представлен разработанный набор утилит, интерфейсов и сетевых сервисов, программных модулей и библиотек, составляющих ядро ПО ИВК ИЯС. Фактически предложена платформа, позволяющая создавать ИС для крупных установок УТС, наращивать функциональные возможности и вычислительные мощности САЭ, объединять ССОД действующих установок в общее информационное пространство.

Четвертая глава посвящена описанию ПО, составляющего основу ИВК ИЯС. Рассмотрены основные подходы при выборе и разработке ПО САЭ на установках УТС, некоторые алгоритмы, структуры данных, состав программных модулей и библиотека для работы с экспериментальными данными в СУД ИВК ИЯС.

В заключении сформулированы основные результаты диссертации, обсуждаются пути развития ИВК ИЯС и возможность использования разработанных решений и платформы для выработки отраслевого стандарта для унифицированных ИС установок УТС.

В приложение вынесены: инструкция для задачного интерфейса DASText, пример работы с диагностической видео информацией ИГС ИЯС, примеры комплексной обработки данных различных диагностик и использования кода Function Minimize для обработки данных различных установок УТС в среде DAS Tools, приведен пример удаленного лабораторного практикума на основе D AS Web.

It.

Основные результаты работы:

1. Для установок УТС сформулированы задачи и принципы построения ИС, определена структура программных и вычислительных средств масштабируемого ИВК.

2. Разработаны основные форматы и методы для работы с экспериментальными данными в виде произвольных временных рядов, таблиц переменной размерности и с медиа данными, а также механизм создания новых типов данных и добавления произвольных индексируемых параметров для организации поиска данных средствами SQL.

3. Впервые предложена и реализована СУД, обеспечивающая одновременную работу с данными нескольких крупных термоядерных установок. Наряду с традиционным набором функций СУД, обеспечено представление разнообразных экспериментальных данных в унифицированном виде и удаленный доступ к данным, а также интеграция с проблемно-ориентированными кодами и инструментами обработки данных.

4. Разработан открытый для расширения набор программных модулей DAS API, позволяющий существенно сократить затраты на разработку прикладных систем в среде предложенной СУД. Набор общих методов математической обработки экспериментальных данных установок УТС реализован в виде пакета алгоритмов DAS Processing.

5. На основе разработанной СУД и СУБД MS SQL Server 2000 создана специализированная расширяемая БД для крупнейших экспериментальных установок и стендов УТС.

6. Созданы сетевые сервисы DASTCP, DASWeb, SigmaWeb и кросс-платформенная библиотека DAS Access для удаленного доступа к экспериментальным данным и средствам их обработки. Обеспечен регламентируемый доступ к экспериментальным данным нескольких термоядерных установок и к расчетным кодам через обычный Интернет браузер и из прикладных программ работающих в различных ОС. Обеспечена возможность представления данных различных установок УТС в стандарте MDSPlus.

7. Создана специализированная многофункциональная графическая оболочка DAS Tools для работы с экспериментальными данными различных термоядерных установок. Дружественный проблемно-ориентированный интерфейс, возможность доступа к БД через Интернет, средства навигации по большому хранилищу экспериментальных данных, широкий набор методов работы с измерительными данными плазменных установок позволяют применять эту программу на различных исследовательских установках и использовать ее в учебном процессе.

8. Разработана архитектура и унифицированная программная среда масштабируемого экономичного ИВК, обеспечивающего одновременное проведение экспериментов на нескольких крупных установках и их интеграцию в научно-образовательную сеть.

Обеспечена возможность записи в общую БД DASSQL (с последующим унифицированным доступом к данным и средствам их обработки для проведения совместных работ) экспериментальных данных следующих установок и стендов УТС:

ЗАКЛЮЧЕНИЕ

.