Исследование и разработка методов визуализации в крупномасштабных системах виртуального окружения для научных, образовательных и промышленных приложений

Объединение достижений в компьютерной графике и научной визуализации с прогрессом в области человеко-машинного интерфейса привели к появлению систем виртуальной реальности (или виртуального окружения), которые могут существенно повысить эффективность визуального анализа данных, погружая исследователя в искусственный мир анализируемой модели и предоставляя естественный интуитивный интерфейс для взаимодействия с ее элементами. Разработка таких систем стала особенно актуальной в современных условиях быстрого роста производимой человечеством информации. В настоящее время в мире существует более ста крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники для решения задач как фундаментальных научных дисциплин (химия, физика, астрономия, математика), так и в узко специализированных прикладных направлениях: аэрогидродинамика (визуализация динамики течения потоков), океанология и геофизика (инженерия землетрясений), металлообработка (автои авиа-индустрия), сопротивление материалов (моделирование упругих объектов), анализ столкновений и разрушений (моделирование аварий и катастроф), биомедицинская инженерия (протезирование и диагностика), и др. Разработкой технологий крупномасштабных систем виртуального окружения занимаются исследовательские группы в США (НАСА, Военно-морская исследовательская лаборатория, Ливер-морская национальная лаборатория, Национальные суперкомпьютерные центры), в Европе (Фраунгоферовские институты в Дармштадте, Санкт-Августине, Аахене — ГерманияИНРИАФранцияЖеневский университет и Лозаннская высшая политехническая школа — ШвейцарияРезерфордовская лаборатория и Университет Манчестера — Великобритания) и многие другие. В России до последнего времени такие исследования не проводились. Общим недостатком крупномасштабных систем виртуального окружения до недавнего времени оставалась необычайно высокая стоимость их компонент, в результате чего их практическое использование было доступно только крупнейшим промышленным компаниям. В настоящее время развитие архитектуры персональных компьютеров позволяет создавать вычислительные комплексы большой производительности для моделирования и визуализации, используя технику распределенных систем и параллельных вычислений. Преимущество таких комплексов заключается в их невысокой стоимости, что обеспечивает им перспективу широкого распространения. В связи с этим возникла необходимость в разработке общедоступных крупномасштабных систем виртуального окружения на основе таких вычислительных комплексов, а также специализированного программного обеспечения для поддержания высокого качества изображения, ускорения графической обработки и предоставления эффективного пользовательского интерфейса. Такие системы виртуального окружения могут использоваться научно-исследовательскими институтами и образовательными центрами в их повседневной практике, расширение области использования этих систем также требует разработки соответствующих методов визуализации и реализующих их программных комплексов, поэтому данная работа явкяется актуальной.

Цель диссертационной работы — исследование и разработка методов визуализации в крупномасштабных системах виртуального окружения, основанных на кластерах персональных компьютеров и общедоступном проекционном оборудовании, для научных, образовательных и промышленных приложений. Для достижения поставленной цели в работе решались следующие задачи:

• исследование различных типов помех стерео-изображения в системах виртуального окружения и разработка схем их устранения;

• разработка алгоритма исключения заслоненных объектов на основе анализа видимости и параллелизации вычислений, для ускорения графической обработки высоко-детализованных моделей;

• разработка специальных алгоритмов ускорения стандартных механизмов графической обработки прозрачных поверхностей, применимых для объектов сложной структуры, возникающих в математической визуализации;

• исследование возможности помещения стерео-фотографий реальных объектов в виртуальные модели, определение условий сохранения стерео-восприятия таких фотографий при их нелинейных деформациях;

• разработка специальных методов для реалистического воспроизведения астрономических объектов в системах виртуального окружения;

• исследование различных подходов к моделированию упругих объектов в системах виртуального окружения, реализация наиболее эффективных из них в специальном комплексе программ, предназначенном для использования в машиностроении при отработке технологических сценариев сборки механизмовв разработка прототипа крупномасштабной установки виртуальной реальности на основе персональных компьютеров и общедоступных проекционных систем, снабженной программным обеспечением для научной, образовательной и промышленной визуализации, набором демонстрационных приложений и прототипным сценарием лекторской презентации в виртуальном окружении.

Научная новизна: Все представленные в диссертации результаты являются новыми. Впервые в крупномасштабных системах виртуального окружения использована схема устранения помех стерео-изображения. Это позволяет значительно улучшить качество стереовосприятия в пассивных стерео-проекционных системах (такие системы состоят из недорогих компонент и поэтому предпочтительны для широкого использования). Ускорение графической обработки посредством исключения невидимых объектов является популярным направлением разработки современного аппаратного и программного обеспечения. Впервые для этой дели разработан общий метод, применимый для произвольных трехмерных сцен, использующий только стандартные аппаратные возможности и основанный на параллельных вычислениях. Эти свойства делают данный метод особенно удобным для реализации на кластере персональных компьютеров. Специальные методы для ускорения графической обработки прозрачных объектов также разработаны впервые. Эти методы позволяют достигать обновления изображения в реальном времени в тех ситуациях, когда сложная топологическая структура изображаемых объектов не позволяет применять стандартные алгоритмы. В связи с этим данные специальные методы весьма эффективны для математической визуализации при использовании в исследовательских и образовательных целях. Включение стереофотографий реальных еден в качестве фона для виртуальных моделей позволяет достигать высокой степени реализма представления. Также были разработаны методы реалистического изображения астрономических объектов, на основе которых было впервые создано программное приложение, предназначенное для обучения астрономии в крупномасштабных установках виртуальной реальности. В разработанном автором комплексе программ по моделированию упругих деформаций объектов в виртуальных окружениях были использованы точная теория сопротивления материалов, эффективные численные методы и оптимальная организация вычислительных процессов, что впервые позволило расчитывать такие деформации в реальном времени для моделей высокой степени сложности.

Крупномасштабная установка виртуального окружения на персональных компьютерах создана в России впервые. В декабре 2001 года эта установка была продемонстрирована студентам и преподавателям Московского Физико-Технического Института. Демонстрация проходила в лекторском зале, зрители имели возможность самостоятельно осуществлять навигацию в виртуальном пространстве и взаимодействовать с виртуальными объектами.

Практическая ценность: Применение общедоступных систем виртуальной реальности в повседневном учебном процессе позволяет существенно обогатить лекционный материал, включая в него объемные модели изучаемых объектов, свободно парящие в пространстве лекторского зала, с которыми можно взаимодействовать, изучая их поведение и внутреннюю структуру. Установки такого типа и разработанные для них методы визуализации и программное обеспечение позволяют использовать виртуальную реальность в научно-исследовательских институтах, образовательных центрах и на промышленных предприятиях для решения самых разнообразных задач: визуализация сложных инженерных сооружений и физических установок (атомные электростанции, корабли и подводные лодки, ускорители, нефтехимические предприятия) — визуализация критичных транспортных и дорожных сооружений (газои нефтепроводы, тоннели и мосты, кабельные системы и инженерные коммуникации) — моделирование чрезвычайных ситуаций и катастроф с учетом конкретного рельефа местности (ситуационное моделирование) — визуализация моделей космических аппаратов, создание виртуальных лабораторий в космосе и их дистанционное управлениевизуализация в авиационной, автомобильной, судостроительной промышленности (обтекание, окраска, интерьер, динамика разрушений при столкновений и пр.) — визуализация в системах конструирования и быстрого макетирования (CAD) — планирование и отработка технологии сборки сложных конструкций и строительства сложных сооруженийконструирование молекул в химии и фармацевтикевизуализация в медицине и создание медицинских тренажеровсоздание виртуальных музеев, планетариев, лекционных заловреконструкция в археологии и виртуальный туризм (путешествия по древним и современным городам) — синтетическое искусство, телевидение и кинои др.

Автор защищает:

• Алгоритмы устранения артефактов стерео-проекционных систем, повышающие качество воспринимаемого стереоизображения с помощью предварительной фильтрации изображения перед передачей его на экран.

• Алгоритмы ускорения графической обработки на основе анализа видимости и исключения заслоненных объектов, в результате применения которых к архитектурной модели, содержащей 260 тыс. текстурированных треугольников, достигается ускорение графики в четыре раза, а именно, от интерактивной скорости (8 стерео-кадров в секунду) до скорости, обеспечивающей гладкое восприятие (32 стерео-кадра в секунду).

• Методы для высококачественной графической обработки прозрачных поверхностей в реальном времени, необходимой для включения в виртуальные окружения неориентированных самопересекающихся трехмерных форм, возникающих в математической визуализации.

• Методы использования стерео-текстур как фона для трехмерных сцен, позволяющие достигать достаточного реализма представления, делая виртуальные окружения полезным средством для математического обучения.

• Специальные методы для астрономической визуализации, основанные на: нелинейной геометрической модели, используемой для представления разномасштабных объектов внутри одной виртуальной сценымодели движения наблюдателя, разрешающей аналогичную проблему различия масштабов времениреализации автоматического планировщика маршрутов для предотвращения столкновения с планетами.

• Методы моделирования упругих деформаций объектов высокой сложности в реальном времени, использующие методы конечных элементов и граничных элементов для представления уравнений теории упругости и оптимальную организацию вычислительного процесса, что позволяет моделировать в виртуальной реальности интерактивные деформации упругих объектов, состоящих из 10,000 узлов, при скорости графики 85 стерео-кадров в секунду, на компьютерах типа Athlon 1.3 ГГц.

Апробация работы. Материал диссертации опубликован в работах [1−9], а также докладывался и обсуждался на научных семинарах в Институте Физико-Технической Информатики (Протвино), Научно-Исследовательском Вычислительном Центре МГУ (Москва), Института Медиакоммуникаций (г.Санкт Августин, Германия) и следующих международных конференциях: VEonPC'2002 (сентябрь 2002, Протвино — Санкт Петербург, Россия), Еврографика'2002 (май 2002, Барселона, Испания), XVIII Международный симпозиум по вычислительной геометрии (июнь 2002, Барселона, Испания), Евромикро'2001 (сентябрь 2001, Варшава, Польша), VEonPC'2001 (сентябрь 2001, Протвино — Иркутск, Россия), Международная конференция по деформируемому моделированию (сентябрь 2001, Бонн, Германия).

Разработанные автором программные приложения постоянно демонстрируются в системах виртуальной реальности Института Физико-Технической Информатики и Института Медиакоммуникаций во время студенческих и школьных экскурсий. Приложения также представлялись на зарубежных выставках ZeitReise 2000 (Берлин), CeBIT 1998;2002 (Ганновер), Industrial Messe 2001 (Ганновер). Разработанные автором методы в настоящее время используются крупными машиностроительными компаниями (Фольксваген, Стил) в технологических сценариях сборки сложных механизмов.

Личный вклад автора: исследование и разработка оптимальных методов устранения артефактов стерео-проекционных систем, графического ускорения на основе анализа видимости и исключения заслоненных объектов, высококачественной графической обработки прозрачных поверхностей, использования стерео-текстур как фона для трехмерных сцен, реалистичной визуализации астрономических объектов, моделирования упругих деформаций объектов высокой сложности в реальном времени. Разработка программных модулей, реализующих эти методы. Объединение разработанных модулей в демонстрационные приложения, предназначенные для использования в крупномасштабных системах виртуального окружения.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения и приложения.

Заключение

.

Основным результатом данной работы является исследование и разработка представленных методов визуализации и создание действующей установки виртуального окружения, с использованием общедоступных компонентов. В ходе выполнения представленной работы автором были разработаны:

• программный модуль для устранения артефактов стерео-проекционных систем, повышающий качество воспринимаемого стерео-изображения;

• программный модуль для ускорения графической обработки, основанный на алгоритмах анализа видимости и исключения заслоненных объектов;

• методы для высококачественной графической обработки прозрачных поверхностей в реальном времени;

• методы использования стерео-текстур как фона для трехмерных сцен;

• специальные методы для астрономической визуализации;

• методы моделирования упругих деформаций объектов высокой сложности в реальном времени.

Методы реализованы автором в комплексе программ, который составляет в исходных кодах 20,000 строк (75% С++, 25% scm). Разработанные методы позволяют достигать высокого реализма представления, делая виртуальные окружения полезным средством для использования в научных, образовательных и промышленных целях. Описанные программные приложения постоянно демонстрируются в системе CyberStage Института Медиа-коммуникаций г. Санкт Августин (Германия) во время студенческих и школьных экскурсий. Приложения также представлялись на зарубежных выставках ZeitReise 2000 (Берлин), CeBIT 19 982 002 (Ганновер), Industrial Messe 2001 (Ганновер). Разработанные автором методы в настоящее время используются крупными машиностроительными компаниями в технологических сценариях сборки сложных механизмов.

В декабре 2001 года система виртуального окружения VEonPC была продемонстрирована студентам и преподавателям Московского Физико-Технического Института. Демонстрация проходила в лекторском зале, зрители имели возможность самостоятельно осуществлять навигацию в виртуальном пространстве и взаимодействовать с виртуальными объектами. Применение подобных общедоступных систем виртуальной реальности в повседневном учебном процессе позволит существенно обогатить лекционный материал, включив в него объемные модели изучаемых объектов, свободно парящие в пространстве лекторского зала, с которыми можно взаимодействовать, изучая их поведение и внутреннюю структуру. Удобный пользовательский интерфейс и мощный инструментарий Аванго позволяют быстро конструировать требуемые демонстрационные приложения.

Благодарности.

Работа была выполнена в Институте Физико-Техничесхой Информатики (ИФТИ), г. Протвино, во время выполнения работы автор являлась соискателем Московского Физико-Технического Института (МФТИ), г. Долгопрудный. Работа была выполнена в рамках проектов ИФТИ, поддержанных грантами Российского Фонда Фундаментальных Исследований (РФФИ 99−01−451, 01−07−90 327 и 02−01−1 139) и Международного Фонда ИНТАС (96−0778). Часть работы была выполнена в Институте Медиакоммуникаций (ИМК), г. Санкт-Августин, Германия, во время командировки автора в рамках сотрудничества ИМК и ИФТИ.

Я благодарна моему научному руководителю д.ф.м.н. проф. С. В. Клименко за помощь и поддержку в течение всей работы над диссертацией. Я благодарю соавторов работ, опубликованных по теме диссертации: П. А. Брусенцева, Г. Геббельса, М. Гёбеля, С. В. Клименко, С. М. Матвеева, И. Н. Никитина, Г. М. Нильсона, П. В. Фролова, М. В. Фурсу, за ценный вклад в выполнение работ и подготовку материалов к публикации. Я признательна В. В. Парьеву за ценные консультации и К. Г. Раутенбергу за помощь в производстве видео-фильмов.

20 ноября 2002 г.