Разработка программного комплекса для решения квантовых моделей методом точной диагонализации на распределенных вычислительных системах

Исторически человечество всегда стремилось к созданию и развитию новых материалов. Например, «информационная эра», в которой мы живем, зародилась на основе полупроводниковых процессоров и технологий магнитной записи, которые успешно развиваются вот уже на протяжении 40 лет [1]. Экспоненциальный рост, как мощности процессоров, так и плотности записи информации стал возможен благодаря способности контролировать свойства материалов даже в атомных масштабах. Наши стандарты и стиль жизни в настоящее время во многом определяются последними открытиями новых материалов и их продолжающимися усовершенствованиями. Наше процветание и благосостояние в будущем будут зависеть от успехов современных исследований материалов следующего поколения и направления инновационной деятельности. Например, прогресс в миниатюризации устройств стал движущей силой для проведения интенсивных исследований наноматериалов, в которых характеристики наномасштаба определяют соответствующие свойства материалов.

Несмотря на то, что развитие квантовой механики открыло дверь в понимании фундаментальных взаимодействий в веществе около 80-ти лет назад, возможность использовать наше знание для создания материалов и контроля их свойств только сейчас становится реальностью. До настоящего времени решение квантово-механических уравнений было практически невозможно за исключением некоторых простейших случаев. Благодаря значительному увеличению мощности компьютеров, материаловедение сейчас находится на грани новой эры, когда компьютерное моделирование дополняет, а иногда и заменяет традиционный экспериментальный метод «проб и ошибок». Компьютерное моделирование является инструментом, при помощи которого ученые могут управлять исследованиями передовых материалов и развитием новых высокотехнологичных устройств через фундаментальное понимание свойств материалов, процессов их формирования, взаимодействия в новых комбинациях и оптимизации для лучшего использования.

Одним из важнейших достижений современной компьютерной физики является разработка и развитие метода «Теории динамического среднего поля» (БМГТ) [2] для решения модели Хаббарда [3, 4], который позволяет описывать системы с сильным электрон-электронным взаимодействием. Эти эффекты возникают, когда ширина зоны проводимости сравнима или меньше силы кулоновского взаимодействия между электронами, находящимися на одном атоме (ионе). К таким системам относятся сложные многокомпонентные материалы на основе соединений переходных, редкоземельных и актиноидных элементов. Эти материалы активно исследуются в последние годы вследствие открытия в них явлений высокотемпературной сверхпроводимости, колоссального магнетосо-противления и других интересных свойств, имеющих большие перспективы для практических применений. Основные вычислительные и временные затраты в методе БМГТ приходятся на решение эффективной примесной задачи для модели Андерсона. Наиболее широко используемыми методами ее решения являются методы квантового Монте-Карло и точной диагонализации.

Цель диссертационной работы заключается в разработке вычислительного комплекса для исследования электронной структуры и магнитных свойств реальных физических систем в рамках теории динамического среднего поля методом точной диагонализации. Данный комплекс позволяет эффективно использовать ресурсы современных вычислительных систем и вести расчеты физических свойств сложных соединений на нескольких сотнях и тысячах процессоров.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

• создание программного комплекса, позволяющего проводить расчёт электронных и магнитных свойств методом точной диагонализации. Разработанный комплекс состоит из следующих модулей: модуль распределенного хранения массивов большого объёма в оперативной памяти (размером больше 20 Гбайт) — модуль перемножения сверхбольших разреженных матриц (размерностью более 108×108) на вектормодуль межпроцессных коммуникаций, позволяющий минимизировать обмен данными, хранимыми распределенно;

• тестирование предложенной численной схемы с использованием модели Хаббарда на квадратной решётке для демонстрации эффективности и определения границ применения;

• создание on-line сервиса, который позволяет широкому кругу исследователей проводить расчёты электронной структуры сильнокоррелированных систем через сеть Internet;

• применение разработанного программного комплекса для расчёта электронной и магнитной структуры реальных физических систем: исследование электронной структуры соединения Б^ЯиОд, которое демонстрирует значительные корреляционные эффектымоделирование электронных и магнитных свойств системы, состоящей из отдельных атомов кобальта, размещенных на платиновой подложке, с целью микроскопического описания экспериментального спектра проводимости вблизи уровня Ферми.

Актуальность работы.

В существующих пакетах программ, решающих задачу БМРТ, уже предусмотрена возможность применения параллельных вычислений, однако, стремительное развитие современных супер-ЭВМ ставит проблему полного использования их мощностей для решения задач предсказательного моделирования. Задача оптимизации распределения потоков команд и данных на вычислительных системах, состоящих из тысяч процессоров, радикально отличается от параллельных вычислений на кластерах с несколькими десятками ядер. Эта задача не имеет единого универсального решения, пригодного для любых пакетов программ и типов вычислительных комплексов. Для каждой супер-ЭВМ необходимо учесть особенности ее архитектуры и соответственно перестроить вычислительный алгоритм для достижения наилучшей эффективности. Разработка подобного вычислительного комплекса и обеспечивает актуальность работы.

Научная новизна работы заключается в следующем:

1. При помощи разработанного вычислительного комплекса на основе метода точной диагонализации впервые было проведено исследование сильнокоррелированных систем в области низких температур с числом эффективных орбиталей в гамильтониане модели Андерсона равным А^ = 17;

2. Проблема экспоненциальной зависимости размерности задачи от числа эффективных орбиталей была частично сведена к росту количества требуемых процессоров при помощи организации распределённого хранения разреженных матриц большой размерности;

3. Разработан новый формат хранения матрицы гамильтониана и метод её перемножения на вектор, что позволило проводить реалистичное моделирование современных материалов;

4. В рамках метода точной диагонализации впервые была использована четырёхоператорная форма матрицы кулоновского взаимодействия;

5. Впервые в рамках теории динамического среднего поля было. учтено влияние недиагональных элементов матрицы кулоновского взаимодействия на спектр электронных возбуждений соединения Б^ИиО^.

6. Впервые проведено исследование электронных свойств поверхностной наносистемы Со/Р1-(111) в рамках модели Андерсона методом точной диагонализации, которое позволило обнаружить орбитальную поляризацию спектра проводимости.

Автором на защиту выносятся следующие положения:

1. Предложенный формат распределенного хранения 'матрицы гамильтониана позволяет эффективно обрабатывать матрицы сверхбольшой размерности на многопроцессорных вычислительных системах;

2. Разработанная вычислительная схема метода точной диагонализа-ции для расчёта электронной структуры на распределённых вычислительных системах позволила впервые проводить исследование сильнокоррелированных систем с числом эффективных орбиталей в гамильтониане модели Андерсона равным А^ = 17;

3. В рамках исследования электронной структуры соединения Б^ЯиО^ была показана важность учёта недиагональных элементом матрицы кулоновского взаимодействия;

4. При помощи разработанного комплекса решена многочастичная модель, описывающая электронные и магнитные свойства поверхностной наносистемы Со/Р¹¹¹). Это позволило дать микроскопическое объяснение особенностей экспериментального спектра проводимости вблизи уровня Ферми, и проследить механизмы формирования магнитного момента атома кобальта.

Практическая значимость работы. Разработанная библиотека процедур и функций предназначенная для работы с большими разреженными матрицами на распределённых многопроцессорных системах позволяет проводить диагонализацию матриц размерностью более 5×108. Данная библиотека содержит в себе формат распределённого хранения разреженных матриц, процедуру заполнения матрицы гамильтониана, процедуру перемножения разреженной матрицы на вектор. На основе созданной библиотеки автором работы был разработан вычислительный комплекс метода точной диагонализации, позволяющий проводить исследование сильнокоррелированных систем в области низких температур. Библиотека может быть использована для решения широкого круга задач науки и техники.

Апробация работы была выполнена на кафедре теоретической физики и прикладной математики УрФУ и в Университетском центре параллельных вычислений УрФУ. Основные положения диссертации докладывались на:

1. Заседаниях кафедры теоретической физики и прикладной математики;

2. Семинаре «Распределённые и высокопроизводительные вычисления» (Новосибирск 2008);

3. Международной конференции «Вычислительные и информационные технологии в науке, технике и образовании — 2008» (Алматы .2008);

4. Второй международной научной конференции «Суперкомпьютерные системы и их применение» (Минск 2008).

Публикации. Материалы диссертации опубликованы в б печатных работах, из них 2 статьи в рецензируемых журналах, 3 статьи в сборниках трудов конференций и 1 тезис доклада.

Публикации в журналах, входящих в перечень рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук:

• Искаков С. Н., Мазуренко В. В. Эффективное решение уравнений теории динамического среднего поля на многопроцессорных системах // Вычислительные методы и программирование. 2009. Т. 9, № 2. С. 281−285.

• Mazurenko V. V., Iskakov S. N., Rudenko A. N. et al. Renormalized spectral function for Co adatom on the Pt (lll) surface //Physical Review В. 2010. —Nov. Vol. 82, no. 19. P. 193 403.

Структура и объем диссертации

Диссертация состоит из введения, четырёх глав, заключения и списка литературы, содержит 112 страниц, 30 рисунков, 4 таблицы, список цитируемой литературы представлен из 81 наименования.

4.3. Выводы к главе.

В данной главе были приведены результаты апробации разработанного программного комплекса, на основании которых можно сделать следующие выводы:

• проведён анализ электронной структуры соединения Б^ЯиС)4, на основе которого было выявлено, что недиагональные элементы матрицы кулоновского взаимодействия играют важную роль в правильном описании экспериментально наблюдаемого спектра;

• исследована система атом кобальта на платиновой подложке (Со/Р1(111)), представленная при помощи модели Андерсона, в результате проведённого исследования были получены следующие результаты: учёт кулоновских корреляций принципиально важен при описании систем данного типапроанализировано влияние полной четырёхоператорной матрицы кулоновского взаимодействия на плотность состояний вблизи уровня Фермиустановлен вклад каждой из ¿-/-орбиталей кобальта в спектр проводимости.

Из приведённых результатов можно сделать вывод, что разработанный в рамках данного диссертационного исследования программный комплекс предоставляет исследователям широкие возможности для изучения сильнокоррелированных систем.

Заключение

.

На основе проведённых исследований в данной диссертационной работе сформулированы следующие результаты и выводы:

• Была разработана библиотека процедур и функций для организации эффективной работы с разреженными матрицами большой размерности. Данная библиотека может использоваться для решения современных задач науки и техники и содержит в своём составе: формат хранения больших разреженных матриц на многопроцессорных распределённых вычислительных системах. Формат позволяет эффективно обрабатывать матрицы размерностью больше, чем 5×108 за счёт использования алгоритмов распределённого хранения данных, что более чем в 3 раза превосходит возможности существующих численных схемпроцедуру эффективного заполнения матрицы гамильтониана. В рамках разработанного формата хранения производится заполнение матрицы гамильтониана в параллельном режиме без необходимости проводить межпроцессорные коммуникации. Таким образом, время выполнения алгоритма уменьшается пропорционально числу задействованных процессоров вычислительной системы, что обеспечивает производительность, близкую к идеальнойпроцедуру перемножения матрицы гамильтониана на вектор. Использование ряда разработанных в диссертационном исследовании методик для осуществления межпроцессорных коммуникаций приводит к ускорению работы алгоритма на р-процессорной системе равному вр ~ 0.7 -р при диагонализа-ции матриц размерностью более 1×108. Это является существенным достижением в области параллельных алгоритмов для распределённых вычислительных систем.

На базе разработанной библиотеки был создан программный комплекс для расчёта электронной структуры и магнитных свойств современных сильнокоррелированных материалов в рамках теории динамического среднего поля методом точной диагонализа-ции. Комплекс впервые позволил проводить исследования в области низких температур с учётом полной четырёхиндексной матрицы кулоновского взаимодействия.

Впервые в рамках теории динамического среднего поля методом точной диагонализации был проведено исследование модели Хаб-барда на квадратной решётке для числа электронных уровней N3 — 17. На этом примере была выполнена оценка производительности и масштабируемости разработанной численной схемы в зависимости от размерности задачи, показавшая результаты, не уступающие современным алгоритмам по решению уравнений теории динамического поля для систем с общей памятью.

В рамках созданного программного комплекса разработан модуль, позволяющий исследователю выделять и анализировать вклад конкретного квантово-механического состояния в энергию системы. Это дает возможность получить больше информации об элементарных возбуждениях, происходящих в исследуемой системе. Тем самым достигается более глубокое понимание электронных и магнитных свойств сильнокоррелированных систем.

Разработанный программный комплекс был применён для исследование электронной структуры реальных физических системах. Исследована электронная структура сильнокоррелированного соединения S^RuO4, Сравнение значений эффективной массы носителей заряда, вычисленных для различных видов кулоновского взаимодействия, позволило сделать вывод о важности учёта недиагональных элементов матрицы кулоновского взаимодействия для правильного теоретического описания экспериментально наблюдаемых спектров фотоэмиссии.

Проведено моделирование физических свойств наносистемы, состоящей из атома кобальта на платиновой поверхности, Co/Pt (lll). В рамках исследования впервые было учтено влияние всех элементов матрицы кулоновского взаимодействия. Полученная в результате расчётов спектральная функция системы позволила объяснить особенности экспериментального спектра проводимости вблизи уровня Ферми. Для микроскопического анализа процесса формирования магнитного момента были вычислены многочастичные спиновые корреляционные функции. Проведённое исследование позволяет проследить процесс возникновения магнетизма в сильнокоррелированных системах и может быть использовано для изучения других магнитных систем, характеризующихся сильными электрон-электронными корреляциями.

Разработан on-line сервис, позволяющий широкому кругу исследователей решать уравнения теории динамического среднего поля методом точной диагонализации, как в учебных, так и научных целях. On-line сервис предоставляет возможность интерактивного определения параметров гамильтониана и визуализировать результаты моделирования.

Автором проведены все расчёты, представленные в работеалгоритмы, представленные в данной работе, разработаны автором самостоятельно. Постановка задач и обсуждение полученных результатов были проведены совместно с научным руководителем. В обсуждении результатов, полученных при исследовании поверхностной наносистемы Co/Pt (111), также участвовали Александр Иосифович Лихтенштейн, Владимир Ильич Анисимов и Александр Николаевич Руденко.

В заключении мне бы хотелось выразить глубокую признательность своему научному руководителю кандидату физико-математических наук Мазуренко Владимиру Владимировичу за проявленное вниманиетакже хочу выразить огромную благодарность сотрудникам университетского центра параллельных вычисленийа так же сотрудникам, аспирантам и студентам кафедры теоретической физики. Особая благодарностьдрузьям и семье.