CC BY
94
ЧИСЛЕННОЕ МОДЕЛИРОВАНИЕ В ГЕОФИЗИКЕ НА ГИБРИДНЫХ СУПЕРЭВМ
Дмитрий Алексеевич Караваев
ФБГУ Институт вычислительной математики и математической геофизики СО РАН (ИВМиМГ СО РАН), 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 6, кандидат физико-математических наук, младший научный сотрудник, тел. (383)330-70-69, е-mail: kda@opg.sscc.ru
Никита Алексеевич Караваев
Новосибирский государственный университет, 630090, Россия, г. Новосибирск, ул. Пирогова, д. 2, магистрант, е-mail: karavaev@ngs.ru
В работе представлены результаты работы разработанных программ численного моделирования 3D сейсмических полей на высокопроизводительных вычислительных система. Программы ориентированы на использование гибридных систем на основе Nvidia GPU и Intel Xeon Phi. Такие программы служат инструментом для разработки моделей строения различных геофизических объектов, а также для изучения структуры сейсмического поля и для интерпретации экспериментальных данных. Для численных экспериментов использовались кластер KKC-30T+GPU Сибирского суперкомпьютерного центра и кластер МВС-10П МСЦ РАН.
Ключевые слова: сейсмология, численное моделирование, параллельные
алгоритмы, гибридные кластеры.
SIMULATION IN GEOPHYSICS ON HYBRID SUPER COMPUTERS
Dmitry A. Karavaev
Institute of Computational Mathematics and Mathematical Geophysics SB RAS, 630090, Russia, Novosibirsk, 6 prospect Akademika Lavrentjeva, Candidate of Physics and Mathematical Science, Junior Science Researcher, tel. +7 (383)330-70-69, e-mail: kda@opg.sscc.ru
Nikita A. Karavaev
Novosibirsk State University, 630090, Russia, Novosibirsk, 2 Pirogova Str., Master student, e-mail: karavaev@ngs.ru
The paper presents the results of programs developed for 3D seismic field simulation on high-performance computing systems. Programs are oriented on using the hybrid systems based on Nvidia GPU and Intel Xeon Phi. These programs serve as a tool for developing structure of different geophysical objects models, and for experimental data interpretation. The cluster NKS-30T+GPU of Siberian Supercomputer Center and the cluster MVS-10P of Joint Supercomputer Center RAS were used for numerical experiments.
Key words: seismology, simulation, parallel algorithms, hybrid clusters.
Численное моделирование является одним из эффективных инструментов получения знаний о строении геофизических объектов и ос свойствах и структуре сейсмического поля [1]. Зачастую экспериментальные данные являются достаточно сложными в понимании. К тому же не всегда известно геометрическое строение упругих сред, для которых проводятся
исследования. Поэтому одним из способов изучения таких данных является проведение математического моделирования для решения прямых задач геофизики. Такой способ позволяет при варьировании упругих параметров и геометрии проводить серии численных экспериментов для подбора наиболее подходящей модели строения геофизического объекта. При этом подбор может проводится при сравнении экспериментальных и численных результатов.
Но изучаемые объекты могут иметь очень сложную трехмерную неоднородную структуру. Поэтому решается задача численного моделирования сейсмических полей в трехмерной постанове. Система теории упругости представлена в терминах вектора скоростей смещения и тензора напряжений. А для ее решения используется разностный метод [2].
В этом случае, поскольку модели упругих сред все усложняются, что сказывается на размерах используемых сеток, то для реализации численных алгоритмов применяются многоядерные вычислительные системы. Это могут быть как MPP, так и SMP, а также гибридные архитектуры.
Если обратиться к списку Т0П-500, то можно видеть, что наиболее энергоэффективные и к тому же производительные системы построены на основе гибридных архитектур. Под этим понимается, что вычислительные узлы кластера представлены несколькими типами устройств. В составе которых есть как CPU, так и специализированные устройства Nvidia GPU или сопроцессоры Intel Xeon Phi.
Такие кластерные системы обладают огромным количеством вычислительных ядер и огромной вычислительной мощностью. Так суперкомпьютер Titan содержит 560640 процессоров, включая 261632 ядер NVIDIA Kepler K20x. Используемый для расчётов в работе гибридный кластер НКС-30Т ЦКП ССКЦ СО РАН представлен 120 процессорами GPU Nvidia Tesla M2090 и 61440 ядрами на них.
Поэтому задача разработки параллельных алгоритмов и программного обеспечения кластерных ЭВМ, принципиально отличного от MPP архитектур, является актуальным научным направлением. Отдельным интересным направлением является имитационное моделирование параллельных алгоритмов. Которое позволяет рассмотреть поведение параллельного алгоритма на тысячах и сотнях тысяч вычислительных ядер суперкомпьютера [3].
Использование для расчетов устройств типа Nvidia GPU и сопроцессоров Intel Xeon Phi на используемых узлах кластера сопряжено с особыми способами взаимодействия как с ними, так и между каждым из них, посредством использования CPU. Используемая в программах параллельная реализация используют комбинация различных технологий и интерфейсов, CUDA и MPI, средства программирования для Intel Xeon Phi и MPI. Поскольку вычислительные узлы гибридных кластерных систем состоят из нескольких устройств и нескольких многоядерных CPU, то для реализации разработанных программ используется, что один MPI процесс соответствует
одно устройство и один CPU. При этом в программах реализована трехмерная декомпозиция расчетной области на подобласти средствами Ж?!, рис. 1. Каждая из подобластей рассчитывается на соответствующем устройстве, а взаимодействие между ними реализовано посредством МР1 и
сри.
Рис.1. Схема организации параллельных вычислений на гибридном кластере Nvidia GPU
Исследование работы программ и параллельного алгоритма проводилось для тестовой модели, где для одного устройства использовалась вычислительная подобласть 308x308x308 и 11 итераций. Сравнение работы программ проводилось при использовании СРи и МР1, а также при использовании СРи и GPU и комбинации МР1 и СЦОА. Расчеты для Nvidia GPU проводились на кластере НКС-30Т+GPU. Результаты экспериментов, рис. 2, показывают, что программа хорошо масштабируется. Также достигнуто ускорение по сравнению с использованием в расчетах только СРи и МР1 в среднем в 34 раза при использовании GPU при варьировании количества ресурсов и фиксированной области моделирования.
При
масштабировани
и
При
варьировании
количества
ресурсов
Количество MPI процессов (CPU ядер, GPU)
Рис. 2. Отношение времени выполнения программ на кластере НКС-
30T+GPU
Таким образом использование гибридных вычислительных систем является важным направлением в области математического моделирования в геофизике, при использовании разностных методов. А их использование позволяет проводить более эффективно серии численных экспериментов.
Так расчет на кластере НКС-30Т для модели с количеством узлов 2112x1112x834 и 5000 итераций занял 53 минуты при использовании 9216 ядер 18 GPU.
В области использования сопроцессоров Intel Xeon Phi разработана программа. Общая параллельная схема представлена на рис.1. MPI также используется для взаимодействия между сопроцессорами Intel Xeon Phi. Численные эксперименты проводились на кластере МВС-10П МСЦ РАН. Исследование проводилось на одном узле с использованием одного Intel Xeon Phi для подбора наиболее подходящих параметров для настройки параллельных вычислений OpenMP. В расчетах использовалось 60 вычислительных ядер сопроцессора и 60, 120, 180 и 240 потоков OpenMP. Наиболее лучшие результаты были получены при использовании 60 вычислительных ядер и 180 OpenMP потоков.
Работа выполнена при поддержке грантов РФФИ: 12-05-00786, 13-07-00589, 14-07-00832, 14-05-00867, проектов МИП СО РАН № 54, 39, 130.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Глинский Б.М., Караваев Д.А., Ковалевский В.В., Мартынов В.Н. Численное моделирование и экспериментальные исследования грязевого вулкана «Г ора Карабетова» вибросейсмическими методами. Вычислительные методы и программирование. М.: Изд-во Моск. Гос. ун-та, 2010, Том 11, №1, - С. 99-108.
2. Virieux J. P-SV wave propagation in heterogeneous media: Velocity-stress finite-difference method Geophysics, Volume 51, April 1986, Number 4, p. 889-901
3. Глинский Б.М., Марченко М.А., Михайленко Б.Г., Родионов А.С., Черных И.Г., Караваев Д.А., Подкорытов Д.И., Винс Д.В. Отображения параллельных алгоритмов для суперкомпьютеров экзафлопсной производительности на основе имитационного моделирования // Информационные технологии и вычислительные системы 4/2013 - C. 314.
© Д. А. Караваев, Н. А. Караваев, 2014
