CC BY
11ЧИСЛЕННОЕ МОДЕЛИРОВАНИЕ НА СУПЕРКОМПЬЮТЕРАХ В ЗАДАЧАХ ВИБРОСЕЙСМИЧЕСКОГО ЗОНДИРОВАНИЯ
СЛОЖНОПОСТРОЕННЫХ СРЕД
^ ^ ^ ^
Д. А. Караваев , А. А. Якименко , Н. А. Караваев
*
Институт вычислительной математики и математической геофизики СО РАН,
"Новосибирский национальный исследовательский государственный университет,
630090, Новосибирск, Россия
УДК 550.34.01, 004.42
Представлены актуальные направления развития технологии математического моделирования для решения задач геофизики, связанных с экспериментальными исследованиями методом вибрационного просвечивания Земли (ВПЗ). К таким задачам относятся: инспекция на месте при мониторинге подземных ядерных испытаний и изучение структур грязевых вулканов. Для решения задач численного моделирования сейсмических полей использован разностный метод. Разработаны параллельные алгоритмы и программы для многоядерных вычислительных систем с MPP/SMP и гибридной архитектурой на основе графических процессоров. Представлены результаты численного моделирования.
Ключевые слова: 3D/2D численное моделирование, параллельные алгоритмы, многоядерные вычислительные системы, гибридные системы, графические процессоры, геофизика.
Actual directions of mathematical technology development for solving of geophysics tasks related with experimental researches in Earth vibration are presented in this paper. These tasks include on-site inspection in the problem of monitoring underground nuclear test and study of mud volcanoes structures. The difference method is used to solve the problems of seismic field simulation. The parallel algorithms and software for multi-core computing systems with MPP / SMP and hybrid architecture based on graphics processors was developed. The results of numerical modeling are presented.
Key words: 3D/2D numerical modeling, parallel algorithms, multi-core computing systems, hybrid systems, graphics processors, geophysics.
Введение. Одним из способов изучения строения сложных геологических объектов, выявления анизотропных включений является проведение геофизических исследований по их активному вибросейсмическому мониторингу [1-4]. Н. Н. Пузырев обратил внимание на то, что анизотропия по-разному влияет на прохождение продольных и поперечных волн. В связи с этим было быстро осознано, что она является исключительно яркой вещественной характеристикой среды, которая доступна эффективному изучению на основе многоволновой сейсмики
Работа выполнена при частичной финансовой поддержке грантов Российского фонда фундаментальных исследований (коды проектов 13-07-00589-а, 10-07-00387-а), МИП СО РАН № 39, № 130 СО РАН, Программ Президиума РАН № 15.9, 18.
до разлома
10 15 20 25 30 35 40 45 50
за разломом
10 15 20 25 30 35 40 45 50
Рис. 1. Вибрационные сейсмограммы по обеим сторонам разлома
[5]. Методическое изучение вариаций волновых форм осуществлялось в экспериментах по вибрационному зондированию тектонических разломов.
В качестве примера на рис. 1 представлены вибрационные сейсмограммы, полученные по компоненте 2 по обеим сторонам разлома от вибратора типа ЦВ-40 [6]. При сопоставлении сейсмограмм, приведенных на рис. 1, видно нарушение волновых форм основных типов, вносимых структурами разлома.
Одним из интересных и малоизученных объектов являются грязевые вулканы. При этом грязевой вулканизм является сложным в понимании. Грязевой вулкан как объект в некотором смысле напоминает магматический, с той лишь разницей, что продуктом извержения первого является так называемая сопочная брекчия (разжиженные осадочные породы). Существуют различные гипотезы происхождения грязевых вулканов [7]. Для проверки той или иной гипотезы, изучения строения грязевых вулканов, а также свойств сейсмического поля, получаемых при проведении экспериментов, необходимо комплексное изучение грязевых вулканов. Сотрудниками ИВМиМГ СО РАН был предложен и реализован эксперимент по вибросейсмическому зондированию грязевого вулкана Гора Карабетова, который, по мнению авторов проекта, является уникальным в своем роде. Часть коллектива авторов проекта на протяжении многих лет занималась вопросами применения мощных вибраторов для решения научных задач в геофизике и имеет большой опыт постановки экспериментальных исследований с вибросейсмическими системами [8]. Другая часть коллектива занимает ведущие позиции в мире в области разработки специальных вычислительных алгоритмов для задач математической геофизики и их параллельной реализации на имеющихся в институте супер-ЭВМ. Предлагаемый вибросейсмический метод активного зондирования дилатансных структур вулканов с контролируемым мощным источником, по мнению авторов, является новым и не имеет аналогов в мире.
По результатам обработки сейсмограмм, полученным в ходе эксперимента, были обнаружены отличительные эффекты волнового поля. Но проверка и интерпретация того или иного
Рис. 2. Используемая структурная схема параллельных вычислений наблюдаемого эффекта не всегда проста в связи с тем, что точно не известна структура изучаемого объекта.
Одним из подходов определения волн, подвергающихся наибольшему изменению при прохождении тех или иных структур, и изучения строения вулканических объектов и структуры сейсмического поля является численное моделирование распространения сейсмических волновых полей в сложнопостроенных 2D и 3D средах на основе разностных методов. При этом решаются прямые задачи геофизики.
Численное моделирование проводится для детализированных 2D/3D моделей упругих сред и требует больших вычислительных ресурсов. Поэтому для реализации разностных методов используются многоядерные вычислительные системы. Такие системы имеют MPP/SMP или гибридную архитектуру. При этом для реализации численных методов разрабатываются параллельные алгоритмы, которые наилучшим образом используют задействованные вычислительные устройства.
Численное моделирование 2D/3D сейсмических полей для сложнопостроенных моделей сред проводится на основе решения системы уравнений теории упругости [9, 10]. При этом используется разностный метод Virieux [11].
1. Численное моделирование сейсмики кавернозных зон в задаче инспекции на месте.
Для исследования структуры волнового поля, образующегося в результате зондирования среды, проведены тестовые расчеты для различных моделей кавернозной зоны. При этом изучалось влияние геометрии модели на структуру волнового поля неоднородной среды, содержащей каверну, с целью выделения отличительных свойств поля, обусловленных ее присутствием. Для создания физико-геологической модели подземного ядерного взрыва использовались материалы работы [12]. Все численные расчеты проведены с использованием разработанной программы на основе структурной схемы организации параллельных вычислений (рис. 2) на кластере НКС-30Т ССКЦ СО РАН (ИВМиМГ СО РАН).
Рис. 3. Схема 2Б модели упругой среды в плоскости х0т (верхняя часть рисунка)
и детализация области А с каверной (нижняя часть рисунка). Цифрами обозна-
На рис. 3 показана исследованная 2Б модель неоднородной упругой среды с линейными размерами 3,4 км по оси 0х и 1,0 км по оси 0г, содержащая одну подобласть, являющуюся каверной (4). Каверна окружена двумя внешними кольцами: одно из них полностью однородно (3), второе, имитирующее зону трещиноватости (2), заполнено равномерно распределенными включениями. Размеры этих включений, выраженные в единичных ячейках (со стороной 5,23*10"4 км): вдоль оси 0х - одна ячейка, вдоль оси 02 - две ячейки.
Результатами расчетов являются синтетические сейсмограммы и мгновенные снимки волнового поля. В основном рассмотрена одна из компонент волнового поля, а именно ит, соответствующая вертикальной составляющей сейсмического поля (От).
чены номера элементов модели
На рис. 4 приведен пример синтетической сейсмограммы для компоненты и в прямоугольной системе координат, при которой по горизонтали представлены координаты сейсмо-приемников, по вертикали - время вступления различных волн.
На синтетической сейсмограмме (рис. 4) видны несколько групп упругих волн, описанных в
[13]. Судя по времени прихода волн к сейсмоприемникам, выделенные группы соответствуют следующим типам волн: прямая Р-волна; поверхностная волна Рэлея; Р-волна, отраженная от каверны; Б-волна, отраженная от каверны; БР-волна, отраженная от каверны; ББ-волна, отраженная от каверны. Таким образом, группы волн, отмеченные цифрами 3-6, вызваны присутствием каверны. При этом волна 3 имеет значительную амплитуду и может являться предвестником присутствия каверны.
Процесс образования отраженных волн, приведенных на синтетической сейсмограмме (рис. 4), иллюстрирует рассчитанные мгновенные снимки волнового поля для шести различных временных промежутков (рис. 5).
Рис. 4. Рассчитанная синтетическая сейсмограмма для компоненты и волнового поля. Горизонтальный линейный размер модели 3,4 км. Группы упругих волн: 1 - прямая Р-волна; 2 - поверхностная волна Рэлея; 3 - Р-волна, отраженная от каверны; 4 - Б-волна, отраженная от каверны; 5 - БР-волна, отраженная от каверны; 6 - ББ-волна, отраженная от каверны
Рис. 5. Рассчитанные мгновенные снимки компоненты и волнового поля для пяти различных промежутков времени
Рис. 6. 3D геометрия строения грязевого вулкана
Рис. 7. Результаты численного эксперимента: теоретическая сейсмограмма по профилю А-А1 для компоненты и сейсмического поля
2. Численное моделирование 3D сейсмических полей для грязевулканических структур. Разработка научно-исследовательских программ с применением технологий параллельного программирования позволила провести изучение 3D сейсмического поля и разработать 3D геометрию строения вулканического объекта. При этом разработка такой модели проводилась при сравнении экспериментальных данных и результатов численных экспериментов.
Численные эксперименты проводились на кластере НКС-30Т ЦКП ССКЦ СО РАН (рис. 6-8) [8]. Для этого использовались разработанные программы: для построения 3D геометрии строения модели вулкана, которая включает ее построение с учетом упругих параметров, и для проведения численного моделирования с использованием разностного метода.
Следует отметить, что в связи с разработкой перспективных вычислительных устройств и наличием таковых на базе ЦКП ССКЦ СО-РАН, эти программы были реализованы с использованием гибридных кластерных систем. Для этого использовались гибридные узлы кластера НКС^ОТ+GPU, которые состоят из CPU и GPU. Таким образом, разработаны программы, которые используют возможности графических процессоров. Следует отметить, что в этих программах реализована 3D параллельная схема, в отличие от 1D параллельной схемы, используемой при реализации программ, которые уже были представлены. Отличие данной реализации
Рис. 8. Результаты численного эксперимента: снимки для компоненты Uz сейсмического поля по профилю А-А1 При варьировании количества ресурсов
о
29,96
CD
g 30
7,18
^rx
■ cpu
■ gpu(xlO)
8
27
Количество MPI процессов (CPU ядер, GPU)
Рис. 9. Результаты работы программы на гибридном кластере при варьировании количества используемых GPU и ядер CPU
состоит в использовании CPU и GPU. При этом расчеты по разностной схеме проводятся только с использованием GPU. CPU используются для организации параллельных вычислений на GPU. Проведенные эксперименты, по сравнению программ для MPP/ SMP и гибридных архитектур показали перспективность использования GPU. Для сравнения времени выполнения программ использовался гибридный кластер НКС-ЗОТ+GPU. Вычислительные эксперименты проводились для трехмерной сеточной модели с 308x308x308 точек и для 11 итераций (рис. 9). На рис. 9 время выполнения на GPU увеличено в 10 раз для удобства представления.
При увеличении количества вычислительных устройств достигнуто ускорение в 31 раз при использовании 27 GPU, при том же количестве точек вычислительной области.
Заключение. Разработаны параллельные программы для моделирования 2D/3D сейсмических волновых полей в сложнопостроенных средах для различных архитектур многоядерных вычислительных систем. Проведены численные эксперименты на гибридном кластере НКС-30Т+GPU. Показано, что в волновом поле выделяются группы волн, связанные с кавернозным включением. Представлена интерпретация полученных синтетических результатов, отражающих влияние кавернозного включения на картину волнового поля. Вычислительные эксперименты для модели неоднородной упругой среды, содержащей каверну, позволяют изучать особенности сейсмических волновых полей в местах проведенных ядерных взрывов. Это позволяет обосновать выбор методики проведения экспериментальных работ в части определения наиболее подходящего места расположения системы наблюдения (сейсмоприемников) и ее геометрических параметров для обнаружения тех или иных аномальных эффектов.
В части моделирования 3D сейсмических полей разработана программа с использованием 3D параллельной схемы. Проведено сравнение работы программ, использующих в расчетах CPU и комбинацию CPU и GPU. С применением разработанных программ проведены вычисли-
тельные эксперименты по моделированию 3D сейсмических полей для грязевулканических структур и разработана модель строения этого геофизического объекта.
Список литературы
1. Глинский Б. М., Фатьянов А. Г. Вибросейсмический мониторинг живущих вулканов // Материалы 2-го Междунар. симп. "Активный геофизический мониторинг вулканов", Новосибирск, 12-16 сент. 2005 г. С. 57-61.
2. Глинский Б. М., Фатьянов А. Г. Изучение и мониторинг грязевых вулканов активными сейсмическими методами // Материалы 2-го Междунар. симп. "Активный геофизический мониторинг вулканов", Новосибирск, 12-16 сент. 2005 г. С. 52-57.
3. Глинский Б. М., Собисевич А. Л., Фатьянов А. Г., Хайретдинов М. С. Математическое моделирование и экспериментальные исследования грязевого вулкана Шуго // Вулканология и сейсмология. 2008. № 4. С. 1-9.
4. Глинский Б. М., Собисевич А. Л., Хайретдинов М. С. Опыт вибросейсмического зондирования сложно построенных геологических структур (на примере грязевого вулкана Шуго) // Докл. РАН. 2007. Т. 413, № 3. С.1-5.
5. Пузырев Н. Н. Методы и объекты сейсмических исследований. Введение в общую сейсмологию. Новосибирск: СО РАН, НИЦ ОИГГМ, 1997.
6. Хайретдинов М. С., Воскобойникова Г. М., Седухина Г. Ф. Анализ структурных изменений сейсмических волновых полей в трещиноватых и флюидонасыщенных средах // Периодический научно-технический журнал национального ядерного центра республики Казахстан. 2008. № 2. С. 99-104.
7. Сейсмоактивные флюидно-магматические системы Северного Кавказа // М.: Институт физики Земли им. О. Ю. Шмидта РАН, 2005.
8. Глинский Б. М., Караваев Д. А., Ковалевский В. В., Мартынов В. Н. Численное моделирование и экспериментальные исследования грязевого вулкана Гора Карабетова вибросейсмическими методами // Вычислительные методы и программирование. 2010. Т. 11. С. 95-104.
9. Шемякин е. И. Динамические задачи теории упругости и пластичности // Курс лекций для студентов. Новосибирск: НГУ, 1968.
10. Новацкий В. Теория упругости. М.: Мир, 1975.
11. Virieux J. P-SV wave propagation in heterogeneous media: Velocity-stress finite-difference method // Geophysics. 1986. V. 51, N. 4. P. 889-901.
12. Каплан Ю. В., Шилина Г. В. Пассивная сейсмометрия при проведении инспекции на месте: этап поиска и этап локализации события / Вестник НЯЦ РК. 2004. № 2 (18). С. 112-117.
13. Родин Г. Сейсмология ядерных взрывов: Пер. с англ. М.: Мир. 1974.
Якименко Александр Александрович - мл. науч. сотр. Института вычислительной математики и математической геофизики СО РАН, ассист. Новосибирского государственного технического университета; е-mail: al--le@yandex.ru;
Караваев Дмитрий Алексеевич - мл. науч. сотр. Института вычислительной математики
и математической геофизики СО РАН; е-mail: kda@opg.sscc.ru;
Караваев Никита Алексеевич - магистрант Новосибирского национального исследовательского государственного университета; e-mail: karavaev@ngs.ru.
Дата поступления - 12.07.2013
