CC BY
18
ПАРАЛЛЕЛИЗАЦИЯ И ОПТИМИЗАЦИЯ ПОСЛЕДОВАТЕЛЬНОГО АЛГОРИТМА РАСЧЕТА СИГНАЛОВ ДЛЯ ВЫСОКОЧАСТОТНОГО ИНДУКЦИОННОГО КАРОТАЖА
Анатолий Сергеевич Кошелев
НГУ, 630090, г. Новосибирск, ул. Пирогова, 2, студент, e-mail: [email protected] Дмитрий Владимирович Тейтельбаум
НГУ, 630090, г. Новосибирск, ул. Пирогова, 2, студент, e-mail: [email protected] Константин Сергеевич Сердюк
НГУ, 630090, г. Новосибирск, ул. Пирогова, 2, студент, e-mail: [email protected] Мария Николаевна Глущенко
НГУ, 630090, г. Новосибирск, ул. Пирогова, 2, студент, e-mail: [email protected] Александр Александрович Власов
ИНГГ СО РАН, 630090, г. Новосибирск, пр. академика Коптюга, 3, младший научный сотрудник, e-mail: [email protected]
Андрей Юрьевич Соболев
ИНГГ СО РАН, 630090, г. Новосибирск, пр. академика Коптюга, 3, научный сотрудник, email: [email protected]
В рамках работы произведено ускорение последовательной реализации трехмерного конечно-разностного алгоритма расчета сигналов для высокочастотного индукционного каротажа.
В ходе исследования использовались программные и аппаратные средства компании Интел и реализация алгоритма трехмерного моделирования (автор И.В. Суродина, ИНГГ СО РАН). Ускорение достигалось за счёт внутренней параллелизации и оптимизации вычислений.
Выполнено моделирование гипотетического прибора, включающего зонды длиной от
0,2 м до 4 м, работающих в частотном диапазоне от 0,5 до 30 Мгц.
Ключевые слова: Трехмерное моделирование, высокопроизводительные вычисления, высокочастотный индукционный каротаж.
PARALLELIZATION AND OPTIMIZATION OF SEQUENTIAL ALGORITHM OF SIGNALS MODELING FOR HIGHT-FRECUENCY INDUCTION PROBING
Anatoly Koshelev
Novosibirsk State University, 2 Pirogova, Novosibirsk, student, e-mail: [email protected] Dmitry Teytelbaum
Novosibirsk State University, 2 Pirogova, Novosibirsk, student, e-mail: [email protected] Konstantin Serduyk
Novosibirsk State University, 2 Pirogova, Novosibirsk, student, e-mail: [email protected]
Mariya Glushchenko
Novosibirsk State University, 2 Pirogova, Novosibirsk, student, e-mail: [email protected] Alexander Vlasov
A.A. Trofimuk Institute of Petroleum Geology and Geophysics, 3 Koptuga, Novosibirsk, 630090, Junior Researcher, email: [email protected]
Andrey Sobolev
A.A. Trofimuk Institute of Petroleum Geology and Geophysics, 3 Koptuga, Novosibirsk, 630090, Researcher, email: [email protected]
As part of the project the sequential version of the three-dimensional finite-difference algorithm for calculating the high-frequency signals for induction logging was accelerated.
The research was carried out with the use of the Intel software and hardware and with the three-dimensional modeling algorithm provided by I.V. Surodina (IPGG SB RAS). The algorithm acceleration was achieved through exploiting the inner parallelization and optimization of the computing process.
The simulation of a hypothetical device, which uses the probes from 0.2 m to 4 m and operates in the frequency range from 0.5 to 30 MHz, was carried out.
Key words: 3D modeling, high-performance computing, high-frequency inductive logging.
Введение
Интерпретационные задачи скважинной геофизики нуждаются в трёхмерных постановках, а имеющиеся программные средства требуют огромных вычислительных ресурсов. Представляемое исследование ставило перед собой целью получить значительное ускорение используемой программы трёхмерного моделирования.
Используя ускоренную версию программы, стало возможно быстро рассчитывать показания сложного прибора в различных моделях сред и оценивать его чувствительность к параметрам этих моделей.
Параметризация задачи
Предложенная реализация алгоритма трёхмерного моделирования откликов прибора использует классическую параметризацию трёхмерных моделей.
Данная параметризация учитывает наклон скважины, смещение прибора, а также позволяет задавать пласты с определёнными мощностями и описанием радиальных слоев с концентрическими цилиндрическими границами и с постоянными значениями параметров удельного электрического сопротивления и относительной диэлектрической проницаемости внутри каждого слоя.
Прибор задаётся множеством зондов с генераторными катушками, работающими на определённой частоте и приёмниками, расположенными на заданном расстоянии от генераторной катушки.
В рамках имеющейся реализации единицей вычисления задачи является набор зондов и модель среды. Результаты работы программы - показания прибора при прохождении через среду с заданным шагом. Показание зонда на конкретной глубине называется отсчётом. Таким образом, работа программы сводится к вычислению серии отсчётов набора независимых зондов.
Для подбора оптимальных параметров прибора высокочастотного индукционного каротажа задана область поиска, перекрывающая диапазон длин и частот зондов, широко применяющихся на производстве (рис. 1). Область поиска задана прямоугольной, хотя ожидается, что правая верхняя часть (высокочастотные зонды большой длины) и левая нижняя часть (короткие низкочастотные зонды) окажутся малоинформативными. Верхняя левая часть соответствует области диэлектрического каротажа. В нижней части расположены многозондовые системы низкочастотного каротажа, но этот диапазон не рассматривается в работе.
Начальный тестовый набор используется для тестирования и определения диапазона применимости всех используемых программ решения прямых задач; поиск оптимальных параметров предполагается вести среди расширенного тестового набора.
Рис. 1. Диапазон длин и частот
На протяжении всей разработки программного средства производилось сравнение с начальным тестовым набором для поддержания корректности работы реализации алгоритма.
Программная реализация
В результате применения различных инструментов Интел были получены различные реализации исходного алгоритма использованного в рамках данного исследования.
Последовательная версия программы
На вход программе подаются параметры моделируемого прибора, состоящего из набора зондов, модель среды, задающая распределение удельного сопротивления в пространстве, расчётная сетка. Вычисление показаний зонда в конкретном отсчёте производится следующим образом. Берётся расчётная сетка размерности Кх, Ку, N2 (~50 х ~50 х 100-200, в зависимости от частоты генераторной катушки и параметров модели). В узлах расчётной сетки рассчитывается значение электромагнитного поля путём решения системы уравнений Максвелла. Исходя из полученных значений электромагнитного поля вблизи приёмных катушек, геометрия которых описана во входных данных, вычисляются показания зонда.
Решение системы уравнений Максвелла сводится к решению системы линейных уравнений вида Лх=Ь, причём размер матрицы (Кх+Ку+№) . В начальной версии использовался итеративный решатель СЛАУ, эрмитово разложение матрицы Л и предобуславливатель ББОЯ. Итеративный решатель использует стартовое приближение, которое сильно влияет на скорость сходимости метода.
Параллельная версия с применением МР1 и ОрепМР
При распараллеливании с помощью МР1 выделяется отдельный поток, который следит за выполнением расчётов: раздаёт задачи свободным МР1 потокам и выполняет функции сборщика данных.
Когда выделенный мастер отдаёт на расчёт свободному МР1 потоку пару зонд/отсчёт, он выбирает эту пару так, чтобы для неё имелось начальное приближение. Начальным приближением является уже рассчитанное электромагнитное поле в близком по распределению удельных сопротивлений в среде относительно отсчёта случае, например, в соседнем отсчёте. Таким образом, для получения наибольшей эффективности сначала на счёт запускаются отчёты, расположенные в различных слоях модели. Затем освободившимся потокам на счёт подаётся отчёт и начальное приближение (уже посчитанное в рамках данного слоя), что позволяет достаточно быстро решать задачу для нового отчёта.
Параллельная версия с применением МР1 и библиотеки РАЯБКО
Ввиду того, что исходный итеративный решатель работает медленно и не подлежит распараллеливанию, было решено применить решатель СЛАУ РЛК0180, предоставляемый библиотекой Ш;е1 МКЬ. Решатель РЛК0180 не позволяет использовать уже рассчитанные отсчёты в качестве стартового приближения, поэтому все пары зонд/отсчёт можно считать независимо друг от друга, а время расчёта пар зонд/отсчёт можно считать примерно одинаковым.
Вычислительные ресурсы
Все расчёты производились на кластере НГУ. Он состоит из 96 узлов НР БЬ2х220 07, каждый из которых содержит два 6-ядерных процессора Ше! Хеоп
Х5670 с тактовой частотой 2932 МГц и 96 узлов НР БЬ2х220 06. Каждый узел содержит два 4-ядерных процессора 1п1е1 Хеоп Е5540 с тактовой частотой 2530 МГц и 64 узлов НР БЬ460 01, каждый из которых содержит два 4-ядерных процессора Ш;е1 Хеоп 5355 с тактовой частотой 2660 МГц. Пиковая производительность кластера равна 29.28 Тфлопс.
Сравнение времени работы различных версий программы
На рис. 2 приведено сравнение времени работы всех версий программы в зависимости от количества использованных ядер, причём выбрано оптимальное распределение ядер между МР1 и ОрепМР потоками.
Рис. 2. Сравнение версий программы
Из особенностей схемы распараллеливания по МР1, изложенной выше, видно, что при большом количестве МР1 потоков не удаётся вновь использовать уже рассчитанные данные в качестве начального приближения. Вследствие этого, не удаётся достичь линейного роста скорости расчёта от количества МР1 потоков, что как раз и видно из графика.
Версия программы, использующая решатель РАКОКО, имеет
масштабируемость лучше, чем версия с исходным решателем.
На рис. 3 приведены результаты сравнения времени работы версии программы, использующей в качестве решателя СЛАУ - РАКОКО, исполняющейся на 32 и 64 ядра, разделяя их между МР1 и ОрепМР потоками различным образом.
3500
3000
2500
35 2000
16/2 8/4 64/1 16/4 8/8
Количество МР1/ОМР потоков
Рис. 3. Сравнение времени работы в зависимости от количества ядер
Из графика следует вывод о целесообразности применения большего числа МР1 потоков, так как данный решатель не использует стартового приближения. Таким образом, все пары зонд/отсчёт можно считать независимо друг от друга и поэтому увеличение количества МР1 потоков ведёт к пропорциональному росту скорости счёта.
Заключение
В результате исследования была разработана параллельная реализация трёхмерного конечно-разностного алгоритма моделирования сигналов высокочастотных индукционных зондов.
Полученные результаты ускорения программы, как с исходным решателем, так и с решателем РАК0180 позволяют моделировать сигнал в трёхмерных средах гораздо быстрее, а сравнимая с линейной масштабируемость версии с решателем РАК0180, даёт возможность определять показания сигналов за время расчёта сравнимое с расчётом одного отсчёта. Достигнутая производительность позволяет использовать созданный вычислительный модуль не только в научных исследованиях, но и для оперативного решения задач геофизического производства.
Были проанализированы результаты моделирования сигналов в сложных моделях сред, учитывающих наличие каверн, наклон скважины и эксцентриситет зонда. Время расчёта одной сложной трёхмерной модели для многозондового прибора (около 200 геометрически различных зондов) составило первые часы, ранее на эту задачу уходило несколько суток.
Оптимизированный код позволил, варьируя параметры зондов, определить набор, наиболее чувствительный к параметрам моделей, характерных для разрезов Западной Сибири.
Изучено влияние эксцентриситета зонда (смещения прибора с оси скважины), который влияет на результаты измерений и должен учитываться при интерпретации каротажных данных.
Работа выполнена в рамках совместного проекта Новосибирского государственного университета и компании Интел на базе Института нефтегазовой геологии и геофизики СО РАН.
1. Суродина И.В., Эпов М.И., Мартаков С.В. 3D моделирование гармонических электромагнитных полей для задач каротажа в наклонно-горизонтальных скважинах // Международная конференция по вычислительной математике МКВМ-2004. - Ч. 2. - С. 699703.
2. Olaf Schenk, George Karypis, Robert Luce, Peter Carbonetto PARDISO Solver Project -Mode of access : http://www.pardiso-project.org/
© А.С. Кошелев, Д.В. Тейтельбаум, К.С. Сердюк, М.Н. Глущенко, А.А. Власов, А.Ю. Соболев, 2012
