CC BY
81
УДК [519.683; 519.687.4; 004.75] Е.М. Володин, A.A. Захарова
Использование суперкомпьютеров для ускорения расчета процесса фильтрации на основе 3D геолого-гидродинамических моделей нефтегазовых месторождений
Рассмотрен вопрос оптимизации 3D-моделирования месторождений нефти и газа с применением суперкомпьютеров. Предложено использование типовых 3D-симуляторов и представлена схема их применения для быстрого расчета больших моделей без загруб-ления.
Ключевые слова: параллельные вычисления, вычислительный кластер, суперкомпьютер, гидродинамическая модель, геологическая модель, 3D-моделирование, разработка месторождений нефти и газа.
Введение
Большинство современных нефтегазовых компаний используют цифровое 3Б-модели-рование при проектировании и разработке новых месторождений, определении оптимального способа извлечения ресурсов, а также применяют постоянно действующие геолого-технологические модели для управления разработкой месторождений нефти и газа [1]. Создание геологических и гидродинамических моделей - это длительный процесс, который занимает от нескольких месяцев до года и более. Расчет моделей требует обработки огромного количества информации, причем этот процесс итерационный. Число итераций может достигать нескольких сотен или тысяч, каждая из которых может длиться, в зависимости от размеров модели, от нескольких часов до нескольких суток, в том числе на серверах класса: процессор Intel Xeon 4 ядра 3ГГц, ОЗУ 8 Гб.
Часто в схеме расчета возникает несколько ветвей или так называемых вариантов, требующих многократных расчетов с целью настройки. Возникает проблема ускорения расчетов, поскольку повышение производительности компьютера в 2 раза может дать уменьшение сроков готовности модели и полученных на ее основе результатов расчетов также в 1,5-2 раза. Наличие суперкомпьютера позволяет значительно (в десятки раз) ускорить процесс расчета, в зависимости от производительности (количество Тфлопс) суперкомпьютера за счет параллельных вычислений. Существуют весьма большие модели месторождений, которые без суперкомпьютера вообще невозможно рассчитать. Необходимость создания таких моделей продиктована наличием крупных месторождений с большим количеством одновременно разрабатываемых продуктивных пластов или месторождений со сложным геологическим строением, когда необходимо строить детальную модель с малым размером ячеек. Поэтому проектировщики прибегают к апскейлингу, т.е. загрублению данных, иногда с существенным понижением точности расчетов [2]. Роль высокопроизводительных вычислений на основе детальных 3D цифровых моделей в нефтегазовом секторе растет с каждым годом, поскольку средние показатели выработки месторождений снижаются, а требования к эффективности их использования становятся все более жесткими из-за вовлечения в разработку всё более трудно извлекаемых запасов.
Актуальность
В России создание моделей нефтегазовых месторождений выполняется в основном с помощью программного обеспечения - симуляторов зарубежных производителей, таких как Sclumberger, Roxar и др. [1]. Многие из них в последние годы ориентированы на развитие высокопроизводительных параллельных вычислений в связи с появлением суперкомпьютеров, кластеров и просто многопроцессорных серверных систем. Например, программное обеспечение Eclipse Parallel (Schlumberger) может использоваться для параллельных расчетов на суперкомпьютере. Оно использует свою оригинальную методику распараллеливания процессов расчета больших месторождений. Ее эффективность оценена различными опытами и практическими работами. Самое главное препятствие в повсеместном внедрении этой технологии - очень высокая, даже для крупных проектирующих организаций стоимость лицензий. Налицо потребность и рынок алгоритмов и методик для распараллеливания расчетов, особенно на фоне увеличения количества суперкомпьютеров при научных исследовательских центрах, готовых оказывать услуги по расчету моделей.
Проблематика
В Институте кибернетики Томского политехнического университета (ИК ТПУ) в указанном выше направлении проводятся исследования. За исходную конфигурацию принимаются последовательная версия симулятора Eclipse, вычислительный кластер Института кибернетики Томского политехнического университета и управляющая программа для одновременного запуска ряда потоков Eclipse на нескольких процессорах. Каждый поток рассчитывает некоторую часть всего месторождения, называемую сектором. Технология деления на секторы описана в [3], она основана на декомпозиции исходной модели на несколько секторных моделей и на раздельном решении задач моделирования в каждой из них. Целостность исходной полной модели обеспечивается сопряжением потоков флюидов, полей давлений и насыщенностей на границах смежных секторных моделей. Это сопряжение необходимо выполнять итерационно и повторять на каждом временном шаге моделирования. Для поддержки технологии создается специальное прикладное програм-мное обеспечение (ПО), способное использовать гидродинамический симулятор как подпрограмму. Роль ПО заключается в независимом расчете одновременно нескольких моделей с различающимися параметрами и/или нескольких секторов, которые затем «сшиваются» (соединении секторов модели в единую 3D геолого-гидродинамическую модель). Алгоритм разделения на секторы и последующего сшивания описан в [3]. Следующая, решаемая ПО задача состоит в повышении эффективности параллельного рачета за счет оптимального разделения месторождения на секторы. Оптимальность заключается в обеспечении непрерывной работы всех ядер суперкомпьютера при максимальной их загрузке.
Алгоритм запуска параллельных расчетов
Распараллеливание расчета обеспечивается двумя способами одновременно. Это использование параллельного симулятора и разделение (препроцессинг) модели месторождения на секторы с последующим параллельным расчетом этих секторов. Если используется последовательный симулятор, то распараллеливание ограничивается секторным разделением.
Состав программного обеспечения для распараллеливания расчетов показан на рис. 1 и состоит из блоков:
- управляющий код C++;
- параллельный код C++ с библиотекой MPICH2;
- симулятор Eclipse Parallel с библиотекой MPI/Pro;
- анализатор загрузки суперкомпьютера C++;
- хранилище данных.
Управляющий код C++ отвечает за запуск всех остальных блоков, в том числе исполнителя параллельного кода - оптимизатора модели с пост- и препроцессорами, анализатора журнала, обмена граничными условиями, анализатора загрузки суперкомпьютера, а также имеет пользовательский интерфейс. Оптимизатор модели разделяет модель на секторы (их число - ns), затем объединяет в целую модель. Разделение осуществляется в шахматном порядке так, чтобы расчет одного сектора не зависел от расчета другого, т.е. не имел граничных условий. Моделирование сектора зависит от результатов моделирования соседних секторов, поэтому происходит обмен граничными условиями по мере готовности результатов расчета смежных секторов. Каждый сектор имеет свой собственный каталог для хранения исходных, расчетных и граничных данных.
Исполнитель параллельного кода осуществляет запуск расчета секторов, т.е. отдельных потоков Eclipse Parallel. Симулятор Eclipse Parallel использует для запуска параллельного режима стандартную библиотеку MPI/Pro. Число параллельных потоков Eclipse задается параметром np и может быть равным от 1 (последовательный расчет) до того числа процессоров, на которое рассчитана лицензия или возможности версии симулятора. Данный программный код не подлежит редактированию, поскольку является лицензионным продуктом, поэтому возможно управление параметрами, такими как np, а также создается каталог, где находятся исходные и расчетные данные. Запуском симулятора с параметрами управляет «параллельный код C++», который осуществляет запуск симуля-тора с заданными входными параметрами.
После достижения заданной точности расчета осуществляется слияние секторов в целую модель (постпроцессинг).
Анализатор загрузки осуществляет непрерывный мониторинг утилизации аппаратных ресурсов суперкомпьютера (загрузка процессоров, ОЗУ, жесткого диска и др.) и записывает измерения в журнал. Этот и другие журналы (журнал Eclipse, журнал всех кодов C++) обрабатываются анализатором журналов и по результатам такого анализа генери-
руются управляющие сообщения. На эти сообщения пользователь может прореагировать и вмешаться в процесс расчета, например, проведя дополнительное разделение сектора, или остановить поток с неудовлетворительными параметрами расчета.
Рис. 1. Архитектура программного обеспечения
1 — на основе анализа управляющий код может заново оптимизировать секторную модель для улучшения загрузки суперкомпьютера. Например, разделить сектор 6 на 2 отдельных сектора или изменить размеры секторов.
2 — запускает библиотеку MPICH2 с параллельным кодом C++ в качестве параметра; обмен граничными условиями между секторами; сборка секторов; оптимизация секторной модели; анализ журналов; статистический анализ; визуализация статистики и утилизации аппаратного обеспечения; пользовательский интерфейс.
3 — пре- и постпроцессинг модели; дополнительное разделение на секторы; выполнение подпрограмм для граничных условий.
4 — выполняет параллельный код C++.
5 — ns/2 отдельных потоков параллельного кода C++.
6 — анализ информации журналов Eclipse, суперкомпьютера и исполняемого кода C++; генерация управляющих сообщений.
7 — код C++, запускающий Eclipse Parallel с помощью библиотеки MPI/Pro.
8 — np потоков Eclipse Parallel.
9 — np * ns/2 общее количество потоков.
10 - обмен данными между секторами, между которыми существуют граничные условия.
11 - неуправляемое программное обеспечение.
12 - ns Folders.
Заключение
В статье представлены подходы к 3D геолого-гидродинамическому моделированию на высокопроизводительной вычислительной технике, поддерживающей параллельные вычисления. Описана технология проведения таких расчетов и предложен алгоритм распараллеливания вычислений, в том числе за счет создания секторных моделей.
Литература
1. Захарова А.А. Оптимизация технологии моделирования нефтегазовых месторождений на основе цифровых 3Д геологических и гидродинамических моделей / А.А. Захарова, В.З. Ямпольский // Проблемы информатики. - 2009. - № 2. - С. 38-42.
2. Захарова А.А. Минимизация размерности трехмерных моделей нефтегазовых месторождений // Известия ТПУ. - 2006. - Т. 309, № 7. - С. 57-59.
3. Принцип итерационного сопряжения секторных моделей для полномасштабного моделирования больших и гигантских пластовых систем / С.В. Костюченко, А.С. Бор-дзиловский, И.С. Игнатов, Е.И. Шапиева // Нефтяное хозяйство. - 2009. - № 8. -С. 42-46.
Володин Евгений Михайлович
Аспирант каф. оптимизации систем управления Института кибернетики НИТПУ
Тел.: (382-2) 42-05-40
Эл. почта: evgeny.volodin@gmail.com,
Захарова Алена Александровна
Зав. лабораторией моделирования месторождений нефти и газа Института кибернетики НИТПУ Тел.: (382-2) 42-06-98 Эл. почта: zaa@tpu.ru
Volodin E.M., Zakharova A. A.
The use of supercomputers for acceleration filtration process based on 3D geological and hydrody-namic models of oil and gas fields
The optimization problem of 3D modeling of oil and gas fields with the use of supercomputers is considered. The application of typical 3D-simulators is suggested,and a scheme of their using for fast calculations of large models without downscaling is presented.
Keywords: parallel computing, cluster computing, supercomputer, hydrodynamic modeling, geological modeling, 3D modeling, oil and gas giant fields.
