CC BY
22УДК 622.276.654:004.94:519.6
О ВЫЧИСЛИТЕЛЬНЫХ МЕТОДАХ И ТЕХНОЛОГИЯХ РЕШЕНИЯ ЗАДАЧ НЕФТЕГАЗОВОЙ
ОТРАСЛИ
В. П. Ильин
Институт вычислительной математики и математической геофизики СО РАН, ilin@sscc.ru
Новосибирский государственный университет
В статье рассматриваются фундаментальные и прикладные проблемы математического моделирования, требующие решения междисциплинарных прямых и обратных задач георазведки и нефтегазовой добычи на основе вычислительных методов и технологий нового поколения с масштабируемым распараллеливанием на суперкомпьютерах постпетафлопсного уровня. Исследуются универсальные методологические подходы к исследованию и оптимизации процессов электродинамики, акустики, сейсмики и фильтрационных многофазных течений, в том числе в условиях Севера, актуальных для углеводородных отраслей и природопользования. Описывается концепция создания интегрированного инструментального окружения для поддержки всех основных этапов крупномасштабного вычислительного эксперимента, включая геометрическое и функциональное моделирование, генерацию адаптивных сеток, аппроксимации высокого разрешения, реализацию ресурсоёмких алгебраических задач, постобработку и визуализацию результатов, методы оптимизации и идентификации параметров моделей, а также средства принятия решений. Излагаются принципы организации предлагаемого суперпроекта, включающего создание конкурентноспособного и импортозамещающего наукоёмкого программного обеспечения, ориентированного на тесную кооперацию групп разработчиков, специалистов из различных исследовательских направлений и представителей производственных отраслей.
Ключевые слова: задачи нефтегазовой отрасли, базовая система моделирования, технологические стадии компьютерного эксперимента, распараллеливание алгоритмов, архитектура и структура данных.
COMPUTATIONAL METHODS AND TECHNOLOGIES FOR SOLVING THE OIL&GAS
INDUSTRY PROBLEMS
V. P. Ilyin
Institute of Computational Mathematics and Mathematical Geophysics, SB RAS, ilin@sscc.ru Novosibirsk State University, Novosibirsk, Russia
We consider the fundamental and applied problems of mathematical modeling which require the solution of multi-disciplinary direct and inverse tasks of the geoprospects and oil&gas industry, on the base of new generation computational methods and technologies which provide scalable parallelism on the supercomputers of the post-petaflops level. The universal methodological approaches to research and optimization of the processes in electrodynamics, acoustics, seismics and filtration of multi-phase flows, including those under Arctic condition, are investigated. We describe the concept of an integrated tool envirenment to support all main stages of large scale numerical experiments, including geometrical and functional modelling, adaptive meshing, high resolution approximations, implementation of resourse-intensive algebraic tasks, post-processing and visualization of the numerical results, methods of optimization and identification of the model parameters, and decision making support tools. Principles of managing the discussed superproject are considered in terms developer teams, multidiscipline experts, and industry experts collaboration.
Keywords: problems of oil&gas industry, basic modeling system, simulation stages, paralleling, architecture and data structure.
Введение
Многообразные научно-технические проблемы нефтегазовой отрасли составляют широкий спектр задач математического моделирования процессов различной природы. В первую очередь здесь можно перечислить разные способы георазведки: электромагнитной, сейсмической, акустической, магнито-теллурического зондирования и т. д. Чрезвычайно актуальны вопросы оптимизации технологий безопасного бурения скважин. И наконец, главный предмет исследований — это производственные
процессы добычи углеводородов, в том числе при использовании механических и/или термохимических воздействий, основанных на фильтрационных течениях многофазных газожидкостных сред в пористо-трещинноватых породах. Например, типичной технологией является вытеснение нефти из добывающих скважин водой, которая подаётся под давлением в нагнетающие скважины. Здесь нельзя не отметить важную специфику рассматриваемых проблем для подводного шельфа или условий Крайнего Севера с явлениями вечной мерзлоты. В дополнение можно назвать вопросы трубопроводного транспорта, а также управления сложными организационными сетями, финансами, базами данных и прочим социальным менеджментом, без которых не обходится ни одна крупная отрасль.
Принципиальным моментом в данном случае является междисциплинарность охватываемых исследований, поскольку они затрагивают математические постановки, описываемые дифференциальными и/или интегральными уравнениями Максвелла для электромагнитных полей, системами Ламэ — для напряжённо-деформированных состояний, Навье—Стокса — для гидрогазодинамических течений, Дарси — для процессов многофазной фильтрации в пористых средах и т. п.
Другой кардинальный фактор рассматриваемой предметной области заключается в необходимости решать главным образом не прямые, а обратные задачи, которые практически всегда оказываются конечной целью исследований. В нефтегазовой сфере это означает или идентификацию геофизических характеристик моделируемых сред, или оптимизацию параметров проектируемых производственных процессов.
Текущий исторический период с точки зрения изучаемых в работе проблем имеет два ключевых момента. Первый (на первый взгляд может показаться неожиданным) — это бурное развитие математики — теоретической, прикладной и вычислительной, что не только привело уже к созданию нового поколения моделей и алгоритмов, позволяющих моделировать с высоким разрешением реальные процессы и явления, но и открывает новые когнитивные перспективы, в силу своей непрерывной эволюции. Второй момент заключается в уже ставшем «привычным» экспоненциальном росте компьютерных мощностей по закону Мура (коэффициент 1 000 за 11 лет), благодаря чему математическое моделирование не только становится основным орудием познания, наряду с теоретическими и натурными исследованиями, но и превращается в значимую производственную силу в эпоху реиндустриали-зации и смены экономического уклада передовых стран. Необходимо понимать, что данная тенденция, с одной стороны, является неотвратимой, а с другой — приводит к появлению новых массовых профессий и значительным социальным последствиям.
Однако в данном революционном научно-техническом прогрессе имеется одно слабое звено, особенно болезненно ощущаемое в российской действительности, — это катастрофически низкий рост производства прикладных программных продуктов, в сравнении с темпами увеличения ресурсов вычислительного оборудования (hardware). Как отмечается в «дорожной карте» международного проекта IESP (International Exascale Software Project [1]), грядущее в начале 20-х годов появление «экзафлопс-ных» суперкомпьютеров с числом ядер до миллиарда ставит перед вычислительным сообществом беспрецедентную по своей грандиозности проблему создания программного обеспечения (software) нового поколения, которую можно решить только на принципах открытости (Open Source) и широчайшей кооперации, в том числе международной.
Преодоление фактически сложившегося мирового кризиса программирования возможно только при смене парадигмы коммерческих или общедоступных продуктов типа проблемно-ориентированных пакетов прикладных программ (далее — ППП) ANSYS [2], ECLIPSE [3], FEniCS [4], NGSolve [5] для решения конкретных классов задач и переходе к интегрированным вычислительным окружениям, основанным на общеупотребительных методах и технологиях, примерами которых могут служить прикладные системы Open Foam [6] и DUNE (Distributed and Unified Numerical Envirenment [7]), объединяющие большое количество групп разработчиков и пользователей. Развитием этих проектов, как отмечается в работах [8, 9], представляется создание базовой системы моделирования (далее — БСМ), поддерживающей все основные технологические стадии крупномасштабного вычислительного эксперимента, на базе ядра которой могут оперативно формироваться ППП для конкретных предметных областей и конечных пользователей. Фактически речь идёт об автоматизации построения моделей и алгоритмов, а также об их отображении на архитектуру и адаптации к эволюции многопроцессорных вычислительных систем (далее — МВС), что предъявляет качественно новые требования к интеллектуальности приложений. Как образно говорится в [10], речь идёт о переходе от «палеоинформатики»
к «неоинформатике».
В идеале напрашивается доведение прикладных вычислительно-информационных инструмен-тариев до технологического уровня компонент системного программного обеспечения типа компиляторов или операционных систем.
Целью данной работы является описание концепции, структуры и некоторых имеющихся заделов БСМ, в применении к проблемам моделирования процессов в нефтегазовой отрасли. Статья построена следующим образом. Во втором пункте представлены основные математические модели рассматриваемых отраслевых задач. Следующий раздел посвящён анализу технологических стадий крупномасштабного вычислительного эксперимента в контексте конкретной предметной области. В последней части излагается архитектура и технические требования БСМ.
Математические модели рассматриваемых задач
Среди богатого разнообразия постановок прикладных математических задач в нефтегазовой отрасли мы остановимся на трёх характерных проблемах, первые две из которых связаны с электромагнитной и сейсмической разведкой, а последняя относится к многофазной фильтрации (вода, нефть, газ) в пористых средах с контрастными геофизическими свойствами. Кроме того, мы приведём энталь-пийную постановку уравнения теплопроводности, поскольку распределение температуры необходимо учитывать во многих практических задачах моделирования.
И наконец, в заключение данного пункта даётся формальное представление обратной задачи в оптимизационной трактовке, которую можно рассматривать как обобщение любого типа прямой задачи.
Технологии электромагнитной разведки существуют разнообразные: воздушная, наземная, око-лоскважинный каротаж, а отличаются они расположением источников поля: над землёй, на поверхности или под землёй. Суть разведки заключается в натурных измерениях каких-то характеристик полей и их сопоставлении с результатами моделирования этих же полей на основе математических моделей с заложенными в них априори геофизическими параметрами изучаемых сред. Эти параметры оптимизируются путём минимизации целевого функционала, представляющего собой разность полученных натурных и расчётных данных в какой-нибудь норме, при некоторых задаваемых линейных или нелинейных ограничениях [11].
Решаемые на каждом шаге этого процесса прямые задачи описываются в общем случае системой уравнений Максвелла:
rot H (r,t) = ?D^+J(ry),
rot E(r,t) = - Щй, (1)
div D(r,t) = p(r,t), div B(r,t) = 0.
Здесь E и H — векторы напряжённости электрического и магнитного полей, D и B — векторы электрической и магнитной индукции, J и р — плотность электрического тока и электрического заряда, r — радиус-вектор точки наблюдения, в которой определяется поле, t — время.
К этой системе добавляются материальные уравнения — соотношения, связывающие напряжённости полей, индукции и плотность тока в среде (далее независимые переменные r и t для краткости опускаем):
D = eE + ,
B = £E + ц H, (2)
J = a E.
Здесь последнее уравнение выражает закон Ома для среды с электропроводностью , величины и обозначают диэлектрическую и магнитную проницаемости, а и — кросс-проницаемости соответственно. Все эти коэффициенты в (2) в общем случае являются тензорами второго ранга. Если все параметры среды скалярны, ее называют изотропной, а в противном случае — анизотропной. Величины проницаемостей обычно представляют в виде произведений = 0 r , = 0 r , где 0 и
Но — электрическая и магнитная постоянные вакуума, а ег и цг — соответствующие относительные проницаемости среды.
Система уравнений (1) содержит в качестве независимой переменной время. Как говорят, она определена во временной области и справедлива для полей, зависящих от t по произвольному закону.
Однако в электромагнитной георазведке часто используются поля, изменяющиеся во времени по гармоническому закону:
a(r,t) = Re(a eiu)t), a = , (3)
где i есть мнимая единица, w — частота изменения поля, а сро и а — фаза и комплексная амплитуда величины а. Записав все составляющие электромагнитного поля в виде (3) и подставив их в уравнения системы (1), после несложных преобразований получим уравнения Максвелла в следующей комплексной форме:
rot H = ше E + J,
rot E = — ш е H,
е (4)
div (еЕ) = е, div (е H) = 0.
Здесь е = еег = £о(е'r — ie'f) и е = г = Цо(ё'г ~ Ч1'') — комплексные диэлектрическая и магнитная проницаемости среды, а точками над буквами отмечены комплексные амплитуды величин в соответствии с их определением в (3). Система (4) содержит как параметр и определяет постановку задачи электромагнетизма в частотной области.
Если ввести векторный и скалярный потенциалы A, (р
8Л
Е = - H = ¡-^1 rot A, (5)
связанные между собой калибровкой Лоренца
div A + еЛ=о, (6)
t
то исходная постановка сводится к векторному и скалярному волновым уравнениям:
d2A
V2A -ем^г = ~¡jJ,
(7)
^ -1 Ар-ец-^ Р •
В частотной области уравнения для потенциалов приобретают следующий вид:
Е = — шА — Ч
Н = а^гоХ А,
(8)
У2А + к2 А = - рУ,
Аср + к2^ = р,
где к = ьо^/Щ! = к^егцг — волновое число для данной среды, а ко = ш/о есть волновое число в свободном пространстве, или вакууме (о — это скорость света).
Два последних соотношения в (8) представляют собой векторное и скалярное уравнения Гельм-гольца, в которых общее число неизвестных функций сокращено до четырёх (три проекции вектора А и скаляр ).
Во всех рассмотренных постановках для искомых функций ставится соответствующие граничные условия, на которых мы ради краткости не останавливаемся.
Сейсмическая георазведка основывается на механическом возбуждении геологических сред, при котором формируемые поля описываются уравнениями упруго-пластичности, [12].
В общем случае, включающем трёхмерный, уравнения упругости (в терминах смещений) могут быть записаны в операторной форме
-Шуд(й) = /, (9)
где д(и) есть тензор напряжений, определяемый по закону Гука для изотропного тела следующей формулой:
д(и) = 2р1(и) + и(ё(й))1 (10)
Здесь, в свою очередь, д(и) = {е^]( и)} — симметричный тензор деформаций с компонентами
, . 1/9 Щ д и
(и) = г( а] + • (11)
д = {61]} есть единичный тензор (¿¡у - символ Кронекера), а 1г(е) = ^^£¡,1 - след матрицы. Отметим
I
также, что дивергенция тензора - это вектор с компонентами
= Е ^ • (12)
Для рассматриваемой постановки типичные краевые условия заключаются в задании вектора смещений на некотором участке границы Г1: и|г1 = ё, а также в задании нормальных компонент напряжений (д(Щ)о)|г2 = ^ на другом участке Г2-
Отметим, что в ряде упрощённых постановок задачи сейсмической георазведки сводятся к решению волновых уравнений, а сами геофизические технологии при этом называются акустической разведкой.
Перейдём далее к уравнениям Дарси, описывающим течения в пористых средах. Мы приведём в достаточно общей форме трёхмерные уравнения многофазной изотермической (при постоянной температуре) модели фильтрации вязкой сжимаемой газожидкостной смеси в анизотропной пористой среде (ниже используются декартовые системы координат х,у,г). Более конкретно, мы описываем постановку для трёхфазной среды, актуальной при изучении процессов нефтедобычи, где п/ = 3, а I = 1, 2, 3 соответствуют воде, нефти и газу. В данной модели «чёрной (нелетучей) нефти» предполагается, что вода и нефть не смешиваются между собой, а газ растворяется в воде и нефти [13]:
д , ,. . ^т—с,/,
(¥>N) = (А&- 7/ДО)) + Чс,
С = 1, • • • ,Па; Р2- Р3= Ра,2,3, Р2 ~ Р1 = Ра,2,1, (13)
51+ 52 + 53 = 1, N1= I1, N2 = ^, N3 = #3,212,
где п/ и пС — количество фаз и число компонентов в смеси, р/ = р/(¡,х,у,г) — давление в /-й фазе, В/ = В/(р/) — коэффициент объёмного расширения фазы /, N = ) — вектор молярных плот-
ностей, г]С,/ = г]С,/(р1,...,рщ N) — молярная доля с-го компонента в /-й фазе, £/ = !;(р/, N — молярная плотность фазы /, — = — (р 1п/) — тензор абсолютной проницаемости, /// = р/ (р/) — вязкость фазы /, 5/ = 5/(¡,х,у,г) — насыщенность /-й фазы, цс = цс(р1,...,рп/,N, 1,х,у,г) — источник компоненты с, (р = <р(р1,...,рп,х,у,г) — пористость среды, #3,2 = #3,2(р2) — растворимость газа в нефтяной фазе, —с,/ = —с,/(51,53) — относительная проницаемость фазы /,7/ = р/ё — вертикальный градиент гидростатического давления в фазе /, ё — гравитационная постоянная, О = О(х,у,г) — вектор глубины (сверху вниз), р/ = р/(р/) — массовая плотность фазы /, Рс,2,3 = Рс,2,3(53) — капиллярное давление в системе нефть-газ, Рс,2,1 = Рс,2,1 (51) — капиллярное давление в системе вода-нефть.
В системе (13) неизвестными являются функции Nc, 5/ и р/, а в самом распространённом случае количество компонент пс равно трём. Для рассматриваемой проблемы задаются начальные значения искомого решения, а на внешней границе моделируемого резервуара ставятся граничные условия постоянного давления (условия Дирихле) или заданного потока (условия Неймана).
Как видно, описанная модель представляет нетривиальную математическую проблему, отягчаемую, как правило, сложной геометрией расчётной области (реальный пример — куст криволинейных
скважин в сложной геологической структуре), с сильной разномасштабностью и контрастными свойствами материальных сред, которые на практике известны очень приближённо и по-хорошему требуют ещё решения обратной задачи по идентификации параметров модели на основе сравнения расчётных данных с геофизическими измерениями.
Для всех рассмотренных выше задач в реальных геофизических условиях решение исходных уравнений требуется проводить с учётом зависимости всех коэффициентов от температуры среды, являющейся переменной во времени и пространстве. Данный вопрос чрезвычайно актуален, например, при эксплуатации газовых и/или нефтяных скважин в районах Крайнего Севера с многолетней криолитовой зоной, в которой циклически проходят процессы промерзания и растепления слоисто-неоднородных массивов пород.
Распределение температуры с фазовыми переходами определяется из уравнения теплопроводности, которое в современной энтальпийной постановке имеет следующий вид [14]:
Н
— = Шу(к Т)+ {, (14)
где Т — температура, { — функция источника тепла, к — коэффициент теплопроводности, который в анизотропных средах представляется тензором, а Н — объёмная энтальпия, определяемая формулой
Т
Н (Т ) = У о(Т )йТ + вЬ. (15)
То
Здесь о(Т) есть объёмная теплоёмкость, Ь — объёмная теплота фазового перехода, То — произвольно выбранное значение температуры, а Т{ — температура фазового перехода. При этом в "жидкой" фазе (талый грунт, Т > Т{) мы имеем в = 1, о = 0[, к = к1 ,ав твёрдой (мерзлота, Т < Т{) в = 0, о = о5, к = к5. По известной энтальпии температура находится следующим образом:
Н<Н2; Т = НоН2 + Т,
Т = ^ Н2 < Н < Н : Т + Т{/ (16)
Н > Н1 : Т = Нот + Т{.
В данной модели фактически энтальпийный интервал Н € [Н1, Н2] определяет переходную двухфазную зону. Отметим, что в «классической» температурной постановке, называемой задачей Стефана, в которой левый член уравнения теплопроводности заменяется на оЩ-, на границе раздела фаз, являющейся изотермой Т = Т{, справедливо уравнение баланса энергии (условие Стефана):
к(дТ/дпЪ- к[(дТ/ди)1 =р\Уп, (17)
где А — удельная теплота плавления, р — плотность среды в твёрдой фазе, ип — нормальная к поверхности раздела фаз составляющая скорости движения данной поверхности, а нормаль п выбирается внешней по отношению к твёрдой фазе.
Приведённые примеры постановок далеко не исчерпывают перечень актуальных и сложных задач нефтегазовой отрасли. Например, одна из малоисследованных математических проблем связана с перспективной технологией гидроразрыва пласта [15].
Рассмотренные выше модели относятся к постановкам прямых задач, которые при решении обратных задач методами оптимизации формально представляются как параметризованное операторное уравнение состояния, описываемые начально-краевыми задачами вида:
Ьи(р) = Т(Ы), х е й, 0 < ¡<Т < ос,
(18)
1и = §(х,£), х е Г, и(х,0) = и0(х).
Здесь р = {рк} — т-мерный вектор искомых параметров задачи, Ь является, например, дифференциальным оператором:
Ь = А^- + Д£Д + СД + й, (19)
о1
с матричными коэффициентами А, В, С, О, а / — некоторый оператор граничных условий, включающий в общем случае краевые условия 1-го и/или 2-го и 3-го рода
на участках границы Г о и Г N соответственно.
Оптимизационные методы основываются на минимизации определяемого в описании обратной задачи целевого функционала [11].
Технологические стадии математического моделирования
Новое — это хорошо забытое старое, и история развития методологии моделирования ещё раз подтверждает данную истину. Уже 30-40 лет назад в научных школах Г. И. Марчука, А. А. Самарского и Н. Н. Яненко активно обсуждались технологическая цепочка и другие вопросы построения ППП, которые для рассматриваемой нами предметной области коротко могут быть изложены следующими пунктами.
1. Геометрическое и функциональное моделирование обеспечивает описание объектов и операций над ними, характеризующих конфигурацию и материальные свойства расчётной области, а также типы решаемых в них дифференциальных и/или интегральных уравнений с конкретизацией начально-краевых условий и представления участвующих в них коэффициентов. Для обратных задач соответственно задаются целевой функционал и налагаемые ограничения на искомое решение. В нефтегазовых задачах исходная информация включает геометрию и реологию геологических структур, вместе с размещаемыми в них техническими устройствами. В содержательном плане результатом данной стадии является построение математической модели задачи, а на технологическом уровне — формирование геометрической и функциональной структур данных (ГСД и ФСД), полностью отражающих исходные данные компьютерного эксперимента. Из «отягчающих» особенностей данного класса задач можно отметить их зачастую очень сильную разномасштабность (multi-scale) в двух смыслах. Например, исследуемый нефтяной полигон может иметь протяжённость в километры, а размеры скважины или размещаемых в них приборов — порядка сантиметров. Также на несколько порядков могут отличаться коэффициенты уравнений, определяющих проницаемость или другие параметры контрастных сред. Необходимо отметить, что вопросы работы с геометрическими объектами глубоко проработаны в многочисленных коммерческих и открытых САПРовских системах (CAD, CAE, CAM, PLM [16, 17]). Геометрические аспекты математического моделирования и особенности взаимодействия БСМ с САПР описаны в [18]. Соответствующую компоненту БСМ будем условно называть СГФМ — система геометрического и функционального моделирования.
2. Дискретизация задачи и построение сетки. Данный этап в определённом смысле является ключевым при решении задачи моделирования, которая изначально является непрерывной. Конструирование дискретной конечно-мерной модели должно удовлетворять определённым требованиям качества сетки, в первую очередь адаптивности к особенностям геометрии границ и к функциональным свойствам решения. Отметим, что современные численные методы требуют достаточно высокого уровня интеллектуальности сеточных генераторов, с возможностями автоматизированных локальных сгущений, декомпозиции сеточных областей и применения многосеточных подходов. Существует достаточно много теоретических подходов к построению «хороших» сеток, но реально наиболее распространены полуэврестические алгоритмы, поскольку сама проблема определения оптимальной дискретизации по настоящему не формализована. Итогом данной технологической стадии является создание сеточной структуры данных (далее — ССД), которая в совокупности с ГСД и ФСД полностью отображает свойства решаемой задачи на конечно-мерном уровне. Следует заметить, что в мире существует достаточно большое количество сеточных генераторов, как коммерческих, так и общедоступных (например, ППП GMESH [19] и подсистемы построения сеток в составе NGSolve [5] или DUNE [7]). Вопросы
u = gD, X£TD; DNu + ANAnU = gN, x&TN
(20)
§o(u(x,t,popt)) = min #o(u(x,i,p)),
(21)
при заданных линейных или нелинейных ограничениях на параметры задачи:
(22)
построения интегрированной библиотеки алгоритмов DELAUNAY по конструированию адаптивных дискретизаций в составе БСМ рассмотрены в [20].
3. Аппроксимация исходных уравнений является завершающей стадией построения сеточной вычислительной модели, заключающейся в построении системы линейных или нелинейных алгебраических уравнений (СЛАУ или СНАУ), представляемой с помощью алгебраической структуры данных (далее — АСД). Данный этап является наиболее наукоёмким и разнообразным, поскольку основывается на развитых теориях методов конечных разностей, конечных объёмов, конечных элементов (МКР, МКО, МКЭ) различных порядков точности или других подходов. Основные требования к таким алгоритмам — это обеспечение высокого разрешения получаемых численных приближений и их устойчивость, гарантирующие в совокупности адекватность результатов моделирования. Особое внимание необходимо обращать на задачи с сингулярностями решения, которые необходимо выявлять и специальным образом учитывать. В геофизических приложениях типичными являются, например, ситуации с наличием точечного (или очень малого размера) источника поля, в окрестности которого аналитические производные решения асимптотически стремятся к бесконечности. Другое непрерывное условие — это выполнение дискретных аналогов законов сохранения, без которых в расчётных данных могут доминировать чисто вычислительные артефакты. Отметим ещё типичную особенность краевых геофизических задач: расчётная область реально является бесконечной, а при численном решении дифференциальных уравнений классические алгоритмы требуют постановки граничных условий на конечном расстоянии, что или привносит дополнительную значительную погрешность или «удорожает» процесс моделирования.
Данный расчётный этап очень эффективно реализуется с помощью естественным образом па-раллелезуемой поэлементной технологии [21], основанной на вычислении локальных матриц и сборки глобальной матрицы. Удачное решение этой достаточно трудоёмкой задачи осуществлено в [4] на основе автоматизации построения громоздких аналитических формул для МКЭ высоких порядков. Концепция создания интегрированной подсистемы CHEBYSHEV для программного обеспечения данной стадии рассмотрена в работе [22].
4. Решение алгебраических задач является «узким горлышком» общего вычислительного процесса, поскольку здесь число арифметических операций растёт нелинейно с увеличением матричных порядков, которые могут достигать величин 108 — 1010. Для геофизических структур с резко контрастными свойствами решаемые СЛАУ являются очень плохо обусловленными, что требует использования современных быстрых предобусловленных методов в подпространствах Крылова. Надо сказать, что методы вычислительной алгебры являются, по-видимому, наиболее продвинутой в технологическом плане математической областью. Здесь разработаны быстрые параллельные алгоритмы на основе декомпозиции областей и многосеточных подходов, которые реализованы в различных общедоступных библиотеках программ типа PETSc, HYPRE и др., обзор по которым имеется в работе [23], где рассматривается задача создания в рамках БСМ интегрированного программного окружения (в виде библиотеки программ KRYLOV) именно для данной актуальной во многих приложениях области. В этом профессиональном сообществе накоплен большой интеллектуальный потенциал в сфере вычислительно-информационных технологий: эффективные программные инструментарии (Sparse Blas и др.), согласованные матричные форматы типа CSR (Compessed Sparse Row) и гибридные методологии распараллеливания (MPI, OpenMP), на МВС с распределённой и иерархической общей памятью.
5. Методы оптимизации для решения обратных задач основываются на последовательном решении большого числа прямых задач, к которым относятся все предыдущие технологические стадии. При этом происходит условная минимизация целевого функционала по параметрам, от которых зависят исходные данные. Следует отметить, что за последние десятилетия методы оптимизации получили значительное развитие. Широкое и эффективное применение находят алгоритмы внутренних точек, последовательного квадратичного программирования, доверительных интервалов и т. д. Обзор некоторых современных подходов для данного класса алгоритмов приведён в [11].
6. Постпроцессинг и обработка результатов. Результаты алгебраических расчётов лишены какого-либо физического смысла и наглядности, не в последнюю очередь в силу их больших объёмов. Например, МКЭ позволяет получить коэффициенты разложения искомых решений по использованным базисным функциям в ячейках сетки, тогда как пользователю требуется компактное и наглядное изображение многомерных векторных полей. Поэтому ППО должно иметь развитый набор инструмен-
тов для формирования таких типичных представлений, как изоповерхности, силовые линии, сечения, всевозможные графики и т. д. Это первое требование. Второе связано с тем, что всего заранее предусмотреть нельзя, и в интеллектуальной системе моделирования должны содержаться средства автоматизации программирования различных возможных характеристик итоговых данных. И наконец, третий фактор — возможное разнообразие профессий конечных пользователей, желающих получать комфортное представление итогов использования компьютера, что и определяет его производственный эффект.
7. Управление вычислительным процессом и средства принятия решения. Важно подчеркнуть, что даже при наличии идеального прикладного программного обеспечения компьютерное моделирование сложных процессов или явлений - многогранная творческая деятельность. Так, для систематического изучения каких-то приложений сначала надо убедиться, что применяемые модели и методы соответствуют техническим требованиям, для чего предварительно проводятся пробные расчёты с анализом адекватности получаемых данных. Затем настаёт очередь самих исследований, которые могут представлять собой крупномасштабный машинный эксперимент, который должен предваряться процедурами планирования и подбора методики. Последнее недостижимо без обеспечения гибких возможностей составления расчётных схем, что предполагает создание соответствующих языков (декларативного или императивного типов) для управления вычислительными процессами. Наконец, поскольку моделирование является не самоцелью, а орудием познавательной или производственной деятельности, то для принятия решения по результатам расчётов в состав ППО должны быть заложены или какие-то когнитивные принципы, или средства подключения к САПРовским инфраструктурам, или технологии поддержки и оптимизации эксплуатационных режимов конкретных процессов. Однако эти вопросы уже выходят за рамки самого математического моделирования.
Принципы построения интегрированного программного окружения для нефтегазовой отрасли
Концепция построения базовой системы моделирования является не проблемно-ориентированной, а методо-ориентированной, в том смысле, что ее архитектурные решения строятся не на основе типов решаемых задач, а на формировании классов используемых вычислительных методов и технологий. Например, подсистема генерации сеток формируется изначально универсальной и не зависящей от того, будет ли она применяться для решения уравнений Максвелла или Навье—Стокса. Аналогия к такому подходу давно заложена в системном программировании, где, например, компилятор исходно создаётся проблемно-независимым. Соответственно, ядро БСМ можно рассматривать как совокупность инструментальных средств, или фабрику, для оперативных разработок ППП в конкретных областях. В определённом смысле такой подход является переходом от кустарного к индустриальному способу прикладного программирования, призванного на качественное повышение производительности труда разработчиков.
Принципы создания и архитектура БСМ [24] основывается на следующих основных положениях:
1. Комплексная поддержка всех основных технологических стадий моделирования, в соответствии с чем ядро БСМ составляется из достаточно автономных подсистем, каждая из которых разрабатывается и функционирует независимо, взаимодействуя с другими подсистемами через согласованные структуры данных и реализуя таким образом постулат классика информатики Никлауса Вирта: «Программа = алгоритмы + структура данных». Схема функциональных и информационных компонент приведена на рисунке, где используются обозначения, введённые в предыдущем разделе статьи.
2. Расширяемость состава реализуемых и поддерживаемых моделей, алгоритмов и структур данных, что должно обеспечивать длительный жизненный цикл и адаптируемость БСМ к развитию вычислительно-информационных методов и технологий, а также к эволюции компьютерных платформ.
3. Обеспечение таких противоречивых категорий, как универсальность и эффективность, означающие в нашем случае широкий класс решаемых задач и применяемых алгоритмов, а также высокую производительность их программных реализаций. Данные качества поддерживаются модульным принципом разработок с возможностями многоверсионности решений и сборкой необходимых конфигураций для частных приложений со специальными требованиями.
4. Открытость системы с возможностями переиспользования внешних программных продуктов, а также широкой кооперацией различных разработчиков в развитии системного и функционального наполнения на согласованных принципах и технологиях.
Рис. 1. Структура функциональных и информационных компонент БСМ
Реализация проектируемого уровня математического и программного обеспечения предполагает неизбежно большие объёмы технических работ с многочисленными исполнителями, что приводит к необходимости решения системных проблем по организации взаимодействия различных фрагментов и этапов разработки. Соответствующие подходы активно используются в системном программировании и основаны они на компонентных технологиях (COM, Component Object Management [25]), обеспечивающих всевозможные производственные интерфейсы, а также многоязыковость и кросс-платформенность больших проектов.
По своей сути и объёму предполагаемых работ, БСМ — это проект не группы разработчиков, а широкого сообщества, в котором итоговый успех невозможен без активного взаимодействия математических экспертов, профессиональных программистов, конечных пользователей различного профиля, к которым в нефтегазовой отрасли относятся геофизики, проектировщики оборудования, инженеры-эксплуатационщики и т. д.
Заключение
В статье предложена концепция создания интегрированной системы вычислительно-информационных методов и технологий для решения широкого класса задач нефтегазовой отрасли. Проект рассматривается как комплексная инновационная проблема реализации развиваемого математического и программного обеспечения, адаптируемого к эволюции современных супер-ЭВМ, на основе активной кооперации групп разработчиков и пользователей, ориентированной на массовое внедрение высокопроизводительных импортозамещающих технологий нового поколения.
Работа поддержана грантом РФФИ № 16-29-15122.
ЛИТЕРАТУРА
1. IESP: International Exascale Software Project. URL: www.exascale.org/iesp.
2. ANSYS - Similation Driven Product Development. URL:www.ansys.com.
3. Schlumberger Software. URL: www.slb.com.
4. Software package FEniCS. URL: http://fenicsproject.org/.
5. Schoberl J. С++ 11. Implementation of Finite Elements in NGSolve : ASC Report no. 30. 2014. Institute for Analysis and Scientific Computing. Vienna University of Technology, 2014.
6. OpenFOAM — The Open Source Computional Fluid Dynamics (CFD) Toolbox. URL: www.openfoam.com.
7. DUNE Numerics. URL: www.dune-project.org.
8. Ильин В. П. Фундаментальные вопросы математического моделирования // Вестник Российской Академии Наук. Т. 86. № 4. 2016. С. 26-36.
9. Ильин В. П., Скопин И. Н. О производительности и интеллектуальности суперкомпьютерного моделирования // Программирование. № 1. 2016. С. 10-25.
10. Kleppe A. Software Language Engineering: Creating Domain Specific Language Using Metamodels. N.Y. : Addison Wesley, 2008.
11. Ильин В. П. О численном решении прямых и обратных задач электромагнитной электроразведки // Сибирский журнал вычислительной математики. Т. 6. 2003. С. 381-394.
12. Годунов С. К. Элементы механики сплошной среды. М. : Наука, 1978.
13. Бутнев О. И., Горев И. В., Колесников С. С., Кузнецов В. Ю., Пронин В. А., Сидоров М. Л., Яруллин А. Д. Полностью неявная схема решения задач трёхфазной фильтрации на неструктурированных сетках в пакете программ НИМФА // Вестн. кибернетики. № 3(19). 2015. C.56-72.
14. Бычин И. В., Гавриленко Т. В., Галкин В. А., Гореликов А. В., Ряховский А. В. Численное моделирование 3D задач теплопроводности с фазовыми переходами на вычислительных системах с распределённой памятью // Вестн. ЮУрГУ. Вычислительная математика и информатика. Т. 2. 2013. С. 84-93.
15. Акулич А. Н., Смирнов Н. Н., Тюренкова В. В., Лапко В. А., Галкин В. А. Математическое моделирование трещины гидроразрыва. Сургут : ИЦ СурГУ, 2016.
16. Ушаков Д. М. Введение в математические основы САПР. Новосибирск : Ледас, 2006.
17. Free CAD. URL: www.freecadweb.org.
18. Голубева Л. А., Ильин В. П., Козырев А. Н. О программных технологиях в геометрических аспектах математического моделирования // Вестн. НГУ. Информационные технологии. 2012. С. 25-33.
19. Software GMSH. URL: http://geuz.org/gmsh/.
20. Ильин В. П. DELAUNAY: технологическая среда генерации сеток // СибЖИМ. Т. 16. 2013. С. 83-97.
21. Ильин В. П. Методы и технологии конечных элементов. Новосибирск : изд-во ИВМиМГ СО РАН, 2007. 370 c.
22. Бутюгин Д. С., Ильин В. П. CHEBYSHEV: принципы автоматизации построения алгоритмов в интегрированной среде для сеточных аппроксимаций начально краевых задач // Труды Международной конференции ПАВТ 2014. Челябинск : изд-во ЮУрГУ. 2014. С. 42-50.
23. Бутюгин Д. С., Гурьева Я. Л., Ильин В. П. и др. Функциональность и технологии алгебраических решателей в библиотеке KRYLOV // Вестн. ЮУрГУ. Вычислительная математика и информатика. Т. 2. 2013. С. 92-105.
24. Ильин В. П. Фундаментальные вопросы математического моделирования // Вестник Российской Академии Наук. Т. 86. № 4. 2016. С. 26-36.
25. Maloney J. Distributed COM Application Development Using Visual C++. N.Y. : Prentice Hall, 1999.
