Реализация задачи фильтрации жидкости в пористой среде на реконфигурируемой вычислительной системе Текст научной статьи по специальности «Математика»

Вычислительные технологии

Том 21, № 3, 2016

Реализация задачи фильтрации жидкости в пористой среде на реконфигурируемой вычислительной системе

И. И. Левин, Ю.И. Доронченко*, А. Г. Коваленко

Научно-исследовательский центр супер-ЭВМ и нейрокомпьютеров, Таганрог, Россия *Контактный e-mail: doronchenko@mvs.superevm.ru

Рассмотрено решение задачи фильтрации жидкости в пористой среде на реконфигурируемой вычислительной системе. С этой целью проведены преобразования информационного графа задачи в структурно-процедурную форму, а также выполнена оптимизация структуры задачи для организации параллельных вычислений. Предложенная реализация задачи фильтрации позволяет эффективно масштабировать решение при увеличении доступного аппаратного ресурса РВС. Использование РВС сокращает время и повышает точность моделирования процессов, протекающих в недрах Земли, что актуально в нефтяной промышленности при геофизической разведке и исследовании скважин.

Ключевые слова: реконфигурируемая вычислительная система, фильтрация жидкости в пористой среде, система линейных алгебраических уравнений, метод конечных разностей, метод одновременной верхней релаксации.

Введение

Высокий спрос на рынке нефтепродуктов остро ставит вопросы максимизации объемов добычи нефти на действующих скважинах, поскольку разработка новых требует значительных денежных вложений и временных затрат. Вот почему сейчас большая часть нефти извлекается с помощью вторичных методов, таких как вытеснение нефти из пласта водой. Сложная зависимость выхода нефти от интенсивности закачки воды приводит к необходимости постоянного моделирования процессов, протекающих в подземных горизонтах. Эти процессы математически описываются дифференциальными уравнениями и составляют задачу фильтрации жидкости в пористой среде. Задачи подобного вида активно используются в нефтяной промышленности при геофизической разведке и исследовании скважин, а также при моделировании различных процессов в период их эксплуатации.

1. Задача фильтрации жидкости в пористой среде

Рассмотрим задачу упрощенной модели однофазной фильтрации жидкости в пористой среде [1]. Фактически предлагаемая модель состоит из двух частей, а именно из модели пласта и модели стоков-источников, которые стыкуются общей переменной. Рассмотрим решение уравнения массового баланса, описывающего модель пласта.

© ИВТ СО РАН, 2016

Уравнение массового баланса жидкости в пласте имеет вид

д_

где и — скорость нефти:

и = К(х, у, г)Л(р)(Чр - рзсдЧБ). (2)

Формула (2) выражает закон Дарси, описывающий процесс фильтрации жидкости в пористой среде. Подставив (2) в (1), получим уравнение дебита скважины при стандартных условиях, м3/сут:

Ъс = ^ (ф(р)-щ) + V [К(х,у, г)Л(р)(Чр - рзсдЧБ)}

где ф(р) — пористость; В(р) — коэффициент объемного расширения нефти (задается в виде таблицы); К(х,у, г) — тензор абсолютной проницаемости, м2:

кх 0 0

К = | 0 ку 0

0 0 К

Л(р) —подвижность (мобильность) нефти, (Па • с)-1:

Л 1

р(р)В (р)

р(р) — вязкость нефти (задается в виде таблицы), Па• с; рзс — плотность нефти при стандартных условиях, кг/м3; д — гравитационная постоянная, м/с2; Б(х,у, г) — вектор заданной глубины, м; х, , — координаты трехмерного пространства; — давление, Па; V — оператор Гамильтона:

д д д V = — 1 + — j + — к. х

Пористость нефти вычисляется по формуле

Ф(р) = ФФо( 1 + сгр + ,

где ф — коэффициент песчанистости (считается постоянным); ф0 — пористость при некотором значении забойного давления рге$ (считается постоянной); сг — сжимаемость породы при некотором значении забойного давления рге$ (считается постоянной), Па-1. Граничные условия по области Г задаются соотношением

Р|г = Po,

а начальные условия определяются статистическим равновесием, из которого следует равенство нулю скорости нефти. Начальное распределение определяется отсутствием непроницаемых перемычек ( = 0) с граничными условиями типа Дирихле или непротекания по уравнению

V [Л(р) V - рзсдЧБ)} = 0. (3)

Решением задачи моделирования фильтрации жидкости в пористой среде является уравнение (3). Для его решения с помощью вычислительной системы применим метод конечных разностей (или метод сеток), относящийся к методам приближенного решения дифференциальных уравнений. Выбор этого метода обусловлен его универсальностью и применимостью для широкого класса уравнений математической физики.

Метод конечных разностей заключается в следующем. Область непрерывного изменения аргументов заменяется конечным (дискретным) множеством точек (узлов), называемым сеткой. Вместо функций непрерывного аргумента рассматриваются функции дискретного аргумента, определенные в узлах сетки и называемые сеточными функциями. Производные, входящие в дифференциальное уравнение, заменяются (аппроксимируются) при помощи соответствующих разностных отношений; дифференциальное уравнение при этом заменяется системой алгебраических уравнений (разностным уравнением). Начальные и краевые условия также заменяются разностными начальными и краевыми условиями для сеточной функции.

Естественно требовать, чтобы полученная таким образом разностная краевая задача была разрешима, а ее решение при увеличении числа узлов сетки приближалось (сходилось) к решению исходной задачи для дифференциального уравнения.

Для решения уравнения массового баланса построим в заданной области равномерную сетку размерностью М +1 х N +1 х К + 1. Шаги сетки по координатным осям х, у, z определим постоянными и равными Ах, Ау, Az соответственно. Давление в узлах сетки обозначим через pi,j,k, где г = 0,1,..., М, j = 0,1,..., N, к = 0,1,..., К.

Уравнение (3) перепишем в виде

„ dux дщ duz „ ,,,

Vu = ТГ^ + 1Г + 1Г = 0. (4)

ОХ Oy OZ

Используя представление частных производных в конечно-разностном виде и разрешив (4) относительно переменной Pi,j,k, получим выражение для определения значения давления в точке сетки:

Pi,j,k

+ А, + А, ,j,k-1

X

X

2Ax2 2Ay2 2Az2

Ai+i,j,k(Pi+i,j,k — Pscg{Di+i,j,k — Di,j,k)) + \i-i,j,k (pi-ij,k + PsCg{Di,j,k — Di-i,j,k)) +

+ \,j+i,k (Pi,j+i,k — PsCg{Di,j+i,k — Di,j,k)) + Xi,j-i,k {pi,j-i,k + PsCg{Di,j,k — Di,j-i,k)) +

+ 2A^ +

+ \,j,k+i(Pi,j,k+i — Pscd(Di,j,k+i — Di,j,k)) + \i,j,k-i(Pi,j,k-i + PscQ(Di,j,k — Di,j,k-i)) + 2Az2

(5)

Для решения (5) применим метод одновременной верхней релаксации, итерационная формула которого имеет вид

Лп) —, ,т7{Лп-1) Лп-1) Ла-1) Лп-1) Лп-1) Лп-1)\^(л , ,\Ла-1) (ал

= \Рг+1^,к >Рч-1,к >Рч,к+1>Рч,к-1) + - Ш)Рг,з,к > (6)

где Р — функция, описываемая выражением (5); ш — итерационный параметр, 0 <ш< 2; п — номер итерации.

Термин "одновременный" означает, что полученные новые значения давления будут использованы только в следующей итерации. Это ведет к увеличению числа итераций, однако дает возможность распараллелить процесс вычислений. Условием завершения процесса вычислений является неравенство

тах

(п) (п— 1)

Рг,],к Рг,],к

< (7)

где — заданная точность.

Задача фильтрации жидкости в пористой среде с необходимой точностью имеет высокую вычислительную трудоемкость и требует для своего решения за приемлемое время применения многопроцессорных вычислительных систем. Задача относится к сильносвязанным, характеризующимся интенсивными обменами данными между процессорами. Использование кластерных многопроцессорных систем неэффективно, поскольку в этом случае при увеличении числа процессоров значительно возрастет межпроцессорный обмен данными (значениями в соседних узлах сетки). В этой связи необходимо изыскивать новые архитектурные решения и методы организации параллельных вычислений для эффективной реализации поставленной задачи.

2. Реализация задачи фильтрации жидкости в пористой среде на РВС

В качестве аппаратной реализации задачи фильтрации жидкости в пористой среде выбрана реконфигурируемая вычислительная система (РВС) [2], которая за счет адаптации к вычислительно-информационной структуре задачи обеспечивает эффективность реализации и почти линейный рост производительности при увеличении доступного аппаратного ресурса.

Для того чтобы реализовать задачу фильтрации жидкости в пористой среде на РВС, необходимо преобразовать ее в структурно-процедурную форму [3]. Для этого представим выражение (6) в более удобном виде:

Рг,],к = [ С1(\+1,],к — 1,],к) + С2(\,]+1,к + Лг,] — 1,к) + Сз(Лг^^к+1 + Лг,^,к—1)} X

X [С1 (\+1,],к ('Р[+1,],к - (Бг+1,],к - )) + Лг—1,j,k (Р[—1,],к + - ))) +

+ С2( \]+1,к (Р[^+1,к - (Бг,]+1,к - Бг,],к)) + \] — 1,к (Р[^—1,к + (Бг,],к - Бг,у — 1,к))) + +Сз(Л^,к+1(р'^,к+1 - (Б^,к+1 - )) + Лг,],к—1{р)г^^к—1 + - 0^,к—1)

где

/ Р%,],к

2Ах2, °2 2Ау2, °3 2Аг2, Рг,',к рзсд'

Переход от к р[^к называют процедурой нормализации, когда происходит избавление от коэффициентов с целью минимизации количества арифметических операций. Если обе части уравнения (3) поделить на постоянный коэффициент рзсд, переменную Рг¿>к заменить на р[ и решить уравнение относительно р[ , то получится выражение (8). После решения (8) достаточно каждое значение р\^к во всех точках сетки умножить на рзсд, и мы получим окончательное решение задачи нахождения начального распределения значений давления. В дальнейшем для простоты будем обозначать

нормализованную переменную как Рг^^, подразумевая, что полученное решение Рг^^ необходимо умножить на коэффициент рзсд.

Как было сказано выше, для решения уравнения (8) используем метод одновременной верхней релаксации, когда п-е приближение сеточной функции р^к в узловых точках с координатами (Хг, yj, ) вычисляется по рекуррентной формуле

ш

(п) Рг,3,к

-X

9)

+ Хг,,-1,к ) + С3(Хг ,3,к+1 + Хг,

Х[С1( (Р'1+1^,к - - °г,з,к)) + \-1,з,к (Р'г-1^,к + (Ог,],к - Ог-1,у,к))) +

+ С12(\,]+1,к (Р[^+1,к - (О1,]+1,к - )) + Хг,у-1,к (Р'г^-1,к + (Ог,3,к - Ог,у-1,к))) +

+ С3(Х^,к+1(р'г^,к+1 - (°г,3,к+1 - )) + \],к-1(^г^,к-1 + (Ог,3,к - 01^,к-1)))\ +

+ (1 -ш)р

Для РВС характерна организация вычислений, которая предполагает структурную реализацию фрагментов информационного графа задачи в виде конвейера потока данных [3].

На основании выражения (9), применяемого для всех точек заданной области, и выражения (7) разработан структурный компонент структурно-процедурного алгоритма решения поставленной задачи на РВС. Структурная схема показана на рис. 1, а базовый подграф д приведен на рис. 2 [3].

Рис. 1. Структурная схема задачи фильтрации жидкости в пористой среде

Рис. 2. Базовый подграф д задачи фильтрации жидкости в пористой среде

Запишем выражения для коэффициента А и для рх, ру, рг, р(п).

А =_^_,

+ А, + ) + С3(\г ,3,к+1 3,к-1) '

РХ = С1(\г+1^к (р[+1,у,к - - )) + \-1,],к{'Р'г-1л,к + (^г,],к - ))) ,

РУ = С2(\г,]+1,к (Р'г^+1,к - Фг,]+1,к - )) + \,]-1,к (Р'г^-1,к + - О^-^к))),

рг = Сз{\г,э,к+1{р'^,к+1 - {Ог,у,к+1 - И^ь)) + \,],к-1(р'г^,к-1 + - Di,j,k-l))),

р(п) = А(рх + ру + рг) + (1 - ш)р(п-1).

Вычислительная структура, показанная на рис. 2, содержит 38 блоков сложения, вычитания и умножения, выполняющих операции в формате 32-разрядной плавающей запятой стандарта 1ЕЕЕ754.

Как видно из рис. 2, параллельное поступление всех исходных данных требует 20 каналов распределенной памяти для трех переменных. Сократить количество каналов памяти позволяет использование буферной памяти при конвейерной организации вычислений. Одним из вариантов реализации буферной памяти является использование элементов задержки на один операнд. Задержка на I операндов может быть реализована путем последовательного соединения I элементов задержки на один операнд. Так, например, чтобы получить значения рг-1^,к и рг^-1}к, необходимо Рг^,к задержать на один и М (длина строки) тактов соответственно с учетом того, что данные поступают в схему с каждым тактом. Таким образом, число входных каналов можно сократить до трех (рис. 3).

Решение задачи фильтрации жидкости в пористой среде реализовано на плате вычислительного модуля (ПВМ) "Тайгета" производства Научно-исследовательского центра супер-ЭВМ и нейрокомпьютеров (г. Таганрог) (рис. 4). Структура ПВМ "Тайгета"

Рис. 3. Граф-схема базового подграфа задачи, содержащая элементы задержки операндов

Рис. 4. Внешний вид и характеристики платы вычислительного модуля "Тайгета"

представляет собой последовательно соединенные между собой восемь программируемых логических интегральных схем (ПЛИС) фирмы Xilinx XC7VX485T, к каждой из которых подключено по две микросхемы динамической распределенной памяти DDR-II SDRAM.

Вычислительная структура задачи фильтрации вместе с элементами задержек занимает порядка 5 % аппаратного ресурса одной ПЛИС платы вычислительного модуля "Тайгета". Кроме того, для организации информационных обменов потребуется четыре канала распределенной памяти: три в качестве источников данных и один в качестве приемника. При этом на нечетных итерациях происходит чтение данных первого канала и запись результатов во второй, а на четных — наоборот. Третий и четвертый каналы (массивы и D) всегда осуществляют чтение данных. Итерационный процесс заканчивается в случае выполнения условия (7) для всех точек заданной области.

Одним из вариантов распараллеливания вычислительного процесса является одновременная обработка нескольких соседних точек, как это было рассмотрено в работе [4]. Следует отметить, что данная реализация плохо масштабируется и требует линейного роста каналов памяти. В работе [4] решение задачи фильтрации жидкости в пористой среде выполнено на РВС, ресурс которой соответствовал требованиям задачи. При использовании ПВМ "Тайгета" аппаратного ресурса достаточно для параллельной обработки 128 точек сетки. Однако в этом случае потребуется 512 каналов памяти, в то время как на ПВМ "Тайгета" доступно только 16 каналов. При решении задачи фильтрации необходим принципиально другой подход к организации вычислений, который обеспечит максимально возможную структурную реализацию итераций алгоритма.

С этой целью выполнено распараллеливание по итерациям. результат обработки после первой итерации не записывается во внешнюю память, а сразу поступает на следующую итерацию и т. д. Как уже говорилось, аппаратный ресурс платы вычислительного модуля "Тайгета" позволяет реализовать 128 структур, представленных на рис. 3. Таким образом, за один проход данных через мультиплицированную вычислительную структуру можно выполнить 128 итераций вычислительного процесса решения задачи фильтрации жидкости в пористой среде. При этом требуемое количество каналов внешней памяти остается равным четырем (рис. 5).

Блок А выполняет преобразования согласно схеме, приведенной на рис. 3, а также осуществляет проверку условия (7). Если это условие выполнилось, то текущие значения давления в узлах сетки проходят через оставшиеся блоки А без изменений. Блок Б представляет собой коммутатор, который определяет, какой канал в паре (р1-р2) является источником данных, а какой — приемником.

Теоретическую производительность предложенной реализации можно оценить по формуле

Р = МА • Мор(д)ик,

где Ма — количество реализованных на ПВМ "Тайгета" вычислительных структур (Ма = 128); Мор(д) = 38 — количество блоков операций в базовом подграфе д; и — тактовая частота работы вычислительной структуры задачи (и = 300 МГц); к — коэффициент поправки, учитывающий накладные расходы на обмен данными с динамической памятью, загрузку и выгрузку данных и др. (к ~ 0.8-0.85). С учетом приведенных

ЯАМ РАМ РАМ РАМ

Рис. 5. Отображение вычислительной структуры задачи фильтрации на архитектуру платы вычислительного модуля "Тайгета"

Эффективность реализации задачи фильтрации жидкости в пористой среде

Размерность задачи Время решения, c Получаемый

(итерационный параметр 1, ПК Intel Core i5-4670, ПВМ "Тайгета" выигрыш,

заданная точность 0.001) 3.4 ГГц, 16.0 ГБ ОЗУ разы

50 х 50 х 50 9.294 0.006 1549.0

80 х 80 х 80 90.148 0.058 1548.9

100 х 100 х 100 259.844 0.165 1574.8

200 х 200 х 200 6427.502 3.950 1627.2

выше параметров получим, что теоретическая производительность предложенной реализации составит Р ^ 1.24 • 1012 Гфлопс. Результаты структурно-процедурной реализации задачи фильтрации жидкости в пористой среде на ПВМ "Тайгета" представлены в таблице. Частота работы вычислительной схемы составила 300 МГц.

При решении задачи размерности 100 х 100 х 100 получены следующие экспериментальные данные. Для достижения заданной точности реализованная вычислительная структура выполнила Мц = 5295 преобразований А над точками сетки (Мхуг = 106). Время решения задачи составило £ = 0.165 с. Реальную производительность можно рассчитать по формуле

„ Ми • Мор(д) • Мхч, 5295 • 38 • 106 12,

Р = —-^-^ =-= 1.22 • 1012 флопс.

г 0.165 ^

Полученные результаты хорошо согласуются с теоретическим расчетом.

Заключение

Использование РВС при решении задачи фильтрации жидкости в пористой среде позволяет значительно сократить время вычислений для заданных размерностей сетки либо повысить точность результатов за счет увеличения размерности сетки при заданном временном интервале на решение задачи. Последнее обеспечивает наиболее оптимальное размещение нефтяных и водонапорных скважин для предотвращения заводнения нефти.

Таким образом, предложена новая реализация задачи фильтрации жидкости в пористой среде, позволяющая эффективно масштабировать решение при увеличении доступного аппаратного ресурса РВС и снизить требования к количеству необходимых каналов памяти.

Благодарности. Работа выполнена при финансовой поддержке проекта из бюджета Союзного государства в рамках реализации государственного контракта Министерства образования и науки РФ от 17 июня 2015 г. № 14.964.11.0001.

Список литературы / References

[1] Леонтьев Н.Е. Основы теории фильтрации: Учеб. пособие. М.: Изд-во Центра прикл. исследований при мех.-матем. фак-те МГУ, 2009. 88 с.

Leont'ev, N.E. Foundations of filtration theory: Ucheb. posobie. Moscow: Izd-vo Tsentra Prikladnykh Issledovaniy pri Mekhaniko-Matematicheskom Fakul'tete MGU, 2009. 88 p. (In Russ.)

[2] Каляев И.А., Левин И.И., Семерников Е.А., Шмойлов В.И. Реконфигурируемые мультиконвейерные вычислительные структуры. Изд. 2-е, перераб. и доп. / Под общ. ред. И.А. Каляева. Ростов н/Д.: Изд-во ЮНЦ РАН, 2009. 344 с.

Kalyaev, I.A., Levin, I.I., Semernikov, E.A., Shmoilov, V.I. Reconfigurable multipipeline computing structures. 2nd edition, revised and supplemented / Ed. by I.A. Kalyaev. Rostov-on-Don: SSC RAS Publ., 2009. 344 p. (In Russ.)

[3] Каляев А.В, Левин И.И. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений. М.: Янус-К, 2003. 380 с. Kalyaev, A.V, Levin, I.I. Modular scalable multiprocessor systems with structural-procedural organization of calculations. Moscow: "Yanus-K", 2003. 380 p. (In Russ.)

[4] Коваленко А.Г. Структурно-процедурная реализация задачи фильтрации жидкости в пористой среде // Матер. Междунар. науч.-техн. конф. "Многопроцессорные вычислительные и управляющие системы — 2007". Таганрог: Изд-во ТТИ ЮФУ, 2007. Т. 1. С. 293-297. Kovalenko, A.G. Structural and procedural implementation of fluid filtration problem in a porous medium // Proc. Intern. Scientific and Engineering. Conf. "Multiprocessing computer and control systems — 2007". Taganrog: Izd-vo TTI YuFU, 2007. T. 1. P. 293-297. (In Russ.)

Поступила в 'редакцию 10 декабря 2015 г.

The implementation of filtration liquid problem in porous medium on reconfigurable computer system

Levin, Ilya I., Doronchenko, Yuriy I.*, Kovalenko, Alexey G.

Supercomputers and Neurocomputers Research Center, Taganrog, 347900, Russia * Corresponding author: Doronchenko, Yuriy I., e-mail: doronchenko@mvs.tsure.ru

The paper addresses implementation of a reconfigurable computer system (RCS) to the problem of liquid filtering in a porous medium. The problem is typical for modelling of oil production processes with the help of secondary methods. Initial mathematical equations of the problem are given, transformation of differential equations to a finite difference scheme is shown. The obtained system of linear algebraic equations is solved by the method of successive over-relaxation. Necessity of high-performance computer systems for implementation of this problem is also proved. Use of reconfigurable computer systems based on FPGAs that provide practically linear growth of performance and expanding of hardware resource is shown to be promising. To implement the problem on the RCS we present an information task graph and its transformations in the structural procedural form. We also present an optimized computing structure of the problem for organization of parallel calculations. We present an approach, which provides reduction of memory channels for simultaneous data supply in various nodes of the grid. We have proved that the existing method of implementation of the problem which implies simultaneous processing for several adjacent nodes of the grid requires linear growth of the number of memory channels. We have suggested an approach which provides concurrent transformations of several iterations during execution of the task and the number of used memory channels reminds unchanged. The suggested implementation of the filtering problem provides effective scaling of its solution while available RCS hardware resource is expanded. The application of the RCS provides reduction of the

© ICT SB RAS, 2016

time and increasing of accuracy for modelling of processes that take place within the Earth interior. This is an important problem of oil industry for geophysical exploration and exploration of oil-wells that required an urgent attention.

Keywords: reconfigurable computer system, filtration of liquids in a porous medium, system of linear equations, finite difference method, method of successive over-relaxation.

Acknowledgements. This paper was financially supported from the budget of Union state of Russia and Belarus by Russian Ministry of Education under grant № 14.964.11.0001.

Received 10 December 2015