CC BY
74
УДК 519.6:532.5
МОДЕЛИРОВАНИЕ НА ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ ПРОЦЕССОВ РАСПРОСТРАНЕНИЯ МНОГОКОМПОНЕНТНЫХ
__ _ __ К» __ _ __ 1
ПРИМЕСЕИ В ВОДОЕМЕ1 И.Н. Шабас
Рассматриваются процессы переноса многокомпонентных веществ в водоеме. Примером таких веществ могут являться радионуклидные и нефтяные загрязнения природных водоемов. Полученные в результате математического моделирования численные задачи решаются на высокопроизводительных вычислительных системах (ВВС) с использованием существующих пакетов распараллеленных итерационных методов. В качестве исследуемого водоема рассматривается Азовское море.
Ключевые слова: математическое моделирование, конвективно-диффузионный перенос, вычислительный эксперимент, высокопроизводительные вычислительные системы.
Введение
В настоящее время биосфера Земли подвергается нарастающему антропогенному воздействию. При этом можно выделить несколько наиболее существенных процессов, любой из которых не улучшает экологическую ситуацию на планете.
Наиболее масштабным и значительным является химическое загрязнение окружающей среды несвойственными ей веществами химической природы. Химическое заражение почв, засорение воздуха и увеличивающееся загрязнение вод Мирового океана - все эти факторы оказывают заметное воздействие на процессы, происходящие в биосфере.
Многие химические вещества, попадающие в водоемы в результате техногенных аварий, а также в процессе функционирования промышленных предприятий, представляют собой не однородные, а многофазные, многофракционные вещества или многокомпонентные смеси. К таким веществам, например, относятся нефтяные загрязнения, тяжелые металлы и радионуклиды.
1. Постановка задачи
В области 0 х Т, 0 = 0 и Г рассматривается система трехмерных уравнений, описывающая процессы переноса в многофазной среде [1]:
+В (Б) Б = /,
= 0, (2)
1 Статья рекомендована к публикации программным комитетом Международной научной конференции «Параллельные вычислительные технологии - 2014».
где 5 = {^1, S2,..., Sk} - вектор концентраций г-х веществ, Ы\, М2, М3 - диагональные матрицы размера к х к с элементами {^"}^=1, - коэффициентами турбулентной диффузии г-го вещества, а = 1, 2, 3, У1,У2,Уз - диагональные матрицы размера к х к, элементами которых являются скорости движения каждой компоненты примеси по направлениям х, у и г соответственно, Vг = {иг, ы, шг} - вектор скорости движения г-го вещества. В общем случае нелинейный оператор вида Б^) - описывает взаимодействие веществ в среде. Система (1) замыкается начальными
S|t=0 = S0 (3)
4
и смешанными краевыми условиями на границе Г = и Гг области 0 [2]:
г=0
ВЧ(-х)
°т1 + рВ(х) = к(х), х е Г, *> 0, (4)
где Го - боковая непроницаемая граница, Г1 - участки впадения рек, Г2 - открытые участки границы, на которых происходит водообмен, Г3 - поверхность водоема, Г4 - дно водоема. Здесь С,Р,К - диагональные матрицы размера к х к, ЦЦ - это производная по нормали п к границе Г.
1.1. Радионуклиды
Примером многофазной жидкости может служить водоем, в который попало некоторое количество радионуклидов. Фазами будем называть различные состояния рассматриваемого радионуклида. Часть радионуклидов будет находиться в растворенной фазе О, часть вступать во взаимодействие с частицами взвеси и составлять взвешенную фазу Оя. Третий компонент смеси - осевшие на дно радионуклиды - образуют донную фазу Оь. Наличие в водоеме взвесей S обеспечивает переход растворенной фазы во взвешенную. Таким образом, вектор концентраций в системе (1) примет вид S = ^, О, Ов, Оь}.
При описании процесса распространения радионуклидов в Азовском море была взята за основу модель, предложенная киевскими учеными под руководством М.И. Железняка [3].
1.2. Нефть
Нефтяные загрязнения водоемов - неизбежная опасность, возникающая в процессе транспортировки нефти водным путем от мест ее добычи к местам переработки.
Распространение нефти в водоеме представляет собой достаточно сложный процесс, при моделировании которого необходимо учитывать большое количество разнообразных факторов. На поведение нефти, попавшей в водоем, оказывает влияние как собственные физикохимические свойства нефти (температура кипения фракций, их плотность, вязкость), так и внешние условия окружающей среды (ветровая ситуация, температура воздуха и температура вод водоема, наличие в водоеме нефтеокисляющих бактерий, солености водоема, солнечной радиации и.т.п.).
В процессе распространения нефти вначале преобладают процессы растекания нефтяного пятна [4, 5], параллельно с этими процессами начинает происходить неизбежная деструкция нефти, под воздействием внешних природных факторов. К процессу деструкции нефти можно отнести испарение легких нефтяных фракций, их растворение в водах водоема, а также эмульсификация и биодеградация нефти. Эти процессы оказывают влияние
на исходную плотность и вязкость нефти - они увеличиваются, а суммарное поверхностное натяжение на границе раздела вода - нефть - воздух убывает. В дальнейшем, остающиеся тяжелые фракции нефти могут оказаться плотнее воды и осесть на дно водоема.
На определенном этапе поверхностное натяжение меняет знак и растекание прекращается.
Поведение пятна нефти на поверхности водоема описывается уравнением конвекции-диффузии [6-8]:
§ +V(uh) - V(DVvh)= Rh,
_ ( Tw Tw
v_ [ux + Cf ,uy + Cf
D _ gh2(pw-Poii)
D _ Pw Cf >
т ^
где Л, - толщина нефти, V - скорость дрейфа пленки, - напряжение сдвига из-за ветра, ^ - функция диффузии распространения пятна нефти, Оf - коэффициент трения между нефтяной пленкой и поверхностью воды (0.02 кг/м2с), К^ - источниковая (стоковая) функция, д - ускорение свободного падения, V = (д/дх,д/ду).
Полученные системы уравнений решаются конечно-разностными методами с использованием неявных схем. В расчетной области строится прямоугольная равномерная по всем направлениям сетка. Шаг сетки по горизонтали составляет 2500 м, а по вертикали - 1 м. Предполагается, что поле скоростей известно на каждом временном шаге.
В результате конечно-разностной аппроксимации получаются системы линейных уравнений с семидиагональной матрицей в случае радионуклидов и с пятидиагональной матрицей в случае модели нефтяных загрязнений.
2. Параллельные вычисления
Решение задачи проводится на многопроцессорных вычислительных системах с распределенной памятью в среде параллельного программирования MPI. В суперкомпьютерном центре ЮФУ существуют 4 вычислительных кластера, которые работают под управлением общего управляющего сервера:
• INFINI - Linux-кластер, состоящий из 20 вычислительных узлов, соединенных скоростной коммуникационной сетью SDR Infiniband. Каждый вычислительный узел представляет собой компьютер с процессором Intel Pentium 4 3.4 Ггц и оперативной памятью DDR2 2 Гб.
• IBMX - Linux-кластер, состоящий из 13 вычислительных узлов, соединенных скоростной коммуникационной сетью DDR Infiniband. Каждый вычислительный узел представляет собой компьютер с одним 2-х ядерным процессором Intel Xeon 5160 c тактовой частотой 3.0 Ггц и оперативной памятью 8 Гб.
• LINUX - вычислительный кластер из 10 узлов, соединенных вычислительной сетью Gigabit Ethernet. Каждый из узлов представляет собой компьютер с процессором Pentium 4 2.4 Ггц, с 512 Мб оперативной памяти.
• WSD - кластер из 8-ми рабочих станций DELL с двух ядерными процессорами Intel Core 2 Duo, оперативной памятью 4 Гб и коммуникационной сетью Gigabit Ethernet.
2.1. Библиотека параллельных методов Аztec
Для реализации возможностей, которые предоставляют многопроцессорные системы, необходимо использование параллельных подпрограмм, предназначенных для решения стандартных задач численных методов. На всех многопроцессорных системах суперкомпью-терного центра ЮФУ установлена одна из таких библиотек параллельных подпрограмм -Aztec, предназначенная для решения систем линейных алгебраических уравнений с разреженной матрицей. Программы, использующие этот пакет, могут выполняться на любой вычислительной системе без каких либо модификаций.
Aztec включает в себя процедуры, реализующие ряд итерационных методов Крылова -метод сопряженных градиентов (CG), обобщенный метод минимальных невязок (GMRES), квадратичный метод сопряженных градиентов (CGS), метод квазиминимальных невязок (TFQMR), метод бисопряженных градиентов (BiCGSTAB) со стабилизацией. Все методы используются совместно с различными переобуславливателями (полиномиальный метод и метод декомпозиции областей, использующий как прямой метод LU, так и неполное LU разложение в подобластях).
2.1.1. Эффективность распараллеливания
Для оценки эффективности распараллеливания было протестировано время счета метода BiCGStab на кластере INFINI на 100 временных шагах с применением различного количества ядер вычислительной системы. Результаты этих расчетов приведены в табл. 1 и на рис. 1.
Таблица 1
Сравнение времени счета метода BiCGStab на кластере ШИШ на 100 временных шагах
с применением различного количества узлов
Кол-во ядер 1 2 3 4 5 6 7 8 9 10 11 12
Время счета (с) 360 203 138 104 84 74 63 59 54 50 48 44
Ускорение 1,00 1,77 2,61 3,46 4,29 4,86 5,71 6,10 6,67 7,20 7,50 8,18
12,00
ж
1
р
а
5
и
I
I
0,00 -|--1--1---1---1---1--1---1---1---1---1--1---1---1---1---1--1---1---1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
количество ядер
Рис. 1. Ускорение времени вычисления расчетов с применением различного количества узлов
2.1.2. Выбор эффективного итерационного метода
Для выявления наиболее эффективного для данной задачи метода из пакета Aztec был проведен ряд расчетов на одном процессоре вычислительного кластера IBMX. Для всех методов расчеты проводились для 100 временных шагов при прочих одинаковых условиях. Результаты этих тестов приведены в табл. 2.
Таблица 2
Сравнение времени счета различных методов из пакета Aztec на IBMX-кластере (3,0 Ггц)
Метод Время счета (с)
CG 328,46
GMRES 33G,55
CGS 33G,88
TFQMR 333,95
BiCGStab 33G,73
Видно, что существенного различия во времени счета нет, однако меньшее время было затрачено при применении метода CG. Можно предполагать, что для более длительного счета, этот метод будет наиболее предпочтительным.
2.1.3. Выбор вычислительной платформы
Для тех же 100 временных шагов было протестировано время счета метода CG на различных вычислительных платформах. Результаты этих расчетов приведены в табл. 3.
Таблица 3
Сравнение времени счета метода CG на одном процессоре различных платформ
Платформа Время счета (с)
IBMX 18G,61
LINUX 456,14
INFINI 327,11
WSD 169,G5
Таким образом, в расчетах имеет смысл применять метод CG из пакета Aztec и расчеты на кластере WSD или IBMX обеспечивают лучшее время счета.
З. Вычислительный эксперимент
Модель распространения нефтяного пятна проверялась на тестовой задаче с изменением координат залповых источников выбросов нефти, с изменением количества нефти,
попавшей в водоем в результате залпового выброса. Расчеты проводились при различных ветровых ситуациях. Результаты расчетов приведены на рисунке 2.
20 40 60 80 100 120 140 160 180 20 40 60 80 100 120 140 160 180 20 40 60 80 100 120 140 160 180
Рис. 2. Результаты моделирования дрейфа нефтяного пятна после растекания с различными координатами залпового выброса и различным начальным объемом нефти
На кластере 1ВМХ были проведены расчеты, моделирующие аварийный выброс радионуклида в растворенной форме в районе города Ейск. Расчеты проводились с целью изучения процесса сорбции радионуклида частицами взвеси, находящейся в водах Азовского моря. В численном эксперименте течение воды формировалось под действием ветра северо-восточного направления силой 5 м/с. Сравнивались результаты расчетов, где начальное количество взвеси в одном расчете отличалось от другого в 3 раза (рис. 3). На начало расчета предполагалось отсутствие в море всех фаз радионуклидов. Исследовалась скорость образования взвешенной фазы радионуклида в зависимости от массы сорбирующего вещества.
Выводы
Результаты тестовых расчетов показали, что предложенная модель и ее программная реализация позволяют проводить расчеты, результаты которых достаточно хорошо согласуются с наблюдаемыми в природе процессами. Применение ВВС позволит в дальнейшем уточнять и усложнять предложенную модель для более реалистичного отражения ею реальных процессов.
Литература
1. Крукиер, Л.А. Неявные разностные схемы и итерационный метод их решения для одного класса систем квазлинейных уравнений / Л.А. Крукиер // Изв. Вузов. Матем. — 1979. - № 7. - С. 41-52.
2. Шабас, И.Н. Численное решение трехмерной задачи оседания вещества в Азовском море / И.Н. Шабас // Сборник трудов IX Всероссийской школы-семинара «Современные проблемы математического моделирования». — Ростов-на-Дону, Издательство РГУ, 2001. — С. 414-417.
Рис. 3. Распространение растворенной (С) и взвешенной (С5) фазы радионуклида через 48 часов (слева) и 108 часов (справа) после аварийного выброса на поверхности водоема
3. Zheleznyak, M.J. The mathematical modelling of radionuclide transport by surface water flow from the vicinity of the Chornobyl Nuclear Power Plant / M.J. Zheleznyak. // Condensed Matter Physics. - No 12. - 1997. - P. 37-50.
4. Fay, J.A. The spread of oil slicks on a calm sea. / J.A. Fay // Oil on the sea. — New-York, Plenum Press, 1969. — P. 53-63.
5. Fay, J.A. Physical processes in the spread of oil on a water surface. / J.A. Fay // Proceedings of Joint Conference on Prevention and Control of Oil Spills. — Washington, 1971. — Vol. 1971. No. 1. — P. 463-467.
6. Zadeh, E.S. Eulerian Oil Spills Model Using Finite-Volume Method with Moving Boundary and Wet-Dry Fronts / E.S. Zadeh, K. Hejazi // Modelling and Simulation in Engineering. — Vol. 2012. — Article ID 398387, 7 p.
7. Tkalich, P. A CFD solution of oil spill problems / P. Tkalich. // Environmental Modelling & Software. — Vol. 21. — 2006. — P. 271-282.
8. Three-dimensional numerical simulation for transport of oil spills in seas. / S.D. Wang, et al. // Ocean Engineering. — 2008. — Vol. 35, No. 5-6. — P. 503-510
Шабас Ирина Николаевна, кандидат физико-математических наук, старший научный
сотрудник, Южно-Российский региональный центр информатизации, Южный федеральный университет (Ростов-на-Дону, Россия), shabas@sfedu.ru
Поступила в редакцию 18 февраля 2014 г.
Bulletin of the South Ural State University Series “Computational Mathematics and Software Engineering”
2014, vol. 3, no. 1, pp. 89-96
SIMULATION OF MULTICOMPONENT POLLUTION DISTRIBUTION IN RESERVOIR ON HIGH PERFORMANCE COMPUTING SYSTEMS
I.N. Shabas, Computer Center of Southern Federal University (Rostov-on-Don,
Russia)
Transport processes of multicomponent substances in the pond are considered. Examples of the substances are the radionuclide and oil pollution in natural waters. The resulting numerical problems are solved by high-performance computing systems using existing packages parallelized iterative methods. Azov Sea is considered as a test problem.
Ключевые слова: mathematical modeling, convective-diffusive transport, computational experiment, high-performance computing.
References
1. Krukier L.A. Implicit difference schemes and the iterative method for solving the class of systems of quasilinear equations // Russian Mathematics (Iz. VUZ), 1979, no 7, pp. 41-52.
2. Shabas I.N. Numerical solution of three-dimensional problem of substance concretion in the Azov Sea. Proceedings IX All-Russian Workshop "Modern Problems of Mathematical Modeling Rostov-on-Don, Publisher RSU 2001. pp. 414-417.
3. Zheleznyak M.J. The mathematical modelling of radionuclide transport by surface water flow from the vicinity of the Chornobyl Nuclear Power Plant. Condensed Matter Physics, no 12, 1997, pp. 37-50.
4. Fay J.A. The spread of oil slicks on a calm sea. In: Oil on the sea, Plenum Press. New-York, 1969, pp. 53-63.
5. Fay J.A. Physical processes in the spread of oil on a water surface. In: Proc. of h- о Joint Conf. on prevention and control of oil spills. Washington, 1971 (cit. N8).
6. Zadeh E.S., Hejazi K. Eulerian Oil Spills Model Using Finite-Volume Method with Moving Boundary and Wet-Dry Fronts. Modelling and Simulation in Engineering Volume 2012 (2012), Article ID 398387, 7 pages.
7. Tkalich P. A CFD solution of oil spill problems. Environmental Modelling & Software, vol. 21, 2006. pp. 271-282.
8. Wang S.D., Shen Y.M., Guo Y.K., Tang J. Three-dimensional numerical simulation for transport of oil spills in seas. Ocean Engineering, vol. 35, no. 5-6, pp. 503-510, 2008.
Received 18 February 2014
