CC BY
29
УДК 551.513
Алгоритм увеличения вычислительной производительности и баланса загрузки процессоров для моделирования общей циркуляции атмосферы
© В.П. Пархоменко
Вычислительный центр им. А. А. Дородницына ФИЦ ИУ РАН Москва, 119333, Россия
Представлен анализ некоторых факторов, влияющих на выполнение параллельной реализации модели общей циркуляции атмосферы на многопроцессорной электронно-вычислительной машине кластерного типа. Рассмотрены несколько модификаций первоначального параллельного кода этой модели, направленных на улучшение его вычислительной эффективности, баланса загрузки процессоров. Осуществлена модификация численной схемы по времени модели общей циркуляции атмосферы для возможности осуществления параллельных расчетов блоков динамики и физики. Предлагаемая процедура используется вместе с процедурами распараллеливания блоков динамики и физики на основе декомпозиции расчетной области, что позволяет оптимизировать загрузку процессоров и повысить эффективность распараллеливания. Результаты применения схемы баланса загрузки блока физики рассмотренной модели дают возможность усложнения блока физики без увеличения общего времени счета. Приведены результаты численных экспериментов.
Ключевые слова: модель общей циркуляции атмосферы, особенности параллельной реализации, численные эксперименты.
Введение. Климат [1] является одним из основных природных ресурсов, определяющих последствия для экономики, сельского хозяйства, энергетики, демографии и т. д. Результаты исследований в области климата [2] позволяют предположить, что деятельность человека — важный климатический фактор, и последствия антропогенного воздействия на климатическую систему в ближайшие десятилетия могут быть весьма существенными. Много неопределенностей остается относительно сведений об изменениях климата, особенно в региональном масштабе. Кроме того, крайне неблагоприятные социально-экономические последствия регионального и даже глобального масштаба могут быть вызваны естественными климатическими колебаниями.
Необходима разработка научных основ и системы мер по ограничению негативных последствий экономической деятельности на окружающую среду для сохранения энергии и ресурсов, реструктуризации экономики и адаптации к новым природным и климатическим условиям. Такие основы могут быть разработаны только при совместном изучении глобальных экологических изменений и климата, что позволит осуществить переход к устойчивому развитию [3].
Математическое и численное моделирование является мощным инструментом для исследования климатической системы и прогнозирования изменений климата. Современное моделирование осуществляется с помощью мощных программных средств, в том числе отечественных, для решения задач нестационарной газодинамики многокомпонентного газа различными численными методами [4-7]. Грубые оценки показывают, что для расчетов состояния климатической системы на 100 лет на современной однопроцессорной электронно-вычислительной машине (ЭВМ) необходимо от суток до нескольких месяцев в зависимости от сложности и подробности модели. Следовательно, моделирование климата — одна из задач, требующая для своего решения применения многопроцессорных ЭВМ.
Наиболее сложными и адекватными моделями для описания климатической системы являются модели общей циркуляции атмосферы и океана. В настоящее время разработаны многочисленные модели общей циркуляции атмосферы [2], в которых учтены все существенные процессы в атмосфере. Модели достаточно хорошо описывают циркуляцию атмосферы, температурный режим, осадки, поле давлений, облачность и т. д. Однако слабым местом этих моделей является адекватное воспроизведение взаимодействия атмосферы с подстилающей поверхностью, региональных особенностей климата, а также описания облачности и связанных с ней мелкомасштабных конвективных процессов в атмосфере.
Как известно [8], облачно-радиационная обратная связь является одним из важнейших факторов формирования состояния атмосферы. Характерный масштаб циклонических образований составляет несколько сот километров, атмосферных фронтов — десятки километров, отдельных кучевых облаков — порядка одного километра, а микрофизических процессов в облаках — порядка нескольких метров. Масштаб вертикальных конвективных движений во влажной атмосфере колеблется от нескольких сотен метров до десяти километров.
Таким образом, для адекватного описания только крупномасштабных течений в атмосфере необходимы расчетная сетка с горизонтальным шагом порядка 50 км и несколько десятков уровней по вертикали в тропосфере и стратосфере [9] при условии идеального описания подсеточных процессов.
Увеличение мощности ЭВМ является одним из важнейших требований для более надежных результатов, поэтому в работе рассмотрим методы распараллеливания для решения поставленных задач [10].
Описание модели общей циркуляции атмосферы и процедура распараллеливания. Модель климата Вычислительного центра РАН включает атмосферный блок, реализованный на базе модели общей циркуляции атмосферы (ОЦА) [11-16] с параметризацией ряда под-
сеточных процессов, океанский блок, представляющий собой интегральную модель термохалинной циркуляции океана и модель эволюции морского льда [12-14]. Взаимодействие между блоками осуществляется в интерактивном режиме. Модель атмосферы описывает тропосферу, расположенную ниже предполагаемого уровня изобарической тропопаузы.
По вертикали в модели использована система координат а [9, 17]:
о=, (1)
Рз - Рт
где р — давление; рт — постоянное давление на уровне тропопаузы; Рз — переменное давление у поверхности Земли.
Уравнение горизонтального импульса запишем в векторной форме:
д д
— (яУ )+(УяУ) + — (яУа) + Д хяУ + яУФ + аяаУя = (2)
дt да
где
УА = ■
а cos ф
дАх д
+ —— (Аф ^ ф)
дХ дф
для вектора А = ( А^, Аф), где X — долгота и ф — широта точки.
Здесь я = рз - рт; У — вектор горизонтальной скорости; а = ёа /
/ — параметр Кориолиса; к — вертикальный единичный вектор; Ф — геопотенциал; Г — вектор горизонтальной силы трения на единицу массы воздуха; а — удельный объем.
Термодинамическое уравнение энергии имеет вид:
— (ясрТ ) + У (ясрТУ) + —(тсрТ а )-яаа дt да
дя ,тГ7 — + УУя
дt
= яН, (3)
где ср — удельная теплоемкость сухого воздуха; Т — температура
воздуха; Н — скорость выделения тепла в единице массы воздуха. Уравнения неразрывности и переноса влаги, соответственно:
—+ У(яУ) + —(та ) = 0, (4)
дt 1 ' да1 ; W
д д
— (яд ) + У (тдУ ) + —(яда ) = я((, (5)
дt да
где д — отношение смеси водяного пара; (( — скорость генерации влаги в единице массы воздуха.
Уравнения (2)-(5) являются прогностическими (т. е. эволюционными) для определения зависимых переменных V, Т, т и ц. К ним добавляют уравнение состояния:
где Я — газовая постоянная для влажного воздуха. Диагностическое гидростатическое уравнение:
Уравнения дополняют соответствующие граничные условия; таким образом, получается замкнутая динамическая система в о-координатах. Для численного решения атмосфера разбивается на слои в вертикальном направлении пропорционально массе (давлению). По горизонтали используется равномерная по широте и долготе конечно-разностная сетка.
Модель ОЦА — пакет программ, моделирующих основные физические процессы в атмосфере [3, 9]. Можно выделить два главных компонента программы: динамический блок, в котором посредством конечных разностей вычисляют течения жидкости, описываемые примитивными уравнениями (2)-(7), и физический блок (блок источников). В последнем вычисляют влияние мелкомасштабных процессов (таких как потоки солнечной и тепловой радиации, конвекция, конденсация, испарение, выпадение осадков) на процессы, которые разрешаются сеткой. Результаты, полученные в физическом блоке, используют в динамическом блоке как внешние источники (члены Г, Н и (( ) для расчета течений и термодинамики.
Численная схема модели ОЦА использует трехмерную разнесенную сетку для скоростных и термодинамических переменных (потенциальная температура, давление, удельная влажность и т. д.), которая является ^сеткой Аракавы [18] в горизонтальном (широта, долгота) направлении с относительно небольшим числом вертикальных слоев (обычно значительно меньше, чем число горизонтальных точек сетки).
Динамический блок состоит из двух главных компонент: фильтрования и собственно конечно-разностных вычислений. Операция фильтрования необходима на каждом временном шаге в областях, близких к полюсам, чтобы гарантировать, что эффективный размер сетки там удовлетворяет условию устойчивости для явной схемы по времени [18]. Операция основана на разложении потоков в ряд Фурье с обрезанием коротковолновой части спектра и существенно использует все точки географической параллели.
а = ЯТ/р,
(6)
(7)
Эо
В параллельной реализации модели используют разбиение по процессорам двумерной сетки в горизонтальной плоскости (метод декомпозиции). Выбор обусловлен тем, что вертикальные процессы сильно связывают точки сетки, что делает распараллеливание менее эффективным в вертикальном направлении, число точек сетки в вертикальном направлении является обычно небольшим. Каждая подобласть в такой сетке — прямоугольная и содержит все точки сетки в вертикальном направлении. В этом случае есть в основном два типа межпроцессорных обменов [19, 20]. Обмены данными между логически соседними процессорами (узлами) необходимы при вычислениях конечных разностей, а удаленные обмены данными — в частности, для осуществления операции спектрального фильтрования.
Соотношение затрат времени главных блоков исходной параллельной программы модели ОЦА при использовании 4*5*9 градусов разрешения, которое содержит 46*72*9 точек, показано в табл. 1.
Таблица 1
Соотношение затрат времени счета основных блоков модели
Число процессоров Динамический блок, % Физический блок, %
1 63 33
8 67 30
16 70 27
Для счета был использован кластер МВС-60001М (256 CPU) (64-разрядные процессоры Intel® Itanium-2® 1,6 ГГц, при двунаправленном обмене данными между двумя вычислительными машинами с использованием протоколов MPI достигается пропускная способность на уровне 450-500 Мбайт/с). Вычислительные модули связаны между собой высокоскоростной коммуникационной сетью Myrinet (пропускная способность 2 Гбит/с), транспортной сетью Gigabit Ethernet и управляющей сетью Fast Ethernet. Коммуникационная сеть Myrinet предназначена для высокоскоростного обмена между вычислительными модулями в ходе вычислений. Программа была реализована также на сервере Вычислительного центра им. А.А. Дороницына Российской академии наук (ВЦ РАН) с общей памятью (двухпроцессорный, четырехъядерный, на базе Intel Xeon DP 5160, частота 3 ГГц, 4 Гбайт оперативной памяти). Были произведены те же измерения для одного, двух и четырех процессов.
Как следует из табл. 1, основная часть вычислительных затрат модели ОЦА связана с блоками динамики и физики с исключенными процедурами ввода-вывода. Эти процедуры выполняются только один раз, тогда как главная часть повторяется многократно по времени и доминирует по затратам времени выполнения. При сравнении
этих двух блоков можно видеть, что динамическая часть занимает основное время счета, особенно при большом количестве узлов. На масштабируемость параллельной программы влияет отношение затрат обменов данными к затратам вычислений и степень несбалансированности загрузки процессоров в программе. Результаты анализа и оценок затрат времени показывают, что затраты спектральной процедуры составляют заметную часть в параллельной программе модели ОЦА, особенно при увеличении числа узлов [20].
Модификация первоначального параллельного кода модели для улучшения его вычислительной эффективности и баланса загрузки процессоров. Как было отмечено выше, в модели ОЦА можно выделить два главных компонента — динамический и физический блоки. Результаты, полученные в физическом блоке, используют в динамическом блоке как внешние источники для вычисления течения.
Подлежащие интегрированию по времени прогностические уравнения (2)-(5) для основных искомых функций (горизонтальных компонент скорости У, температуры т, отношения смеси водяного пара д, переменной я = р8 - рт, определяющей давление р8) можно записать
в точке (/, у) горизонтальной конечно-разностной сетки в виде:
ду
~д7
= В (у) + 3 (у),
где у — любая из основных искомых функций.
Здесь через 3 (у) обозначены «источники» (определяемые в блоке физики) в правых частях уравнений (2)-(5), к которым отнесены сила трения Г в уравнениях движения (2), диабатическое нагревание Н в уравнении энергии (3) и источники влаги (( в уравнении переноса водяного пара (5). Они являются локальными, т. е. не содержат производных по горизонтали и в значительной степени определяются вертикальными процессами. Все остальные («динамические») члены включены в В (у) и содержат производные по горизонтали.
Для решения прогностических уравнений в исходном скалярном варианте программы используют метод расщепления по физическим процессам, представляющий собой явный шестишаговый метод интегрирования по времени. При его использовании сначала выполняют шесть шагов по времени с шагом AtD с учетом влияния только динамических членов с различной аппроксимацией пространственных производных, а затем один шаг At = 6AtD с учетом влияния только источников (блок физики).
Таким образом, концептуально исходная схема интегрирования по времени такова:
I этап = у00 + AtD (у0 ) ;
II этап у1 = У = у0 + AtS (yD ),
где yD — значение у в момент времени t + At после учета динамических членов; у0 — значение в момент времени t; у1 = у^ — окончательное значение у (после учета влияния источников) в момент времени t + At. Совокупность I и II этапов обеспечивает аппроксимацию рассматриваемых уравнений.
Предлагаемый метод распараллеливания предусматривает одновременный расчет вклада физики и динамики на двух группах процессоров, соответственно. Реализация метода требует изменения численной схемы по времени, которое состоит в одновременном расчете динамики и физики на различных группах процессоров с одних и тех же входных данных:
I группа yD = у0 + AtD (у0 ) ;
II группа у5 = у0 + AtS (у0 ).
По окончании циклов получаем значения основных переменных yD на первой и у s на второй группе процессоров на следующем шаге по времени. После этого процессоры обмениваются данными и на каждой из групп процессоров по формуле у1 = уГ1 + у>5 - у0
рассчитывают окончательные значения искомых функций в момент времени t + At. Легко видеть, что при этом достигается аппроксимация уравнений, но понятно, что результаты исходной и модифицированной схем будут отличаться.
В качестве средства реализации распараллеливания использована библиотека MPI. В настоящее время MPI является наиболее распространенным средством распараллеливания, его реализации есть практически на всех современных многопроцессорных вычислительных машинах, что позволяет обеспечить переносимость программы [21].
Исходная программа была модифицирована в соответствии с высказанными выше соображениями. Для проверки корректности метода по модифицированному и старому вариантам программы были проведены модельные расчеты до установления, имеющие одинаковые начальные условия.
Далее на рисунках приведены некоторые результаты сравнения. На рис. 1 показаны зависимости средней температуры и баланса радиации на верхней границе атмосферы от времени для исходной и модифицированной схем. Указанные средние за сутки и по всему
земному шару величины демонстрируют хорошее совпадение результатов, учитывая сильную изменчивость характеристик атмосферы на коротком интервале в одни сутки.
-10
о -11
я
Он
57 И
-12
-13
-14
100 200 300
Время, дни
а
400
100 200 300 400
Время, дни
б
Рис. 1. Средние глобальные температура атмосферы (а) и баланс радиации на верхней границе атмосферы (б)
в зависимости от времени: 1 — для исходной схемы; 2 — для модифицированной схемы
На рис. 2 показаны графики зависимости от широты зональной компоненты скорости и приземной температуры воздуха, осреднен-ных по долготе для января. Анализ демонстрирует очень хорошее
а б
Рис. 2. Зависимость от широты зональной компоненты скорости (а) и средней приземной температуры воздуха (б) для января:
1 — для исходной схемы; 2 — для модифицированной схемы
совпадение температуры для обоих сезонов, скорости имеют отличия в зимний период в областях сильных градиентов.
Отметим общую особенность распределений основных климатических характеристик, рассчитанных по исходной и модифицированной схемам: наибольшие отличия результатов можно наблюдать в средних и высоких широтах в зимний период. По-видимому, это связано с выпадением осадков в виде снега и интенсивными нестационарными конвективными процессами в атмосфере. Отличия в приземных температурах в более чем 90 % ячеек составляют менее 2 °С. Только в двух ячейках зимой в Северном полушарии над материком разница составляет 10 °С. Для зимы в Южном полушарии наблюдается похожая картина: заметные отличия существуют в трех ячейках в Антарктиде.
Отличия в приземном давлении не превышают 15 мбар в нескольких ячейках и в основном составляют менее 5 мбар.
На рис. 3 показаны географические распределения разности температур воздуха для июля на уровнях 400 и 800 мбар соответственно. На уровне 400 мбар отличия не превышают 2 °С везде за исключением одной точки, где составляют 6 °С. На уровне 800 мбар — подобная картина. Можно утверждать, что отличия в результатах более существенны в приземных областях.
Анализ показывает, что результаты расчетов по модифицированной расчетной схеме дают удовлетворительные результаты и возможно ее применение. В нераспараллеленной программе время счета блока физики составляет 38 %, а блока динамики — 62 %. Значит, на распараллеленной программе может быть достигнуто ускорение
120 150 180
90 70 50 30 10 -10 -30 -50
-2-
5?
СгР
-180 -150 -120 -90 -60 -30
180
Рис. 3. Изолинии разностей температуры воздуха на уровне 400 (а) и 800 мбар (б), рассчитанных по исходной и модифицированной схемам (июль)
приблизительно в полтора раза. Предлагаемую процедуру используют вместе с процедурами распараллеливания блоков динамики и физики на основе декомпозиции расчетной области. Здесь можно применить разработки, описанные в работах [10, 11, 20], что позволяет оптимизировать загрузку процессоров и повысить эффективность распараллеливания (рис. 4).
6 8 Ю 12 14 16 Число процессов
Рис. 4. Зависимость ускорения от числа процессоров:
1 — модифицированный метод; 2 — исходный метод
Другая важная возможность применения метода — усложнение блока физики без увеличения общего времени счета. Рассмотрим четыре численных эксперимента А, В, С и Б с тем, чтобы продемонстрировать результаты:
1) А — использована горизонтальная сетка 4*5 градусов, девять вертикальных уровней, исходный метод для блока физики;
2) В — горизонтальная сетка 4*2,5 градуса для расчета переменных в блоке физики, девять вертикальных уровней;
3) С — горизонтальная сетка 4*2,5 градуса для расчета переменных и 18 вертикальных уровней для радиационных и гидрологических переменных в блоке физики;
4) Б — как в эксперименте С, но в два раза больше спектральных уровней в радиационной модели.
В блоке динамики во всех экспериментах использована фиксированная горизонтальная сетка 4*5 градусов.
В табл. 2 показаны использованные распределения количества процессоров между блоками динамики и физики для указанных вариантов расчетов.
Таблица 2
Распределение процессоров для численных экспериментов А, В, С и Б
Эксперимент А В С Б
Общее количество процессоров 16 22 28 34
Процессоры для блока динамики 10 10 10 10
Процессоры для блока физики 6 12 18 24
Преимущества модифицированного метода, как показано далее, очевидны для экспериментов с относительно большим количеством процессоров, когда большое количество обменов данными между процессорами существует в блоке динамики, а в блоке физики эта проблема отсутствует. Такой эффект объясняет замедление исходного метода расчетов (рис. 5, 2) [20]. Количество процессоров, используемых для блока динамики в модифицированном методе, является одинаковым для всех экспериментов, а увеличивающееся количество
Рис 5. Ускорение счета для численных
экспериментов А, В, С и Б: 1 — модифицированный метод; 2 — исходный метод
процессоров, используемых для блока физики, обеспечивает более подробное и точное описание физических процессов в модели в экспериментах А, В, С и Б. Такое преимущество модифицированного метода не сопровождается увеличением времени счета (рис. 5, 1).
На основе описанной модели климата проведены численные эксперименты по прогнозированию изменения климата при увеличении концентрации углекислого газа в атмосфере, вызванного антропогенными факторами. Для сценария роста концентрации CO2, предложенного в SRES ГРСС [2, 21], рост глобальной температуры атмосферы к 2100 г. составит 2,7 °С, увеличение влажности — 11,5 %, уменьшение толщины морского льда — 25 %. Увеличение приземной температуры атмосферы значительнее над материками и в средних широтах и достигнет 5,2 °С в северных областях Евразии (рис. 6). В Южном полушарии потепление не превысит 2 °С.
А2 С02 всеп еЫв1: Ьиг всЫу = 15 Бскуг = 2100
-260 -220 -180 -140 -100 -60 -20 20 60 100
Долгота
Рис. 6. Изменения температуры воздуха, сценарий А2 С02 (январь)
Существенно изменяется структура меридионального потока воды в Атлантическом океане при реализации рассматриваемого сценария роста концентрации С02. На рис. 7 представлена вертикальная структура среднего меридионального потока в Атлантическом океане для современных условий (а) и прогноз для 2100 г. при реализации сценария роста С02 (б). Наблюдается существенное уменьшение потока максимально на 27 % , что означает уменьшение потока теплых масс воды из экваториальной зоны в северные области Атлантики.
ОРБ! АН Ь А2 С02 всел
Рис. 7. Средний меридиональный поток воды в Атлантическом океане для современных условий (а) и прогноз на 2100 г. (б): ЮП — Южный полюс, Экв — экватор, СП — Северный полюс
Заключение. Рассмотрены результаты применения вариантов параллельного алгоритма климатической модели для различных способов разбиения расчетной области с модифицированными коммуникационными процедурами для обменов информацией между процессорами в параллельном варианте модели общей циркуляции атмосферы. Реализована параллельная программа для различных способов разбиения расчетной области по процессорам в климатической модели.
Представлен анализ некоторых факторов, влияющих на выполнение параллельной реализации модели ОЦА на многопроцессорной ЭВМ кластерного типа. Рассмотрено несколько модификаций первоначального параллельного кода модели, направленных на улучшение его вычислительной эффективности, баланса загрузки процессоров.
Предложен модифицированный метод распараллеливания с одновременным расчетом вклада физики и динамики соответственно на двух группах процессоров с одних и тех же входных данных. Отмечено, что реализация метода требует изменения численной схемы по времени. По модифицированному и исходному вариантам программы проведены модельные расчеты, подтвердившие корректность этого метода. Исследована эффективность модифицированной схемы, при этом повышение точности расчета вклада физики не сопровож-
дается увеличением времени счета. Представлены результаты по моделированию прогнозов изменения климата при увеличении концентрации углекислого газа в атмосфере.
Работа выполнена при поддержке Проектов РФФИ № 14-01-00308, № 14-07-00037, № 16-01-0466.
ЛИТЕРАТУРА
[1] Монин А.С. Введение в теорию климата. Ленинград, Гидрометеоиздат, 1982, 296 с.
[2] Climate Change 2013. The Physical Science Basis. The Physical Science Basis. New York, Cambridge University Press, 2013. Available at: http://www.climatechange2013.org/images/report/WG1 AR5_ALL_FINAL.pdf
[3] Моисеев Н.Н., Александров В.В., Тарко А.М. Человек и биосфера. Москва, Наука, 1985, 272 с.
[4] Dimitrienko Yu.I., Koryakov M.N., Zakharov A.A. Computational Modeling of Conjugated Aerodynamic and Thermomechanical Processes in Composite Structures of High-speed Aircraft. Applied Mathematical Sciences, 2015, vol. 9, no. 98, pp. 4873-4880. http://dx.doi.org/10.12988/ams.2015.55405
[5] Димитриенко Ю.И., Коряков М.Н., Захаров А.А. Применение метода RKDG для численного решения трехмерных уравнений газовой динамики на неструктурированных сетках. Математическое моделирование и численные методы, 2015, № 4, с. 75-91.
[6] Dimitrienko Yu.I., Koryakov M.N., Zakharov A.A. Application of Finite Difference TVD Methods in Hypersonic Aerodynamics. Finite Difference Methods, Theory and Applications. Lecture Notes in Computer Science, 2015, vol. 9045, pp. 161-168. DOI 10.1007/978-3-319-20239-6_15
[7] Димитриенко Ю.И., Захаров А.А., Коряков М.Н., Сыздыков Е.К. Моделирование сопряженных процессов аэрогазодинамики и теплообмена на поверхности теплозащиты перспективных гиперзвуковых летательных аппаратов. Известия высших учебных заведений. Машиностроение, 2014, № 3, с. 23-34.
[8] National Aeronautics and Space Administration: Earth Systems Science: A Closer View. Report of the Earth Systems Science Committee NASA Advisor Council NASA. Washington, NASA, 1988, 208 p.
[9] Белов П.Н., Борисенков Е.П., Панин Б.Д. Численные методы прогноза погоды. Ленинград, Гидрометеоиздат, 1989, 375 с.
[10] Parkhomenko V.P., Lang T.V. Improved computing performance and load balancing of atmospheric general circulation model. Journal of Computer Science and Cybernetics, 2013, vol. 29, no. 2, pp. 138-148.
[11] Пархоменко В.П. Реализация глобальной климатической модели на многопроцессорной ЭВМ кластерного типа. Параллельные вычислительные технологии. Труды Международной научной конференции «Параллельные вычислительные технологии 2009» (Нижний Новгород, 30 марта - 3 апреля 2009 г.). Челябинск, изд-во ЮУрГУ, 2009, 839 с.
[12] Пархоменко В.П. Модель климата с учетом глубинной циркуляции Мирового океана. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2011, спец. вып. «Математическое моделирование», с. 186-200.
[13] Пархоменко В.П. Глобальная модель климата с описанием термохалин-ной циркуляции Мирового океана. Математическое моделирование и численные методы, 2015, № 1, 94-108.
[14] Пархоменко В.П. Моделирование стабилизации глобального климата управляемыми выбросами стратосферного аэрозоля. Математическое моделирование и численные методы, 2014, № 2, c. 115-126.
[15] Пархоменко В.П. Численные эксперименты на глобальной гидродинамической модели по оценке чувствительности и устойчивости климата. Инженерный журнал: наука и инновации, 2012, № 2.
DOI 10.18698/2308-6033-2012-2-45
[16] Пархоменко В.П. Квазислучайный подход для определения оптимальных наборов значений параметров климатической модели. Инженерный журнал: наука и инновации, 2013, № 9. DOI 10.18698/2308-6033-2013-9-962
[17] Parkhomenko V.P. Sea Ice Cover Sensitivity Analysis in Global Climate Model. Research Activities in Atmospheric and Oceanic Modelling. Geneva, World Meteorological Organization, 2003, vol. 33, pp. 7.19-7.20.
[18] Arakawa A., Lamb V. Computational Design of the Basic Dynamical Processes of the UCLA General Circulation Model. Methods in Computational Physics, 1977, vol. 17, pp. 174-207.
[19] Пархоменко В.П. Проблемы реализации и функционирования глобальной климатической модели на параллельных вычислительных системах. Труды IV Международной конференции «Параллельные вычисления и задачи управления» (Москва, 27-29 окт. 2008 г.). Москва, Институт проблем управления им. В.А. Трапезникова РАН, 2008, с. 122-141.
[20] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. Санкт-Петербург, БХВ-Петербург, 2002, 608 с.
[21] Climate Change 2007: The physical Science Basis. Contribution of Working Group I to the Fourth Assessment Report of the Intergovernmental Panel Climate Change, Paris, 2007, 989 p.
Статья поступила в редакцию 09.09.2016
Ссылку на эту статью просим оформлять следующим образом:
Пархоменко В.П. Алгоритм увеличения вычислительной производительности и баланса загрузки процессоров для моделирования общей циркуляции атмосферы. Математическое моделирование и численные методы, 2016, № 3 (11), с. 93-109.
Пархоменко Валерий Павлович окончил физический факультет МГУ им. М.В. Ломоносова. Канд. физ.-мат. наук, заведующий сектором моделирования климатических и биосферных процессов Вычислительного центра им. А.А. Дородницына РАН Федерального исследовательского центра «Информатика и управление» РАН, доцент МГТУ им. Н.Э. Баумана. Автор более 120 научных публикаций. Область научных интересов: нестационарная газовая динамика, численные методы динамики сплошных сред, математическое моделирование климата. e-mail: [email protected]
Algorithm for computational performance improvement and processor load balancing to simulate the general atmosphere circulation
© V.P. Parkhomenko
Dorodnicyn Computing Centre of RAS, Moscow, 119333, Russia
The paper analyzes some factors affecting the parallel implementation performance of the atmospheric general circulation model designed on a cluster type multiprocessor computer. It considers several modifications of the initial parallel code of this model in order to improve both its computational efficiency and processor load balancing. The
numerical scheme is modified according to the time of the atmospheric general circulation model for parallel computing of dynamics and physics blocks. The proposed procedure is used along with the procedures of paralleling the dynamics and physics blocks based on decomposition of the computational domain. It allows both optimizing the processor load balancing and increasing the paralleling efficiency. The data obtained while using the scheme for the physics block load balancing allow for complication of the physics block without increasing the total computational time. The results of numerical experiments are given.
Keywords: atmospheric general circulation model, parallel implementation features, numerical experiments.
REFERENCES
[1] Monin A.S. Vvedenie v teoriyu klimata [Introduction to the theory of climate]. Leningrad, Gidrometeoizdat Publ., 1982, 296 p.
[2] Climate Change 2013. The Physical Science Basis. The Physical Science Basis. New York, Cambridge University Press, 2013. Available at: http://www.climatechange2013.org/images/report/WG1AR5_ALL_FINAL.pdf
[3] Moiseev N.N., Aleksandrov V.V., Tarko A.M. Chelovek i biosfera [Man and the biosphere]. Moscow, Nauka Publ., 1985, 272 p.
[4] Dimitrienko Yu.I., Koryakov M.N., Zakharov A.A. Applied Mathematical Sciences,, 2015, vol. 9, no. 98, pp. 4873-4880. http://dx.doi.org/10.12988/ams.2015.55405
[5] Dimitrienko Yu.I., Koryakov M.N., Zakharov A.A. Matematicheskoe mo-delirovanie i chislennye metody — Mathematical Modelling and Computational Methods, 2015, no. 4, pp. 75-91.
[6] Dimitrienko Yu.I., Koryakov M.N., Zakharov A.A. Finite Difference Methods, Theory and Applications. Lecture Notes in Computer Science, 2015, vol. 9045, pp. 161-168. DOI 10.1007/978-3-319-20239-6_15
[7] Dimitrienko Yu.I., Zakharov A.A., Koryakov M.N., Syzdykov E.K. Izvestiya vysshikh uchebnykh zavedeniy. Mashinostroenie — Proceedings of Higher Educational Institutions. Machine Building, 2014, no. 3, pp. 23-34.
[8] National Aeronautics and Space Administration: Earth Systems Science: A Closer View. Report of the Earth Systems Science Committee NASA Advisor Council NASA, Washington, NASA, 1988, 208 p.
[9] Belov P.N., Borisenkov E.P., Panin B.D. Chislennye metody prognoza pogody [Numerical methods of weather forecast]. Leningrad, Gidrometeoizdat Publ., 1989, 375 p.
[10] Parkhomenko V.P., Lang T.V. Journal of Computer Science and Cybernetics, 2013, vol. 29, no. 2, pp. 138-148.
[11] Parkhomenko V.P. Realizatsiya globalnoi klimaticheskoi modeli na mnogopro-cessornoi EVM klasternogo tipa. Parallelnye vychislitelnye tehnologii [The implementation of a global climate model on a cluster type multiprocessor computer. Parallel computing technologies]. Trudy Mezhdunarodnoy nauchnoy konferentsii "Parallelnye vychislitelnye tekhnologii 2009" [Proceedings of the International scientific conference "Parallel computational technologies", 2009] (Nizhny Novgorod, 30 March - 3 April 2009). Chelyabinsk, Publishing House of the SUSU, 2009, 839 p.
[12] Parkhomenko V.P. Vestnik MGTU im. N.E. Baumana. Ser. Estestvennye nauki — Herald of the Bauman Moscow State Technical University. Series Natural Sciences, 2011, spec. iss. "Mathematical modeling", pp. 186-200.
[13] Parkhomenko V.P. Matematicheskoe modelirovanie i chislennye metody — Mathematical Modelling and Computational Methods, 2015, no. 1, pp. 94-108.
[14] Parkhomenko V.P. Matematicheskoe modelirovanie i chislennye metody — Mathematical Modelling and Computational Methods, 2014, no. 2, pp. 115-126.
[15] Parkhomenko V.P. Inzhenernyy zhurnal: nauka i innovatsii — Engineering Journal: Science and Innovation, 2012, no. 2.
DOI 10.18698/2308-6033-2012-2-45
[16] Parkhomenko V.P. Inzhenernyy zhurnal: nauka i innovatsii — Engineering Journal: Science and Innovation, 2013, no. 9.
DOI 10.18698/2308-6033-2013-9-962
[17] Parkhomenko V.P. Sea Ice Cover Sensitivity Analysis in Global Climate Model. Research Activities in Atmospheric and Oceanic Modelling. Geneva, World Meteorological Organization, 2003, vol. 33, pp. 7.19-7.20.
[18] Arakawa A., Lamb V. Methods in Computational Physics, 1977, vol. 17, pp. 174-207.
[19] Parkhomenko V.P. Problemy realizatsii i funktsionirovaniya globalnoi klimati-cheskoi modeli na parallelnykh vychislitelnykh sistemakh [Problems of implementation and functioning of the global climate models on parallel computer systems]. Trudy IV Mezhdunarodnoi konferentsii "Parallelnye vychisleniya i zadachi upravleniya" (Moscow, 27-29 Oct., 2008) [Proceedings of the IV International conference Parallel computations and control problems (Moscow, 27-29 Oct., 2008)]. Moscow, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, 2008, pp. 122-141.
[20] Voevodin V.V., Voevodin Vl.V. Parallelnye vychisleniya [Parallel computations]. St. Petersburg, BHV-Petersburg Publ., 2002, 608 p.
[21] Climate Change 2007: The physical Science Basis. Contribution of Working Group I to the Fourth Assessment Report of the Intergovernmental Panel Climate Change, Paris, 2007, 989 p.
Parkhomenko V.P. graduated from Lomonosov Moscow State University, Department of Physics. Cand. Sci. (Phys.-Math.), Head of Division for Modelling of Climatic and Biosphere Processes in Institution of Russian Academy of Sciences, Dorodnicyn Computing Centre of RAS, Assoc. Professor at Bauman Moscow State Technical University. Author of over 120 research publications. Research interests: nonstationary gas dynamics, numerical methods for continuous media dynamics, mathematical modeling of climate. e-mail: [email protected]
