CC BY
54
УДК 004.021, 681.324
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС МОДЕЛИРОВАНИЯ ЭКСТРЕМАЛЬНЫХ ГИДРОМЕТЕОРОЛОГИЧЕСКИХ ЯВЛЕНИЙ. ЧАСТЬ I: ПОСТАНОВКА ЗАДАЧИ, МОДЕЛИ, МЕТОДЫ И ПАРАЛЛЕЛЬНЫЕ
АЛГОРИТМЫ
А.В. Бухановский, О.И. Зильберштейн, С.В. Иванов, С.В. Ковальчук, Л.И. Лопатухин, С.К. Попов, М.М. Чумаков
Обсуждаются вопросы практической реализации новой концепции получения информации об экстремальных гидрометеорологических явлениях на основе компьютерного моделирования. Формулируются основные этапы вычислительной технологии, рассматриваются особенности современных подходов, численных методов и параллельных алгоритмов для гидродинамического и статистического моделирования полей ветра, волнения, течений и уровня моря. Приводится оценка ресурсоемкости основных вычислительных операций и обосновывается выбор суперкомпьютерной архитектуры. Ключевые слова: экстремальные явления, гидрометеорологические моделирование, параллельные алгоритмы.
Введение
Освоение пространства Мирового океана (прежде всего - шельфовой зоны) требует информации о внешних нагрузках на морские объекты и сооружения. Внешние нагрузки обусловлены совместным действием ветра, волнения и морских течений (в некоторых случаях - льда) при определенном уровне моря. Их характеристики подразделяются на оперативные (определяющие режимы эксплуатации объектов и сооружений) и экстремальные (характеризующие режим выживания) [1]. В отличие от оперативных характеристик, традиционно получаемых посредством статистического анализа исторических массивов гидрометеорологической информации, экстремальные характеристики обычно не обеспечены данными наблюдений и, как следствие, должны определяться с использованием инструментария математического моделирования [2, 3].
В практике проектирования морских сооружений в качестве экстремальных обычно рассматриваются расчетные характеристики гидрометеорологических явлений, возможных 1 раз в Т лет, где Т соответствует классу сооружения. Для судов и объектов океанотехники традиционно Т = 1-100 лет, а для некоторых гидротехнических сооружений (как, например, защитные сооружения Санкт-Петербурга от наводнений) могут рассматриваться периоды повторяемости до Т = 10 000 лет. Поэтому моделирование экстремальных гидрометеорологических явлений является существенно более ресурсоемкой задачей, чем традиционные гидрометеорологические задачи прогноза погоды и моделирования климата (например, [4-6]).
Обычно при прогнозе погоды оперируют данными на объемной пространственной сетке, однако все расчеты выполняются в синоптическом диапазоне (в среднем от 2 до 5 суток). Задача моделирования климата охватывает временной интервал в десятки и сотни лет, однако она может оперировать декадными или даже среднемесячными данными. В то же время современная концепция получения информации об экстремальных гидрометеорологических явлениях [7] основана на полностью синтетическом подходе [8].
В данной работе рассматриваются вопросы практической реализации концепции [7, 8], исходя из особенностей применяемых математических моделей и численных методов, специфики параллельных алгоритмов и потенциальных возможностей современных суперкомпьютерных систем.
Эволюция подходов, методов и технологий математического моделирования экстремальных гидрометеорологических явлений
В настоящее время существует несколько кардинально различных подходов к расчету гидрометеорологических характеристик, возможных 1 раз в Т лет. Наиболее известными их реализациями являются методы IDM (Initial Distribution Method), AMS (Annual Maxima Series) и POT (Peak Over Threshold), которые основаны на интерпретации экстремального значения как детерминированной квантили распределения, крайнего члена выборки и выброса случайного процесса за уровень [9]. Несмотря на различие вероятностных моделей, современные методы расчета экстремальных гидрометеорологических явлений являются комбинированными, что позволяет им гибко сочетать особенности математического аппарата и специфику описываемого им явления. В частности, авторский метод BOLIVAR [9, 10], как и POT, интерпретирует экстремальные явления в терминах выходов за уровень, однако использует для описания их совместной изменчивости формализм квантильной функции годовых максимумов, что позволяет сохранить теоретическую обоснованность методов группы AMS. В табл. 1 сопоставляются основные характеристики указанных методов.
Таблица 1. Сопоставление методов расчета гидрометеорологических экстремумов
Критерии Методы
ГОМ ЛМ8 POT BOLIVAR
Моделирование «хвоста» распределения Эвристически (логнормальное или Вейбулл) Класс предельных распределений I, II, III типа или обобщенное экстремальное Обобщенное распределение Паре-то Класс предельных распределений I, II, III или обобщенное экстремальное
Объем выборки для оценки параметров 365Тп, где п -число синоптических сроков в сутки Т 1-37, зависит от уровня 40-707 (в зависимости от акватории)
Определение вероятности для оценки периода повторяемости Используя среднее число независимых наблюдений Точно (как годовой максимум) В среднем (с учетом среднего числа штормов в год) Точно (как в методе AMS)
Учет сезонной и межгодовой изменчивости Отдельно не рассматривается и косвенно учитывается в режимном распределении Не учитывается В среднем (в зависимости от уровня) Учитывается для каждого диапазона отдельно
Требования к информационной базе Разрозненные наблюдения по районам за длительный промежуток времени Значения годовых максимумов (обычно по измерениям особо опасных явлений) Значения характеристик в отобранных штормах Непрерывные временные ряды в синоптические сроки за длительный промежуток времени
Методы вычислений Оценивание параметров распределения и экстраполяция по формуле Оценивание параметров распределения и экстраполяция по формуле Оценивание параметров распределения и экстраполяция по формуле Метод Монте-Карло
Из табл. 1 следует, что различия в подходах обусловлены не только спецификой применяемого математического аппарата, но, в первую очередь, особенностями информационной базы, на основании которой выполняются расчеты. Так, метод ГОМ весьма неприхотлив к качеству данных и может использоваться на достаточно больших разрозненных выборках (например, попутные судовые наблюдения за ветром и волне-
нием). Метод AMS требует выполнения регулярных наблюдений в фиксированной точке в течение ряда лет, однако он использует только характеристики самого сильного шторма в каждом году (что обычно доступно при наличии регулярных измерений на гидрометеорологических станциях). Метод POT использует только информацию о характеристиках процессов в выбранных (на уровне построения вероятностной модели) штормах, что существенно увеличивает объемы выборок и облегчает процедуру расчетов, однако повышает степень неопределенности в оценках экстремумов. Наконец, метод BOLIVAR использует информацию о штормах как импульсах заданной интенсивности, длительности и времени появления. Потому для его применения необходимы непрерывные временные ряды измерений в синоптические сроки за длительный промежуток времени.
Современная концепция расчета экстремальных гидрометеорологических характеристик на основе данных гидродинамического моделирования
Практическое применение метода BOLIVAR связано с необходимостью иметь соответствующую информационную базу, необходимую для идентификации вероятностных моделей. Однако получение таких данных об океанографических характеристиках (волнении, течениях и уровне моря) применительно к произвольному району Мирового океана ограничено тем, что существующие наблюдения, как правило, нерегулярны или могут вообще отсутствовать. В частности, спутниковые данные имеют непрерывную продолжительность 20-25 лет, причем над одной и той же акваторией (а тем более, точкой) спутник может пролетать через несколько суток (следовательно, эквидистантность измерений неочевидна), данные автоматических буев имеют продолжительность 5-15 лет, однако они, в основном, находятся в прибрежных районах. Наблюдения на береговых гидрометеостанциях могут иметь длительность 100 и более лет, однако они не отражают специфики гидрометеорологических процессов в открытом море. Поэтому применительно к задаче расчета экстремальных гидрометеорологических явлений современная концепция [7] постулирует следующие допущения.
- Основным источником данных об океанографических процессах являются результаты расчетов по гидродинамическим моделям динамики океана. Такой подход позволяет, используя данные реанализа метеорологических полей как входные данные, получать информационные массивы океанографических характеристик непрерывной продолжительностью несколько десятков лет.
- Для статистического оценивания экстремальных характеристик, возможных 1 раз в T лет, используется система стохастических моделей, описывающих совместную многомасштабную (синоптическую, сезонную, межгодовую) изменчивость пространственно-временных полей океанографических характеристик. Это позволяет методом Монте-Карло воспроизвести ансамбль их реализаций, таким образом, экстраполируя значения экстремумов на заданный временной интервал.
- Экстремальность гидрометеорологического явления по отношению к конкретному объекту определяется интегральной совокупностью всех факторов путем рассмотрения функций риска, специфичных для определенных классов морских объектов и сооружений.
В настоящее время доступность глобальных (NCEP/NCAR, ERA-40) и региональных (SMHI, JRA25, NMI и др.) массивов реанализа метеорологических полей, эволюция гидродинамических моделей и развитие высокопроизводительных вычислительных технологий сделали возможной практическую реализацию данной концепции в полном объеме. Практическая реализация рассматриваемой концепции моделирования предусматривает последовательное решение трех задач ((а) подготовки и усвоения метеорологических данных, (б) гидродинамического моделирования, (в) статистического ана-
лиза, моделирования и расчета экстремумов), объединенных в вычислительную цепочку. Каждая задача дополнительно распадается на систему взаимосвязанных модулей (см. рис. 1).
База данных полей атмосферных характеристик
I
Ансамблевое усвоение данных измерений
I
о_ 0) СП
Моделирование ансамбля пространственно-временных полей океанографических характеристик
I
со ^
со о о.
ю ^
с;
со
Параметризация результатов модельных расчетов
I
Расчет оперативных характеристик
Инструментальные измерения гидрометеорологических арактеристик
Идентификация системы стохастических моделей многомасштабной
изменчивости процессов ♦ -
Статистический расчет экстремальных характеристик
I "
Поля совместных экстремумов
Рис. 1. Концепция расчета экстремальных гидрометеорологических характеристик с использованием компьютерного моделирования
Этапы расчета экстремальных гидрометеорологических характеристик: методы, модели и параллельные алгоритмы
В соответствии с рис. 1, первым этапом является подготовка массива метеорологической информации. В качестве входных данных для расчета океанографических характеристик (ветрового волнения, течений и уровня моря) могут быть использованы поля атмосферного давления и скорости приводного ветра на основе данных реанализа, в которые усваиваются данные высокоточных инструментальных измерений. Процедура усвоения [11] может проводиться как для каждой метеорологической величины независимо, так и путем пересчета одних величин через другие. Так, приводный ветер может быть определен из геострофического соотношения (по полям приземного атмосферного давления с усвоением) с учетом кривизны изобар, агеострофики и приводного трения. Наиболее ресурсоемким элементом таких расчетов является собственно определение геострофического ветра и радиусов кривизны изобар. Эта процедура может быть эффективно распараллелена по времени (распределяя Т лет данных между разными вычислителями) в рамках модели как общей, так и распределенной памяти. В последнем случае распределение данных между узлами выполняется с перекрытием, обусловленным конечной разностью второго порядка при расчете временной производной поля давления.
Второй этап включает в себя формирование массива полей океанографических характеристик, используя гидродинамические модели. Используя массив метеорологической информации как входные данные, выполняется совместное гидродинамическое моделирование волнения, течений и уровня моря, что обусловлено необходимостью учета фактической глубины акватории по разгону волн. В том случае, когда штормовые колебания уровня моря сопровождаются развитым ветровым волнением, этот эффект
может привести к появлению существенно больших волн, чем предельно возможные при среднем многолетнем положении уровня моря.
Гидродинамическая модель морского волнения в спектральной форме представляется в виде уравнения баланса волновой энергии:
дЫ дЫ . дЫ ■ дЫ & дЫ О дЫ . _
-+-ф +-0 +-к +-в +-СО = О . (1)
Й дф д0 дк дв дш
Здесь Ы - спектральная плотность волнового действия; она является функцией от широты ф, долготы 0, волнового числа к и угла в между направлением волнового вектора и параллелью, а также от частоты ш и времени I. Это уравнение связывает между собой явления притока энергии от ветра, диссипации и ее перераспределения и нелинейного взаимодействия между частотными составляющими процесса волнения. Чаще всего функция источника О записывается в виде суммы трех компонент, О = Оы + Оп1 + (поступления энергии от ветра к волнам, слабонелинейного взаимодействия в спектре ветрового волнения и диссипации волновой энергии соответственно).
Для расчетов уровня моря и течений в общем случае используется трехмерная гидродинамическая бароклинная модель со свободной поверхностью. Исходная система уравнений в декартовой системе координат в приближении гидростатики и плоскости записывается в следующем виде:
ди ду с№
— + — + — = 0, (2)
дх ду дг
ди д , д д 1 др (д2 и д2 и \
(ии) +—М+—(ри)-/у = —^т+Ын +—з а дх д у д ъ р дх I д х д у
д ( ди Л
+^\Ыг— \, (3)
д ъ Г 2 д,
ду д.. д.. д. 1 др т (д2 V, д2 V д („ ди
—+—(иу) +—(уу) +— (ру) + /и = —*т+Ын д дх ду дг р ду
о- у О- у дх2 ду2
+ОАы-и\ (4)
£ = «. (5)
дг
дТ + д(иТ) + А(уТ) + А(рт) = -ЦК, (6)
д1 дх ду дг д ъ \ дг)
д8 д , 0. д , 0. д ( д8 Л
+ + — (у?) + — = Кг — \ , (7)
д( дх дУ дг д ъ I дг)
р = У(Т, 5, р). (8)
Здесь / - параметр Кориолиса; р - давление; р - плотность; Т - температура, 5 - соленость, и, у, р - составляющие поля скорости течений по осям (х, у, г), Ыг, Ын - коэффициенты вертикальной и горизонтальной вязкости; Кг - коэффициент
вертикальной диффузии. Для приливных морей в правой части (3)-(4), (6)-(7) дополнительно учитывается приливная составляющая. Уравнения (1)-(8) интегрируются совместно. Распараллеливание вычислительного алгоритма возможно несколькими путями. Традиционный для вычислительной гидродинамики подход (в рамках модели общей памяти) реализует конвейерный параллельный подход к организации рабочего цикла [12]. Это объясняется учетом зависимостей, возникающих в поле расчетных характеристик между точками пространства, что делает невозможным способ простой доменной декомпозиции циклов. Как следствие, это требует предварительного выявления направлений зависимостей. Альтернативой такому подходу к распараллеливанию (1)-(8) является естественное, или физическое распараллеливание на основе декомпозиции по времени. Временная связность исследуемых процессов требует выполнения дополни-
тельных расчетов, осуществляющих, по сути, перекрытия между последовательными интервалами времени, на которых выполняется моделирование волнения, течений и уровня моря в параллельном режиме. Длительность перекрытия зависит от физических особенностей моделируемого процесса и специфики акватории и составляет 3-7 суток для модели волнения и 1-3 месяца для модели течений и уровня моря.
В третий этап включаются процедуры статистической обработки расчетных данных, идентификации стохастических моделей и расчета экстремумов. Статистическая обработка информационной базы гидрометеорологических характеристик выполняется средствами многомерного ста тистического анализа (МСА) пространственно-временных полей. Для расчета экстремальных гидрометеорологических явлений, возможных 1 раз в Т лет, и оценки соответствующих рисков от их воздействий на морские объекты и сооружения используется авторский метод БОЫУЛВ. (см. табл. 1). В рамках этого метода последовательность значений гидрометеорологического процесса (модуля скорости ветра и течений, высоты волн и уровня моря) в фиксированной точке ( х, у)
рассматривается как набор выборок, состоящих из максимумов Н+ в п самых сильных штормах в ¡-м году в течение Т лет (/ = 1,...,T;] = 1,...,п). Наибольшее значение Нтах, возможное 1 раз в Т лет, является крайним членом выборки. Порядковые статистики Н+ являются оценками квантилей ур распределения максимумов процесса в штормах, их вероятностные свойства описываются совместной функцией распределения
О(у1,..., уп ) = < у1, к, < уп }, (9)
называемой квантильной функцией. Квантильная функция (9) несет, в принципе, всю информацию, необходимую для точечного и интервального оценивания экстремальных характеристик, возможных в заданное число лет. Однако ее определение в аналитическом виде в общем случае невозможно, что требует применения метода Монте-Карло на основе системы стохастических моделей, идентифицированных по данным гидродинамического моделирования. Учет многомасштабной (мелкомасштабной, синоптической, сезонной, межгодовой) изменчивости требует использования стохастических моделей разных классов, подробно описанных в [12]. Для их распараллеливания применяются подходы, основанные на декомпозиции по статистическому ансамблю, применении принципа перемешивания, а также декомпозиции по индексирующей переменной (например, времени I в задаче декомпозиции массива спектров волнения) [13]. В общем случае ресурсоемкость процедуры стохастического моделирования зависит от количества испытаний Монте-Карло (до 108-109), числа расчетных точек акватории, а также размерности задачи (количества характеристик, определяющих экстремальное гидрометеорологическое явление).
Оценка вычислительной сложности технологии
Из предыдущего раздела следует, что в настоящее время разработаны основные модели, методы и вычислительные алгоритмы, успешно реализующие каждый из элементов концепции, отраженной на рис. 1. Это позволяет рассмотреть возможность их совместной реализации в рамках единой технологии получения информации о совместных характеристиках экстремальных гидрометеорологических явлений на основе компьютерного моделирования. При этом существенной проблемой является вычислительная сложность, или ресурсоемкость выполняемых расчетов. Например, в [14] показано, что ресурсоемкость расчетов характеристик экстремальных явлений с периодом повторяемости не более 100 лет для акватории Каспийского моря составляет около 120 ПФлоп. Иными словами, для выполнения всех расчетов за одни сутки необходима реальная производительность вычислительных мощностей 1,4 ТФлопс. В табл. 2 при-
ведены характеристики ресурсоемкости основных вычислительных операций, применительно к выполнению расчетов для Каспийского моря [12]. Как следствие, практическая реализация разработанной технологии требует эффективного использования вычислительных систем терафлопной производительности, имеющих несколько сотен или даже тысяч процессоров.
Таблица 2. Характеристики ресурсоемкости вычислительных операций
№ Операция Объем генерируемых данных Относительное время выполнения
1 Усвоение метеорологической информации 1 • 1010 6%
2 Расчет полей характеристик морского волнения 5 • 1013 28%
Расчет полей морских течений и уровня 40%
3 Параметризация частотно-направленных спектров 3 • 1012 13%
Стохастическое моделирование экстремумов 3 • 1015 10%
4 Расчет функций риска 5 • 107 3%
Заключение
Таким образом, появление информационных массивов реанализа метеорологических полей, эволюция вычислительных гидродинамических моделей динамики океана и развитие методов, средств и технологий высокопроизводительных вычислений сделали возможным воплощение новой концепции расчета экстремальных гидрометеорологических характеристик на основе данных компьютерного моделирования. В настоящее время разработаны все вычислительные модели, методы и параллельные алгоритмы, реализующие базовые элементы данной концепции. Однако принципиальной задачей, требующей применения вычислительных систем терафлопного диапазона производительности, является создание интегрированной вычислительной технологии и разработки высокопроизводительного программного комплекса на ее основе. Решению этих задач посвящены следующие статьи данного цикла [14, 15].
Литература
1. Справочные данные по режиму ветра и волнения Баренцева, Охотского и Каспийского морей; Под ред. Лопатухина Л.И. и др. - Российский Морской регистр судоходства. - СПб, 2003. - 214 с.
2. Бухановский А.В., Лопатухин Л.И., Чернышева Е.С. Подходы, опыт и некоторые результаты исследований волнового климата океанов и морей. II. Расчет волнения по гидродинамическим моделям, режимные распределения и климатические спектры волн // Вестник СПбГУ. - 2005. - Сер. 7. - Вып. 4. - С. 56-69.
3. Справочные данные по режиму ветра и волнения Балтийского, Северного, Черного, Азовского и Средиземного морей / Лопатухин Л. И. и др. Российский Морской регистр судоходства. - СПб, 2006. - 450 с.
4. Володин Е.М., Толстых М.А. Параллельные вычисления в задачах моделирования климата и прогноза погоды // Вычислительные методы и программирование. -2007. - Т. 8. - С. 113-122.
5. Joppich W., Quaas J. Coupling general circulation models on a meta-computer // Lecture Notes in Computer Science. - 2003. - Vol. 2657. - Р. 161-170.
6. Stankova E., Zatevakhin M. Numerical simulation of cloud dynamics and microphysics // Lecture Notes in Computer Science. - 2003. - Vol. 2657. - Р. 171-178.
7. Мирзоев Д.А. и др. Концепция обеспечения специализированной гидрометеорологической информацией проектирования сооружений на шельфе арктических морей // Труды Четвертой Международной конференции «Освоение шельфа арктических морей» (RAO 99). - СПб, 1999.
8. Бухановский А.В., Лопатухин Л.И., Рожков В.А. Подходы, опыт и некоторые результаты исследований волнового климата океанов и морей. III. Экстремальные и необычные волны // Вестник СПбГУ. - 2006. - Сер. 7. - Вып. 4. - С. 58-69.
9. Lopatoukhin L.J. et al. Estimation of extreme wind wave heights // World Meteorolog-cal Organization. WMO/TD. - 2000. - № 1041. - 76 p.
10. Рожков В. А. и др. Моделирование штормового волнения // Физика атмосферы и океана. - 2000. - Т. 36. - № 5. - С. 689-699.
11. Бухановский А.В., Лопатухин Л.И., Иванов С.В. Подходы, опыт и некоторые результаты исследований волнового климата океанов и морей. I. Постановка задачи и входные данные // Вестник СПбГУ. - Сер. 7. - 2005. - Вып. 3. - С. 62-74.
12. Бухановский А.В. и др. Моделирование экстремальных явлений в атмосфере и океане как задача высокопроизводительных вычислений // Вычислительные методы и программирование. - 2008. - Том 9. - С. 141-153.
13. Bogdanov A.V., Boukhanovsky A.V. High performance parallel algorithms for data processing // Lecture Notes in Computer Science. - 2004. - Vol. 3036. - Р. 239-246.
14. Ковальчук С.В. и др. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений. Часть II: Разработка и оценка программной архитектуры // Научно-технический вестник СПбГУ ИТМО. - 2008. - Вып. 54. - С. 64-71.
15. Иванов С.В. и др. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений. Часть III: Интерпретация и использование результатов расчетов // Научно-технический вестник СПбГУ ИТМО. - 2008. - Вып. 54. - С. 72-79.
Бухановский Александр Валерьевич
Иванов Сергей Владимирович
Ковальчук Сергей Валерьевич
Зильберштейн Олег Иделевич Попов Сергей Константинович Лопатухин Леонид Иосифович Чумаков Михаил Михайлович
- Санкт-Петербургский государственный университет информационных технологий, механики и оптики, д.т.н., профессор, [email protected]
- Санкт-Петербургский государственный университет информационных технологий, механики и оптики, м.н.с., [email protected]
- Санкт-Петербургский государственный университет информационных технологий, механики и оптики, м.н.с., [email protected]
- ГУ «Гидрометцентр России», зав. лаб., к.ф.-м.н., [email protected]
- ГУ «Гидрометцентр России», ст.н.с., к.ф.-м.н., [email protected]
- Санкт-Петербургский государственный университет, д.г.н., профессор, [email protected]
- ГУ «Гидрометцентр России», ст.н.с., к.ф.-м.н., [email protected]
