CC BY
64
Сергей Анатольевич Сухоруков — ЗАО „Фирма АйТи. Информационные технологии", Дирекция по
работе с государственным и образовательным секторами, Москва; заместитель руководителя; E-mail: [email protected] Тагир Галеевич Яппаров — ЗАО „Фирма АйТи. Информационные технологии", Москва, пред-
седатель совета директоров; E-mail: [email protected]
Рекомендована НИИ НКТ Поступила в редакцию
15.05.11 г.
УДК 681.3.069, 681.324
А. В. Бухановский, А. Н. Житников, С. Г. Петросян, П. М. А. Слоот
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ТЕХНОЛОГИИ ЭКСТРЕННЫХ ВЫЧИСЛЕНИЙ ДЛЯ ПРЕДОТВРАЩЕНИЯ УГРОЗЫ НАВОДНЕНИЙ
Рассматриваются вопросы применения технологий экстренных вычислений при организации и разработке систем предотвращения угрозы наводнений на примере Санкт-Петербурга.
Ключевые слова: экстренные вычисления, поддержка принятия решений, суперкомпьютеры, Грид, прогноз уровня и течений, усвоение данных.
Эффективность предотвращения природных и техногенных катастроф зависит не только от возможности их заблаговременного предсказания, но и от выработки адекватных и своевременных мер, позволяющих минимизировать возможный ущерб. Поэтому в современных технологиях активно используется ресурсоемкое компьютерное моделирование различных сценариев действий в экстремальных ситуациях, что дает возможность исследовать различные варианты эволюции событий, приводящих к неблагоприятным последствиям. Процесс поддержки принятия решений сводится к определению наиболее вероятных сценариев развития ситуации и выявлению „узких мест", критичных с точки зрения дальнейшего негативного влияния на ее общий исход [1]. Это дает возможность рассматривать формирование мер противодействия, позволяющих уменьшить или вообще устранить последствия экстремальной ситуации, как решение задачи оптимизации.
В целом при таком подходе высокая вычислительная сложность компьютерного моделирования отдельных сценариев совмещается с жестко заданным сроком получения результатов расчетов, напрямую связанным с допустимым временем принятия решений. При этом основной проблемой является существенная неоднородность вычислительных задач, поскольку, в зависимости от развития ситуации, для реализации того или иного сценария могут быть использованы различные вычислительные приложения, предъявляющие различные требования к вычислительным ресурсам и организации данных. Преодолеть эту проблему позволяет специфическое направление суперкомпьютерных технологий — технологии экстренных вычислений (ЭВ) [2].
В настоящей статье рассматриваются аспекты применения технологий ЭВ для организации системы предотвращения угрозы наводнений в Санкт-Петербурге.
Концепция экстренных вычислений. Под ЭВ понимается процесс организации высокопроизводительных вычислений в целях компьютерного моделирования экстремальных ситуаций для поддержки принятия решений в условиях ограниченного времени решений. Основная задача ЭВ состоит в том, чтобы динамически сформировать и контролировать пул
ресурсов (данных, прикладных пакетов, вычислительных мощностей) в распределенной среде, достаточный для решения задачи пользователя (в форме задаваемого им сценария) за определенное время. При этом пользователь не участвует в процессе управления данными ресурсами: оно осуществляется низкоуровневыми средствами ЭВ; после завершения задачи используемые ресурсы освобождаются автоматически.
По сравнению с традиционными технологиями высокопроизводительных вычислений для компьютерного моделирования сложных систем, технологии ЭВ имеют свои специфические особенности.
— В системах ЭВ наравне с вычислительными сервисами используются сервисы доступа к данным измерений в режиме реального времени (интерфейсы датчиков, контроллеров технических средств и пр.). В процессе вычислений производится согласование данных измерений и результатов расчетов (например, данные ассимилируются в моделях [3]).
— Вычислительные процессы в рамках модели ЭВ обычно описываются в форме разветвленных (в соответствии с деревом возможных рисков) сценариев развития событий, представляемых в форме потоков заданий (workflow, WF).
— Задача оптимизации нагрузки в распределенной среде в рамках концепции ЭВ может быть представлена следующим образом: сформировать такой пул ресурсов, который обеспечивал бы решение задачи за время не более заданного. Это требует анализа вариантов распараллеливания вычислений на всех уровнях иерархии (от ядер и процессоров до выбора отдельных целевых систем в распределенной среде).
Как следствие, в технологиях ЭВ отражен ряд противоречивых требований к организации вычислительной инфраструктуры для поддержки принятия решений в экстремальной ситуации [4]. С одной стороны, ограничения по допустимому времени принятия решения требуют использования суперкомпьютеров для реализации отдельных вычислительных задач, в то время как задача консолидации разнородных вычислительных приложений в составе сценариев приводит к необходимости применения технологий класса Грид. Аналогично — необходимость выделения динамических ресурсов по требованию ассоциируется с архитектурой облачных вычислений, а обеспечение надежности получения результата в срок требует резервирования ресурсов в монопольной распределенной системе с географически разнесенными узлами. Поскольку потребность в экстренных вычислениях может возникать достаточно редко (по мере появления экстремальных ситуаций), система ЭВ по сути является динамической: она не располагает собственной выделенной вычислительной инфраструктурой, однако обладает механизмами для того, чтобы обеспечить приоритет исполнения своих задач в распределенных средах общего назначения.
Спецификой ЭВ также является интерактивность процесса поддержки принятия решений, в котором могут участвовать несколько лиц, принимающих решения (ЛПР), имеющих доступ к одним и тем же инструментальным средствам. При этом ЛПР могут самостоятельно формулировать и исследовать разные сценарии развития ситуации в процессе обоснования принимаемого решения. Как следствие, процесс поддержки принятия решений может быть представлен в виде последовательности сессий [5]. Для эффективной организации процесса исполнения сессий необходимо наличие гибких механизмов управления вычислительными ресурсами. Они должны учитывать, с одной стороны, специфику самой вычислительной инфраструктуры, а с другой — различные приоритеты решаемых задач, связанные как с организацией процесса принятия решений, так и с предметной областью. Таким образом, решение задач ЭВ не может быть реализовано в полной мере в рамках программно-аппаратного обеспечения высокопроизводительных вычислений широкого профиля и требует развития специфических технологий.
Предотвращение наводнений как задача экстренных вычислений. В настоящее время технологии ЭВ находят свое применение в системах раннего предупреждения о
природных катастрофах [6], в том числе связанных с наводнениями, вызванными воздействием длинных волн (цунами и штормовых нагонов). однако предсказание волн цунами осложнено неопределенностью локализации землетрясения, что в ряде случаев не позволяет обеспечить требуемую заблаговременность даже при использовании ЭВ с практически неограниченным доступом к вычислительным ресурсам. Напротив, возникновение длинных волн синоптической природы (морских нагонов) во многом определяется физико-географическими особенностями конкретных географических районов, что в общем случае позволяет прогнозировать их в оперативном режиме. Такие наводнения достаточно распространены в мире: им подвержены мелководные побережья Балтийского, Северного, Адриатического морей, Мексиканского и Бенгальского заливов, некоторых крупных озер. В России печальную известность снискали нагонные наводнения в Санкт-Петербурге — самые грозные стихийные бедствия города со дня его основания. По сути дела, история Санкт-Петербурга — это история борьбы с наводнениями [7]. Только во время царствования Петра I с 1703 по 1725 г. их было одиннадцать. В 1824 г. уровень воды достиг самой высокой точки в истории Санкт-Петербурга (410 см) — в городе были разрушены 462 дома и 3681 — поврежден. В 1924 г. водой, поднявшейся на 369 см, было затоплено более половины города, снесено 19 мостов, повреждено свыше 5000 домов, выброшено на берег 95 судов.
С учетом тенденций развития городской застройки для противодействия наводнениям уже в 1982 г. началось строительство комплекса защитных сооружений (КЗС). Он расположен в 25 км западнее Санкт-Петербурга; сооружения рассчитаны на подъем воды в Финском заливе до 5 метров. КЗС представляет собой систему каменно-земляных дамб, в теле которых находятся шесть водопропускных и два судопропускных сооружения, оборудованные затворами, которые могут закрываться при угрозе наводнения. Несмотря на то что КЗС сам по себе ограничивает распространение нагонной волны в Невской губе, в полной мере предотвращение наводнения может быть обеспечено только за счет своевременного закрытия затворов судо- и водопропускных сооружений. Поскольку темпы роста уровня воды при наводненче-ских ситуациях зависят от совокупности природных факторов, оптимальное время и порядок закрытия затворов невозможно указать заранее, исходя только из прогностической информации. Для решения задачи информационной поддержки процессов управления КЗС в условиях наводненческой ситуации в настоящее время разработана и внедрена Система предупреждения угрозы наводнений (СПУН), реализующая элементы концепции ЭВ. Ее основной задачей является построение оптимального плана маневрирования затворами КЗС, который должен обеспечивать наименьшее время нахождения затворов КЗС в закрытом состоянии, достигая при этом полного предотвращения наводнения (уровень воды не поднимается выше 160 см). Заблаговременно закрыть затворы по первым признакам надвигающейся наводненческой ситуации тоже не представляется возможным, поскольку в этом случае ограничивается сток Невы (в свою очередь, это также может привести к подтоплению города). Кроме того, длительное нахождение всех затворов КЗС в закрытом состоянии ограничивает деятельность морского порта Санкт-Петербурга.
Система предотвращения угрозы наводнений. В основе функционирования СПУН заложена технология оперативного прогноза наводнений в Санкт-Петербурге. В СПУН используется численная модель динамики водных масс Балтийского моря, воспроизводящая синоптическую изменчивость уровня и морских течений; географические особенности региона позволяют ограничиться двумерной моделью (приближение „мелкой воды") в криволинейной системе координат. В качестве входных данных для модели динамики водных масс применяются данные метеорологических прогнозов атмосферного давления и ветра, а также водообмена Балтийского и Северного морей через Датские проливы. Модель функционирует в оперативном режиме совместно с моделью синоптической изменчивости морского волнения на основе уравнения баланса волновой энергии в спектральной форме. Информация о
морском волнении необходима не только для определения нагрузок на технические устройства КЗС, но и при использовании в составе модели динамики водных масс с целью уточнения механизма воздействия ветра на водную поверхность. В качестве параметрической характеристики расчетной акватории также используется прогноз ледовой обстановки.
Принципиальной составляющей технологии оперативного прогноза является процедура оперативного усвоения данных наблюдений за гидрометеорологическими процессами в Финском заливе, позволяющая на 30—70 % (в зависимости от заблаговременности) повысить качество прогностических оценок уровня. При использовании автоматизированной системы гидрометеорологических наблюдений в Восточной части Финского залива, входящей в состав КЗС, учитывая региональную специфику, возможно ограничиться локальной процедурой ассимиляции, корректирующей профиль распространяющейся нагонной волны на акватории Финского залива.
На рис. 1 приведен пример корректировки модельных расчетов уровня (И) в п. Горный институт за счет усвоения данных, на примере наводнения 16 ноября 2008 г. в Санкт-Петербурге, т.е. ретроспективный прогноз (1 — результаты измерений, 2 — низкочастотная составляющая ошибки, 3 — прогноз с использованием ассимиляции только по пространству, 4 — прогноз с использованием ассимиляции по пространству и времени). Видно, что усвоение данных только в текущий момент времени не позволяет произвести корректировку поведения модели, в частности, модельное решение в течение 6 ч возвращается на прежнюю траекторию, а на графике хода уровня возникают осцилляции. С учетом временной предыстории в процедуре усвоения ход уровня становится более гладким, наблюдается хорошее совпадение расчетов и измерений, ошибка не превышает 10—15 см.
/?, см 160 120 80 40
0 16 32 48 64 80 96 112 ^ ч
Рис. 1
При создании СПУН отдельное внимание уделяется обеспечению надежности ее функционирования, достигаемой как резервированием вычислительных ресурсов в распределенной системе, так и функциональным резервированием отдельных задач. В частности, технология допускает использование различных (альтернативных) источников метеорологических прогнозов (как отечественных, так и зарубежных), а также корректировку влияния отсутствующих источников входных данных посредством пространственно-временного усвоения текущих наблюдений. Для контроля качества прогностических данных используется альтернативная технология краткосрочных прогнозов уровня на основе вероятностной модели.
Оперативный прогноз уровня воды вырабатывается каждые 6 часов на 48 часов вперед; он лежит в основе функционирования СПУН в целом. В том случае, когда прогнозируется
наступление наводненческой ситуации, система исходя из данных прогноза формирует план маневрирования затворами КЗС. При этом решается обратная задача: определяется время закрытия затворов КЗС при условии, чтобы за время нахождения затворов в закрытом состоянии не произошло подтопление города за счет ограничения стока Невы; оперативные данные измерений речного стока также доступны в составе СПУН. Для построения плана требуется учет локальных гидродинамических эффектов, связанных с тем, что процедура закрытия затворов КЗС в целом занимает несколько часов; при этом возможно образование дополнительных волновых движений в акватории Невской губы с амплитудой до нескольких десятков сантиметров. Расчет и анализ плана выполняются с учетом неопределенности прогностических оценок на основе интервального подхода.
На рис. 2 приведена концептуальная схема принятия решений при использовании СПУН (СППР — система поддержки принятия решений).
Рис. 2
СПУН в полной мере реализует функции интерактивной советующей системы: несмотря на то что она автоматически формирует непротиворечивый план, пригодный для исполнения КЗС, решение по маневрированию затворами принимает и воплощает диспетчер КЗС (как ЛИР) на основе интегральной информации о состоянии объекта и окружающей среды. Она включает в себя данные альтернативных источников о гидрометеорологической обстановке, сведения о текущем состоянии отдельных технических устройств КЗС и нахождении судов на акватории КЗС, информацию, поступающую от оперативных служб города. В ряде случаев план, предлагаемый системой, может быть отклонен ЛПР. В такой ситуации информационная поддержка ЛПР осуществляется на основе ручного формирования, расчета и сопоставления различных модельных сценариев развития ситуации, с оценкой соответствующих рисков для КЗС и города в целом, для этого применяются технологии ЭВ. В перспективе такой подход требует учитывать не только технические характеристики исполнимости плана, но и специфические аспекты взаимодействия системы „природная среда—КЗС— город". К ним относятся, в частности, модели развития затопления городских территорий, сценарии, позволяющие координировать действия служб оперативного реагирования, а также модели развития экологической катастрофы.
Оценка ресурсоемкости вычислений в СПУН. В целом расчетные компоненты в составе СПУН неоднородны по требованиям к вычислительным ресурсам, периодичности применения и ограничениям на допустимое время получения результата. Например, объем вычислений, необходимых для оперативного прогноза уровня на 48 часов, составляет всего 9 ТФлоп, с использованием пространственно-временного усвоения — 20 ТФлоп. Поскольку время принятия решения в данном случае ограничивается десятками минут (учитывая, что заблаговременность прогноза — 48 часов), для решения данной задачи не требуются специализированные суперкомпьютерные технологии. Однако при построении оптимального плана (решение обратной задачи) объем вычислений составляет уже около 260 ТФлоп. В том случае, когда ЛПР вручную исследуют и сопоставляют различные сценарии оперирования затворами КЗС и время принятия решений составляет минуты, без использования суперкомпьютерных технологий обойтись не представляется возможным. Отдельные требования к ресурсам предъявляют перспективные компоненты, использование которых связано с анализом альтернативных источников данных: например, модель регионального метеорологического прогноза (320 ТФлоп) или процедура ансамблевого пространственно-временного усвоения данных (650 ТФлоп). Учитывая их спорадическое использование, обеспечивать такой компонент постоянно функционирующим вычислительным ресурсом нецелесообразно; по-видимому, оптимален в данной ситуации хостинг инфраструктуры, например, в рамках одной из моделей облачных вычислений. Таким образом, это отражает современные тенденции эволюции систем поддержки принятия решений: для относительно сложных, но локализованных объектов допустимо использовать неспецифические вычислительные платформы; однако учет множественных взаимосвязей объекта с внешней средой делает необходимым применение ЭВ как разновидности суперкомпьютерных технологий.
Заключение. Использование технологий ЭВ открывает новые возможности для развития и улучшения существующей системы предотвращения угрозы наводнений в Санкт-Петербурге. Это обеспечивается как экстенсивными факторами (увеличение точности прогнозов, повышение эффективности планов маневрирования затворами), так и расширением состава информационной и интеллектуальной поддержки ЛПР, включая оценку степени неопределенности оценки текущей ситуации и возможность моделирования различных сценариев развития неблагоприятных последствий. В целом такой подход может быть без потери общности перенесен на другие технические объекты аналогичного назначения.
Работа выполнена в рамках проектов по реализации Постановлений № 218 и 220 Правительства Российской Федерации.
СПИСОК ЛИТЕРАТУРЫ
1. Интеллектуальные системы в морских исследованиях и технологиях / Под ред. Ю. И. Нечаева. СПб: ГМТУ, 2001. 352 c.
2. Beckman P., Nadella S., Trebon N., Beschastnikh I. SPRUCE: A System for Supporting Urgent High-Performance Computing // Grid-Based Problem Solving Environments. IFIP 2.5 Conf. Proc. Springer Press. P. 295—316.
3. GillM., Malanotte-Rizzoli P. Data assimilation in meteorology and oceanography // Adv. Geophys. 1991. Vol. 33. P. 141 — 266.
4. Cencerrado A., Senar M.Á., Cortés A. Support for Urgent Computing Based on Resource Virtualization // Lecture Notes in Computer Sci. 2009. Vol. 5544/2009. P. 227—236.
5. Wolski R., Nurmi D., Brevik J., Obertelli G. Using Batch Controlled Resources to Support Urgent Computing // Urgent Computing Workshop. 2007 [Электронный ресурс]: <http://spruce.teragrid.org/workshop/talks/Wolski.pdi>.
6. Allen G., Bogden P., Kosar T., Kulshrestha A. et al. Cyberinfrastructure for Coastal Hazard Prediction // CTWatch Quarterly. Urgent Computing: Exploring Supercomputing's New Role. 2008. Vol. 4, N 1. P. 17—26.
7. Померанец К. С. Три века петербургских наводнений. СПб: Искусство-СПБ, 2005. 142 c.
Александр Валерьевич Бухановский
Андрей Николаевич Житников Сергей Георгиевич Петросян Петрус Мария Арнольдус Слоот Рекомендована НИИ НКТ
Сведения об авторах д-р техн. наук, профессор; НИИ Наукоемких компьютерных технологий Санкт-Петербургского государственного университета информационных технологий, механики и оптики; директор; E-mail: [email protected]
ЗАО „Бизнес компьютер центр", Департамент консалтинговых и программных проектов, Санкт-Петербург; заместитель директора; E-mail: [email protected]
ЗАО „Бизнес компьютер центр", Департамент консалтинговых и программных проектов, Санкт-Петербург; руководитель проекта; E-mail: [email protected]
доктор философии в области компьютерных наук, профессор; Университет города Амстердам; E-mail: [email protected]
Поступила в редакцию 15.05.11 г.
