CC BY
29
Вычислительные технологии
Том 11, Специальный выпуск, 2006
ПРИНЦИПЫ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННОЙ СРЕДЫ АТЛАСА “АТМОСФЕРНЫЕ АЭРОЗОЛИ СИБИРИ”*
А.Е. Гуськов, И. С. Дубров, С. П. Ковалев, Ю.И. Молородов,
Н.А. Прокопов, И. А. Сударикова Институт вычислительных технологий СО РАН, Новосибирск, Россия e-mail: [email protected], [email protected], [email protected], [email protected]
In this paper we address the principles for the design of the distributed medium of atlas “Atmospheric aerosols of Siberia”. The atlas is capable to execute a number of important fundamental functions of the informational-computational medium for automation of the atmospheric studies. It solves the following problems: a significant expansion of the community of specialists who can use modern technologies in monitoring and analysis of the environment, storage of huge amounts of empirical data in an integrated repository and providing the tools for estimation of the potential impact of the climate’s global change on the environment.
Введение
Важным шагом в повышении эффективности проведения региональных исследований окружающей среды и использования имеющегося в регионе экспериментального материала является создание распределенной информационной инфраструктуры. Для этого необходимо провести его инвентаризацию и создать формализованное описание в виде логической схемы базы данных и архитектурной модели портала доступа. На основе этого описания создается единая модель региональных информационных ресурсов, поддержанная средствами автоматизированного сопровождения. Такая модель позволяет минимизировать избыточность информации, исключать многократный ввод и противоречивость данных, подбирать либо разрабатывать программное и аппаратное обеспечение для решения конкретных прикладных задач.
Особое внимание здесь должно уделяться проблемам масштабируемости. За годы исследований в предметной области накоплен огромный объем эмпирических данных. Эффективность их использования может быть существенно повышена путем выработки новых принципов и технологий хранения и обработки данных на базе новейших математических моделей. Такое понимание ключевого значения информационного фактора лежит
*Работа выполняется при частичной финансовой поддержке Интеграционного проекта СО РАН (№ 34), Российского фонда фундаментальных исследований (грант № 06-07-89060) и Президентской программы “Ведущие научные школы РФ” (грант № НШ-9886.2006.9).
© Институт вычислительных технологий Сибирского отделения Российской академии наук, 2006.
в основе концепции “электронной науки” (e-Science) — современного инновационного подхода к программно-технической поддержке научных исследований, С точки зрения этой концепции данные об окружающей среде подлежат глобальной интеграции на основе модели предметной области (model-based integration) [1].
Информационная среда, подлежащая интеграции на основе модели, должна включать два, основных слоя. Первый обеспечивает методологическую базу хранения, обработки и анализа — это модели систем, процессов и задач предметной области. Второй представляет собой технологическую базу моделирования в виде распределенной интегрированной информационно-вычислительной среды, обеспечивающей реализацию моделей, доступ к данным и работу с ними достаточно широкому кругу пользователей,
В настоящей статье рассматривается реализация этих слоев в рамках электронного атласа “Атмосферные аэрозоли Сибири” [2]. В ее основу положена компонентная архитектура, имеющая топологию звезды с базой данных в центре [3], В настоящее время реализованы, интегрированы и развернуты следующие функциональные подсистемы атласа: ввод и визуализация данных наблюдения (в том числе на основе ГИС-технологий), извлечение значений альбедо из файлов космического мониторинга и вычисление физико-химических характеристик атмосферного аэрозоля,
1. Исследования физики атмосферы в регионе
Предпосылки для построения интегрированной информационной инфраструктуры были сформированы в течение последних 15 лет в результате наблюдений за глобальным изменением окружающей среды. На систематический сбор данных по атмосферному аэрозолю (АА) были нацелены крупномасштабные проекты [4], Признано, что атмосферный аэрозоль имеет самостоятельную ценность, обусловленную его влиянием на такие процессы в атмосфере, как формирование облачности, осадкообразование и изменения химического состава. Объяснение сложных атмосферных процессов невозможно без подробного знания химии аэрозоля. Важными характеристиками аэрозоля являются спектр размеров, структура частиц и профиль распределения в пространстве и во времени.
Начиная с 1991 г, специалисты Института химической кинетики и горения, Института водных и экологических проблем, Института неорганической химии и Лимнологического института Сибирского отделения РАН выполняли регулярные измерения характеристик атмосферы в реальном масштабе времени. Мониторинг проводился на территории Западной и Восточной Сибири, Алтайского и Красноярского краев. Исследовались пространственно-временная изменчивость химического состава атмосферного аэрозоля, изменчивость массовой концентрации, элементного состава, содержания органического и неорганического углерода в АА в различных регионах Сибири, Этот огромный объем экспериментальных данных неизмеримо расширил и во многом изменил существующие представления о техногенном влиянии индустриальных центров на окружающую среду региона,
В настоящее время возникла настоятельная необходимость интеграции собранных данных в рамках единой региональной базы данных. Современные технологии управления данными позволяют повысить эффективность комплексного мониторинга окружающей среды Сибирского региона. Анализ эмпирического материала даст возможность понять механизмы образования А А естественного и антропогенного происхождения, что позволит разработать математические модели для описания различных процессов в атмосфере
и оценки влияния А А на естественные атмосферные процессы, изменчивость погоды и эволюцию климатических изменений качества окружающей среды. Появляется возможность оценить влияние АА на растительные и животные биоценозы, биохимические циклы в различных почвенно-климатических зонах Сибири и биосферы в целом, состояние здоровья населения.
Для решения поставленной задачи необходимо разработать подходы и технологии, обеспечивающие виртуальную интеграцию описаний разнородных информационных ресурсов, расположенных на серверах различных организаций, в единую базу данных на основе открытых международных стандартов. Должен быть создан единый словарь основных понятий, связанных с АА, пригодный для развития до уровня онтологии предметной области “исследование атмосферного аэрозоля”. На основе результатов измерения характеристик АА различной природы можно будет построить информационные модели описаний микрофизических и химических характеристик. Следует провести анализ технологий использования, хранения и обработки эколого-биологических данных, построить модели связей биогеохимических циклов с факторами физической среды, В качестве дополнительного компонента инфраструктурного уровня должна быть создана модель защиты информации в гетерогенной многопользовательской среде, включающая мощный набор правил управления конфиденциальностью, целостностью и доступностью данных,
2. Атлас “Атмосферные аэрозоли Сибири”
Сложность, разнородность и многофакторность обширного экспериментального материала делают невозможным создание однородных многофункциональных моделей АА, пригодных для широкого практического использования. Вместе с этим к настоящему времени разработано, апробировано и используется множество электронных библиотек и информационных систем по различным направлениям научных исследований. Решение сложных задач, требующих использования различных моделей, в настоящее время может осуществляться только путем их совместного использования в едином контексте. При этом организация последовательности использования моделей и обмена данными между ними полностью ложится на пользователя, проводящего конкретный вычислительный эксперимент, Поэтому он должен обладать достаточно широкими знаниями как о возможностях моделей, так и о методах организации интерфейсов между ними.
Естественно, круг пользователей, обладающих такой квалификацией, весьма ограничен, Как следствие, возникает потребность в эргономичных методах и средствах построения моделей предметных областей, С одной стороны, они должны поддерживать терминологию, привычную для экспертов предметной области, а с другой — должны выполнять автоматическое преобразование концептуального представления в информационные и вычислительные модели. При наличии таких методов среда для выполнения специфичных задач может быть создана в (полу)автоматическом режиме,
В Институте вычислительных технологий СО РАН предпринята попытка создания подобного метода. Результатом стал электронный атлас “Атмосферные аэрозоли Сибири” (http://web.ict.nsc.ru/aerosol). Его разработка основана на функционально-целевом подходе к концептуальному моделированию — представлении целевой задачи в виде иерархической системы составляющих подзадач и объектов. Атлас включает в себя набор баз данных, компоненты для их обработки и визуализации. С технологической точки зрения атлас имеет традиционную для шеЬ-систем трехуровневую архитектуру. Основная база
данных атласа содержит результаты мониторинга аэрозоля, собранные из разнородных источников данных, распределенных по всей территории Западной Сибири, Пример видеокадров табличной, графической и диаграммной визуализации распределения значений характеристик аэрозоля приведен па рис, 1,
Иерархическая модульная структура позволяет компоновать сложные модели из простых моделей-компопептов, которые в дальнейшем могут быть использованы в различных частях целевой модели, К ним может быть подключено альтернативное представление объектов и задач. При работе с интегрированной моделью региональных атмосферных исследований пользователь может найти готовые фрагменты для решения своих задач. Предоставление такой возможности — одна из основных целей создания атласа.
Большой масштаб и многопользовательский режим функционирования подразумевает применение различных технологий распределенной обработки информации, В частности, атлас оспагцеп богатыми средствами навигации и поиска отдельных фрагментов. Каждый фрагмент представляет собой формализованное описание па языке RDF [5|. При получении запроса па очередной фрагмент это RDF-описапие наполняется предметными данными из базы. К полученному результату применяется XSLT-преобразовапие, которое создает HTML-представлепие фрагмента и отсылает его запросившему клиенту.
Особо следует выделить средства организации больших объемов распределенных вычислений, необходимых при проведении расчетов па основе математических моделей. В целях обеспечения желаемого уровня производительности и надежности необходимо проводить специальную адаптацию имеющихся алгоритмов к среде, состоящей из набора раз-
Рые. 1. Видеокадры портала.
породных вычислительных устройств. Такая адаптация называется отображением задачи на архитектуру компьютерных систем [6], При этом удается задействовать в полную силу конструктивные особенности высокопроизводительных вычислительных платформ, К таким особенностям, отличающим современные компьютеры, относятся уменьшенный набор команд, конвейеризация, параллелизм, многоуровневый доступ к данным.
Для того чтобы обеспечить нужную степень гибкости при отображении, необходим абстрактный математический метод моделирования архитектуры вычислительных узлов, способный предоставить технику верификации (проверки корректности) посредством формального доказательства, С этой целью используется метод, основанный на представлении модели вычислений, в рамках которой задан алгоритм, слабо полным классом функций многозначной логики, обогащающей логику Лукасевича [7]. В результате его применения строятся, анализируются и верифицируются абстрактные инварианты поведения алгоритмов решения предметных задач, не зависящие от выбора целевой аппаратуры. Для интеграции разрабатываемых алгоритмов в рамках атласа предусмотрена специальна,я подсистема вычисления характеристик атмосферного аэрозоля.
Атлас оснащен средствами администрирования, позволяющими назначить каждому пользователю собственный уникальный набор прав доступа. Например, интерфейс ввода данных доступен только для представителей организаций, осуществляющих мониторинг состояния атмосферы. Более сложные модели доступа, способные учитывать все аспекты комплексного нормативного регулирования прав владения предметными данными, находятся в разработке,
3. Подсистема извлечения значений альбедо
В рамках атласа реализована подсистема, предназначенная для получения значений альбедо для заданной точки и промежутка времени http://194.85.127.206:8080/albedo/, Альбедо (albedo) — это отношение освещенности у Земли, создаваемой планетой в полной фазе, к освещенности, которую создал бы плоский, абсолютно белый экран того же размера, что и планета, отнесенный на ее место и расположенный перпендикулярно к лучу зрения и солнечным лучам. Значения альбедо в различных точках земной поверхности в различные моменты времени вычисляются в результате обработки снимков космических наблюдений. Они заносятся в файловый каталог, расположенный на сервере ИХКиГ СО РАН, Каждый файл каталога содержат массив значений альбедо, вычисленных в некоторый момент времени для точек земной поверхности, принадлежащих одной грануле определенного размера. Напомним, что гранула (tile) — это квадратная область на карте, полученной синусоидальной проекцией Земли,
Файлы, сжатые архиватором gzip, представлены в формате HDF-EOS, Это высокоуровневый формат хранения данных, разработанный специально для хранения данных систем EOS (Earth Observing System), Файлы этого формата в дополнение к собственно данным наблюдений содержат также и мета,информацию, по которой определяются различные параметры: номер гранулы, данные по которой находятся в файле, масштаб измерения и т.д. Формат HDF-EOS базируется на более низкоуровневом формате — HDF (Hierarchical Data Format), который был разработан для хранения больших объемов структурированных научных данных.
Для работы с каталогом используются две готовые библиотеки — HDF и HDF-EOS, Библиотека HDF предоставляет низкоуровневую функциональность для работы с
HDF-файлами, библиотека HDF-EOS - болсс высокоуровневую. Обе библиотеки написаны на языке С и компилируются нод множество платформ. В рамках проекта разработана надстройка над библиотеками для доступа к функциональности из языка -Java. Надстройка ианисана иа языках С-----и .Java и использует технологию JNI для реализа-
ции моста между библиотеками HDF и HDF-EOS, написанными на языке С, и остальными подсистемами, написанными на языке -Java.
Перед извлечением значения альбедо из некоторого файла с данными этот файл необходимо распаковать. Так как размеры файлов достаточно велики (gzip-архивы — порядка 100Мбайт, распакованные файлы — до 300Мбайт), необходимо проводить кэширование распакованных файлов. В дальнейшем возможно усовершенствование сервиса таким образом, что данные будут извлекаться напрямую из содержимого архивов, бег? предварительной распаковки. Эта возможность исследовалась, по па текущий момент положительных результатов достигнуто не было из-за дефекта в библиотеке, использованной для доступа к содержимому архива (использовалась библиотека GNOME VFS).
Подсистема извлечения альбедо состоит иг? совокупности компонентов, связанных согласно шаблону проектирования IoC (Inversion of Control), который служит для уменьшения количества и сложности внутрисистемных взаимосвязей. В качестве контейнера компонентов подсистемы, поддерживающего IoC, используется контейнер Spring. Он предоставляет механизмы для связывания компонентов друг с другом путем описания связей в XML-файле. При запуске подсистемы экземпляры компонентов создаются, инициализируются параметрами, заданными в файле конфигурации, связываются друг с другом и помещаются в контейнер. Использование шаблона IoC позволяет компонентам зависеть не от реализации других компонентов, а только от их интерфейсов, что приводит к меньшей связности системы. Диаграмма компонентов подсистемы изображена на рис. 2.
Рис. 2. Диаграмма компонентов подсистемы извлечения альбедо.
Благодаря использованию шаблона 1оС каталог альбедо может быть сконфигурирован под широкий спектр возможных технических и административных ограничений. Следующие три основных класса параметров могут быть заданы при развертывании компонента,
1. Способ получения списка доступных файлов данных. При разработке подсистемы были реализованы четыре способа: получение списка файлов из каталога локальной файловой системы, получение списка файлов с помощью каталога по НТТР, получение списка файлов из базы данных, получение списка файлов посредством вызова \veb-cepBnca.
2. Параметры предварительной обработки файла. Данным параметром можно установить фильтр, которым файл с данными обрабатывается перед извлечением из него данных, Примером фильтра может служить распаковка gzip-пoтoкa, о которой упоминалось выше,
3. Параметры кэширования. Поддерживается работа как с кэшированием, так и без него, В случае необходимости предварительной обработки файла или в случае, если файл расположен удаленно, кэширование обязательно.
Перечисленные конфигурационные параметры задаются связями между компонентами, которые указываются в конфигурационном файле настройки компонентов. Также в файле конфигурации задается ряд вспомогательных параметров: параметры доступа к базе данных, шаблоны для генерации различных ГН!.. адрес шеЬ-сервиса и т,д. Более подробно компоненты и их конфигурационные параметры описаны в технической документации на подсистему,
В подсистему включен также сервис пакетной обработки, предназначенный для повышения скорости получения альбедо для каждой станции наблюдения. Потребность в нем связана с тем, что получение значений альбедо для станций является часто выполняемой операцией, а вызов сервиса извлечения значения альбедо производится относительно медленно, Функция сервиса заключается в периодической проверке каталога файлов альбедо на предмет появления новых данных. Если новые данные обнаружены, значения альбедо извлекаются для каждой станции наблюдения. Полученные значения помещаются в базу данных атласа.
Значения альбедо, извлекаемые в результате работы подсистемы, предоставляются для визуализации двумя способами. Значения альбедо в точках местонахождения станций наблюдения показываются в табличной форме в совокупности с другими собранными данными наблюдений. Для визуализации значений в произвольных точках земной поверхности реализован специальный сервис на базе (П8-к'.чно. ни пП. Этот сервис отображает гранулы, для которых имеются данные космических наблюдений, на интерактивной цифровой карте Земли, Пользователь может выбрать точку и получить таблицу значений альбедо в ней в различные моменты времени,
4. Вычисление физико-химических характеристик аэрозоля
Калькулятор атмосферного аэрозоля (http://www.nsc.ru:8180/aerocalc/listServlet)
представляет собой набор формул и алгоритмов, традиционно используемых в расчетах, С помощью этих формул рассчитываются оптические характеристики аэрозолей, их физические и химические свойства. Большая часть формул взята из [8], Калькулятор предназначен для ускорения поиска нужной информации и упрощения вычислений количественных характеристик атмосферных аэрозолей.
Ранее простейший атмосферный калькулятор был реализован в рамках информационновычислительной системы ATMOS (http://aerosol.atmos.iao.ru/am/), В разделе системы “Атмосферный аэрозоль” организован доступ к базе данных, содержащей коэффициенты преломления веществ, из которых состоят атмосферные аэрозоли. При этом расчетами определяются физические и химические параметры и оптические характеристики сферических частиц аэрозоля, В нашей реализации калькулятора для портала “Атмосферные аэрозоли Сибири” (http://www.nsc.ru:8180/aerocalc) сделан упор на использование современных средств инженерии программных систем, значительно улучшены расширяемость калькулятора и гибкость использования. Для этих целей разработана специальная технологическая платформа компонентной интеграции СИРВИС (Система интеграции ресурсов вычислительно-информационной среды). Интегрируемым ресурсом в данном случае являются формулы атмосферной оптики, а целью интеграции — формирование алгоритмов сложных расчетов, включающих последовательное, параллельное и итеративное вычисления.
Платформа СИРВИС позволяет реализовать широкий спектр вычислительных задач предметной области путем комбинирования готовых компонентов, принадлежащих некоторому расширяемому набору. Такое решение лежит в рамках парадигмы порождающего программирования (Generative Programming — GP) [9], имеющей широкие перспективы применения в контексте e-Science,
Формулы в СИРВИС представлены в виде web-сервисов, снабженных описаниями и метаинформацией. Предусмотрен каталог сервисов, обеспечивающий визуальную интеграцию формул калькулятора. Ее результатом является древовидный каталог всех реализованных формул с возможностями фильтралци и поиска по ключевым словам. Логическая интеграция формул осуществляется путем представления расчетных алгоритмов в виде потоков исполнения web-сервисов на языке BPEL (Business Process Execution Language), В результате появляется возможность совместного использования формул при проведении расчетов.
Реализованный таким образом аэрозольный калькулятор обладает такими характеристиками, как:
— поддержка, распределенных вычислительных ресурсов;
— web-интерфейс для ввода данных и просмотра результатов;
— древовидный каталог формул с возможностью поиска;
— простой способ создания новых формул с возможностью использования уже существующих;
— интерактивное добавление, правка, удаление формул;
— поддержка, нескольких языков в интерфейсе пользователя и описаниях формул.
Каталог сервисов обеспечивает визуальную интеграцию ресурсов, кроме того, каталог
используется для таких целей, как:
— обзор всех зарегистрированных ресурсов;
— хранение и предоставление информации о зарегистрированных ресурсах;
— категоризация хранимых ресурсов;
— поиск по подстроке, по ключевым словам;
— семантический поиск (с использованием знаний о предметной области),
В рамках программной реализации предусмотрены интерфейс для взаимодействия с человеком и SOAP-интерфейс для взаимодействия с программными агентами. Для ускорения доступа к данным информация о зарегистрированных сервисах хранится непосредственно в базе данных каталога. Возможна реализация нескольких каталогов, работающих
в режиме репликации данных, что также позволит ускорить работу с сервисами системы, С каждым зарегистрированным сервисом в каталоге связаны два файла: файл описания сервиса и файл спецификации методов. Каталог использует информацию из файлов описаний сервисов. Файл спецификации методов используется в другой подсистеме — пользовательском интерфейсе для работы с сервисами.
Значительный практический интерес представляет возможность хранить в системе знания, позволяющие генерировать вычислительные процедуры в автоматическом режиме, Согласно концепции порождающего программирования, для хранения знаний используются средства импорта документов, написанных па предметпо-ориептироваппых языках на базе нотации XML, В частности, возможен импорт документов на языке OWL (Web Ontology Language) [10|, средствами которого описывается онтология предметной области. Каталог снабжен пользовательским интерфейсом, обеспечивающим человеку доступ к описанной функциональности, В интерфейсе предусмотрена возможность выбора языка, па котором записываются все интерфейсные надписи, а также описания сервисов. Видеокадр англоязычного интерфейса приведен па рис, 3, Также имеется интерфейс работы с ресурсами, предоставляющий пользовательский доступ к отдельным сервисам. Он поддерживает следующий типовой сценарий.
Шаг 1, Используя интерфейс работы с каталогом, пользователь находит нужный ресурс.
Рис. 3. Видеокадр каталога сервисов.
Шаг 2, Из списка методов, предоставляемых сервисом, пользователь выбирает требуемый метод.
Шаг 3, В соответствующей форме ввода пользователь задает значения параметров метода и нажимает кнопку “Вычислить”,
Шаг 4, Пользователь видит результаты расчетов и может сохранить их в виде файла. Интерфейс работы с ресурсами поддерживает несколько типов переменных. Это простые (примитивные) типы, комплексные типы, перечисления и массивы данных. Если необходимо, то для переменных могут задаваться единицы измерения.
Для составления сложных расчетных алгоритмов предусмотрен проблемно-ориентированный интерактивный редактор языка BPEL, Этот язык является промышленным стандартом для организации сложных сценариев выполнения web-сервисов. Он основан на XXII.. интегрирован с языком описания метаданных web-сервисов WSDL (Web Service Description Language), снабжен готовыми реализациями интерпретаторов для различных сред выполнения web-сервисов.
Заключение
В настоящее время атлас “Атмосферные аэрозоли Сибири” способен выполнять ряд базовых функций распределенной информационно-вычислительной среды для автоматизации исследований в области физики атмосферы. Его дальнейшее развитие ориентировано на достижение следующих целей:
— существенное расширение круга специалистов, применяющих современных технологии в задачах мониторинга и анализа характеристик окружающей среды;
— хранение очень больших объемов результатов исследований в интегрированном репозитории;
— предоставление средств для оценки потенциальных эффектов глобальных изменений климата в окружающей среде регионов.
Список литературы
[1] MOORE R.W., Baru С. Virtualization services for Data Grids // Grid Computing: Making the Global Infrastructure a Reality. N.Y.: Wiley & Sons, 2003. P. 409-435.
[2] Молородов Ю.И., Куценогий П. К., Судариков а И. А. Содержательное наполнение атласа “Атмосферные аэрозоли Сибири” // География и природные ресурсы. Спецвыпуск. 2004. С. 38-49.
[3] KOVALYOV S.P. Architecture of distributed information-computing system for exploring atmospheric aerosol // Proc. of SPIE. 2005. Vol. 6160. Pt I: Intern. Conf. “Molecular Spectroscopy and Atmospheric Radiative Processes”, Tomsk, June 27-30, 2005. P. 21-26.
[4] Гордов Е.П., De Rudder А., Лыкосов B.H. и др. Веб-портал ATMOC как основа для выполнения интегрированных исследований по окружающей среде Сибири // Вычисл. технологии. Т. 9. Спецвыпуск: Тр. Междунар. конф. “Вычислительно-информационные технологии для наук об окружающей среде”. 2003. С. 3-13.
[5] Шрайбман В.Б., Гуськов А.Е. Разработка информационных систем на основе RDF-технологии // Тр. XLI Междунар. науч. студенческой конф. “Студент и научно-технический прогресс”. Новосибирск: НГУ, 2003. Ч. 1. С. 153.
[6] Воеводин В.В. Отображение проблем вычислительной математики на архитектуру вычислительных систем // Вычисл. методы и программирование. 2000. Т. 1, разд. 2. С. 37-44. http://num-meth.srcc.msu.su/
[7] Ковалев С.П. Математические основания компьютерной арифметики // Мат. тр. 2005. Т. 8, № 1. С. 3-42.
[8] Baron W. Aerosol Measurement. 2nd Edition. N.Y.: Wiley к Sons, 2001.
[9] Чарнецки К., АЙЗЕНЕКЕР У. Порождающее программирование: методы, инструменты, применение. СПб.: Питер, 2005.
[10] OWL Web Ontology Language guide. W3C working draft. \Y3 Consortium, 2003. http://www.w3.org/TR/2003/WD-owl-guide-20030331/.
Поступила в редакцию 29 сентября 2006 г.
