CC BY
38
Вычислительные технологии
Том 11, Специальный выпуск, 2006
РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПОРТАЛА ДЛЯ ИСПОЛЬЗОВАНИЯ РЕГИОНАЛЬНОЙ СПУТНИКОВОЙ ИНФОРМАЦИИ В НАУЧНЫХ ИССЛЕДОВАНИЯХ*
С. В. Афонин, В. В. Белов, Г. Э. Куликов, М.В. Энгель Институт оптики атмосферы, СО РАН, Томск, Россия e-mail: angel@iao.ru, belov@iao.ru, gleb@asd.iao.ru
An Internet-portal is being developed at the Institute of Atmospheric Optics SB RAS. It is based on the regional satellite information databases and the software for thematic processing of it. This work is intended for creating an informational basis for investigation of spatial and temporal variability of the environment in a region and making it a tool for Remote sensing methods learning.
Введение
В Институте оптики атмосферы (ПОЛ) СО РАН ведется работа по созданию Интернет-ресурса, в основе которого лежат базы данных (БД) цифровой спутниковой информации и программное обеспечение для тематической обработки спутниковых данных [1, 2]. Этот ресурс предназначается для обеспечения доступа к имеющимся архивам спутниковой информации и программному обеспечению для первичной и тематической обработки спутниковых данных в целях проведения комплексных региональных исследований по проблемам дистанционного зондирования характеристик атмосферы и подстилающей поверхности и обучения методам тематической обработки спутниковых данных. Основными направлениями исследований являются:
— решение задач космического мониторинга атмосферы и подстилающей поверхности на базе уже известных методов и вновь разрабатыаемых;
— валидация спутниковых данных с привлечением данных наземных измерений, в том числе с использованием ресурсов Интернет;
— изучение пространственно-временной изменчивости характеристик окружающей среды в регионе.
В качестве информационной основы разрабатываемого ресурса создаются базы данных результатов измерений и тематических продуктов, полученных с метеорологических спутников NOAA и спутников EOS-AM, EOS-PM по программе NASA Earth Observing
* Работа выполняется в рамках программы "Информационно-телекоммуникационные ресурсы СО РАН" и при частичной финансовой поддержке Российского фонда фундаментальных исследований (грант № 0407-90018).
© Институт вычислительных технологий Сибирского отделения Российской академии наук, 2006.
System (EOS), Программное обеспечение (ПО) ресурса включает модули первичной и тематической обработки спутниковых данных и разрабатывается на основе программных продуктов, как созданных в I ЮЛ СО РАН, так и свободно распространяемых.
Как часть разрабатываемого комплекса на базе имеющегося архива статей создается электронная библиотека по некоторым разделам спутниковой тематики.
1. Архитектура программного комплекса
Для создаваемого Интернет-ресурса выбрана трехуровневая архитектура. Она подразумевает наличие цепочки: сервер базы данных — web-сервер — клиентский компьютер и браузер. Сервер базы данных поддерживает СУБД, выполняющую прием SQL-запросов и обработку строк в таблицах, Web-сервер выполняет функции HTTP-сервера, сценарного интерпретатора и обработчика представлений экземпляров баз данных. Браузер выполняет функции по представлению (или отображению) информации на компьютере клиента. Разработка ПО портала основывается на лицензионно-чистых, открытых (open-source) программных средствах.
б
Р а
У з е Р
/ j ПО для тематической обработки данных NOAA ПО для первичной обработки данных Ж)АА
Apache Server Zope, /
PythonY"
\ ПО для тематической обработки \ данных MODIS ПО для первичной обработки данных МШНв
Рис. 1. Архитектура программного комплекса региональной спутниковой информации.
В качестве базовой операционной системы выбрана ОС Linux, На сервере баз данных функционируют СУБД PostgreSQL и серверные приложения БД, выполняющие первичную и тематическую обработку спутниковой информации, В качестве HTTP-сервера функционирует Apache, Web-приложения реализуются на основе объектно-ориентированной платформы ZOPE и языка Python (рис, 1),
2. Базы данных спутниковой информации как информационная основа портала
В качестве информационной основы разрабатываемого ресурса создаются базы данных результатов измерений, проведенных со спутников ХОДА (приборы AVHRR — The Advanced Very High Resolution Radiometer, ATOVS — The Advanced TIROS Operational Vertical Sounder) и EOS-AM, EOS-PM (прибор MODIS — The Moderate Resolution Imaging Spectro-radiometer), В базы данных включаются данные измерений для большей части территории Западной Сибири (50-62° с.ш., 64-90° в,д.) (рис, 2), База данных спутниковой информации NOAA создается на основе архива снимков NOAA, который формируется в Инсти-
Регион: 50 62° слп., 64 90° в.д.
Рис. 2. Карта региона.
туте оптики атмосферы СО РАН с 1998 г. База данных MODIS на первом этапе представлена данными MODIS Atmosphere Products (MODIS-АР), полученными из архивов подразделения NASA Goddard Earth Sciences (GES) Data and Information Services Center http://disc.gsfс.nsa.gov/.
При проектировании баз данных спутниковой информации учитывалась специфика данных, заключающаяся, в первую очередь, в больших объемах спутниковых снимков и в различных форматах спутниковых типов данных. Данные NOAA и MODIS различаются по типу представления и информационной структуре, что обусловило выбор разных моделей при проектировании БД и соответствующего программного обеспечения.
2.1. Метаданные
Одним из краеугольных элементов при построении современных баз данных является создание метаданных, которые часто называют "данными о данных". Метаданные содержат описание файлов и наборов данных, включающее такие параметры, как содержимое, формат, размерности, имена и т.д. Использование метаданных — важный фактор обеспечения интероперабельности при разработке информационных ресурсов. Существует множество стандартов метаданных, предназначенных для описания наборов данных, относящихся к определенным предметным областям. Для метаданных, предназначенных для описания цифровых спутниковых данных, обычно используется стандарт Content Standard for Digital Geospatial Metadata (CSDGM): Extensions for Remote Sensing Metadata (Remote Sensing Extensions — RSE) [3], предложенный Federal Geographic Data Committee (F'GDC) http://www.fgdc.gov/index.html. Этот стандарт представляет собой расширение CSDGM, в США он принят в качестве стандарта для представления метаданных, описывающих наборы географической информации, и предназначен для описания дополнительных параметров, характерных для данных спутникового зондирования (например, геометрических параметров наблюдения, характеристик спутниковых приборов, данных для проведения процедур калибровки и геопривязки). Также стандарт RSE предоставляет возможности для создания новых имен, определений и допустимых значений для новых элементов данных и структур.
2.2. Региональная база данных MODIS Atmosphere Products (MODIS-AP/W.SIB)
База данных спутниковой информации MODIS-AP/W.SIB формируется на основе тематической информации MODIS-AP, Для ее наполнения на первом этапе были определены три ключевых типа данных о параметрах атмосферы:
1) MOD04 — характеристики аэрозоля;
2) MOD05 — интегральное содержание водяного пара в атмосфере;
3) 101)07 — вертикальные профили геопотенциала, температуры и влажности атмосферы.
Сформирован архив тематических снимков MODIS-AP, содержащий данные за период 2000-2004 гг., включающий снимки для большей части территории Западной Сибири,
Данные и метаданные MODIS-AP. Информация MODIS-AP записана в файлы (гранулы), содержащие восстановленные параметры окружающей среды, геолокационные параметры, параметры геометрии наблюдения. Для хранения спутниковой информации по программе EOS, в рамках которой получаются, обрабатываются и распространяются данные MODIS, используется формат HDF-EOS /Hierarchical Data Format for storing data from the Earth Observing System (EOS)/ http://hdf.ncsa.uiuc.edu/index.html.
Формат HDF-EOS [4] является расширением формата HDF, предназначенного для записи научных данных и разработанного в National Center for Supercomputing Application's (NCSA), University of Illinois, Urbana-Champaign http://hdf.ncsa.uiuc.edu/index.html. Использование формата HDF предоставляет возможности для достижения таких целей, как:
— универсальность. Формат HDF предоставляет модели данных для поддержки разных типов данных, таких как многоразмерные массивы, растровые изображения, таблицы. Модель данных включает также функции API для чтения, записи и организации данных и функции для работы с метаданными;
— самодокументируемость. Структура и содержимое файла описываются в самом файле;
— гибкость. Формат HDF позволяет записывать данные разных типов в одном файле и обращаться к ним как к группе или как к отдельным объектам. Пользователи также могут создавать свои собственные структуры данных;
— расширяемость. Формат HDF позволяет создавать новые модели данных;
— интероперабельность. Использование данных в формате HDF возможно на любых платформах и в различных операционных средах.
Формат HDF имеет несколько уровней реализации (рис, 3), Нижний уровень представляет собой физический формат файла для хранения научных данных. Верхний уровень формата HDF представляет собой набор программных утилит для управления, просмотра и анализа данных, записанных в HDF-файле, На среднем уровне находится библиотека функций, обеспечивающая API высокого уровня и доступ к данным нижнего уровня. На высшем уровне формата HDF находится программное обеспечение для работы с данными, записанными в HDF-формате, разработанное в NCSA и предоставленное другими организациями и разработчиками.
Формат HDF-EOS поддерживает все свойства формата HDF и включает также три дополнительных типа данных — Grid, Point и Swath, Эти типы данных позволяют связать записанную в файле информацию с ее пространственными и временными характеристиками, Данные типа Grid привязываются к координатной сетке в заданной географической
General Applications
Application Programming Interfaces
Low - level t Interface,
, HDF l file i
Рис. 3. Структура формата HDF.
Рис. 4. Структура ДАННЫХ типэ. Swath формата HDF.
проекции; данные типа Swath (рис. 4) представляют собой упорядоченные по времени массивы данных, соответствующих линиям сканирования; данные типа Point имеют географическую привязку, но не имеют пространственной или временной структуры.
Использование метаданных в рамках формата HDF-EOS. Формат HDF-EOS является самодокументируемым. Файл, записанный в этом формате, должен также содержать метаданные. Метаданные формата EOS соответствуют стандарту RSE и подразделяются на следующие три типа:
— метаданные, общие для всех продуктов Earth Observing System Data and Information System (EOSDIS), — Core metadata;
Core Metadata Информация о продуктах данных. Общие поля для всех продуктов CoreMetadata.O
Product-Specific Metadata Информация о продуктах данных. Общие поля для отдельных продуктов ProductMetadata.O
Structural Metadata Информация о структуре и содержимом отдельной гранулы StructMetadata.O
— метаданные, характерные для определенного вида продуктов EOSDIS, не вошедшие в Core metadata, — Product-specific metadata;
— метаданные, описывающие структуру, поля или компоненты отдельной гранулы — Structural metadata. Последний тип метаданных предназначен только для описания данных типа Point, Swath или Grid,
Программное обеспечение для работы с форматом HDF-EOS. Формат HDF-EOS поддерживает базовую библиотеку функций API формата HDF для чтения, записи и организации данных и функции для работы с метаданными. Кроме того, библиотека функций API формата HDF-EOS включает также функции для работы со структурами Point, Swath и Grid, Метаданные и атрибуты файлов записаны в текстовом формате на языке Object Description Language с использованием формы parameter = value,
где parameter — идентификатор или метка, value — число или символьная строка, описывающая параметр. Для работы с данными в формате HDF-EOS разработан программный пакет SDP (Science Data Production) Toolkit http: //newsroom.gsf с .nasa.gov/sdptoolkit /toolkit.html. Он включает в себя библиотеки HDF и HDF-EOS и предоставляет функции для работы с метаданными, управления памятью, контроля процессов, обработки ошибок и т, д. Использование формата HDF-EOS и стандартного ПО обеспечивает интер-операбельность и переносимость данных,
2.3. Региональная база данных спутниковой информации NOAA (NOAA/W.SIB)
Информация NOAA содержит данные измерений двух комплексов измерительной аппаратуры: радиометра AVHRR и приборов вертикального зондирования атмосферы ATOVS, Данные AVHRR позволяют получить параметры подстилающей поверхности и облачности с пространственным разрешением порядка 1 км в надире. По результатам измерений аппаратуры A TON'S можно восстановить вертикальные профили геопотенциала, температуры и влажности атмосферы, общего содержания водяного пара и озона, В Институте оптики атмосферы СО РАН для территории Западной Сибири накоплен архив спутниковых измерений AVHRR и ATOVS,
Данные NOAA записаны в формате SCANEX/RAW приемной станции ИТЦ"СканЭкс" http://www.scanex.ru/. Файл имеет размер порядка 70Мбайт и состоит из заголовка и данных телеметрии, содержащих результаты измерений AVHRR и ATOVS, служебные данные бортового процессора. Данные телеметрии записываются как битовый поток сразу за заголовком,
В базе данных NOAA/W.SIB данные подразделяются на имеющиеся в оперативном доступе (записанные на диски сервера) и находящиеся в архиве (хранящиеся на магнитных лентах или CD- или DVD-дисках). На дисках сервера хранятся обзорные изображения и аннотации снимков.
При создании базы данных на основе архива NOAA решается задача создания метаданных в соответствии со стандартом RSE,
3. Разработка приложений баз данных
Приложения базы данных NOAA/W.SIB и MODIS-AP/W.SIB имеют следующие функциональные модули: служебный и модуль первичной обработки.
Служебные модули в обоих случаях реализуют стандартные функции обслуживания базы данных, в числе которых:
— запись, чтение, обновление и удаление информации в БД;
— контроль состояния БД,
При записи информации в базу данных производятся:
— оценка качества информации и проверка ее на соответствие спецификации;
— отбор данных для заданной пространственной области;
— отбор значений восстановленных атмосферных параметров, соответствующих заданному уровню качества.
Контроль состояния базы данных включает проверку ее целостности, проверку состояния исходной информации, ведение журнала операций.
Модули первичной обработки базы данных NOAA/W.SIB и MODIS/W.SIB функционально отличаются и более подробно описываются далее.
Модуль первичной обработки базы данных NOAA/W.SIB производит подготовку данных, включающую следующие этапы:
— чтение файлов спутниковой цифровой телеметрической информации, ее декоммутация;
— расчет калибровочных коэффициентов и калибровка спутниковых измерений, конвертация в физические характеристики;
— анализ качества спутниковых измерений;
— автоматический поиск и отбраковка "сбойных" сканов и "сбойных" пикселей;
— географическая привязка снимков.
Для первичной обработки данных, полученных с помощью приборов AVHRR и ATOVS спутниковой платформы NOAA, используются два программных блока. Программный модуль для первичной обработки результатов измерений радиометра AVHRR разработан в ИОА СО РАН и реализован на языке С в среде Microsoft Visual Studio v.6.0. Для первичной обработки данных Л TON'S обычно используется пакет программ ААРР (ATOVS and AVHRR Processing Package), разработанный Meteo France при содействии EUMETSAT http : //www. eumetsat. de/en/агеа4/аарр/index.html, В ИОА СО РАН (в сотрудничестве с Институтом космофизических исследований и аэрономии СО РАН) выполнена адаптация пакета ААРР для работы на PC-платформе в операционной системе Linux,
Модуль первичной обработки базы данных MODIS/W.SIB создается на базе библиотеки HDF-EOS, разработанной в NCSA и предназначенной для работы с основными структурами формата HDF-EOS, В модуле первичной обработки производятся распаковка файлов формата HDF-EOS и извлечение SDS (Scientific Data Set)-массивов, а также массивов геолокационных параметров, параметров геометрии наблюдений, характеристик качества восстановленных параметров,
4. Разработка программного блока тематической обработки спутниковой информации
Блок тематической обработки спутниковой информации включает следующие основные модули:
— модуль тематической обработки результатов измерений радиометра AVHRR;
— модуль тематической обработки данных ATOVS;
— модуль тематической обработки данных MODIS-AP,
Модуль тематической обработки результатов измерений радиометра AVHRR создается на основе разработанного в ИОА СО РАН программного обеспечения для тематической обработки результатов измерений радиометра AVHRR, он предназначен для восстановления характеристик оптико-метеорологического состояния атмосферы и подстилающей поверхности.
Модуль тематической обработки данных ATOVS функционирует на основе пакета ICI (Inversion Coupled with Imager), разработанного в Meteo France http://www.meteoro-logie.eu.org/ici/index.html. Пакет ICI осуществляет обработку файлов, полученных в результате работы ААРР, В ИОА СО РАН выполнена адаптация пакета ICI для работы на РС-платформе в операционной системе Linux,
Модуль тематической обработки данных MODIS-AP создается на основе разработанного в ИОА СО РАН программного обеспечения, он предназначен для статистического анализа данных MODIS-AP, включая получение характеристик их пространственно-временной изменчивости.
При использовании в научных исследованиях данных MODIS-AP важен вопрос об их качестве. Несмотря на уже имеющиеся результаты оценки точности MODIS-AP, работы по валидации этих данных остаются актуальными и продолжают выполняться для различных географических регионов. При формировании архива данных MODIS-AP для западно-сибирского региона в рамках проекта выполнен большой объем работ по валидации данных на основе локальных фотометрических измерений спектральной аэрозольной оптической толщины и общего влагосодержания, регулярно осуществляемых в Томске и Красноярске (рис, 5),
120 140 160 180 200 220 240 260 280 Day of Year
,53
im
9
h
near infrared 1 fÁCRONfef
retrieval -•- MODIS '
■ • i К Li i
: M ГШ
jy/ii'u ,., л
80 100 120 14V 160 180 200 220 240 260 2S0 Day of Year
Y=0.07845+1.19323 "X
Y =0.13772+0.91465"X
g
e s>
t-^
H
£ 5
R = 0.86522
SD = 0.06283
* * Tumsk
- «J^pr* 470 nm '
• ^ 1 J. 1 J J N =89 — i -
0.1 0.2 0.3 0.4 0.5 ARRONRT AOT (470nm)
0.6
S4
£ '
-»-1-»-1- near infrared retrieval • Г » 1- ф у ,
Tomsk
N = 135
• '
■ лЖ* К = 0.97016 . SI) = 0.18247
' • ' .
0 12 3 4
Water Vapor from AERONET (cm)
Рис. 5. Результаты валидации тематических продуктов MODQ4 и MODQ5 (Томск, 2003).
В результате проведенной валидацпп получены дополнительные данные о точности методов восстановления параметров атмосферы, что позволяет определить возможные пути совершенствования используемых спутниковых методов [5-7],
Заключение
Представленный в работе Интернет-ресурс позволит в перспективе его пользователям на основе удаленного доступа к спутниковой информации и средствам ее обработки осуществлять широкий спектр научных и прикладных работ по изучению динамики параметров окружающей среды и разработке эффективных методов их контроля из космоса.
Список литературы
flj Афонин С.В., Белов В.В., Энгель М.В. Создание информационно-программного комплекса по обработке региональной спутниковой информации // Матер. Междунар. конф. "Вычислительные и информационные технологии в науке, технике и образовании". Усть-Каменогорск: Изд-во ВКГУ, 2003. Ч. I. С. 59-64.
[2J Афонин С.В., Белов В.В., Энгель М.В., Кох A.M. Разработка в ПОД СО РАН базы данных региональной спутниковой информации и программного обеспечения для ее обработки // Оптика атмосферы и океана. 2005. Т. 18, № 01-02. С. 52-60.
[3J Federal Geographic Data Committee. FGDC-STD-012-2002. Content Standard for Digital Geospatial Metadata: Extensions for Remote Sensing Metadata. Federal Geographic Data Committee. Washington, D.C.
[4J 175-WP-001-002. An HDF-EOS and Data Formatting Primer for the ECS Project. White Paper. Raytheon Company, Upper Marlboro, Maryland. 2001.
[5] Афонин С.В., Белов В.В., Энгель М.В., Кох A.M. Валидация региональных спутниковых данных MODIS Aerosol Product (MOD04) // Тез. докл. Второй Всерос. конф. "Дистанционное зондирование земных покровов и атмосферы космическими средствами". СПб.: Изд-во РГГМУ, 2004. Т. 2. С. 27-31.
[6] Афонин С.В., Белов В.В., Энгель М.В. Валидация спутниковых данных MODIS // Матер. Второй открытой Всерос. науч. конф. "Современные проблемы дистанционного зондирования земли из космоса". 2004. С. 214. http://www.iki.rssi.ru/d33_2004.htm.
[7] Afonin S.V., Belov V.V., Engel' M.V. Regional database of the MODIS Products: analysis and validation / / 31st Intern. Symp. on Remote Sensing of Environment, June 20-24, 2005. Saint Petersburg, Russian Federation, http://www.isprs.org/publications/related/ISRSE/html/papers/649.pdf
Поступила в редакцию 29 сентября 2006 г.
