CC BY
72
------------------------ © Ю.И. Шокин, И.А. Пестунов, В.В. Смирнов,
Ю.Н Синявский, Д.И. Добротворский,
А.П. Скачкова, 2009
УДК 004.75
Ю.И. Шокин, И.А. Пестунов, В.В. Смирнов,
Ю.Н Синявский, Д.И. Добротворский,
А.П. Скачкова
КОРПОРАТИВНАЯ ИНФОРМАЦИОННАЯ СИСТЕМА СО РАН ДЛЯ СБОРА, ХРАНЕНИЯ И ОБРАБОТКИ СПУТНИКОВЫХ И НАЗЕМНЫХ ДАННЫХ
Рассмотрена сервис-ориентированная геоинформационная система, разработанная в ИВТ СО РАН.
Ключевые слова: пространственные данные, сервис-ориентированная гис, каталог спутниковых данных, данные spot.
~П ажнейшей составляющей информационной поддержки -Я-М для своевременного принятия решений при обнаружении чрезвычайных ситуаций природного и антропогенного характера, а также прогнозировании их возможных последствий являются данные дистанционного зондирования. Особое значение эти данные приобретают при региональном мониторинге обширной территории Сибирского федерального округа, поскольку они, зачастую, являются единственным источником объективной, независимой и актуальной информации.
В настоящей работе рассматривается сервис-ориенти-рованная информационная система, основной целью разработки которой является создание виртуальной информационно-аналитической среды для поиска, обработки и анализа спутниковых и наземных данных [1], которая обеспечит единую точку доступа к различным геоинформационным системам и распределенным разнородным хранилищам геоданных и атрибутивной информации.
В целях обеспечения доступа потенциальных пользователей к спутниковым данным, на базе Института вычислительных технологий (ИВТ) СО РАН создается Новосибирский узел сбора, хранения и обработки данных дистанционного зондирования. К основным функциям узла относятся: телекоммуникационное обеспечение сбора данных; архивирование «сырых» данных; предварительная обработка данных; каталогизация обработанных данных; обес-
печение оперативного и долговременного хранения обработанных данных; предоставление доступа к данным; дополнительная и тематическая обработка данных (по заявкам пользователей).
Основной поставщик спутниковых данных - Западно-Сибирский региональный центр приема и обработки спутниковых данных (Зап-СибРЦПОД) при ГУ Новосибирский ЦГМС-РСМЦ, который является крупнейшим за Уралом центром, занимающимся приемом и обработкой спутниковой информации.
Для передачи данных из Зап-СибРЦПОД в ИВТ СО РАН организована подсеть сбора данных сети передачи данных Сибирского отделения РАН, состоящая из двух сегментов - ГИС-сегмента локальной сети ИВТ СО РАН и сегмента Зап-СибРЦПОД. Взаимодействие между сегментами осуществляется с помощью оборудования Cisco.
В настоящее время на базе системы хранения данных Института вычислительных технологий (ИВТ) СО РАН объемом более 70 Тбайт создан каталог, который регулярно пополняется оперативными данными SPOT 2/4 и включает архивные данные со спутников серии LandSat на территорию РФ за 1982-2002 гг. Кроме того, организовано взаимодействие с каталогом спутниковых данных Межинститутского спутникового центра коллективного пользования ДВО РАН (http://www.satellite. dvo. ru).
Структура каталога и интерфейсные компоненты разработаны с учетом рекомендаций OGC (Open Geospatial Consortium). Каталог работает под управлением операционной системы семейства UNIX. В его основе лежит набор стандартных и специализированных программных продуктов с открытым исходным кодом, распространяемых по лицензии GPL.
Доступ к нему осуществляется посредством стандартного веббраузера, что обеспечивает платформенную независимость. В основе каталога лежит набор Perl/Java/JavaScript-приложений, работающих под управлением веб-сервера Apache.
Доступ к каталогу реализован посредством модуля Central Authentication Service (CAS), разрабатываемого в рамках проекта JA-SIG (http://www.ja-sig.org/products/cas/index.html). Он позволяет организовать многоуровневую систему разграничения прав доступа с централизованной базой пользователей на основе LDAP-каталога Сибирского отделения РАН и реализовать практически
индивидуальные настройки доступа к любому защищаемому ресурсу.
Структура каталога представлена на рисунке.
В качестве HTTP-сервера используется Apache (с расширением Tomcat) для платформы UNIX.
Важной составляющей каталога являются картографические сервисы. Подсистема картографических сервисов состоит из двух продуктов, распространяемых по лицензии GPL (GeoServer и UMN MapServer).
GeoServer предназначен для публикации набора векторных и растровых слоев, а также для получения WMS/WFS-слоев с удаленных картографических серверов. Приложение взаимодействует непосредственно с СУБД PostgreSQL/ PostGIS, что позволяет построить высокопроизводительный и легкий в настройке сервис.
Картографический сервер UMN MapServer содержит все необходимое для разработки картографических сервисов WMS/WFS, в соответствии со спецификациями OGC. Он позволяет формировать карты, одновременно используя информационные слои, размещенные как в локальных, так и в удаленных архивах.
В качестве базового инструментария для обработки и анализа данных дистанционного зондирования используются как пакеты программ с открытым исходным кодом, так и коммерческие продукты. Для предварительной обработки поступающих данных используется специальный модуль, интегрированный в коммерческий пакет RSI ENVI 4.5.
В качестве базового инструментария для тематической обработки и анализа данных дистанционного зондирования используется пакет программ с открытым исходным кодом GRASS GIS (Geographic Resources Analysis Support System). Отличительные особенности пакета - полная интеграция в среду UNIX, поддержка основных типов пространственных данных, мощный процессор обработки растровых данных, модульность и наличие открытого инструментария для быстрой и эффективной разработки модулей расширения. По функциональности GRASS GIS не уступает коммерческим аналогам.
ЇҐ 4 Í \ Í о \
Ц FTP-клиент У il V Веб-браузер У f Каталоги ^ 1^ Is.GeoNetworkJ Клиент Z39.50 \ у ^Сервера Z39.50
xSendFileService
Сервис аутентификации (CAS) Веб-сервер (Apache + Tomcat) Сценарии интерфейса (Perl / Java / JavaScript)
LDAP-каталоги
LDAP-каталог ИВТ СО РАН
Ґ Каталог метаданных \
ИВТ СО РАН
GeoNetwork
Ч У
^Интерфейс^ ^ WPS-сервер ^ ^ Подсистема кэширования J
% % % %
( Сервер ^ приложений Г ENVI / GRASS GIS^ + модули расширения Í Картографический^ сервер ИВТ СО РАН
кластер V J Обработка и анализ . трансформация , GeoServer 1 (WMS / WFS) J
Картографические сервера (WMS / WFS)
Z39.50
SFTP SQL SFTP SQL SFTP 1 MySQL
DirectAccess DirectAccess DirectAccess SQL SQL
Провайдер Z39.50
s Сервер Z39.50 (ИВТ СО РАН) Л
ZooPARK
* % #
Провайдер
Z39.50
Oracle
Провайдер
Z39.50
PostGIS
SQL
SQL
Системы хранения данных, в том числе удаленные (iSCSI)
Растровые данные Векторные данные
Архив карт-подложек
Шаблоны провайдеров Z39.50
БД PostgreeSQL + PostGIS
Структурная схема каталога спутниковых данных ННЦ СО РАН
Он позволяет разрабатывать модули расширения на распространенных языках программирования (C/C++, Java, Fortran и др.).
Пакет позволяет выполнять ресурсоемкие алгоритмы на высокопроизводительных вычислительных системах. Он включает библиотеки для работы практически со всеми современными СУБД. Для тематической обработки данных в каталог интегрирован комплекс программ, основанный на эффективных непараметрических алгоритмах выбора информативных признаков и классификации.
Для выполнения трудоемкой предварительной и тематической обработки на высокопроизводительных вычислительных системах выполняется реализация методов обработки в виде WPS-сервисов (http://www.opengeospatial.org/standards/wps). Использование технологии WPS позволит создать платформу для интеграции в создаваемую систему современных математических моделей, методов и технологий обработки спутниковых и наземных данных.
Для обеспечения функционирования в распределенном режиме и интероперабельности по протоколам доступа к метаданным и их представлению, в каталог интегрирован поисковый модуль GeoNetwork, обеспечивающий поддержку протокола Z39.50. Поисковая система позволяет не только находить данные по метаданным, но и выполнять комплексные запросы. Подсистема кэширования позволяет значительно ускорить обработку часто выполняемых запросов.
После прохождения процедуры регистрации и оформления заказа пользователь получает доступ к интересующим снимкам через Сеть передачи данных СО РАН. На данный момент к каталогу подключено более 20 институтов СО РАН. Он используется для выполнения крупных интеграционных проектов.
В настоящее время осуществляется переход к адаптированным формам предоставления информации, что подразумевает стандартизованную и тематическую обработку «сырых» данных, а также предоставление их в режиме сетевых сервисов. Этот подход, в сочетании с наиболее современными концептуальными и технологическими решениями, позволяет создавать неограниченное количество специализированных систем, базирующих-
ся на одной информационной основе. При этом соответствующее программное обеспечение, установленное у пользователя, может быть максимально адаптировано к его деятельности и уровню квалификации. Подобная архитектура позволяет создавать действительно распределенные информационные системы (от локальных и полностью автономных до систем общего пользования), но требует наличия узлов обработки, хранения и передачи данных. Тематическая обработка данных, требующая больших вычислительных мощностей, должна проводиться в специализированных вычислительных узлах.
Аналогичные региональные узлы сбора, хранения и обработки данных дистанционного зондирования создаются в Красноярском научном центре СО РАН (совместно с Сибирским федеральным университетом и МЧС России) и Иркутском научном центре СО РАН (совместно с Министерством природных ресурсов России).
Работа выполнена при частичной финансовой поддержке РФФИ (грант № 09-07-12087-офи_м) и Президентской программы «Ведущие научные школы РФ» (грант № НШ-931.2008.9).
---------------------------------------- СПИСОК ЛИТЕРАТУРЫ
1. Шокин Ю.И., Пестунов И.А., Смирнов В.В., Синявский Ю.Н., Скачкова А.П., Дубров И.С., Левин В.А., Алексанин А.И., Алексанина М.Г., Бабяк П.В., Громов А.В, Недолужко И.В. Распределенная информационная система сбора, хранения и обработки спутниковых данных для мониторинга территорий Сибири и Дальнего Востока // Журн. Сибирского федерального ун-та. Техника и технологии. - 2008. - Т. 1. - Вып. 4. - С. 291-314.
2. Шокин Ю.И., Пестунов И.А., Смирнов В.В., Синявский Ю.Н., Скачкова А.П., Дубров И.С. Система сбора, хранения и обработки данных дистанционного зондирования для исследования территорий Западной и Восточной Сибири // Сб. материалов V междунар. научн. конгресса «ГЕО-Сибирь-2009» (Новосибирск, Россия, 20-24 апреля 2009). - Новосибирск. - Т. 4. - 2009. - С. 165-170. ЕШ
Shokin Yu.I., Pestunov I.A., Smirnov V. V.,
Sinyavskiy Yu.N., Dobrotvorskiy D.I., Skachkova A.P.
CORPORATE INFORMATIONAL SYSTEM OF SB RAS FOR COLLECT ING STORAGE AND PROCESSING OF SATELLITE AND GROUND DATA.
Service-oriented geoinformational system developed in the ICT SB RAS is considered.
Key words: spatial data, service-oriented gis, satellite data catalogue, spot images.
— Коротко об авторах -----------------------------------------------------
Шокин Юрий Иванович - академик РАН, Учреждение Российской академии наук Институт вычислительных технологий СО РАН,
E-mail: [email protected], тел.(383)330-61-50
Пестунов Игорь Алексеевич - кандидат физико-математических наук, ученый секретарь, Учреждение Российской академии наук Институт вычислительных технологий СО РАН,
E-mail: [email protected], тел.(383)330-87-85
Смирнов Валентин Валентинович - инженер-исследователь, Учреждение Российской академии наук Институт вычислительных технологий СО РАН, E-mail: [email protected], тел.(383)334-91-00 Синявский Юрий Николаевич - младший научный сотрудник, Учреждение Российской академии наук Институт вычислительных технологий СО РАН, E-mail: [email protected]
Добротворский Дмитрий Игоревич - аспирант, Учреждение Российской академии наук Институт вычислительных технологий СО РАН, Email: [email protected]
Скачкова Анастасия Павловна - аспирант, Учреждение Российской академии наук Институт вычислительных технологий СО РАН, E-mail: [email protected]
