CC BY
29
УДК 913:002(571)
Ю.И. Шокин, И.А. Пестунов, В.В. Смирнов, Ю.Н. Синявский, А.П. Скачкова, И.С. Дубров ИВТ СО РАН, Новосибирск
СИСТЕМА СБОРА, ХРАНЕНИЯ И ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ДЛЯ ИССЛЕДОВАНИЯ ТЕРРИТОРИЙ ЗАПАДНОЙ И ВОСТОЧНОЙ СИБИРИ
Yu.I. Shokin, I.A. Pestunov, V.V. Smirnov, Yu.N. Sinyavskiy,
A.P. Skachkova, I.S. Dubrov
Institute of Computational Technologies SB RAS
6 Acad. Lavrentjev ave., Novosibirsk, 630090, Russian Federation
SYSTEM OF REMOTE SENSING DATA COLLECTING, STORAGE AND AND PROCESSING FOR WESTERN AND THE EASTERN SIBERIA TERRITORIES RESEARCH
Geoinformational system developed in the ICT SB RAS for Western and the Eastern Siberia territories research is considered.
Важнейшей составляющей информационного обеспечения общества, необходимой для безопасного существования и устойчивого экономического развития любого государства, являются данные дистанционного зондирования (ДДЗ). При исследовании обширных и труднодоступных территорий Сибири они имеют особое значение, потому что ДДЗ - практически единственный источник независимой, объективной и актуальной информации.
В последние годы в области создания и развития средств и технологий дистанционного зондирования Земли наблюдается стремительный прогресс. Как следствие, лавинообразно растут получаемые объемы данных, которые практически невозможно централизованно хранить и обрабатывать. Кроме того, сложность современных программных комплексов, их существенная стоимость и необходимость постоянного обновления значительно затрудняют их широкое применение рядовым пользователем.
В целях обеспечения доступа сотрудников Сибирского отделения РАН к спутниковым данным, на базе ИВТ СО РАН создается распределенная система сбора, хранения и обработки данных дистанционного зондирования. К основным функциям системы относятся: обеспечение сбора данных; архивирование «сырых» данных; предварительная (до уровня 1B) и дополнительная (до уровня 2А) обработка данных; каталогизация данных уровня 1А; обеспечение оперативного и долговременного хранения обработанных данных; предоставление доступа к данным и веб-сервисов для их тематической обработки.
Основной поставщик спутниковых данных - Западно-Сибирский региональный центр приема и обработки спутниковых данных (Зап-СибРЦПОД) при ГУ «Новосибирский ЦГМС-РСМЦ». Для передачи данных из
Зап-СибРЦПОД в ИВТ СО РАН организована подсеть сбора данных Сети передачи данных (СПД) Сибирского отделения РАН (рис. 1).
В сети Зап-СибРЦПОД расположен сервер для временного хранения информации. Он обеспечивает взаимодействие между локальной сетью Зап-СибРЦПОД и сетью ИВТ СО РАН, предоставляет БТР-сервис, сервис файловых каталогов и другие сервисы для служб Зап-СибРЦПОД, а также обеспечивает временное хранение (буферизацию) поступающей информации в течение 7-10 дней для гарантированного функционирования системы сбора данных в случае аварийных ситуаций.
Рис. 1. Функциональная схема подсети сбора данных СПД СО РАН
Для обеспечения работы системы в сеть ИВТ СО РАН включено следующее оборудование:
- Система хранения данных (СХД), обеспечивающая долговременное бесперебойное хранение оперативной информации;
- Сервер сбора и индексирования данных, выполняющий функции сбора, индексирования данных и занесения их в СХД, а также формирования базы метаданных и выполнения поисковых запросов;
- Сервер приложений, предназначенный для обработки данных;
- Система архивации данных, обеспечивающая архивацию поступающей «сырой» информации и оперативного архива по мере его обновления.
В качестве системы хранения данных используются два дисковых массива proIPS SB-3164-G1A3, каждый из которых содержит 16 дисков по 1 Тбайт. Внутренняя организация СХД позволяет сохранить полную работоспособность системы при выходе из строя двух дисков и обеспечить работу системы в функционально ограниченном режиме при одновременном выходе из строя до четырех дисков.
В настоящее время обеспечен прием данных со спутников SPOT-2/4 на территорию Западной и Восточной Сибири (порядка l6 Гбайт в сутки). Кроме того, создан каталог архивных данных со спутников серии LandSat (1982-2002 гг.), покрывающих всю территорию России; организован доступ к каталогу спутниковых данных Межинститутского спутникового центра коллективного пользования ДВО РАН1 [1] и сформирован каталог для доступа к архиву радарной топографической съемки на территорию Евразии, полученной NASA в феврале 2000 года (SRTM1 и SRTM2).
Архивация данных для долгосрочного хранения обеспечивается с помощью ленточного накопителя. «Сырые» данные после индексации тоже переносятся в долговременный архив.
Сервер приложений (2 x Intel Core Quad (8x2.2 ГГц), 16 Гбайт ОЗУ) взаимодействует с вычислительным кластером ИВТ СО РАН с пиковой производительностью порядка 230 Гфлопс. В настоящее время он выполняет операции по приведению данных в нужную картографическую проекцию.
С целью систематизации данных, организации поиска и извлечения из архива необходимой информации в систему интегрирован каталог пространственных данных. Каталог работает под управлением операционной системы семейства UNIX. В его основе лежит набор стандартных и специализированных программных продуктов с открытым исходным кодом, распространяемых под лицензией GPL (GNU General Public License).
Структура каталога представлена на рис. 2. Доступ к нему осуществляется посредством стандартного веб-браузера, что обеспечивает платформенную независимость. В основе каталога лежит набор Perl/Java/JavaScript-приложений, работающих под управлением веб-сервера Apache.
Доступ к каталогу реализован посредством модуля Central Authentication
Л
Service (CAS) . Он позволяет организовать многоуровневую систему разграничения прав доступа с централизованной базой пользователей на основе LDAP-каталога Сибирского отделения РАН и реализовать практически индивидуальные настройки доступа к любому защищаемому ресурсу. Модуль CAS позволяет легко создавать защищенные ресурсы как на основе Apache/Tomcat, так и при использовании технологий PHP/JavaScript на платформе Apache.
1 http://satellite.dvo.ru
Л
http : //www.j a-sig. org/products/cas/index.html
Рис. 2. Структура каталога
Каталог состоит из следующих функциональных блоков.
В качестве HTTP-сервера используется Apache (с расширением Tomcat) для платформы UNIX.
Важной составляющей системы являются картографические сервисы, которые также используются в других проектах. Подсистема картографических сервисов состоит из двух продуктов, распространяемых под лицензией GPL (GeoServer3 и UMN MapServer4).
GeoServer предназначен для публикации набора векторных и растровых слоев. Приложение взаимодействует непосредственно с СУБД PostgreSQL/PostGIS, что позволяет построить высокопроизводительный и легкий в настройке сервис.
Картографический сервер UMN MapServer содержит все необходимое для разработки картографических сервисов WMS/WFS, в соответствии со спецификациями OGC. Он позволяет формировать карты, одновременно используя информационные слои, размещенные как в локальных, так и в удаленных архивах.
В качестве базового инструментария для обработки и анализа данных дистанционного зондирования используются как пакеты программ с открытым исходным кодом, так и коммерческие продукты.
"5
http: //geoserver. org
4 http://mapserver.gis.umn.edu
Для предварительной обработки поступающих данных используется специальный модуль, интегрированный в коммерческий пакет RSI ENVI5 4.5.
В качестве базового инструментария для тематической обработки и анализа данных дистанционного зондирования используется пакет программ с открытым исходным кодом GRASS GIS (Geographic Resources Analysis Support System6). Отличительные особенности пакета - полная интеграция в среду UNIX, поддержка основных типов пространственных данных, мощный процессор обработки растровых данных, модульность и наличие открытого инструментария для быстрой и эффективной разработки модулей расширения. По функциональности GRASS GIS не уступает коммерческим аналогам. Он позволяет разрабатывать модули расширения практически на всех языках программирования, для которых есть компилятор под UNIX (Perl, sh, C/C++, Java, Fortran и др.). Пакет позволяет выполнять ресурсоемкие алгоритмы на высокопроизводительных вычислительных системах. Он включает библиотеки для работы практически со всеми современными СУБД.
Для тематической обработки данных в систему интегрирован комплекс программ, основанный на эффективных непараметрических алгоритмах выбора информативных признаков и классификации [2, 3].
Для расширения функциональности системы используется сервер приложений. Он содержит интерфейсы для взаимодействия с внешними приложениями, описанные на языке XML.
Для обеспечения функционирования системы в распределенном режиме и интероперабельности по протоколам доступа к метаданным и их представлению, в нее интегрированы модули поддержки протокола Z39.50 [4]. Поисковая система позволяет не только находить данные по метаданным, но и выполнять комплексные запросы.
Для получения снимка необходимо оформить заказ. Для этого достаточно добавить выбранные снимки в корзину заказов. После этого, при нажатии кнопки «Заказать», заказ поступает в обработку. Затем пользователю предоставляется возможность скачать снимки по каналам сети передачи данных СО РАН с использованием протоколов FTP и HTTP.
В дальнейшем предполагается переход к адаптированным формам предоставления информации, что подразумевает стандартизованную и тематическую обработку «сырых» данных, а также предоставление их в режиме сетевых сервисов. Этот подход позволяет создавать неограниченное количество специализированных систем, базирующихся на одной информационной основе. При этом соответствующее программное обеспечение, установленное у пользователя, может быть максимально адаптировано к его деятельности и уровню квалификации. Подобная архитектура позволяет создавать действительно распределенные информационные системы.
В настоящее время к системе подключено 14 институтов СО РАН. Система используется для выполнения крупных интеграционных проектов.
5 http://www.envi.ru
6 http://grass.itc.it
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Шокин Ю.И., Пестунов И.А., Смирнов В.В. и др. Распределенная информационная система сбора, хранения и обработки спутниковых данных для мониторинга территорий Сибири и Дальнего Востока // Журн. Сибирского федерального ун-та. Техника и технологии.
- 2008. - Т. 1, вып. 4. - С. 291-314.
2. Пестунов И.А., Синявский Ю.И. Непараметрический алгоритм кластеризации данных дистанционного зондирования на основе grid-подхода // Автометрия. - 2006. - Т. 42.
- № 2. - С. 90-99.
3. Куликова Е.А., Пестунов И.А. Классификация с полуобучением в задачах обработки многоспектральных изображений // Вычисл. технологии. 2008. Т. 13 (совместный вып. по матер. Междунар. конф. «Вычислительные и информационные технологии в науке, технике и образовании»). Вестн. КазНУ им. аль-Фараби. Сер.: Математика, механика, информатика. 2008. № 3 (58), ч. II. С. 284-290.
4. Жижимов О.Л., Мазов Н.А. Принципы построения распределенных информационных систем на основе протокола Z39.50.Новосибирск: ОИГГМ СО РАН; ИВТ СО РАН, 2004. 361 с.
© Ю.И. Шокин, И.А. Пестунов, В.В. Смирнов, Ю.Н. Синявский, А.П. Скачкова, И.С. Дубров, 2009
