Региональная геоинформационная система оперативного космического мониторинга Текст научной статьи по специальности «Компьютерные и информационные науки»

Journal of Siberian Federal University. Engineering & Technologies 2015 8. Issue 6. 763-768

УДК 528.8

The Regional Geoinformation Remote Sensing System

Alexander A. Dontsov, Nikolay V. Volkov and Anatoly A. Lagutin

Altai State University 61 Lenin, Barnaul, 656049, Russia

Received 03.02.2015, received in revised form 18.04.2015, accepted 06.09.2015

We present the structure of geoinformation system integrated with the archives of remote sensing data obtained in ASU space monitoring center. The technological features of the system, the sequence of processing, cataloging and visualization of satellite data are presented. A new element of the developing system is a subsystem for control under computational processes using the web-based admin panel. This subsystem created using the Celery library.

Keywords: geoportal systems, remote sensing systems, satellite suite, satellite data catalogs.

DOI: 10.17516/1999-494X2015-8-6-763-768.

Региональная геоинформационная система оперативного космического мониторинга

А.А. Донцов, Н.В. Волков, А.А. Лагутин

Алтайский государственный университет Россия, 656049, Барнаул, пр. Ленина, 61

В статье представлена структура геоинформационной системы, сопряженной с архивами данных дистанционного зондирования Земли центра космического мониторинга АлтГУ. Обсуждаются технологические особенности работы системы, последовательность обработки, каталогизации и визуализации спутниковых данных. Новым элементом разрабатываемой системы является подсистема управления вычислительными процессами обработки данных через web-интерфейс панели администратора, созданная с использованием библиотеки Celery.

Ключевые слова: геопортальные системы, системы дистанционного зондирования Земли, спутниковые приборы, каталоги спутниковых данных.

© Siberian Federal University. All rights reserved Corresponding author E-mail address: dontsov@theory.asu.ru

*

Введение

Спутниковые системы дистанционного зондирования Земли позволяют осуществлять оперативный мониторинг состояния атмосферы и подстилающей поверхности на значительных по площади территориях. Получаемые большие объемы данных в видимом, ИК- и СВЧ-диапазонах стимулируют разработку эффективных информационных систем каталогизации, обработки и представления спутниковых данных. Такие системы позволят привлечь широкий круг пользователей к решению задач регионального спутникового мониторинга, исследовательских задач, а также обеспечить оперативными данными органы управления территориями.

В работе представлены результаты разработки геопортальной системы, использующей данные, получаемые в режиме реального времени со спутниковых приборов MODIS/Terra, MODIS/Aqua, AIRS/AMSU-Aqua, VIIRS/NPP, а также восстановленные по ним геофизические продукты уровня 2 [1]. В серии наших ранних работ (см., например, [2, 3]) представлена модель построения хранилища данных большого объема, основанная на использовании нереляционного подхода разработки баз данных с помощью NoSQL-технологии. Программные модули, реализующие парадигму NoSQL, разработаны и внедрены в действующую геопортальную ситему. Целью статьи является анализ возможностей системы управления каталогизацией, обработкой и представления результатов спутниковых измерений с использованием web-технологий.

Архитектура и принцип работы специализированной ГИС

Для организации доступа пользователей к спутниковым данным была разработана геопортальная система [2, 3], произведена ее интеграция с хранилищем спутниковых данных в формате HDF [1, 4]. Серверная часть системы разработана с использованием web-платформы Django. Данная платформа позволяет максимально атомизировать различные модули системы, что, в свою очередь, дает возможность производить модификацию отдельных компонентов, минимально влияя на остальные [3]. Принцип работы геопортальной системы представлен на рис. 1.

Пользователь с помощью web-интерфейса может получить как готовые карты с данными по региону, так и архивные - из каталога по интересующей его территории. После заполнения пользователем формы запроса, где ему нужно указать, с какого спутникового прибора, по какому региону и за какую дату ему нужны данные, формируется запрос, исходя из которого менеджер заданий создаёт задачу на обработку и представление информации. На этом этапе применяют возможности новой подсистемы асинхронного управления процессами обработки спутниковых данных, которая была разработана с использованием библиотеки Celery. Данная подсистема имеет следующие функциональные возможности:

• Выполнение заданий асинхронно или синхронно.

• Выполнение периодических заданий по заранее сформированному расписанию.

• Выполнение отложенных заданий.

• Распределенное выполнение (задание может быть запущено на нескольких серверах (worker-сервера)).

Рис. 1. Блок-схема работы геопортальной системы

• В пределах одного сервера возможно конкурентное выполнение нескольких задач (одновременно).

• Выполнение заданий повторно, если возникли какие-либо ошибки.

• Ограничение количества заданий в единицу времени.

• Мониторинг выполнения заданий. Для этого в панеле администратора геопортала предусмотрена данная возможность.

• Информирование о результатах выполнения заданий по электронной почте.

• Проверка завершенности задания.

Для интеграции Django c библиотекой Celery используется пакет django-celery, который предоставляет технологию Django ORM (object-relational mapping) для сохранения результатов выполнения заданий, а также автоматически находит и регистрирует задания Celery для приложений Django. На рис. 2 показана блок-схема работы подсистемы управления вычислительными процессами обработки спутниковых данных геоинформационной системы.

При выполнении задач обработки данных реализована возможность построения карт по регионам, которые могут только частично войти в область измерения спутникового прибора за один проход (гранула), другие запрашиваемые части могут войти в следующую или предыдущую гранулу, а также в гранулу другого спутника, имеющего аналогичную измерительную аппаратуру. Для решения задачи объединения гранул на основе библиотеки GDAL [5] разработана утилита для объединения данных различных HDF-файлов с последующей их конвертацией в формат Geotiff [2]. В панели администрирования реализована возможность формирования задач на обработку данных по произвольному расписанию, например, сразу после приёма данных.

Рис. 2. Блок-схема работы подсистемы распределения процессов обработки спутниковых данных

После преобразования данных в Geotiff для предоставления результатов обработки данных в геопортальной системе используется картографический сервер UMN MapServer, работающий в режиме WMS-сервера (Web Map) Service). Это позволяет не только отображать карты-результаты с помощью web-интерфейса, но и использовать серверную часть геопортальной системы в качестве web-сервиса, способного предоставлять данные настольным ГИС-программам, например, таким, кап QGIS, GRASS, ENVI и др . WMS - стандартный! протоко л для обслуживания через Интернет географически приоязалных изображений, генерируемых картографическим сервером на основе информации из базы данных ГИС. Назначением WMS-сервера является обработка картографических запросов к ГИС, которая поставляет внешнему клиенту иерлрхию картографических схоев и растеризованное изображгние карты.

При работе с хранилищем спутниковых данных геопортальная система не обращается напрямую к храни лищу, а запрашивает данные у подсистемы катллогизапщи. Для организации клталогов данных используетия докумелтная система управления базами данных MongoDB [6], реализующая нереляционную технологию построения баз данных NoSQL. Основной концепцией в документных базах данных является документ. База данных хранит и извлекает документы в форматах XML, JSON, BSON и др. Эти докумерты представляют собой само-описывиемые иерархические древовидные структу ры данных, котерые могут состоять жз ассоциативных массивов, коллекций и скалярных значений. Документные базы данных хранят документы в качестве значений в хранилищах типа «ключ-значение» [7]. Понятие «документ» в MongoDB можно иттерпретировать кек строку в таблице реляционуых баз данных. Схема данных в разных дому ментах может изменятьтя, но при этом разные документы могут принад-

лежать одной и той же коллекции - в отличие от реляционных баз данных, в которых каждая строка в таблице должна иметь одну и ту же схему. Таким образом, если возникает необходимость изменить поля записей в документе (строке), которые описывают какие-либо характеристики файлов спутниковых данных, то достаточно отразить изменение в программном коде. Это позволяет произвольно добавлять любые параметры описания каких-либо файлов, не влияя при этом на общую структуру каталога. В процессе инициализации каталога данных используется утилита, основанная на компоненте gdalinfo библиотеки GDAL [5], которая дает возможность получать подробную информацию о файлах географических данных. На основе этой утилиты с использованием средств языка программирования Python был разработан специальный модуль, который на вход получает информацию о файловой системе хранилища спутниковых данных, в частности таблицу путей к сохраненным файлам. Затем рекурсивно заносит полученную информацию в каталог базы данных. На этапе работы с СУБД MongoDB используется библиотека PyMongo. Это разовая операция, после которой информация о новых данных просто дописывается в каталог. Обновление каталога происходит сразу же после приема данных с достаточно высоким временным разрешением (примерно несколько раз в сутки), и практически сразу данные могут быть доступны пользователям геопортала. Коллекция полей, описывающих информацию о файлах в хранилище данных, имеет структуру, подобную приведенной! ниже:

{ «_id»:id записи каталога БД, «product»: продукт, «File»: / путь к файлу /, «GRINGPOINTLATITUDE" : широта, "GRINGPOINTLONGITUDE" : долгота,

"RANGEBEGINNINGDATE" : "2012-12-05" }

Рис. 3. Пользовательский web-интерфейс информационной сисаемы

В примере показана лишь часть полей описания файлов в каталоге. Для хранения данных используется JSON/BSON-подобная схема данных по принципу «ключ-значение» [6, 7]. У каждой коллекции полей описаний есть свой индивидуальный идентификатор - id, который можно устанавливать программно. По умолчанию СУБД MongoDB генерирует их автоматически. Тем самым можно реализовывать выборки из каталога файлов по различным критериям, например, таким, как регион (широта, долгота), дата и время съёмки, качество данных, облачность и др.

Заключение

Интеграция web- и ГИС-технологий позволяет привлечь широкий круг пользователей для решения задач оперативного космического мониторинга. Для этих задач актуальна разработка технологий, позволяющих производить сбор измеренных значений и обработку всех поступающих в режиме реального времени потоков данных с последующей их каталогизацией и интеграцией с базами картографической информации.

В статье представлены результаты разработки геопортальной системы оперативного регионального космического мониторинга, сопряженной с каталогами данных дистанционного зондирования Земли, разработанных с использованием NoSQL-технологии. Новым элементом разрабатываемой системы является подсистема асинхронного управления вычислительными процессами обработки данных через web-интерфейс, созданная с использованием библиотеки Celery.

Список литературы

[1] Лагутин A.Ä., Никулин Ю.А., Жуков А.П. и др. // Выч. технол. 2007. Т. 12. № 2.

[2] Волков Н.В., Донцов А.А., Лагутин А.А. // Известия АлтГУ 2013. № 1/2 (77). С. 151-156.

[3] Донцов А.А., Волков Н.В. // Дистанционное зондирование Земли из космоса: алгоритмы, технологии, данные: Материалы молодежной школы-семинара / ред. А.А. Лагутин. Барнаул: Азбука, 2013. С. 90-98.

[4] Лагутин A.А., Лагутин Aл.А., Шмаков И.А., Никулин Ю.А. // Выч. технол. 2007. Т. 12.

№ 3.

[5] GDAL - Geospatial Data Abstraction Library [Electronic resource]. URL: http://www.gdal.

org

[6] Oficial site MongoDB project [Electronic resource]. URL: http://mongodb

[7] Донцов А.А., Волков Н.В, Лагутин А.А. // Известия АлтГУ 2014. № 1/2 (81). С. 172-175.