CC BY
141
УДК 004.5
А. В. Козлов, И. В. Назаров, К. С. Алсынбаев
РАЗРАБОТКА ГЕОПОРТАЛА ЦЕНТРА КОСМИЧЕСКИХ УСЛУГ НА ОСНОВЕ ОТКРЫТЫХ СИСТЕМ
Представлены информационно-программные решения, примененные для создания геопортала Центра космических услуг Калининградской области. Использовалось программное обеспечение с открытыми кодами (GeoNetwork — для создания и работы с метаданными, GeoSer-ver — для публикации геоданных, PostGreSQL — для хранения геоданных) и открытые форматы (WMS, WFS, KML) для публикации геодан-
© Козлов А. В., Назаров И. В., Алсынбаев К. С., 2014
Вестник Балтийского федерального университета им. И. Канта. 2014. Вып. 10. С. 140 — 148.
ных. Описаны структуры NoSQL таблиц для хранения и управления полнотекстовыми и пространственными индексами, а также структуры запросов к таблицам.
Information-software solutions applied to creation of geoportal of the Center of space services of the Kaliningrad region are presented. The software with open codes (GeoNetwork — for creation and work with metadata, Geo-Server — for publication of geodata, PostGreSQL — for storage of geodata) and open formats (WMS, WFS, KML) for the publication of geodata was used. Structures of NoSQL tables for storage and management of full text and spatial indexes, and also structure of query to tables are described.
Ключевые слова: геопортал, метаданные, noSQL база данных, программное обеспечение с открытыми кодами.
Key words: geoportal, metadata, noSQL database, ореn code software.
Центр космических услуг Калининградской области (далее — Центр) проектировался как региональный центр компетенции в сфере предоставления широкого спектра космических продуктов и услуг для граждан, предприятий и организаций различных форм собственности, муниципальных и государственных органов власти. К основным задачам регионального центра космических услуг относятся:
— сбор, хранение и предоставление потребителям данных дистанционного зондирования Земли из космоса;
— создание и поддержка программных продуктов на основе использования данных дистанционного зондирования Земли из космоса, спутниковой связи, навигационного, топогеодезического, картографического, гидрометеорологического и других видов космического обеспечения;
— оказание консультационных и обучающих услуг, пропаганда использования космических продуктов в различных сферах жизнедеятельности.
В настоящее время наблюдается существенный прирост рынка использования космических данных на основе различных типов, частот и точности зондирования. Запущены новые российские (Канопус В, Ресурс П, Кондор) и зарубежные спутники (Landsat 8, Sentinel 1) c возможностью получения недорогих и актуальных данных в целях:
— прогнозирования и предотвращения чрезвычайных ситуаций;
— мониторинга природных и техногенных процессов природопользования;
— использования космических данных для сельского, лесного, дорожного и водного хозяйства, жилищно-коммунального комплекса, территориального и муниципального планирования и управления;
— предоставления актуальной справочной информации, основанной на данных глобального позиционирования и дистанционного зондирования Земли, для жителей и гостей региона.
Перед коллективом исполнителей стояла задача найти эффективное низкозатратное решение для скорейшего запуска Центра, предполагающего наличие веб-ресурса с удаленным доступом к геопространственным данным и сервисам (геопортала).
142
Практика создания геопорталов в мире основывается на широком спектре следующих программных решений:
— разработка на основе настройки и API геоинформационных коммерческих решений (ESRI ArcServer, Intergraph GeoServer, MapInfo MapXtreme, Панорама GIS WebServer);
— использование подписки и API условно-свободных ресурсов дистрибьютеров (Сканекс, Совзонд, РЕКОД);
— использование условно-свободного API для встраивания (mesh-up) во внешние картографические сервисы (Google, Yandex, OSM);
— разработка на основе некоммерческих систем программирования с открытыми кодами.
Учитывая наличие у коллектива исполнителей опыта создания веб-порталов на базе открытых систем [1], при создании геопортала было реализовано последнее программное решение на базе следующих информационных технологий, соответствующих современному мировому уровню:
— концепция «инфраструктуры пространственных данных», предусматривающая использование как собственных, так и сторонних данных и сервисов на основе создания и поддержки поисковой системы метаданных по открытым стандартам ISO и ГОСТ РФ;
— свободно-распространяемые георесурсы в качестве картографической основы и открытых форматов (WMS, WFS, KML) для публикации геоданных;
— программное обеспечение с открытыми кодами (GeoNetwork — для создания и работы с метаданными, GeoServer — для публикации геоданных, PostGreSQL — для хранения геоданных, Drupal — для создания контента сайта, Flex и JavaScript - в качестве языков программирования).
Геопортал состоит из трех основных компонент: картографическая система, система поиска пространственных данных и непосредственно веб-сервер геопортала. Общая функциональная схема взаимодействия серверов показана на рисунке 1.
Рис. 1. Общая функциональная схема геопортала
Работу картографической системы обеспечивает WMS-сервис Geo-Server, который позволяет публиковать векторные и растровые данные. В качестве базовых слоев геопортала используются электронные карты
Open Street Map, Bing Road, Bing Aerial, а также периодически обновляемая сотрудниками НИИ ПИиМГ БФУ им. И. Канта мозаика безоблачных космических снимков Landsat 7, Landat 8 и Канопус В. На геопортале реализованы стандартные возможности навигации, а также смены подложки, выборки графикой, измерения расстояний и площадей.
Используя Geoserver, можно использовать следующие способы публикации растровых данных:
1) растры небольшого объема публикуются в форматах World Image или GeoTIFF без применения методов оптимизации;
2) растры среднего объема публикуются в формате Image Mosaic, который предполагает, что данные разбиты на регулярные или нерегулярные фрагменты;
3) растры большого объема публикуются в формате Image Pyramid, который предполагает, что данные представляют набор предварительно данных, генерализованных для дискретного перечня масштабов, с разбиением данных каждого масштаба на регулярную мозаику;
4) растры сверхбольшого объема публикуются в формате Image Mosaic JDBC, который по методам оптимизации аналогичен Image Pyramid, но использует для индексации фрагментов пространственную базу данных PostGIS на базе СУБД PostgreSQL.
Были использованы все вышеперечисленные методы публикации -в зависимости от размеров публикуемых данных [2]. Для публикации обзорных изображений космических снимков высокого и среднего пространственного разрешения, имеющих небольшой объем, применялись форматы GeoTIFF и Image Mosaic. Для публикации обзорных изображений космических снимков низкого и сверхнизкого пространственного разрешения использовался формат Image Pyramid. Растровая спутниковая подложка интерактивной карты каталога была опубликована с помощью формата Image Mosaic JDBC (рис. 2.)
Рис. 2. Представление мозаики космических снимков Ьаг^эа^ЕТМ на территорию суши в качестве растровой подложка интерактивной карты каталога
144
Растровые данные формата Image Mosaic JDBC представляются набором разномасштабных фрагментов исходного растра, размещенных в виде таблиц СУБД postgrtesql с пространственными расширениями postgis. Каждый растровый слой заносится в таблицу мозаик (рис. 3), содержащую следующие поля:
• name — название слоя;
• spatialtable — название таблицы с описывающими полигонами фрагментов растрового слоя;
• tiletable — название таблицы с фрагментами растрового слоя;
• resx, resy — разрешение фрагментов растрового слоя;
• minx, miny, maxx, maxy — географическая область, покрываемая растровым слоем.
Рис. 3. Пример таблицы, содержащей растровые мозаики
Каждый растровый слой может быть представлен несколькими мозаиками фрагментов для разных масштабов (пирамида). Такое построение исключает необходимость проведения операций изменения размера пиксела и вырезания нужного фрагмента растра для каждого факта изменения текущего масштаба и области визуализации карты. Таблица с фрагментами и описывающими полигонами фрагментов (рис 4.) для растрового слоя содержит следующие поля:
• location — путь к файлу с фрагментом растра;
• data — двоичные данные фрагмента растра;
• geom — описывающий полигон фрагмента.
Каждая таблица с фрагментами регистрируется в пространственной БД POSTGIS как векторный слой типа мультиполигон с полем геометрии geom.
Система поиска геоданных состоит из двух программных модулей: пользовательского интерфейса на базе модуля системы управления контентом Drupal и сервиса каталогизации метаданных пространственных данных Geonetwork. Сервисы взаимодействуют между собой по протоколу CSW. Поиск метаописаний основан на сочетании полнотекстового и пространственного индекса Lucena. Индекс представлен следующими noSQL таблицами, содержащими ключ-значение:
1. Документы - профили метаописаний в формате xml.
2. Последовательности полей, из которых состоят документы.
3. Последовательности терминов, из которых состоят поля документов.
4. Термины, являющиеся последовательностью байтов.
Edit Data - 10.99.102.12 (10.99.102.12:5432) - gaoserver - tileosm-O
File Edit View Tools Help
\ ни далее» m 1 » H 100 rows V 1
location [PK] character(64) data geom geometry i
1 0O/00/geomosaic_ 28 5 201 1201 png <binary data> oi i s «га::::::::' :::«■><■><■>:■>:■:::::" ::::::ooo;:h::::::::::
2 00/00/geomosaic 28 5 201 1202 png <binarv data> 01Е633332031Э"3;333:О0ЭЗЕЕЗ:33000ЭЁЕЗ:3330О0е5ЕЗЗЗЗ
3 00/00/geomosaic 28 5 201 1203 png <binary data> 01Вбзззз70Л-|-в ;:;:;:•: оиикзкн"взооооввз"зккнни:::::;;:;;;:^
4 00/00/geomosaic_ 28 5 201 1204 png <binarv data> 01Вб:::::;з70Л ! и иияккког кзнооокисг ннкииикьккккк
5 00/00/geomosaic 28 201 1205 png cbinarv data> 01веззвз20Л:!-в::звз:ооавввз:в:;оооаввз:вззооовьвззвз
6 00/00/geomosaic_ 28 5 201 1206 png <binary data> 01ве;:;:з::70Л i :: ;::::::' ooobüüs' з:юо<шзз' зззооовьззззз
7 00/00/geomosaic 28 5 201 1207 png <binarv data> ßi в633337031 ~гй::ззз' ооойййз' ззооойййз' зээооойпйзззэ
ö 00/00/geomosaic 28 5 201 1208 png cbinary data> 01Вбзззз70Л-!-з ::озв" ооовййй' гтюж-ххг зззооойьззззз
9 00/00/geomosaic_ 28 5 201 1209 png <binarv data> 01Й6333370Л 1 в;ззз'00айввз'з:!000айвз'ззз000йьззззз
10 00/00/geomosaic 28 5 201 1210 png cbinarv data> 01363ЗЗЗ2031В=Е;ЗЗЗ:00ЭЗЗЕЕ:ЗЗ000ЭЗЕЕ:ЗЗЗ000ЕЕЗЗЕЗЗ
11 00/00/geomosaic_ 28 5 201 1211 png <binary data> <теззз870Л i :: ;::::::' <><>:>;:::::::' з:юо<ш::з' зззооовьззззз
12 00/00/geomosaic 28 5 201 1212 png <binarv data> 01й633337031 тз^ззз' ооойййз'330000ййй' зззооойпйййзз
13 00/00/geomosaic 28 5 201 1213 png <binary data> 01ВБВВВ3703Н-В ;ззз ооавззз' з:-;оооавзз' зззооовьззззз
М/ПЩщщща^ па - 1c11 1ПЛ „„„ -ы™™ '.f- cn гсрппптгл^п npnmiïim ооглйппт imctctct^mnm (пййооотс.гткткткпй
Scratch päd IS
100 rows.
Рис. 4. Пример таблицы с фрагментами растрового слоя для определенного масштаба
Организация индекса в виде noSQL таблиц, содержащих два поля -ключ-значение, существенно ускоряет поиск документов, исключая необходимость выполнения сложных реляционных запросов. Одни и те же значения хранятся в различных видах для обеспечения оптимальной скорости поиска документов. При задании различных критериев поиска, сложные запросы разбиваются на примитивы, соответствие которым вычисляется отдельно. Организовано распараллеливание выборок по отдельным примитивам, что обеспечивает оптимальную производительность. Далее полученные выборки ключей пересекаются или объединяются для получения конечного результата.
Запросы к полнотекстовому индексу Lucena формируются с интерактивной формой системы поиска геопортала и передаются в метака-талог geonetwork по протоколу CSW. CSW запрос к индексу состоит из XML документа, содержащего атрибутивные и пространственные критерии поиска (рис. 5). Для атрибутивных критериев можно задавать фильтры частичного или точного совпадения со значением текстового термина и математические операции сравнения для терминов, представленных числами, например, масштаб, пространственное разрешение и другие, или датами временной области, к которой относятся данные или метаданные. Для пространственного фильтра можно задавать фильтры включения, пересечения, касания пространственной области данных или метаданных.
146
<csw:GetR.e cords imln5:c5w-'http//www.opengÍ5netf catfcsW imlns :o ge-http//www. opengis.netto ge'
imlnsigml-httpj'/www.opengis.net/gmr service-CSW version-^.O.l' resultType-RESULTS' staitPosition-1'
Рис. 5. Пример CSW запроса к каталогу пространственных данных
Пространственное индексирование осуществляется аналогично полнотекстовому. Пространственных индекс хранит геометрию границ описываемых данных и индекс документа, к которому эта геометрия привязана. Для реализации системы поиска и хранения пространственных данных была использована открытая база данных PostgreSQL с расширением POSTGIS. Таблица пространственного индекса (рис 6.) регистрируется в БД POSTGIS как векторный слой типа мультиполигон и содержит следующие поля:
• fid — идентификатор векторного объекта слоя;
• id — идентификатор профиля метаданных в метакаталоге, совпадающий с идентификатором в БД каталога geonetwork;
• the_geom — описывающий полигон описываемых данных.
В случае использования для пространственной индексации файлового индекса в виде shp слоя, этот слой должен быть типа мультиполи-гон и включать в себя атрибутивную таблицу, аналогичную таблице POSTGIS.
Edit Data - 10.99.102.13 (10.99.102.13:5432) - geonetworkdb - spatialinde*
File Edit View TooLs HeLp
■ I m #1 в I ■ I ■ I T
fid [PK] intege id character thE_geom geometry 1
lo i i S1DJ3 ti itraBBBBztittLj itii3O0bti.¿ti00O00O i
11 12 117487 010600002GE610000002000S0G01
12 13 123059 0106000020E61000000200000001
13 14 125177 Q1Q6000020E61Q000002000000G1
Scratch pad
100 rows.
Рис. 6. Пример таблицы пространственного индекса
В результате поиска на карте отображаются облегченные образы (квиклуки) найденных данных, а в окне списка - краткая информация о найденных объектах в соответствии с заданными критериями поиска. Реализованы возможности просмотра детальной метаинформации, включая контактные данные держателя информации, просмотра квик-луков на карте и в отдельном окне, экспорта метаданных в файлы XML и PDF-форматов, а также просмотра положения данных в сервисе Google Earth.
Таким образом, для незарегистрированных пользователей обеспечена возможность получения информации о геоданных, содержащихся в базе, но без возможности получить копию данных или вывести их на карту. Для этого им нужно обратиться к держателю (собственнику) данных. При наличии разрешения держателя данных после просмотра детальной информации можно организовать доступ к данным в виде онлайн-ресурса.
Помимо поискового сервиса, на геопортале реализован доступ к двум внешним онлайн-сервисам: «Примечательные объекты и места Кёнигсбер-га» (разработчики — К. С. Алсынбаев, В. М. Брыксин, Н. М. Брыксина) и «Мониторинг просадок» (разработчики — А. В. Филатов, В. М. Брыксин).
Сервис «Примечательные объекты и памятные места Кёнигсберга» позволяет визуализировать слой указаний на местоположения некоторых примечательных объектов и памятных мест Кёнигсберга совместно с исторической растровой картой Кёнигсберга, созданной на основе довоенных топокарт. Также пользователь имеет возможность наложить значки памятных мест и достопримечательностей на современную карту Калининграда. На сервисе представлены указатели наиболее известных религиозных храмов, мостов и памятных мест Кёнигсберга, связанных с жизнью его великого гражданина — Иммануила Канта. Попеременная визуализация растровой исторической карты и современных картографических данных позволяет представить на месте нынешних площадей, парковых зон и кварталов современных застроек размещение зданий и улиц некогда процветающего знаменитого города. По щелчку на значок объекта пользователь может перейти к краткой аннотированной информации объекта и к небольшой иллюстрированной статье. Объекты и различные картографические слои привязаны друг к другу с точностью 10 — 20 м.
В сервисе «Мониторинг просадок» [3] реализован метод интерфе-рометрической обработки постоянных отражателей. Постоянным отражателем считается объект, который дает высокий и стабильный уровень обратного отражения (амплитуда пиксела), следовательно, фаза сигнала, принятого от такого объекта, имеет низкую дисперсию.
Сервис представляет результаты интерферометрической обработки массива из более 15 разновременных радиолокационных кадров, полученных при повторной съемке одной и той же территории со спутника ALOS (Японское космическое агентство). Снимки получены по гранту Японского агентства аэрокосмических исследований JAXA1.
1 JAXA ALOS-2\PALSAR: Complex study of radar interferometry potentialities for subsidence monitoring of ground surface and technogenic areas in conditions of changeable natural landscapes.
Выводы. В процессе создания геопортала доказана возможность быстрой низкозатратной разработки на основе программного обеспечения с открытыми кодами.
Создана система прототипов информационно-программных решений для дальнейшего развития Центра посредством адаптации и расширения интерфейсных средств доступа к геопорталу и добавления функционала, ориентированного на специализированные потребности пользователей.
Геопортал «Центр космических услуг Калининградской области» запущен в опытную эксплуатацию 26.08.2013 г. по адресу space.gov39.ru.
В настоящее время в базе данных размещены квиклуки и метаданные для более 100 ретроспективных и современных снимков со спутников Российского космического агентства на территорию области (Ресурс ДК, Канопус В, Ресурс П). Снимки предоставляются на регулярной основе НЦ ОМЗ Роскосмоса в соответствии с соглашением о сотрудничестве между Роскосмосом и правительством Калининградской области.
Геопортал функционирует и постоянно обновляется, а его возможности постоянно расширяются по мере поступления и накопления новых космических снимков и тематических геоинформационных слоев.
Работа выполнена при поддержке гранта РФФИ № 13-07-00666 «Разработка распределенной системы обмена геопространственными данными для научных сообществ на основе технологий GRID, noSQL БД и облачных вычислений».
Список литературы
1. Козлов А. В., Брыксин В. М., Назаров И. В. Пример реализации каталога пространственных данных || XII International Conference on Geoinformatics. Theoretical and Applied Aspects. Kiev, 13 — 16 May 2013.
2. Брыксин В. M., Козлов А. В. Разработка технологии публикации пространственных данных сверхбольших объемов с использованием открытых систем II Вестник Балтийского федерального университета им. И. Канта. 2013. Вып. 4. С. 140—147.
3. Брыксин В. М., Филатов А. В., Евтюшкин А. В. Использование радарных изображений и DInSAR-PSInSAR технологии для мониторинга Западной Сибири и Арктики II Журнал радиоэлектроники. 2012. № 6. С. 51 — 53.
Об авторах
Антон Владимирович Козлов — Балтийский федеральный университет им. И. Канта, Калининград.
E-mail: [email protected]
Игорь Владимирович Назаров — канд. техн. наук, доц., Балтийский федеральный университет им. И. Канта, Калининград.
E-mail: [email protected]
Камил Салихович Алсынбаев — канд. техн. наук, доц., Балтийский федеральный университет им. И. Канта, Калининград.
E-mail: [email protected]
About the authors
Anton Kozlov — I. Kant Baltic Federal University, Kaliningrad.
E-mail: [email protected]
Igor Nazarov — PhD, Ass. Prof., I. Kant Baltic Federal University, Kaliningrad.
E-mail: [email protected]
Kamil Alsynbaev — PhD, Ass. Prof., I. Kant Baltic Federal University, Kaliningrad.
E-mail: [email protected]
