CC BY
159
УДК 004.75
ФОРМИРОВАНИЕ КОМПОНЕНТОВ ИНФРАСТРУКТУРЫ ПРОСТРАНСТВЕННЫХ ДАННЫХ ДЛЯ УПРАВЛЕНИЯ ТЕРРИТОРИАЛЬНЫМ РАЗВИТИЕМ
И. В. Бычков, Г. М. Ружников, А. Е. Хмельнов, Р. К. Фёдоров,
А. С. Гаченко, А. О. Шигаров, В. В. Парамонов
DEVELOPING COMPONENTS OF SPATIAL DATA INFRASTRUCTURE FOR THE REGIONAL DEVELOPMENT
I. V. Bychkov, G. M. Ruzhnikov, A. E. Hmelnov, R. K.Fedorov,
A. S. Gachenko, A. O. Shigarov, V. V. Paramonov
Работа выполнена при поддержке грантов РФФИ 11-07-00426-а, 11-07-92204-Монг_а, проекта
ОНИТ СО РАН М 3 2009-2011 и интеграционных проектов СО РАН 2012-2014 М 17, 73,131.
В статье рассматривается реализация основных компонентов инфраструктуры пространственных данных для управления территориальным развитием. Основной целью создания компонентов является обеспечение общей платформы для совместной работы с распределенными сервисами геообработки и пространственными данными. Данная платформа реализует общие для сервисов геообработки функции, например, вызов распределенных сервисов геобработки, систему управления доступом, визуализацию данных и т. д., упрощая публикацию новых сервисов для открытого доступа.
The paper considers implementation of the basic components of spatial data infrastructure for managing regional development. The main purpose of the components is to provide a common platform to work together with the methods of processing and data of different users. The platform implements capabilities being common for geoprocessing services, for example, calling distributed services, access control, data visualization, etc., simplifying publication of new services.
Ключевые слова: инфраструктура пространственных данных, геопортал, распределенные методы вычислений, сервисы геообработки
Keywords: spatial data infrastructure, geoportal, distributed computing methods, geoprocessing services
Введение
В институтах Иркутского и Бурятского научных центров (ИНЦ и БНЦ) СО РАН постоянно проводятся научные исследования Байкальской природной территории. К настоящему времени в результате таких исследований накоплено большое количество уникальных проблемно и предметно-ориентированных пространственных данных [У, с. 14 - 18; 8, с. 20 - 28; 9, с. 85 - 87; 10; 11, с. 1331 - 1334], а также созданы новые методы анализа и обработки пространственной информации. Однако, в большинстве случаев такие данные и методы их обработки не доступны для совместного использования. Для междисциплинарных научных исследований Байкальской природной территории актуальным является создание соответствующей локальной инфраструктуры пространственных данных институтов ИНЦ и БНЦ СО РАН. Это позволит представить созданные в этих институтах уникальные пространственные данные и методы пространственной обработки в виде пространственных сервисов для обеспечения будущих научных исследований Байкальской природной территории современными возможностями работы с пространственными данными.
Обработка геоданных изначально считалась прерогативой настольных программных систем. Это происходило из-за большого объема обрабатываемых данных, низкой скорости передачи данных через Интернет, недостаточным развитием средств пользовательского интерфейса Интернет приложений. На сегодняшний день сети передачи данных и интернет технологии активно развиваются. В частности, активно развиваются технологии обработки данных, в которых компьютерные ресурсы и мощности предоставляются пользователю как Интернет-сервис. Перенос обработки и хранения данных на удаленные серверы имеет ряд преимуществ: для работы пользователю часто достаточно иметь только браузер, пользователь не привязан к рабочему месту, значительно проще обновление и обслуживание систем. Примером таких сервисов является система хранения и редактирования документов Google (http://docs.google.com).
В этом направлении развиваются географические информационные системы (ГИС), например FreeGIS Database (http://freegis.org), Quantum GIS Project (http://www.qgis.org/), Advanced Geographical Information System for the Web (http://www.cartoweb.org/), а также геопорталы, являющиеся важным элементом инфраструктуры пространственных данных (ИПД) [4, 6]. Необходимо заметить, что в ИПД геопорталы реализуют в основном функции, связанные с публикацией данных в Интернете, т. е. загрузку и визуализацию данных, формирование метаданных и т. д. Применение алгоритмов геообработки (для выполнения задач анализа) в геопорталах развито достаточно слабо. Хотя существуют программы, реализующие функции геообработки, в открытом доступе.
Создание инфраструктуры пространственных данных для проведения научных исследований является перспективным направлением развития геоинформационных технологий и обладает рядом преимуществ:
- обеспечение надежного хранения данных;
- открытый доступ к алгоритмам, моделям и методам геообработки данных, возможность постоянного расширения банка алгоритмов;
- отсутствие необходимости установки у пользователя программного обеспечения и его обслуживания;
- использование вычислений в распределенной среде (многопроцессорные системы) для ресурсоемких приложений геообработки.
Общие принципы построения геопортала
Рассмотрим основные принципы (требования) построения геопортала:
- Удобство работы. Геопортал должен обеспечивать: использование набора сервисов геообработки и пространственных данных, распределенных на различных серверах (рис. 1); для пользователя использование сервисов, расположенных на удаленных серверах, не должно отличаться от работы с локальными сервисами; поддержку большинства распространенных форматов пространственных данных и проекции; предоставление удобного, интуитивно понятного пользовательского интерфейса; возможность быстрой публикации в Интернете как данных, так и метаданных.
- Надежность. Обеспечение надежного хранения данных на сервере и предоставление функций работы с файловой системой сервера. Обеспечение регламентированного доступа к пользовательским сервисам геообработки и пространственным данным. Самостоятельное определение поставщиком регламента доступа к его сервисам и данным.
- Расширяемость. Использование открытой архитектуры, которая позволяет расширять функциональность геопортала путем добавления новых сервисов, находящихся локально на сервере геопортала, так и удаленно на других серверах. Поддержка стандартов в области геоинформатики для учёта новых программных систем, реализующих функции анализа и обработки, что увеличивает интероперабельность программных систем.
Рис. 1. Геопортал как единая точка доступа к сервисам геообработки и пространственным данным
Архитектура геопортала ИНЦ СО РАН
Основываясь на приведенных принципах построения геопортала и существующих стандартах, разработана следующая архитектура (рис. 2).
Пользователи
Web-
клиент
Г еопортал
SMDServer Система управления базами данных
Система управления сервисами и геоданными Система хранения данных
Встроенные сервисы геообработки
Данные на внешних ресурсах
Сервисы
геообработки
сторонних
разработчиков
Каталог
метаданных
GeoNetwork
Рис. 2. Архитектура геопортала
Архитектура разрабатываемой системы является клиент-серверной. Основным компонентом на стороне пользователя является Web-клиент, работающий на основе браузера. Предполагается, что с помощью его можно выполнить большинство функций геопортала. Кроме Web-клиента, возможно использование различных ГИС и прочих программ, поддерживающих стандарты OGC. На серверной стороне находится расширяемый комплекс различных компонентов. Рассмотрим более подробно основные серверные компоненты системы.
Система управления сервисами и геоданными (СУСГ) осуществляет общее управление над геопорталом. Предоставляет следующие функции: файловый менеджер, управление доступом к данным и сервисам, публикацию и отображение пространственных данных, запуск методов геообработки данных. СУСГ разработан на основе свободно-распространяемой системы управления содержимым Drupal.
Система хранения данных (СХД) - программно-аппаратное обеспечение надежного хранения данных на основе SAN ReadyStorage 3994 с общей стартовой дисковой емкостью 62 Тбайт, которое гарантирует надежное хранение пользовательских данных, бесперебойную работу и достаточно высокую скорость чтения/записи данных. Доступ к СХД производится с помощью файлового менеджера.
Система управления базами данных PostgreSQL (с расширением для обработки пространственных данных PostGIS) предназначена для хранения пользовательских наборов данных и служебной информации геопортала. Расширение PostGIS позволяет хранить пространственные данные и реализует поддержку стандартов OGC. Управление над базами данных (БД) осуществляется с помощью СУСГ: создание пользователей БД на основе регистрации в портале, создание схем данных, предоставление соответствующих прав доступа, конвертацию данных и т. д.
SMDServer - предназначен для визуализации карт в сети Интернет. Обеспечивает высокую скорость отображения графической и атрибутивной информации.
Сервисы предоставляют обработку пространственных данных, т. е. это программные единицы, выполняющие различные функции и предоставляющие некоторый интерфейс. Архитектура разработана таким образом, чтобы обеспечить возможность расширения функциональности путем добавления новых сервисов. Большинство функций геопортала реализовано в виде сервисов, например конвертация данных из одного формата в другой.
Рассмотрим более подробно основные компоненты архитектуры геопортала.
Управление данными
Хранение данных пользователей осуществляется на основе СХД SAN ReadyStorage 3994 в виде файловой системы. Каждому пользователю предоставляется директория в рамках СХД. Создание директории и выделение соответствующих прав выполняет СУСГ. Управление файловой системой в рамках выделенной директории пользователь производит с помощью файлового менеджера (рис. 3).
Файловый менеджер является частью СУСД и позволяет производить все основные операции с файловой системой через Web-клиента, а также загрузку и выгрузку данных с компьютера пользователя. Для удобства данные можно загружать и выгружать в архивированном виде. Имеются специализированные сервисы, позволяющие архивировать/разархивировать данные в СХД.
Right-dick (Opere: ЙЕ+Left) on files or folders opens the context menu.
[debug][setaags...][n0flp06H0CTTH...]
Ф webfm BE
B.lwebfm 0 admin 0 jBPD Bnewjblder Bsubdir 0 Яемэтичеда 03БИП
шамг
0ЭСИФИБР SDendrolimus sj BGilpinia согеап; ESGilDinia lands 1
^ / webfm / admin / Тематические карты / СИФИБР / Gilpinia laricis Щ a
0 Name ф Modified * Size Owner
- Gilpinialaricij_female.jpg 21/04/11 16:07 651 K&
--- Gilpinia iaricis_male.jpg 21/04/11 16:10 307 KB
Рис. 3. Файловый менеджер
Для передачи данных пользователей Геопортала большого объема, либо большого количества целесообразно использовать протокол передачи данных FTP (File Transfer Protocol), который ориентирован как раз на передачу файлов. Однако в данном протоколе существует серьезная проблема, касающаяся безопасности - данные пользователя (логин/пароль) передаются в открытом виде, что является недопустимым в случае работы с информацией, составляющей, например, интеллектуальную собственность. В таких случаях используется защищенный протокол FTPS (File Transfer Protocol + SSL). FTPS является аналогом FTP, однако соединение с сервером защищено при помощи криптографических протоколов SSL (Secure Sockets Layer) или TLS (Transport Layer Security). В результате применения данных протоколов вся передаваемая информация шифруется, что обеспечивает конфиденциальность, как идентификационных данных пользователя, так и передаваемой информации.
Для осуществления доступа к геопорталу по протоколу FTPS установлен и настроен FTP-сервер FileZilla [2]. FileZilla является свободным FTP-сервером с открытым кодом и GNU-лицензией, он поддерживает как FTP, так и FTPS, SFTP (SSH File Transfer Protocol) протоколы передачи данных. Сервер является кроссплатформенным, что позволяет использовать его даже в случае изменения программной платформы, на которой базируется геопортал. Управление сервером FileZilla осуществляется геопорталом.
Публикация и визуализация пространственных данных
Для визуализации пространственных данных разработан оригинальный сервис, называемый SMDServer, который, в том числе, реализует WMS стандарт. Поэтому для работы с SMDServer может использоваться любой клиент визуализации пространственных данных с поддержкой WMS, например, широко распространенный web-клиент OpenLayers или настольная ГИС MapInfo.
SMDServer базируется на следующих принципах:
- данные не требуется редактировать, поэтому они рассматриваются как неизменяемые;
- программа просмотра должна отображать весь объём данных, как единое целое;
- время отображения любого фрагмента карты должно быть максимально сокращено;
- основная задача - поиск информации на карте;
- при необходимости более сложной обработки выбранный фрагмент может быть экспортирован.
В SMDServer используется оригинальный формат представления векторных данных, названный SMD (Static Map Data). Это формат позволяет эффективно (по времени отображения на экран) визуализировать пространственные данные, включая сверхбольшие массивы таких данных. Также SMD позволяет хранить и обрабатывать семантическую информацию, как для реляционного, так и для тегового представления. Основными операциями, производимыми над данными в формате SMD, являются просмотр и выборка карт. При этом предполагается, что пространственные данные подготавливается в других ГИС с использованием их аналитических возможностей. Для преобразования таких данных в формат SMD разработан ряд конверторов из следующих форматов: SXF/RSC (ГИС Панорама), APR/Shape (ГИС ArcView), WOR/TAB (ГИС MapInfo), ГИС КАМАТ. При этом SMD поддерживает импорт не только метрической и семантической информации, но и способа визуализации. Скорость работы SMDServer на Pentium IV 3GHz при работе с картой Иркутска, которая содержит 820 тыс. объектов (данные занимают 125 Mb) составляет: вся карта отображается за 3 с., загрузка этой карты в память выполняется за 10 с.
При загрузке популярных форматов карт в СХД производится автоматическая конвертация в формат SMD и регистрация в SMDServer. Файловый менеджер при изменении содержимого той или иной директории отправляет сообщение модулю публикации, который при изменении содержащихся картографических файлов в директории производит их конвертацию или удаление соответствующих SMD файлов. Затем производится их регистрация в инициализационном файле SMDServer. Просмотр данных в этом случае доступен только владельцу данных. Для просмотра данных другими пользователями необходима их публикация, т. е. пользователь должен подтвердить на специальной форме, что он данные желает опубликовать. Публикация производится наборами данных. Набор данных это директория с семантически связанными картографическими слоями, находящимися в одной проекции на одну территорию. Во время публикации пользователь должен указать, в какой директории находятся данные, и ввести метаданные, описывающие создаваемый ресурс.
Управление метаданными
Стандарты метаданных устанавливают регламент взаимодействия участников информационного обмена и разработчиков в сфере создания геопорталов. С их помощью можно создавать словари и классификаторы, специфичные для междисциплинарных научных исследований. За основу представления и хранения метаданных в рамках геопортала выбран известный стандарт FGDC-STD-001-1998 (Content Standards for Digital Geospatial Metadata) - американский прототип ISO 19115, стандарт содержания на цифровые пространственные метаданные. Механизмы хранения и обработки метаданных реализованы на основе GeoNetwork [3] стандартизированной и децентрализованной среды управления пространственной информацией, разработанной для доступа к базам геоданных, картографическим продуктам и связанным с ними метаданным из различных источников, повышающей эффективность обмена пространственной информацией между институтами и ее совместное использование посредством Интернета. Такой подход обеспечивает увеличение доступности пространственных данных различного масштаба при проведении междисциплинарных исследований.
Сервисы геообработки
Развитие стандартов, унифицирующих использование различных сервисов геообработки данных через Интернет, позволяет упростить их использование. В рамках геопортала стандарты используются следующим образом. Методы обработки пространственных данных реализуются в виде сервисов, поддерживающих стандарт Web Processing Service (WPS) [5]. Затем эти сервисы регистрируются в каталоге сервисов, предназначенном для систематизация информации о существующих методах обработки пространственных данных и обеспечения возможности использования сервисов геообработки на программном уровне. Предлагаемый каталог разработан на основе модуля node системы управления контентом Drupal. Это позволяет использовать существующую настраиваемую систему классификации в Drupal. После регистрации с помощью Web-клиента пользователь геопортала может воспользоваться сервисами, используя свои данные, и получить результаты обработки. Входные данные могут быть представлены в виде файлов, строковых и числовых параметров. Результаты обработки сохраняются в СХД.
Сервисы могут быть встроенными (т. е. программными модулями, выполняющими обработку данных на локальном сервере геопортала) и внешними (выполняются на удаленных серверах и должны поддерживать стандарт WPS). С точки зрения пользователя работа с встроенными и внешними сервисами не отличается. При обращении к определенному сервису модуль управления сервисами генерирует форму для ввода пользователем параметров (рис. 4). Затем формируется запрос и запускается обработка. В качестве встроенных сервисов предполагается использовать существующее программное обеспечение, которое обычно не поддерживает стандарт WPS. Поэтому для организации взаимодействия геопортала с существующим программным обеспечением требуется создание специальных компонентов-посредников (PHP Proxy), необходимых для запуска, сбора и передачи данных (рис. 5).
Рис. 4. Каталог сервисов
Рис. 5. Взаимодействие сервисов с геопорталом
Заключение
Перечисленные компоненты успешно апробированы и используются в процесс проведения междисциплинарных научных исследований геосистем и биоразнообразия Прибайкалья и Забайкалья. В данный момент процесс разработки и модернизации продолжается. Так в частности планируется развитие компонента управления вычислительным процессом, проводится разработка новых сервисов.
Литература
1. Armburst, M. et al. Above the Clouds: A Berkeley View of Cloud Computing. Tech. report UCB/EECS-2009-28, Electrical Eng. and Computer Science Dept., Univ. of California, Berkeley, 2009.
2. FileZilla The free FTP solution [Электронный ресурс]. - Режим доступа: http://filezillaproject.org/-index.php
3. GeoNetwork [Электронный ресурс]. - Режим доступа: http://geonetwork-opensource.org.
4. Geospatial Portal Reference Architecture. A Community Guide to Implementing Standards-Based Geospatial Portals // Ed. Louis C. Rose. Open Geospatial Consortium Inc. OGC 04-039 Ver. 0.2. 2004.
5. OGC Web Processing Service (WPS) [Электронный ресурс]. - Режим доступа: http://www.open geospa-tial.org/standards/wps.
6. The SDI Cookbook. Eds: D.D. Nebert. Global Spatial Data Infrastructure (GSDI) Association. 2009 [Электронный ресурс]. - Режим доступа: http://www.gsdi.org/gsdicookbookindex
7. Бешенцев, А. Н. Картографический мониторинг природопользования / А. Н. Бешенцев // Геодезия и картография. - 2011. - № 3.
8. Структурно-типологические характеристики и экологический потенциал геосистем Байкальского региона / И. В. Бычков, Т. И. Кузнецова, А. Р. Батуев [и др.] // География и природные ресурсы. - 2011. -№ 4.
9. Междисциплинарные научные исследования геосистем и биоразнообразия Байкальского региона: ин-фрастуктура и сервисы пространственных данных / И. В. Бычков, Г. М. Ружников, А. Е. Хмельнов [и др.] // Тематическое картографирование для создания инфраструктур пространственных данных: IX Научная конференция по тематической картографии. - Иркутск: Издательство Института географии им. В. Б. Сочавы СО РАН, 2010. - Т. I.
10. Интеграция информационно-аналитических ресурсов и обработка пространственных данных в задачах управления территориальным развитием / И. В. Бычков, Г. М. Ружников, А. Е. Хмельнов [и др.] - Новосибирск: Изд-во СО РАН, 2011. - 369 с.
11. Опыт применения геоинформационных баз данных для анализа энтомофауны Байкальской Сибири / А. С. Плешанов, И. В. Бычков, И. А. Антонов [и др.] // Известия Самарского научного центра Росссий-ской академии наук. - 2010. - Т. 12. - № 15.
Информация об авторах:
Бычков Игорь Вячеславович - доктор технических наук, академик РАН, профессор, директор ИДСТУ СО РАН, т. 8(3952) 42-71-00, e-mail: [email protected].
Bychkov Igor Vyacheslavovich - Doctor of Technical Sciences, Academician of the RAS, Professor, Director of Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
Ружников Геннадий Михайлович - кандидат технических наук, заместитель директора ИДСТУ СО РАН, т. 8(3952) 45-30-06, e-mail: [email protected].
Ruzhnikov Gennadiy Mikhailovich - Candidate of Technical Sciences, Deputy Director of the Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
Хмельнов Алексей Евгеньевич - кандидат технических наук, зав. лабораторией 4.1 ИДСТУ СО РАН, т. 8(3952) 45-30-71, e-mail: [email protected].
Khmelnov Alexey Evgenievich - Candidate of Technical Sciences, Head of 4.1 LAboratory at the Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
Фёдоров Роман Константинович - кандидат технических наук, ведущий научный сотрудник ИДСТУ СО РАН, т. 8(3952) 45-31-08, e-mail: [email protected].
Fedorov Roman Konstantinovich - Candidate of Technical Sciences, leading researcher at the Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
Гаченко Андрей Сергеевич - кандидат технических наук, научный сотрудник ИДСТУ СО РАН, т. 8(3952) 45-31-03, e-mail: g achenko @icc.ru.
Gachenko Andrey Sergeevich - Candidate of Technical Sciences, researcher at the Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
Шигаров Алексей Олегович - кандидат технических наук, старший научный сотрудник ИДСТУ СО РАН, т. 8(3952) 45-31-02, e-mail: [email protected].
Shigarov Alexey Olegovich - Candidate of Technical Sciences, senior researcher at the Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
Парамонов Вячеслав Владимирович - кандидат технических наук, научный сотрудник ИДСТУ СО РАН, т. 8(3952) 45-30-73, e-mail: [email protected].
Paramonov Vyacheslav Vladimirovich - Candidate of Technical Sciences, researcher at the Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS.
