CC BY
69
Вычислительные технологии
Том 18, № 5, 2013
Технологические основы развития инфраструктуры пространственных данных Монгольской академии наук*
И. В. Бычков1, Г. М. Ружников1, А. Е. ХмЕльнов1, Р. К. Фёдоров1, Т. И. Маджара1, А. О. Шигаров1, Т. Дорж2, Б. Нергуй3 1 Институт динамики систем и теории управления СО РАН, Иркутск, Россия
2Президиум Монгольской академии наук 3Институт информатики Монгольской академии наук e-mail: [email protected], [email protected], [email protected]
Рассматриваются технологические основы развития инфраструктуры пространственных данных (ИПД) в научных учреждениях Монгольской академии наук (МАН). Обсуждаются вопросы модернизации существующей информационно-телекоммуникационной сети и интеграции информационных ресурсов МАН в контексте создания ИПД МАН. Предлагается ряд оригинальных технологических решений для построения ИПД МАН на основе современных международных стандартов.
Ключевые слова: инфраструктура пространственных данных, визуализация и обработка пространственных данных, управление пространственными метаданными, организация информационно-телекоммуникационных сетей.
Введение
Два последних десятилетия в мире активно формируется инфраструктура пространственных данных (ИПД), которая структурно представляет собой систему базовых пространственных данных (ПД), метаданных, организационных структур, механизмов правового регулирования, методической базы, технологий и технических средств, обеспечивающих широкий доступ и эффективное использование ПД. Подробное обсуждение принципов и понятий ИПД можно найти в работах ведущих зарубежных [1-3] и отечественных [4, 5] специалистов в области создания ИПД.
Сегодня комплексное использование ПД в исследованиях, проводимых в научных учреждениях МАН, ограничено из-за отсутствия или низкого качества базовых ПД и объектов, слабого развития механизмов поиска, несогласованности как форматов, так и стандартов их представления. Формирование ИПД МАН может рассматриваться как направление решения проблем, связанных с эффективным использованием пространственных данных в научных исследованиях МАН.
* Работа выполнена в рамках совместных российско-монгольских проектов между СО РАН и Монгольской академией наук "Создание единой информационно-телекоммуникационной сети научных учреждений Монголии", 2011-2013 гг. и "Модель инфраструктуры пространственных данных научных учреждений Монголии", 2013-2014 гг.
Вопросы создания национальной ИПД Монголии вызывают большой интерес на государственном уровне. В частности, при поддержке Администрации по земельным отношениям, геодезии и картографии Монголии (Administration of Land Affairs, Geodesy and Cartography) в 2004 г. в Улан-Баторе был проведён международный семинар, по-свящённый вопросам развития национальной ИПД Монголии [6]. Создаваемая ИПД МАН в будущем сможет стать частью национальной ИПД Монголии.
В рамках совместных проектов между СО РАН и МАН, направленных на развитие информационных и телекоммуникационных ресурсов научных учреждений МАН [7, 8], созданы основы для формирования ИПД МАН. В частности, проведён анализ пространственных ресурсов научных учреждений МАН, показывающий возможности и актуальность формирования ИПД МАН. Подготовлен проект модернизации информационно-телекоммуникационной сети МАН в соответствии с современными принципами организации корпоративных телекоммуникационных инфраструктур подобного уровня. С использованием свободного программного обеспечения (GeoNetwork и GeoServer) создана система интеграции информационных ресурсов научных учреждений МАН, позволяющая каталогизировать и управлять метаданными по тематическим и пространственным информационным ресурсам с использованием современных международных стандартов представления и обмена метаданными. Кроме того, разработан ряд оригинальных технологий, предназначенных для создания геопортала и сервисов обработки ПД. Таким образом, к настоящему времени имеются основные элементы ИПД МАН для поддержки исследований в институтах и научных центрах МАН в соответствии с современными стандартами, а также обеспечения большей открытости и доступности пространственных информационных ресурсов МАН как внутри Монголии, так и за её пределами.
Инфраструктура пространственных данных МАН создаётся в соответствии с авторским проектом развития информационных и телекоммуникационных ресурсов МАН и включает разработку системы хранения данных, сервисов визуализации и обработки ПД, геопортала, формирование базовых ПД и метаданных, развитие информационно-телекоммуникационной сети научных учреждений (ИТСНУ) МАН.
На сегодня в научных институтах и центрах Монгольской академии наук и университетах Монголии сформированы уникальные проблемно- и предметноориентиро-ванные информационные ресурсы, относящиеся к различным областям наук, сферам образования и отраслям производства. Многие из них имеют пространственный характер и включают ПД.
В рамках совместного проекта между Институтом динамики систем и теории управления СО РАН и Институтом информатики МАН реализуется первый этап совместной деятельности, предусматривающий создание интегрированной телекоммуникационной инфраструктуры научных учреждений Монголии и выработку решений для модернизации существующей ИТСНУ МАН, которая охватывает 22 научных института и центра различной исследовательской направленности.
Многие результаты, полученные в научных учреждениях МАН, связаны со спецификой Монголии и не имеют аналогов в мире. В частности, в результате многолетних исследований, проводимых учёными МАН, сформированы уникальные информационные ресурсы [9], имеющие пространственный характер, например, каталоги насекомых Монголии (7800 записей) и их мест обитания (9000 записей), каталог птиц (4000 записей), гербарии многолетних растений (75 000 единиц), сорных растений (10 000 единиц), растительности болот (3500 единиц), мхов (10 000 единиц), грибов (2500 единиц), коллекции фольклорных песен (600 единиц) и произведений искусства (300 единиц). В МАН
сформированы также следующие ПД: карты лесов, почв, растительности, пастбищ и сенокосов, спутниковые данные Landsat, SPOT. Наибольшее количество пространственных данных создано в Институтах ботаники (Botany Institute), геоэкологии (Geo-ecology Institute), географии (Institute of Geography), биологии (Biology Institute), информатики (Informatics Institute) и геологии (Geology Institute). Такие ресурсы могут быть представлены в ИПД МАН в качестве тематических ПД. Базовые пространственные данные могут формироваться из стандартных наборов ПД, формируемых Администрацией по земельным отношениям, геодезии и картографии Монголии.
Стремление монгольских учёных к открытости и участию в международных научных проектах формирует запрос на развитие существующих информационных и телекоммуникационных ресурсов МАН. В частности, это развитие предполагает формирование электронного представления пространственных информационных ресурсов, предоставление к ним удалённого доступа, создание каталогов описывающих их метаданных.
Анализ существующей сетевой инфраструктуры МАН как технологического фундамента для интеграции информационных и вычислительных ресурсов показал, что сеть успешно предоставляет базовые сервисы и удовлетворяет текущим потребностям пользователей. Однако при её построении не учитывались такие требования, предъявляемые к корпоративным сетям подобного масштаба, как стабильность, избыточность, автономность, масштабируемость и др. Поэтому дальнейшее развитие информационно-телекоммуникационной сети научных учреждений МАН, в том числе при построении локальной ИПД МАН, требует её существенной модернизации.
1. Модернизация ИТСНУ Монгольской академии наук
Базовой (опорной) технологической основой развиваемой информационной инфраструктуры является единая телекоммуникационная сеть МАН. Необходимость учёта перечисленных выше требований (стабильность, избыточность, автономность, масштабируемость и др.) требует существенной технологической модернизации ИПД МАН. Построение сети по описываемым в настоящей работе принципам позволит не только успешно развить инфраструктуру пространственных данных, но и обеспечить технологическую базу для создания в будущем других, возможно более ресурсоёмких, проектов.
Для приведения существующей ИТСНУ МАН (рис. 1) к современным стандартам, применяемым к корпоративным сетям, предлагается её глубокая модернизация практически на всех уровнях модели OSI (Open Systems Interconnection basic reference model — базовой эталонной модели взаимодействия открытых систем). Поскольку сеть находится в рабочем режиме, существенным требованием к проведению такой модернизации является отсутствие длительных перерывов в функционировании каналов связи, активного оборудования и основных телематических сервисов.
1.1. Физический уровень (L1) ИТСНУ МАН
Модернизация магистральной сети на физическом уровне в первую очередь предполагает изменение существующей топологии типа "звезда" на более современную и широко применяемую топологию "кольцо". Программное обеспечение активного оборудования, терминирующего физические сегменты сети, должно учитывать возможность работы в инфраструктуре такого типа. Важным этапом модернизации сети на данном уровне
Рис. 1. Телекоммуникационная сеть Монгольской академии наук
является также создание MDA (Main Distribution Area) — единого оптического и медного кросса, который в дальнейшем позволит в короткое время изменять топологию отдельных сегментов сети.
1.2. Канальный уровень (L2) ИТСНУ МАН
Существующая на данном уровне телекоммуникационная инфраструктура (рис. 2) состоит из двух сегментов, дальнейшее расширение одного из которых в рамках текущей модели "плоской" сети уже сейчас сопряжено с определёнными сложностями. Практически все активное сетевое оборудование уровня доступа представлено неуправляемыми коммутаторами второго уровня, что делает невозможным корректное сегментирование адресного пространства сети МАН на третьем уровне OSI. Модернизацию сети на канальном уровне предполагается проводить в два этапа: на первом осуществляется замена коммутаторов в распределительных узлах сети на современные управляемые модели с поддержкой в первую очередь открытого стандарта IEEE 802.1Q и протоколов семейства "Spanning Tree", на втором предлагается сегментирование канального уровня сети на логические локальные сети VLAN (Virtual Local Area Network). Следует отметить, что изменение канальной инфраструктуры на данном этапе L2 неизбежно влечёт необходимость соответствующего одновременного изменения сетевого уровня (L3).
1.3. Сетевой уровень (L3) ИТСНУ МАН
В практике построения сетей широко известен тот факт, что "плоские" L3-сегменты локальной вычислительной сети на неуправлемом оборудовании гарантированно подвержены легко организуемым атакам типа DHCP- и ARP-spoofing — неизбежным источникам сбоев в работе сети. Также гарантированно источниками сбоев в сети такой
Рис. 2. Пример организации сегментированной сетевой инфраструктуры с возможностью построения произвольных топологий на уровнях Ь2 и Ь3
конфигурации являются и заражённые компьютеры, генерирующие большое, порядка десятков тысяч в секунду, количество пакетов.
Модернизация сети на данном уровне предполагает сегментирование адресного пространства в соответствии с научноорганизационной структурой учреждений МАН. Современное оборудование в независимости от физической топологии позволяет строить произвольные сетевые конфигурации на втором и третьем уровнях OSI. Таким образом, снимаются ограничения на способы взаимного размещения рабочих мест, серверов, систем хранения данных и другого оборудования. Пример организации такого сегментирования представлен на рис. 2. Сегментирование предлагается осуществлять при помощи нескольких маршрутизаторов, устанавливаемых в точках агрегирования. Для обеспечения дальнейшего расширения целесообразен запуск на маршрутизаторах одного из протоколов внутренней динамической маршрутизации, например, OSPF (Open Shortest Path First) или EIGRP (Enhanced Interior Gateway Routing Protocol). Существенной частью модернизации на данном уровне OSI является также получение собственного блока IP-адресов и автономной системы BGP (Border Gateway Protocol), зарегистрированных на одно из подразделений МАН.
1.4. Прикладной уровень ИТСНУ МАН
Важный элемент любой корпоративной сети — система телематических сервисов, обеспечивающих согласованную работу всех элементов сетевой инфраструктуры. Для оперативного внесения изменений в работу того или иного сегмента или уровня необходимо наличие единого административного управления телематическими сервисами. Одним из самых важных сервисов такого типа является система доменных имён DNS (Domain Name System), поэтому первый шаг модернизации сети на данном этапе состоит в
оформлении собственных прямой и обратной доменных зон в географическом домене "mn" с последующим размещением первичных файлов этих зон на DNS-серверах сети МАН. Планируется также организация таких сервисов, как синхронизация времени NTP (Network Time Protocol), единая точка управления доступом AAA (Authentication, Authorization, Accounting), мониторинг устройств SNMP (Simple Network Management Protocol), система контроля версий и др.
1.5. Вопросы информационной безопасности ИТСНУ МАН
В рамках развития данного направления прежде всего предлагается установить две системы — обновления операционных систем и обновления антивирусных баз. Корпоративная антивирусная система должна строиться на решениях одного производителя и включать в себя средства мониторинга и составления периодических отчётов. Необходима корректная организация работы систем, обеспечивающих защиту от внешних угроз — межсетевых экранов и системы трансляции адресов NAT (Network Address Translation). Кроме того, для обеспечения сохранности системного программного обеспечения и конфигурационной информации на телематических серверах необходима система резервного копирования, осуществляющая резервное копирование образов рабочих жёстких дисков на сторонних носителях даже в том случае, когда на сервере используется технология RAID (High-Performance, Reliable Secondary Storage).
Следует отметить, что модернизация и дальнейшее развитие сети МАН не ограничиваются описанными выше этапами. В дальнейшем за счёт использования сетевых протоколов и технологий, реализованных в активном оборудовании, возможности сети будут расширяться. В зависимости от требований, предъявляемых разрабатываемыми сетевыми приложениями, предполагается установка в сети единой системы хранения данных (СХД), серверов виртуальных машин, развёртывания экспериментальных виртуальных сетевых инфраструктур для тестирования и отладки таких приложений и мн. др. Успешная реализация предлагаемой модернизации телекоммуникационной сети МАН обеспечит основы формирования ИПД МАН.
2. Каталогизация метаданных Монгольской академии наук
В настоящее время из-за локализации и отсутствия удалённого доступа информационные ресурсы МАН, в том числе пространственные, не всегда могут использоваться в научных исследованиях, учебном процессе и производстве. Для повышения открытости и доступности этих ресурсов предлагается их интеграция на основе современных международных стандартов метаданных.
В рамках совместных проектов между ИДСТУ СО РАН и ИИ МАН на основе свободного программного обеспечения: системы управления каталогом метаданных — "GeoNetwork opensource" [10], и системы управления ПД — "GeoServer" [11], разработан каталог метаданных МАН (рис. 3). В построенной системе используется каталогизация информационных ресурсов на основе современных международных стандартов метаданных Dublin Core [12], FGDC-STD-001-1998 [13] и ISO 19115/19139 [14, 15]. В информационно-телекоммуникационной инфраструктуре ИДСТУ СО РАН по адресу http://geos.icc.ru:8082/geonetwork и в ИТСНУ МАН развёрнут опытный каталог метаданных. В каталоге представлены метаданные о информационных ресурсах 155 научных институтов и центров МАН, в том числе метаданные, описывающие карты ле-
Рис. 3. Экран пользовательского веб-интерфейса каталога метаданных Монгольской академии наук
сов (38 записей), почв и растительности (39 записей) Монголии, спутниковые данные Landsat и SPOT (12 записей).
Созданная система интеграции информационных ресурсов МАН является основным компонентом ИПД МАН для формирования и управления метаданными. Для пространственных данных, описанных в каталоге, формируются интерактивные карты на основе международных стандартов Open Geospatial Consortium (OGC) — Web Map Service (WMS) [16] и Styled Layer Descriptor (SLD) [17]. Этот процесс включает размещение ПД на сервере геоданных, формирование стилей визуализации и связывание размещённых ресурсов с их метаданными в каталоге.
3. Геопортал Монгольской академии наук
При формировании ИПД МАН используется развиваемый авторами геопортал и сервис визуализации геоданных — SMD Server [18]. Данный геопортал основан на открытых международных стандартах OGC OpenGIS и имеет клиент-серверную архитектуру (рис. 4). Его основными задачами являются удалённое управление ПД, метаданными и сервисами обработки ПД, публикация и визуализация геоданных. Основной компонент на стороне пользователя — браузер.
Рассмотрим основные серверные компоненты системы более подробно.
Система управления содержимым (СУС), разработанная на основе свободной системы управления содержимым Calypso [19], осуществляет общее управление пользователями, сервисами и геоданными.
Система хранения данных обеспечивает надёжное хранение данных пользователей. Разработанный в составе геопортала файловый менеджер осуществляет доступ к СХД, в том числе загрузку геоданных, через Интернет. При этом геопортал позволяет определить правила доступа к данным в СХД. Сервер FTPS (File Transfer Protocol + SSL) предназначен для обеспечения доступа к файловой системе СХД, упрощает загрузку и выгрузку данных большого объёма. Управляется FTPS-сервер с помощью СУС.
Система управления базами данных PostgreSQL (с расширением для обработки ПД PostGIS) предназначена для хранения пользовательских наборов данных и служебной информации геопортала.
Система управления сервисами обработки ПД обеспечивает их регистрацию и вызов. Под такими сервисами понимаются отдельные программные единицы, выполняющие распределённо различные функции обработки ПД и предоставляющие интерфейс в соответствии со стандартом OGC OpenGIS Web Processing Service (WPS) [20]. Через геопортал можно получить доступ к зарегистрированным в каталоге сервисам для выполнения обработки ПД. При этом входные данные могут быть представлены в виде строковых параметров или файлов, а результаты обработки ПД сохраняются в СХД. Сервер геоданных MapServer осуществляет отображение пользовательских карт.
Для визуализации предлагается использовать SMD Server, поддерживающий стандарт WMS. В данном сервисе применяется оригинальный формат представления векторных данных SMD (Static Map Data), который позволяет эффективно (по времени отрисовки) визуализировать большие массивы ПД. В этом формате для эффективного хранения неизменяемой информации используются пространственная индексация, сортировка списков объектов по предельным масштабам и компиляция структур данных. Предполагается, что ПД подготавливаются и изменяются с помощью сторонних средств. Для преобразования таких данных в формат SMD разработан ряд конверторов, в том числе реализован импорт из следующих форматов: SXF/RSC (Панорама),
Рис. 4. Архитектура геопортала Монгольской академии наук
Рис. 5. Подсистема просмотра и редактирования табличных данных
APR/Shape (ArcGIS), WOR/TAB (MapInfo), ГИС КАМАТ. При этом поддерживается импорт не только метрической и семантической информации, но и способа визуализации. При загрузке геоданных таких форматов через геопортал выполняется их преобразование в формат SMD, после чего они могут визуализироваться с помощью WMS сервиса SMD Server.
В геопортале реализована система ввода и редактирования реляционных (табличных) данных, которая состоит из следующих компонентов:
1) подсистема загрузки и нормализации данных осуществляет загрузку данных в формате Excel или CVS в СУБД PostgreSQL и нормализацию данных;
2) подсистема формирования структуры табличных данных предназначена для создания новых таблиц или использования существующих, например, при просмотре и редактировании метаданных;
3) подсистема просмотра и редактирования табличных данных (рис. 5) на основе метаданных формирует формы ввода, редактирования и печати.
Заключение
К настоящему времени в научных учреждениях Монголии накоплено большое количество ПД (тематические карты, топоосновы, космоснимки и др.). Однако эти данные применяются в противоположной по отношению к ИПД закрытой, нераспреде-
лённой архитектурной парадигме геоинформатики, согласно которой функциональные возможности обработки геоданных используются в единой ГИС-среде. В работе предложены технологические решения, направленные на формирование локальной научной ИПД в институтах МАН, включая проект модернизации информационных и телекоммуникационных ресурсов, а также технологию разработки сервисов визуализации и обработки ПД. Создание такой ИПД позволит более эффективно управлять научными пространственными данными и использовать их в исследованиях, проводимых в учреждениях Монгольской академии наук.
Список литературы
[1] Masser I. GIS Worlds: Creating Spatial Data Infrastructures. ESRI Press, 2005. 336 p.
[2] Masser I. All shapes and sizes: the first generation of national spatial data infrastructures // Intern. J. of Geograph. Informat. Sci. 1999. Vol. 13, iss. 1. P. 67-84.
[3] Craglia M., Annoni A. INSPIRE: An innovative approach to the development of spatial data infrastructures in Europe // Res. and Theory in Advancing Spatial Data Infrastructure Concepts. ESRI Press, 2007. http://www.gsdidocs.org/gsdiconf/GSDI-9/ papers/TS1.2paper.pdf
[4] Капралов Е.Г., Кошкарев А.В., Тикунов В.С. и др. Геоинформатика: Учебник для вузов / Под ред. В.С. Тикунова. М.: ИЦ "Академия", 2005. 480 c.
[5] Кошкарёв А.В., Ряховский В.М., Серебряков В.А. Инфраструктура распределенной среды хранения, поиска и преобразования пространственных данных // Открытое образование. 2010. № 5. С. 61-73.
[6] Space Technology Application Capabilities, Facilities and Activities in Asia and the Pacific: A Regional Inventory. United Nations ESCAP, 2007. 173 p.
[7] Бычков И.В., Ружников Г.М., Хмельнов А.Е. и др. Развитие информационно-телекоммуникационных ресурсов Монгольской академии наук // Открытое образование. 2012. № 3. С. 68-74.
[8] Бычков И.В., Ружников Г.М., Хмельнов А.Е. и др. Создание единой информационно-телекоммуникационной сети научных учреждений Монголии // Материалы научно-практ. конф. по результатам конкурса совместных российско-монгольских научных проектов. Иркутск: ИДСТУ СО РАН, 2012. С. 20-21.
[9] Nergui B., Bulgan G. Status of e-science activities in Mongolia // Proc. Intern. Symp. on Grids and Clouds (ISGC). Academia Sinica, Taipei, Taiwan, 2012.
[10] GeoNetwork opensource. http://geonetwork-opensource.org
[11] GeoServer. http://geoserver.org
[12] Dublin Core Metadata Element Set, version 1.1. http://dublincore.org/documents/dces
[13] FGDC-STD-001-1998 Content Standard for Digital Geospatial Metadata. http://www.fgdc.gov/metadata/csdgm
[14] ISO 19115:2003 Geographic information — Metadata.
[15] ISO 19139:2007 Geographic information — Metadata — XML schema implementation.
[16] OGC OpenGIS Web Map Service. http://www.opengeospatial.org/standards/wms
[17] OGC OpenGIS Styled Layer Descriptor. http://www.opengeospatial.org/standards/sld
[18] Бычков И.В., Ружников Г.М., ХмЕльнов А.Е. и др. Формирование компонентов инфраструктуры пространственных данных для управления территориальным развитием // Вестник КемГУ. 2012. Т. 2, № 4(52). С. 30-36.
[19] Calypso. http://calip.so
[20] OGC OpenGIS Web Processing Service. http://www.opengeospatial.org/standards/wps)
Поступила в 'редакцию 22 мая 2013 г., с доработки — 4 сентября 2013 г.
