CC BY
84Титов А.Г., Окладников И.Г., Гордое Е,П. УДК 004.9
РАЗРАБОТКА ВЕБ-ГИС НА ОСНОВЕ СЕРВИСОВ ОБРАБОТКИ И ВИЗУАЛИЗАЦИИ ПРОСТРАНСТВЕННЫХ ДАННЫХ ДЛЯ АНАЛИЗА И ПРОГНОЗИРОВАНИЯ РЕГИОНАЛЬНЫХ КЛИМАТИЧЕСКИХ ИЗМЕНЕНИЙ
Титов Александр Георгиевич
Научный сотрудник, e-mail: [email protected] Окладников Игорь Георгиевич
К.т.н., старший научный сотрудник, e-mail: [email protected] Гордов Евгений Петрович
Д.ф.-м.н., профессор, главный научный сотрудник, e-mail: [email protected] Институт мониторинга климатических и экологических систем СО РАН, 634055,
г. Томск, Академический пр.,10/3, Томский филиал Института вычислительных технологий СО РАН, 634055, г. Томск,
пр. Академический, 10/4
Аннотация. Наборы пространственных геофизических данных широко используются при выполнении научных исследований. В силу ряда объективных факторов (изначальная разнородность наборов данных, значительный объем, географическая распределенность), разработка сервисов доступа, обработки и визуализации геоданных, а также соответствующих клиентских приложений не является тривиальной задачей. В статье представлена рабочая версия сервис-ориентированной Веб-ГИС для анализа и прогнозирования региональных климатических изменений. Она базируется на современных OGC/ISO стандартах сервисов пространственных данных и метаданных, а также апробированном программном обеспечении с открытым кодом. Реализованная распределенная архитектура позволяет оперативно добавлять новые удаленные вычислительные мощности и системы хранения данных. Разработанный веб-клиент ГИС удовлетворяет общим требованиям стандартов INSPIRE, и обеспечивает как запуск вычислительных сервисов для решения задач в области мониторинга климато-экологических изменений, так и представление результатов в растровых (PNG, JPG, GeoTIFF), векторных (KML, GML, Shape), и бинарных (NetCDF) форматах. Тестирование Веб-ГИС показало ее эффективность при решении прикладных задач и распространении результатов исследований в картографическом представлении.
Ключевые слова: геоинформационные системы, веб-технологии, пространственные данные, геосервисы, изменения климата
Введение. Наборы пространственных геофизических данных (данные метеорологических наблюдений, результатов моделирования и реанализа, спутниковых снимков и др.) широко используются для моделирования, оценки и прогноза климатических и экосистемных изменений. Данные, получаемые в результате выполнения множества научных проектов, имеют существенные различия в наборах предоставляемых переменных,
используемом синтаксисе, физических форматах файлов, что существенно усложняет их интеграцию и негативно влияет на эффективность их совместного анализа с точки зрения трудозатрат. Кроме того, современный уровень развития инструментов наблюдения за состоянием окружающей среды и климатических моделей высокого разрешения вызвал значительный рост объемов пространственных данных, необходимых для мониторинга и прогнозирования климатических изменений [8], что обусловило их географическую распределенность, и, как следствие, невозможность их обработки и интерпретации с использованием традиционных подходов, [1]. Проблемы, возникающие при обработке «больших данных», включают в себя их получение, обработку, хранение [18], поиск, обмен, передачу, визуализацию и анализ [23]. В данном случае, для выделения наличия у таких данных геопространственных особенностей, более корректно говорить о «больших геопространственных данных» (Geospatial big data) [21]. Следует отметить, что общепринятыми физическими форматами файлов, используемыми в системах хранения пространственных данных, являются форматы NetCDF (Network Common Data Form), HDF (Hierarchical Data Format, http://www.hdfgroup.org/), GRIB (GRIdded Binary, http://www.wmo.int/pages/prog/www/WDM/Guides/Guide-binary-2.html).
Для комплексного использования больших разнородных наборов пространственных геофизических данных, а также для повышения качества и эффективности интегрированных научных исследований в области климато-экологических изменений необходимым является создание распределенной программной инфраструктуры [2, 19], основанной на концепции инфраструктуры пространственных данных (ИПД, Spatial Data Infrastructure) [22], представляющей собой систему базовых пространственных данных, метаданных, стандартов и регламентов, информационных узлов, геосервисов, и клиентских приложений для эффективного доступа и обмена геоинформационными ресурсами, а также их вычислительной обработки [4]. При этом единой точкой доступа к пространственным данным и продуктам их обработки в рамках концепции ИПД является геопортал [6, 7], предоставляющий возможность поиска геоинформационных ресурсов по каталогам метаданных, формирования выборок пространственных данных по их характеристикам (функциональность доступа), а также управления сервисами и приложениями обработки и картографической визуализации данных [5]. В настоящее время общепризнано, что разработка клиентских приложений как интегрированных элементов инфраструктуры должна основываться на использовании современных веб и ГИС-технологий [9, 13, 14, 24]. Таким образом, современные Веб-ГИС, как интегрированные приложения геопорталов ИПД, можно рассматривать как комплексы взаимосвязанных программных средств для работы с пространственными данными - их импорта/экспорта, каталогизации, обработки, визуализации, и т.д. Согласно требованиям директивы INSPIRE к визуализации пространственных данных на геопорталах [17], должны обеспечиваться такие стандартные возможности, как просмотр данных, навигация по изображениям, скроллинг, масштабирование и графический оверлей данных, а также отображение легенд карт и соответствующей метаинформации, то есть, фактически, должна предоставляться базовая функциональность классической ГИС.
2. Обзор существующего программного обеспечения. На сегодняшний день уже существует ряд информационных систем и сервисов, посвященных, в той или иной мере, обеспечению доступа, а также обработке и картографической визуализации
пространственно-привязанных геофизических данных. В качестве примеров можно привести такие продукты как RIMS (An Integrated Mapping and Analysis System with Application to Siberia, http://RIMS.unh.edu/) [20], GeoBrain Online Analysis System (GeOnAS, http://geobrain.laits.gmu.edu/OnAS/) [16], ncWMS [12], USGS National Climate Change Viewer [10]и др.
ПО RIMS представляет собой весьма успешную попытку реализации полнофункциональной ГИС в виде веб-приложения на основе MapServer (http://mapserver.org/) для обработки данных по метеорологии и гидрологии. Оно характеризуется такой функциональностью, как доступ к значениям данных для каждого пикселя цифрового картографического изображения, доступ к данным, агрегированным по пространственному и временному критериям, и включает инструменты поиска. Серьезным недостатком текущей версии системы является практически полное игнорирование стандартов ИПД, включая стандарты OGC, то есть система не предоставляет картографических сервисов как таковых, хотя и реализует их элементы в собственном оригинальном формате.
Другой системой для анализа пространственных данных, основанной на веб-сервисах, является GeoBrain Online Analysis System (GeOnAS). Она обеспечивает доступ к терабайтам спутниковой информации (NASA, USGS) посредством сервисов OGC, реализованных на основе открытого ПО GRASS GIS, и обладает развитым веб-интерфейсом, базирующемся на библиотеке DHTMLX (http://dhtmlx.com/). Предлагаемая функциональность ограничивается обработкой и визуализацией космических снимков (вычисление индекса NDVI, цветовые преобразования, и т.д.)
Сервис ncWMS (http://www.resc.rdg.ac.uk/trac/ncWMS/) является реализацией OGC WMS для наборов многомерных пространственных геофизических данных, в первую очередь в формате NetCDF. Форматы NetCDF, GRIB и HDF имеют концептуально много общего, и разделяют единую абстрактную модель Unidata Common Data Model (CDM, http://www.unidata.ucar.edu/software/thredds/current/netcdf-java/CDM/). CDM подразумевает использование определенных понятий (вертикальные координаты, 360-дневный календарь, и т.д.), практически не используемых в современных ГИС, что привело к тому, что такое ПО, как Geoserver и Mapserver, реализующее спецификации WMS, не поддерживает ряд форматов геоданных. ncWMS поддерживает двумерные графики временных рядов посредством выполнения запроса, при этом поддерживая обратную совместимость со стандартными WMS клиентами. Сервис уже широко используется при отображении пространственных данных в рамках инфраструктур данных и порталов по всему миру, при этом ограничивающими факторами является его минимальная поддержка стандартными ГИС и отсутствие полнофункциональной интеграции с такими продуктами как Geoserver (разделение прав пользователей, добавление источников данных, и т.д.).
USGS National Climate Change Viewer (NCCV,
http://www.usgs.gov/climate landuse/clu rd/nccv.asp) является веб-приложением,
реализованном на Apache Flex, для проекций глобальных климатических моделей для территории США. Для обработки доступны десятки терабайт файлов климатических данных высокого разрешения. Приложение очень ограничено по функциональности, и может служить для просмотра конкретных характеристик предварительно обработанных (препроцессинг) данных моделирования по температуре и осадкам.
Также необходимо упомянуть такой продукт, как Unidata THREDDS (http://www.unidata.ucar.edu/software/thredds/current/tds/TDS.html). Он обеспечивает доступ к пространственным данным и метаданным через ряд протоколов, включая OPEnDAP, WMS, WCS и др. Одной из главных функций продукта является предоставление доступа к поднаборам данных (subsetting), но при этом отсутствует интегрированная поддержка геопроцессинга. При этом следует отметить Инициативу Attribute Convention for Dataset Discovery (ACDD, Соглашение об атрибутах поиска наборов данных), поддерживаемую организацией ESIP Federation, http://esipfed.org/, определяющую список атрибутов NetCDF, рекомендованных для описания наборов данных для поисковых систем. Предполагается, что программное обеспечение, такое как Unidata THREDDS, будет использовать эти атрибуты наборов данных NetCDF для экспорта в такие стандарты, как Dublin Core, DIF, AND, FGDC, ISO 19115 и др.
Таким образом, наряду с разработкой сервисов пространственных данных как независимых геоинформационных ресурсов, предоставляющих исследователям возможности обработки разнородных геофизических данных, также особую важность приобретает создание специализированного программного обеспечения конечного пользователя в виде тематических Веб-ГИС приложений. Такое программное обеспечение было разработано авторами, его функциональность призвана обеспечить вычислительную поддержку в области климатического мониторинга на базе стандартов ИПД и принципов работы с большими пространственными данными.
2. Общая архитектура. Общая архитектура сервис-ориентированной геоинформационной веб-системы представлена тремя основными слоями (рис. 1):
1. Слой данных и низкоуровневых процедур их обработки, предоставляющий соответствующие картографические сервисы обработки и визуализации.
2. Слой промежуточного программного обеспечения в виде геопортала, включая центральный каталог метаданных и серверные веб-приложения.
3. Слой клиентских веб-приложений, отвечающий за графический интерфейс ГИС, доступный конечному пользователю.
Слой данных и процедур их обработки состоит из множества географически распределенных вычислительных систем, каждая из которых включает такие компоненты как:
1. Система хранения больших наборов пространственных геофизических данных, позволяющая хранить часто используемые значения (месячные и годовые климатические индексы, и т.д.), и, таким образом, обеспечивать различные представления («срезы») наборов данных. Список наборов данных в хранилищах системы приведен в Таблице 1.
п
О
о>
В
р
л
РЭ
чз
х к н
0
1
43 рэ
И
о О)
ч К
О
Хранилище данных 1
Спутниковые снимки Данные моделирования
Поля метеопараметров высокого разрешения ОЛЛЧР, Р1а5ип)
Запрос на Еыборку данных —»^ ~ -Данные ЫеГСЭР
Вычислительное ядро
Слой доступа к данным
| РЮР5 | ЫеГСйР РЮР-ЕОБ
I вив | ЗИареА1е
Вычислительным комплекс 2
Геопортал
Веб-браузер
nOATMOS
Данные JSON, I ссылки на WMS/WFS | (обновление состояния веб-клиента)
С
СУБД MySQL
Програмные модули PHP
т Ссылки на J WMS/WFS ресурсы
XML-метаданные
XML-запросы поиска данных
ПО Geonetwork
База метаданных (ISO 19115, CF/CQARDS)
REST-запросы
Вычисл1 XML-пои CKOBÜI по мет
тельные апросы, ,ie запросы аданным
WMS/WFS -запросы
Веб-клиент ГИС
Ext J S Framework
Результаты вычислений
(слои)
Таблица 1. Список наборов данных
Наименование Организация Интервал Разрешение
NCEP/NCAR NCEP/NCAR 1951 - 2001 2.5°x2.5°
Reanalysis
NCEP/DOE AMIP NCEP/DOE 1979 - 2003 2.5°x2.5°
II Reanalysis
ERA-40 Reanalysis ECMWF 1957 - 2004 2.5°x2.5°
JRA-25 Reanalysis JMA/CRIEPI 1979 - 2009 2.5°x2.5°
NOAA-CIRES 20th NOAA/OAR/ESRL PSD 1908 - 1958 2.0°x2.0°
Century Global
Reanalysis
APHRODITE RIHN-MRI/JMA 1951 - 2007 0.25°x0.25°;
Reanalysis
Merra Reanalysis ECMWF 1979 - 2000 0.67°x0.5°;
GPCC Reanalysis GPCC 1901 - 2009 0.5°x0.5°;
INM CM4 dataset INM RAS 1950 - 2005 2.0°x1.5°;
PlaSim dataset IMCES SB RAS 2000 - 2100 2.5°x2.5°
9092с Synoptic RIHMI-WDC/ NOAA ~ 1900 - 2000 83 meteo stations
Network CNDC
MACC Reanalysis ECMWF 2003 - 2012 0.25°x0.25°;
2. База метаданных, содержащая многоязычные описания пространственно-временных характеристик всех наборов данных в формате NetCDF, доступных для обработки, в том числе расположение в иерархии файловой системы на СХД, а также детальные описания метеорологических и климатических параметров для каждого набора данных, включая возможные варианты их обработки, предлагаемые конечному пользователю.
3. Модульное вычислительное ядро в виде независимого программного обеспечения для статистической обработки пространственных данных, являющегося вычислительным бэкендом для сервисов геопроцессинга. На основе стандарта NcML (XML-версии «технических» метаданных NetCDF), была создана XML-схема для описания конфигурации процессов статистической обработки пространственных данных, выполняемых вычислительным ядром Веб-ГИС.
4. Вычислительные и картографические веб-сервисы, с разделением прав доступа пользователей, для работы с растровыми (GeoTIFF) и векторными (Shapefile, PostGIS) пространственными данными на основе OGC WMS, WFS, WCS, WPS, базирующиеся на ПО Geoserver (http://geoserver.org).
Слой промежуточного программного обеспечения представляет собой геопортал как центральный элемент узла ИПД и включает:
1. Веб-портал, реализующий веб-приложения в виде независимых PHP-классов, связь с веб-сервисами OGC, вычислительными системами и каталогом метаданных.
2. Каталог метаданных на основе ПО GeoNetwork Opensource (http://geonetwork-
opensource.org), реализующего поддержку стандартов ISO 19115/ISO 19119/ISO 19139/ISO 19110. Каталог метаданных обеспечивает публикацию информации о геоинформационных ресурсах согласно спецификации OGC CSW 2.0.
3. Репозитарий Geoserver, содержащий базовые картографические слои (границы, рельеф, растительность, и т.д.), а также данные дистанционного зондирования.
Слой клиентских Веб-ГИС приложений обеспечивает функциональность ГИС для конечного пользователя. Для реализации тематических приложений на базе сервисов пространственных данных в рамках геопортала локальной ИПД было выбрано следующее открытое программное обеспечение:
1. JavaScript библиотека OpenLayers (http://openlayers.org/), обеспечивающая основную функциональность тонкого клиента Веб-ГИС.
2. JavaScript библиотеки GeoExt/ExtJS [15] для разработки клиентских веб-приложений с интуитивно-понятным интерфейсом, подобным интерфейсам таких распространенных настольных ГИС-приложений, как uDIG, QuantumGIS и т.д.
3. Веб-клиент ГИС. В картографическом веб-приложении (веб-клиенте ГИС) для работы с архивом наборов пространственных данных NetCDF можно выделить 3 слоя:
• Слой NetCDF-метаданных в формате JSON.
• Промежуточный слой JavaScript-объектов, реализующих методы для работы с:
o NetCDF метаданными.
o XML-файлом конфигурации задаваемых вычислений (XML-заданием).
o Картографическими сервисами WMS/WFS.
• Графический интерфейс пользователя в виде JavaScript-объектов, реализующих общую логику приложения.
3.1. Слой метаданных NetCDF. Первоначально на основе СУБД MySQL была реализована база метаданных, содержащая подробные описания наборов пространственных данных. Слой метаданных веб-клиента представляет собой множество объектов JSON, созданных на основе таблиц СУБД, и отображающих информацию о наборах данных формата NetCDF (пространственное и временное разрешение, метеорологические параметры, допустимые процедуры обработки, и т.д.), которая содержится в реляционной базе метаданных MySQL. Структура объектов выбрана исходя из двух критериев:
1. Удобства заполнения интерактивных форм графического интерфейса пользователя.
2. Оптимальности процесса редактирования XML-файла конфигурации задаваемых вычислений.
Благодаря выбранному подходу оптимизируются процессы выборки необходимых значений параметров наборов данных, происходящие во время работы пользователя с интерфейсом Веб-ГИС.
3.2. Промежуточный слой JavaScript-объектов. Данный слой, реализующий методы для работы с NetCDF метаданными, XML-файлом задания, и картографическими сервисами WMS/WFS, является связывающим слой метаданных с графическим интерфейсом пользователя. Методы включают себя такие процедуры, как загрузка и обновление JSON-метаданных с использованием AJAX-запросов, редактирование XML-объекта задания, запуск и отслеживание процесса выполнения задания на удаленном вычислительном узле, а
также работа с картографическими сервисами WMS/WFS: получение списка слоев, представление слоев на карте, экспорт слоев в различные форматы согласно запросу пользователя.
3.3. Графический интерфейс пользователя. Данный слой базируется на связке JavaScript-библиотек OpenLayers, GeoExt и ExtJS и представляет собой набор программных компонентов, как независимых (информационные панели, кнопки, списки слоев), так и реализующих общую логику работы приложения (меню, тулбары, визарды, обработчики событий мыши и клавиатуры, и т.д.). Графический интерфейс выполняет две основные функции: предоставление возможностей редактирования XML-файла вычислительного задания и представление картографической информации пользователю. Разработанный веб-клиент ГИС удовлетворяет общим требованиям стандартов INSPIRE, и обеспечивает как запуск вычислительных сервисов для решения задач в области мониторинга климато-экологических изменений, так и представление результатов в виде картографических слоев WMS/WFS в растровых (PNG, JPG, GeoTIFF), векторных (KML, GML, Shape) и бинарных (NetCDF) форматах (рис. 2).
Таким образом, картографические сервисы пространственных данных могут быть использованы для работы, как в стандартных ГИС, так и в приложениях конечного пользователя геопортала (рис. 3).
Рис. 2. Веб-клиент ГИС
Рис. 3. Визуализация вычисленного WMS слоя в приложении QGIS
Заключение. В настоящее время аппаратное обеспечение Веб-ГИС представляет собой два вычислительных узла (высокопроизводительный сервер HP Proliant DL585 G7 для работы вычислительного ядра, сервер на базе двух Intel Xeon 5130 для работы геопортала и сервера веб-картографии) и сетевое хранилище пространственных климатических данных объемом до 230 Тб. Все оборудование объединено в сеть на скорости соединения 1 Гб/сек. Программное обеспечение базируется на продуктах Apache, MySQL, Php 5.6.0, Geoserver и Geonetwork. Специализированные тервисы пространственных геофизических данных, реализованные в рамках представленной архитектуры, обеспечивают их унифицированную распределенную обработку и представление в требуемых форматах с использованием стандартов OGC.
Реализованная распределенная архитектура в общем соответствует апробированной архитектуре OpenGeo [11], позволяет оперативно добавлять в систему новые вычислительные узлы, системы хранения данных, а также обеспечивает гибкую информационно-вычислительную поддержку исследований региональных климатических изменений с помощью современных веб- и ГИС технологий.
Рабочая версия системы показала свою эффективность в процессе решения реальных задач исследования динамики климатических изменений, а также распространения результатов исследований в картографической форме [3].
Работа поддержана грантом Министерства образования и науки РФ, соглашение № 14.613.21.0037.
СПИСОК ЛИТЕРАТУРЫ 1. Гордов Е.П., Кабанов М.В., Лыкосов В.Н. Информационно-вычислительные технологии для наук об окружающей среде: подготовка научной смены // Вычислительные технологи. 2006. Т. 11 (1). специальный выпуск. С. 3-15.
2. Гордов Е.П., Лыкосов В.Н. Развитие информационно-вычислительной инфраструктуры для интегрированного исследования окружающей среды Сибири // Вычислительные технологии. 2007. Т. 12. Специальный выпуск 2: Информационные технологии для эколого-биологических исследований. Междисциплинарный интеграционный проект СО РАН. С. 19-30.
3. Гордов Е.П., Лыкосов В.Н., Крупчатников В.Н., Окладников И.Г., Титов А.Г., Шульгина Т.М. Вычислительно-информационные технологии мониторинга и моделирования климатических изменений и их последствий / Е.П. Гордов, В.Н. Лыкосов, В.Н. Крупчатников и др. - Новосибирск: Наука. 2013. 199 с. ISBN 978-5-02-019146-4.
4. Демиденко А.Г. Технология построения инфраструктуры пространственных данных. URL: http://www.gisa.ru/file/file2128.doc.
5. Кошкарев АВ. Геопортал как инструмент управления пространственными данными и геосервисами // Пространственные данные, 2008, № 2. - С.6-14.
6. Кошкарев А.В., Ряховский В.М., Серебряков В.А. Инфраструктура распределенной среды хранения, поиска и преобразования пространственных данных. Открытое образование.
2010, № 5. С. 61-73.
7. Краснопеев С.М. Опыт развёртывания ключевых элементов инфраструктуры пространственных данных на базе веб-служб // Труды XIV Всероссийской объединенной конференции «Интернет и современное общество» (IMS-2011). Санкт-Петербург. Россия.
2011. С. 92 - 99.
8. Лыкосов В.Н., Глазунов А.В., Кулямин Д.В., Мортиков Е.В., Степаненко В.М. Суперкомпьютерное моделирование в физике климатической системы. М.: Изд.-во Московского университета., 2012. 402 с.
9. Якубайлик О.Э. Геоинформационный Интернет-портал // Вычислительные технологии. Т. 12. Спец. выпуск 3. 2007. С. 116-125.
10. Alder, J. R., & Hostetler, S. W. Web based visualization of large climate data sets // Environmental Modelling & Software. 2015. Vol. 68. Pp. 175-180. doi:10.1016/j.envsoft.2015.02.016
11. L. Becirspahic and A. Karabegovic. Web portals for visualizing and searching spatial data // Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2015. 38th International Convention on. Opatija. 2015. Pp. 305-311. doi:10.1109/MIPR0.2015.7160284
12. J.D. Blower, A.L. Gemmell, G.H. Griffiths, K. Haines, A. Santokhee, X. Yang. A Web Map Service implementation for the visualization of multidimensional gridded environmental data // Environmental Modelling & Software. Volume 47. September 2013. Pp. 218-224. doi:10.1016/j.envsoft.2013.04.002
13. Dragicevic, S., Balram, S., Lewis, J. The role of Web GIS tools in the environmental modeling and decision-making process // 4th International Conference on Integrating GIS and Environmental Modeling (GIS/EM4): Problems, Prospects and Research Needs. Banff, Alberta, Canada. September 2 - 8, 2000.
14. Frans J.M. van der Wel. Spatial data infrastructure for meteorological and climatic data // Meteorol. Appl. 12. 2005. Pp. 7-8. D0I:10.1017/S1350482704001471.
15. Shea Frederick, Colin Ramsay, and Steve Cutter Blades. Learning Ext JS. / Packt Publishing, 2008. 299 pp.
16. Weiguo Han, Liping Di, Peisheng Zhao, Xiaoyan Li, "Building an On-line Geospatial Analysis System with AJAX and Web Services," Services, IEEE Congress on. Pp. 408-413. 2009 Congress on Services - I. 2009.
17. Katleen Janssen. The Availability of Spatial and Environmental Data in the European Union: At the Crossroads Between Public and Economic Interests / Kluwer Law International. 2010. ISBN 9041132872, 9789041132871, 617 p.
18. Dan Kusnetzky. What is "Big Data?". ZDNet. (Электронный ресурс: http://www.zdnet.com/blog/virtualization/what-is-big-data/1708)
19. Stefano Nativi, Mohan Ramamurthy, Bernd Ritschel. EGU-ESSI Position Paper. [Эл. ресурс]. — Режим доступа: http://scert.ru/files/EGU-PositionPaper-final.pdf
20. Prusevich A., Shiklomanov A., Lammers R. RIMS: An Integrated Mapping and Analysis System with Application to Siberia // Вычислительные и информационные технологии для наук об окружающей среде: избранные труды Международной школы и конференции CITES-2011. Томск. Россия. 3-13 июля 2011. Издательство Томского ЦНТИ. Томск. 2011. С 156 - 158.
21. Shekhar S. Spatial Big Data // Proc. AAG-NIH Symp. on Enabling a National Geospatial Cyberinfrastructure for Health Research. July 2012. Minneapolis. USA. (Электронный ресурс: http://www.aag.org/galleries/project-programs-
files/AAG NIH July2012 GeoFrontiers Shekhar.pdf)
22. Steiniger S., Hunter A.J.S. Free and open source GIS software for building a spatial data infrastructure. / In: Bocher E., Neteler M., (eds.), Geospatial Free and Open Source Software in the 21st Century. LNGC. Heidelberg. Springer. 2012a. Pp. 247-261.
23. Ashley Vance. Start-Up Goes After Big Data With Hadoop Helper. New York Times Blog. (Электронный ресурс: http://bits.blogs.nytimes.com/2010/04/22/start-up-goes-after-big-data-with-hadoop-helper/?dbk).
24. Vatsavai, Ranga Raju, Thomas E. Burk, B. Tyler Wilson, Shashi Shekhar. A Web-based browsing and spatial analysis system for regional natural resource analysis and mapping // Proc. of the 8th ACM int. symp. on Advances in geographic information systems. 2000. Washington, D C., US., Pp. 95-101.
Разработка веб-ГИС на основе сервисов обработки и визуализации пространственных данных UDK 004.9
WEB MAPPING SYSTEM DEVELOPMENT BASED ON GEOSPATIAL DATA PROCESSING AND VISUALIZATION SERVICES FOR REGIONAL CLIMATE CHANGE
ANALYSIS AND FORECAST Alexander G. Titov
Researcher, e-mail: [email protected] Igor G. Okladnikov
Ph.D., Senior researcher, e-mail: [email protected] Evgeny P. Gordov Dr., Professor, principal researcher, e-mail: [email protected] Institute of Monitoring of Climatic and Ecological Systems Siberian Branch of the Russian Academy of Sciences 10/3, Akademicheskii Ave.., 634055, Tomsk, Russia Tomsk Branch of Institute of Computational Technologies SB RAS 10/4, Akademicheskii Ave.., 634055, Tomsk, Russia
Abstract. Geospatial datasets are actively used while performing scientific researches. Due to a number of objective reasons (inherent dataset heterogeneity, huge volume, etc) the development of geospatial data processing and visualization services as well as corresponding client applications is a quite complex task. In the paper a working prototype of service oriented web mapping system aiming at climate change analysis and forecast is presented. It is based on modern OGC/ISO standards of geospatial data services and approved open source software. The distributed architecture implemented allows smooth adding of new computing nodes and data storages. The Web GIS client developed complies with general INSPIRE requirements and provides data processing services usage for environmental change research as well as presenting calculation results in graphical (PNG, JPG, GeoTIFF), vector (KML, GML, Shape), and digital (NetCDF) formats. Web mapping system usage showed its effectiveness in the process of solving application tasks and dissemination of results in cartographical form. Keywords: geographic information system, web technologies, geospatial data, geoservices, climate change
References
1. Gordov E.P., Kabanov M.V., Lykosov V.N. Informatsionno-vychislitelnyye tekhnologii dlya nauk ob okruzhayushchey srede: podgotovka nauchnoy smeny [Information-computational technologies for environmental sciences: preparation of young scientific generation] // Vychislitelnyye tekhnologii. 2006. No. 11 (1). special edition. Pp. 3-15. (in Russian)
2. Gordov E.P., Lykosov V.N. Razvitiye informatsionno-vychislitelnoy infrastruktury dlya integrirovannogo issledovaniya okruzhayushchey sredy Sibiri [Development of information-computational infrastructure for integrated research of Siberia environment] // Vychislitelnyye tekhnologii. 2007. No. 12. special edition # 2: Information technologies for ecological and biological research. Interdisciplinary integration project SB RAS. Pp. 19-30. (in Russian)
Титоe А.Г., OKxaduuKoe HT., Fopdoe E,n.
3. Gordov E.P., Lykosov V.N., Krupchatnikov V.N., Okladnikov I.G., Titov A.G., Shulgina T.M. Vychislitelno-informatsionnyye tekhnologii monitoringa i modelirovaniya klimaticheskikh izmeneniy i ikh posledstviy [Information-computational technologies of monitoring and modeling of climate change and its consequences] / E.P. Gordov. V.N. Lykosov. V.N. Krupchatnikov, etc. Novosibirsk: Nauka. 2013. 199 p. ISBN 978-5-02-019146-4. (in Russian)
4. Demidenko A.G. Tekhnologiya postroyeniya infrastruktury prostranstvennykh dannykh [Spatial data infrastructure building technology] Available at: http://www.gisa.ru/file/file2128.doc. (in Russian)
5. Koshkarev AV. Geoportal kak instrument upravleniya prostranstvennymi dannymi i geoservisami [ Geoportal as a tool for spatial data and geoservices management ] // Spatial data. 2008. No. 2. Pp. 6-14. (in Russian)
6. Koshkarev A.V., Ryakhovskiy V.M., Serebryakov V.A. Infrastruktura raspredelennoy sredy khraneniya poiska i preobrazovaniya prostranstvennykh dannykh [Distributed environment infrastructure for storage, search and transformation of spatial data] // Open education. 2010. No. 5. Pp. 61-73. (in Russian)
7. Krasnopeyev S.M. Opyt razvertyvaniya klyuchevykh elementov infrastruktury prostranstvennykh dannykh na baze veb-sluzhb [ Results of the deployment of spatial data infrastructure key elements based on web-services] // Proceedings of XIV All-Russian united conference «Internet and Modern Society» (IMS-2011). Saint-Petersburg. Russia. 2011. Pp. 92 - 99. (in Russian)
8. Lykosov V.N., Glazunov A.V., Kulyamin D.V., Mortikov E.V., Stepanenko V.M. Superkompyuternoye modelirovaniye v fizike klimaticheskoy sistemy [ Climate system physics supercomputing modeling ] Moscow: Moscow State University Publ. 2012. 402 p. (in Russian)
9. Yakubaylik O.E. Geoinformatsionnyy Internet-portal [Geoinformation Internet portal ] // Vychislitelnyye tekhnologii. No. 12. special edition No. 3. 2007. Pp. 116-125. (in Russian)
10. Alder, J.R., & Hostetler, S.W. Web based visualization of large climate data sets // Environmental Modelling & Software. 2015. Vol. 68. Pp. 175-180. doi:10.1016/j.envsoft.2015.02.016
11. L. Becirspahic and A. Karabegovic. Web portals for visualizing and searching spatial data // Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2015 38th International Convention on, Opatija, 2015, pp. 305-311. doi: 10.1109/MIPRO.2015.7160284
12. J.D. Blower, A.L. Gemmell, G.H. Griffiths, K. Haines, A. Santokhee, X. Yang. A Web Map Service implementation for the visualization of multidimensional gridded environmental data // Environmental Modelling & Software. Volume 47. September 2013. Pp. 218-224. doi:10.1016/j.envsoft.2013.04.002
13. Dragicevic, S., Balram, S., Lewis, J. The role of Web GIS tools in the environmental modeling and decision-making process // 4th International Conference on Integrating GIS and Environmental Modeling (GIS/EM4): Problems, Prospects and Research Needs. Banff, Alberta, Canada, September 2 - 8, 2000.
14. Frans J. M. van der Wel. Spatial data infrastructure for meteorological and climatic data // Meteorol. Appl. 12, 2005. Pp. 7-8. DOI:10.1017/S1350482704001471.
15. Shea Frederick, Colin Ramsay, and Steve Cutter Blades. Learning Ext JS. / Packt Publishing. 2008. 299 p.
16. Weiguo Han, Liping Di, Peisheng Zhao, Xiaoyan Li, "Building an On-line Geospatial Analysis System with AJAX and Web Services". Services. IEEE Congress on. Pp. 408-413. 2009 Congress on Services - I, 2009.
17. Katleen Janssen. The Availability of Spatial and Environmental Data in the European Union: At the Crossroads Between Public and Economic Interests / Kluwer Law International. 2010. ISBN 9041132872, 9789041132871.617 p.
18. Dan Kusnetzky. What is "Big Data?". ZDNet. Available at: http://www.zdnet.com/blog/virtualization/what-is-big-data/1708)
19. Stefano Nativi, Mohan Ramamurthy, Bernd Ritschel. EGU-ESSI Position Paper. Available at: http://scert.ru/files/EGU-PositionPaper-final.pdf
20. Prusevich A., Shiklomanov A., Lammers R. RIMS: An Integrated Mapping and Analysis System with Application to Siberia // Computing and information technologies for sciences about the environment: separate operations of the International school and conference CITES-2011. Tomsk. Russia. July 3-13, 2011. Publishing house of the Tomsk CSTI. Tomsk. 2011. Pp. 156 - 158.
21. Shekhar S. Spatial Big Data // Proc. AAG-NIH Symp. on Enabling a National Geospatial Cyberinfrastructure for Health Research. July 2012. Minneapolis. USA. Available at: http://www.aag.org/galleries/project-programs-
files/AAG NIH July2012 GeoFrontiers Shekhar.pdf)
22. Steiniger S., Hunter A.J.S. Free and open source GIS software for building a spatial data infrastructure / In: Bocher E., Neteler M., (eds.), Geospatial Free and Open Source Software in the 21st Century, LNGC. Heidelberg. Springer. 2012a. Pp. 247-261.
23. Ashley Vance. Start-Up Goes After Big Data With Hadoop Helper. New York Times Blog. Available at: http://bits.blogs.nytimes.com/2010/04/22/start-up-goes-after-big-data-with-hadoop-helper/?dbk).
24. Vatsavai, Ranga Raju, Thomas E. Burk, B. Tyler Wilson, Shashi Shekhar. A Web-based browsing and spatial analysis system for regional natural resource analysis and mapping // Proc. of the 8th ACM int. symp. on Advances in geographic information systems. 2000. Washington. D C. US. Pp. 95-101.
