CC BY
142
УДК 004.9
А. Г. Титов, И. Г. Окладников
Институт мониторинга климатических и экологических систем СО РАН пр. Академический, 10/3, Томск, 634055, Россия
Томский филиал Института вычислительных технологий СО РАН пр. Академический, 10/4, Томск, 634055, Россия
E-mail: [email protected]
АРХИТЕКТУРА ГЕОИНФОРМАЦИОННОЙ ВЕБ-СИСТЕМЫ КЛИМАТИЧЕСКОГО МОНИТОРИНГА НА ОСНОВЕ СЕРВИСОВ ПРОСТРАНСТВЕННЫХ ДАННЫХ *
Наборы пространственных геофизических данных широко используются для прогноза, моделирования и интерпретации климатических и экосистемных изменений. Для решения этих задач в современных условиях все чаще возникает необходимость в специализированном программном обеспечении, основанном на стандартах и технологиях построения инфраструктур пространственных данных (ИПД) и реализующем сервисы доступа, обработки и визуализации геоданных, включая тематические приложения конечного пользователя. В статье представлена общая архитектура сервис-ориентированной Веб-ГИС, разработанная с учетом таких специфических характеристик наборов данных об окружающей среде, как разнородность, объем, географическая распределенность. Предложенная архитектура является основой для дальнейшей разработки комплексных клиент-серверных приложений для поддержки исследований климато-экологических изменений.
Ключевые слова: информационные системы, веб-технологии, ГИС, пространственные данные, геосервисы, изменения климата, мониторинг окружающей среды.
Введение
Наборы пространственных геофизических данных (базы метеорологических и географических данных, результатов моделирования и реанализа, спутниковых снимков и др.) широко используются для прогноза, моделирования и интерпретации климатических и экосистемных изменений. Данные, полученные различными научными и коммерческими организациями в рамках сотен научных проектов, как правило, имеют существенные различия в наборах представляемых переменных, форматах, а также синтаксисе и семантике, затрудняющие создание и использование общей терминологии. Это значительно усложняет их интеграцию, что негативно влияет на эффективность их совместного анализа с точки зрения трудозатрат. Кроме того, современный уровень развития инструментов наблюдения за состоянием окружающей среды и климатических моделей высокого разрешения вызвал значительный рост объемов пространственных данных, необходимых для мониторинга и прогнозирования климатических изменений [1], что привело к невозможности продолжения исторически сложившейся практики их обработки и анализа с использованием традиционных подходов [2].
* Работа частично поддержана программой СО РАН УШ.80.2, грантами РФФИ № 13-05-12034 и 14-05-00502, и ИП № 131.
Титов А. Г., Окладников И. Г. Архитектура геоинформационной веб-системы климатического мониторинга на ос-нове сервисов пространственных данных // Вестн. Новосиб. гос. ун-та. Серия: Информационные технологии. 2014. Т. 12, вып. 1. С. 79-88.
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2014. Том 12, выпуск 1 © А. Г. Титов, И. Г. Окладников, 2014
В отчете 2001 г. [3] охарактеризовано три типа проблем, возникающих в условиях непрерывного роста объемов данных: объем данных (Volume), скорость ввода / вывода (Velocity) и разнородность, как самих данных, так и их источников (Variety). Эта модель (3V) была использована для определения термина «большие данные» (Big data) [4]. Проблемы, возникающие при обработке «больших данных», включают получение, обработку, хранение [5], поиск, обмен, передачу, анализ [6], и визуализацию. Значение термина «большие данные» зависит от возможностей организации, работающей с таким набором данных, а также от возможностей приложений, которые традиционно используются для обработки и анализа наборов данных в своей предметной области. При этом для одних организаций необходимость пересмотреть способы управления данными может возникнуть при потребности обработать несколько сотен гигабайт данных, для других - при объемах в десятки и сотни терабайт [7]. Очевидно, что метеорологические и климатические данные, полученные и получаемые в настоящее время в результате наблюдений, моделирования и реанализа, и объемы которых составляют уже сотни терабайт, подпадают под определение «больших данных». В данном случае для выделения наличия у таких данных геопространственных особенностей более корректно говорить о «больших геопространственных данных» (Geospatial big data) [8].
Большие данные требуют особых подходов, позволяющих выполнять их обработку за разумное время. В 2004 г. компанией Google был опубликован документ, описывающий технологию MapReduce, оказавшую весьма успешной. Архитектура MapReduce предоставляет модель параллельного программирования и ее реализацию для обработки больших объемов данных. В рамках MapReduce задания разделяются и распределяются между вычислительными узлами, где происходит их параллельная обработка (шаг «Map»). Полученные результаты затем собираются воедино и возвращаются (шаг «Reduce»). Идея архитектуры MapReduce была позаимствована компанией Apache в рамках разработки открытого проекта Hadoop, являющегося на сегодняшний день одной из наиболее известных и популярных платформ для хранения и обработки больших данных. Apache Hadoop представляет собой программную инфраструктуру (software framework) с открытым исходным кодом Java для разработки и поддержки распределенных приложений, ориентированных на массово-параллельную обработку (Massive Parallel Processing, MPP) больших объемов данных, разработанную под лицензией Apache v.2 1. Одной из ее особенностей является поддержка функционирования приложений на больших кластерах, состоящих из разнотипного аппаратного обеспечения. Hadoop имеет богатую программную экосистему, включающую ряд смежных проектов (Hive, HBase, Zookeeper, и др. 2), и поддерживается несколькими крупными дистрибьюторами. Хотя код Java является наиболее распространенным, любой язык программирования может быть использован для реализации отдельных ее частей [9]. На сегодняшний день платформа используется в интернет-сервисах крупнейших ИТ-компаний, таких как Yahoo, Facebook, AOL, Twitter, Google, Amazon, Apple, LinkedIn, eBay 3.
Программная инфраструктура Hadoop обладает рядом особенностей и ограничений. В частности, файловая система Hadoop Distributed File System (HDFS), являющаяся частью ин-фраструтуры, рассчитана на работу с редко изменяющимися данными [13] и может быть непригодна для систем, требующих выполнения частых одновременных операций записи. Другим ограничением HDFS является невозможность подключить ее напрямую к каталогу в обычной операционной системе. Загрузка и выгрузка данных в / из файловой системы HDFS представляет собой отдельную операцию, которую порой необходимо выполнять до и после обработки данных. Кроме того, реализация распределения задач между узлами кластера в рамках парадигмы MapReduce обладает некоторыми ограничениями. Во-первых, это касается сильно упрощенной схемы распределения задач по процессам, не принимающей во внимание фактическое наличие вычислительных ресурсов на узлах кластера. Во-вторых, низкая скорость выполнения одной из задач может задерживать выполнение всего вычислительного процесса. Следует отметить, что инфраструктура Hadoop ориентирована, в первую очередь, на обработку и анализ неструктурированных и слабоструктурированных данных, поэтому она применяется в системах индексации и поиска веб-страниц, поиске скрытых закономер-
1 Hadoop Overview. Обзор Hadoop. URL: http://wiki.apache.org/hadoop/ProjectDescription
2 Проекты, связанные с Hadoop. URL: http://hadoop.apache.org
3 Приложения и организации, использующие Hadoop. URL: http://wiki.apache.org/hadoop/PoweredBy
ностей и бизнес-аналитике. Однако в ней не заложены механизмы хранения и обработки структурированных больших геопривязанных данных, где важно знание пространственного и временного распределения физических величин. При этом наибольшую эффективность платформа способна продемонстрировать при наличии серьезных аппаратных ресурсов, представленных сотнями и тысячами вычислительных узлов и систем хранения данных. Такие ресурсы не всегда доступны научным организациям. Таким образом, программная инфраструктура Hadoop не совсем пригодна для решения исследовательских задач в области наук о Земле, однако некоторые идеи, заложенные в ней, могут быть использованы как основа для разработки новой модели хранения и обработки больших геопривязанных данных.
Для комплексного использования больших и изначально разнородных наборов пространственных геофизических данных, а также для повышения качества и эффективности интегрированных научных исследований в области наук о Земле в целом и климато-экологических изменений в частности, необходимо создание основанной на современных информационно-телекоммуникационных технологиях распределенной программной инфраструктуры [11; 12], включающей тематические приложения конечного пользователя. Очевидно, она должна быть основана на концепции инфраструктуры пространственных данных (ИПД, Spatial Data Infrastructure) [13], которая представляет собой систему базовых пространственных данных, метаданных, стандартов и регламентов, информационных узлов и геосервисов для эффективного доступа и обмена географическими информационными ресурсами, а также их вычислительной обработки [14]. Комплексным решением такого класса задач является создание локальной тематической инфраструктуры пространственных данных как части академической ИПД [15].
Единой точкой доступа к пространственно-привязанным геофизическим данным и продуктам их обработки в рамках концепции ИПД является геопортал [16; 17], предоставляющий возможность поиска геоинформационных ресурсов (наборов и источников данных) по каталогам метаданных, формирования выборок пространственных данных по их характеристикам (функциональность доступа), а также управления сервисами и приложениями обработки данных и картографической визуализации (веб-картографирования) [18]. При этом следует отметить, что в силу специфики предметной области разработка сервисов и приложений для доступа и обработки данных в области наук о Земле (геопроцессинга) не является тривиальной задачей [19].
Общие принципы и стандарты в сфере создания геоинформационных веб-сервисов разрабатываются и декларируются международной некоммерческой организацией Open Geospatial Consortium (OGC, http://www.opengeospatial.org). Основными функциями, выполняемыми геосервисами OGC, являются: визуализация пространственных данных (Web Map Service - WMS), их предоставление пользователю в векторном (Web Feature Service - WFS) и растровом (Web Coverage Service - WCS) форматах, удаленное редактирование данных (Web Feature Service Transactional - WFS-T), а также их геопространственная обработка (Web Processing Service -WPS). Веб-сервис WPS предоставляет возможности доступа к пространственной обработке растровых и векторных данных, к пакетам геомоделирования, а также к инструментам статистической обработки. Спецификация схемы каталога геоинформационных ресурсов и протоколов доступа к нему Catalog Service for Web (OGC CSW) определяет общие интерфейсы для поиска, запроса и просмотра метаданных, описывающих пространственные данные, геосервисы и прочие релевантные ресурсы. Учитывая, что функция поиска пространственных данных по их метаописаниям (геометаданным) является единственной обязательной функцией любого геопортала, стандарты метаданных и методов доступа к наборам данных имеют первостепенное значение при разработке элементов информационно-вычислительной инфраструктуры для визуализации и анализа распределенных пространственно-привязанных геофизических данных. Использование же всего набора веб-сервисов OGC позволяет разрабатывать «тонкие» ГИС-клиенты (в том числе веб-клиенты), в задачу которых входит только взаимодействие с пользователем и представление результатов выполнения его задач как в графическом, так и цифровом виде. В настоящее время общепризнано, что разработка клиентского программного обеспечения как интегрированных элементов инфраструктуры должна основываться на использовании современных веб- и ГИС-технологий [20-23]. Здесь следует отметить, что типовое веб-ГИС-приложение является классическим Rich Internet Application (RIA), т. е. приложением, доступным через Интернет и обладающим функциональностью традиционных настольных приложе-
ний. Поскольку сервис OGC WPS предоставляет единый интерфейс к библиотекам функций геообработки для любого ГИС-клиента, включая веб-браузер, и может быть интегрирован в тематические приложения [24], то очевидно, что данный способ обработки и последующего предоставления пространственных данных является весьма перспективным как с точки зрения создания распределенных геоинформационных веб-систем, так и в плане решения задачи интеграции пространственных данных.
На сегодняшний день уже существует ряд информационных систем и сервисов, посвященных, в той или иной мере, обеспечению доступа, а также обработке и картографической визуализации пространственно-привязанных геофизических данных. В качестве примеров можно привести такие системы, как RIMS (An Integrated Mapping and Analysis System with Application to Siberia, http://RIMS.unh.edu/) [25], GeoBrain Online Analysis System (GeOnAS, http://geobrain.laits.gmu.edu/OnAS/) [26], а также Climate Analogues (http://gismap.ciat.cgiar.org/analogues/) [27], веб-клиент ГИС которой основан на мощном программном пакете DOJO (http://dojotoolkit.org/). При этом очевидно, что ни одна из существующих систем не может в принципе решать весь спектр задач, возникающих в области климато-экологического мониторинга. Поэтому, наряду с разработкой сервисов пространственных данных как независимых геоинформационных ресурсов, предоставляющих исследователям возможности обработки разнородных геофизических данных, также особую важность приобретает создание специализированного программного обеспечения для быстрой разработки тематических веб-ГИС-приложений конечного пользователя. Такое программное обеспечение (инструментарий) было разработано авторами ранее [28]. Его компоненты были интегрированы в представленную далее архитектуру геоинформационной веб-системы на основе сервисов пространственных данных. Эта система призвана обеспечить вычислительную поддержку в области климатического мониторинга на базе стандартов ИПД и принципов работы с большими данными.
Общая архитектура
Предлагаемая общая архитектура сервис-ориентированной геоинформационной веб-системы представлена тремя основными слоями (рис. 1).
1. Слой данных и низкоуровневых процедур их обработки, предоставляющий соответствующие картографические сервисы обработки и визуализации.
2. Слой промежуточного программного обеспечения в виде геопортала, включая центральный каталог метаданных и серверные веб-приложения.
3. Слой клиентских веб-ГИС-приложений, отвечающий за ГИС-функциональность, доступную конечному пользователю.
Слой данных и процедур их обработки описывает множество географически распределенных вычислительных систем, каждая из которых включает следующие компоненты.
1. Система хранения больших наборов пространственных климатических данных, организованных согласно эффективной в терминах поиска, доступа, выборки и последующей статистической обработки модели хранения и обработки.
2. Модульное вычислительное ядро в виде независимого программного обеспечения для статистической обработки пространственных данных, являющегося вычислительным бэкен-дом для сервисов геопроцессинга.
3. Вычислительные и картографические веб-сервисы для работы с пространственными данными на основе OGC WMS, WFS, WCS, WPS, базирующиеся на ПО Geoserver (http://geoserver.org), обладающим встроенным Java-модулем WPS. При этом WPS обеспечивает стандартизованный внешний HTTP-интерфейс для удаленного конфигурирования и запуска вычислительного ядра, а также представления результатов в цифровых (NetCDF, GML) и графических форматах согласно формализованным инструкциям конечного пользователя.
В основе предлагаемой модели хранения и обработки больших пространственных данных в рамках соответствующего слоя лежит архитектура распределенных вычислений «shared nothing» (SN), в которой каждый вычислительный узел является независимым и самодостаточным, т. е. узлы не имеют общей памяти или дискового пространства. Преимуществом данной архитектуры является высокая надежность вычислительной сети (выход из строя одного узла
не приводит к потере функциональности сети в целом), высокая скорость обработки данных (возможность выполнять обработку данных параллельно на нескольких узлах) и простая масштабируемость кластера (новые узлы легко интегрируются в существующую инфраструктуру).
Рис. 1. Общая архитектура сервис-ориентированной геоинформационной веб-системы
Большие пространственные данные при этом хранятся в виде наборов двоичных файлов в формате пйСБР в рамках штатной файловой системы на системах хранения данных (СХД), подключенных к вычислительным узлам. Данные располагаются в строгой иерархии каталогов:
/<путь к корневому каталогу с данными>/<название архива данных>/<горизонтальное разрешение>/<разрешение по времени>/<набор файлов и каталогов с данными>
Здесь <путь к корневому каталогу с данными> определяется системным администратором, <название архива данных> задает имя каталога, содержащего все данные одного архива данных, <горизонтальное разрешение> задает имя каталога, содержащего данные с некоторым горизонтальным разрешением, <разрешение по времени> задает имя каталога, содержащего данные с некоторым шагом по времени. Далее по иерархии располагаются файлы с данными. Имена файлов и подкаталогов не регламентируются и определяются индивидуальными особенностями конкретного набора данных. Например, имя файла может содержать обозначение временного диапазона или имя метеопараметра, соответствующие хранящимся в файле данным. Каждый файл содержит многомерный набор геопривязанных значений одного или нескольких метеорологических параметров. Также в файле могут содержаться метаданные, описывающие этот набор (размерности, типы значений, названия метеопараметров, а также организации и проекта, в рамках которого он был создан). Подобная схема размещения данных позволяет легко находить и выбирать данные по заданным параметрам с использованием локальной базы метаданных (рис. 2). Такая база содержит описание пространственно-временных характеристик всех наборов данных, доступных для обработки этим вычислительным узлом, а также расположение в иерархии файловой системы на СХД файлов с данными.
par_tr
langcodeINT par id INT ñame VARCHAR(100)
ll
lang
code INT
name VARCHAR(20) ►
}
раг ▼
' id INT_
►
i
units ▼
Id INT
y-
Л var
Id INT
ñame VARCHAR{45) par id INT unitsjd INT
►
lvs_par_tr
lang code INT name VARCHAR(100) unllsjd INT lvs_parjd INT
►
¡11 тт
пате УАНСНАН(45)
ds_tr
langcodeINT dsjd INT
longname VARCHAR{45) description VARCHAR{45) org VARCHAR{45)
►
lvs_tr
langcodeINT name VARCHAR(300) Ivsjd INT Ivs parjd INT
Ivs
Id INT
name VARCHAR(100)
>l-H-
¡d INT
name VARCHAR{45) rootpath VARCHAR{255) orgurl VARCHAR(255)
Id INT
name VARCHAR{45) subpalhl VARCHAR(45)
i i"'
arch
Id INT
dsjd INT >1----
resjd INT timespan
tslepjd INT >1-1 id INT
timespanjd INT l-H- name VARCHAR{45)
llletypejd INT SH—, 1 long name VARCHAR{45)
description VARCHAR{45) Indexes
archjd INT varjd INT Ivsjd INT file ¡d INT
Ivs varjd INT ►
Id INT
name VARCHAR(255) tlmestarl VARCHAR(10) tlmeend VARCHAR(10)
Id INT
name VARCHAR{45) long name VARCHAR(45) subpath2 VARCHAR{45)
Рис. 2. ER-диаграмма базы метаданных геопространственных данных
Для ускорения процессов чтения и обработки предлагается использовать подход, предусматривающий хранение не только самих наборов геопространственных данных, но и пред-
варительно рассчитанных промежуточных продуктов, полученных на их основе. К таким продуктам относятся, в первую очередь, результаты осреднения по пространству и / или времени: данные с более грубым пространственным разрешением, а также средние за сутки, месяц, год. Также предварительно могут быть подготовлены некоторые промежуточные величины, расчет которых занимает значительное время и которые не зависят от других расчетных параметров. Такие наборы данных носят название «таблицы поиска» (lookup tables) и их использование может значительно сократить время счета при решении трудоемких задач. Хранение таких наборов промежуточных данных предлагается в файлах формата netCDF, который хорошо приспособлен для хранения и быстрой выборки многомерных массивов данных.
Слой промежуточного программного обеспечения представляет собой геопортал как центральный элемент узла ИПД и включает следущее.
1. Веб-портал, реализующий веб-приложения в виде независимых PHP-классов, связь с веб-сервисами OGC, конкретными вычислительными системами и центральным каталогом метаданных.
2. Каталог метаданных на основе ПО GeoNetwork Opensource (http://geonetwork-opensource.org), реализующего поддержку стандартов ISO 19115/ISO 19119/ISO 19139/ISO 19110. Планируется модификация профиля метаданных на основе стандарта ISO 19115 путем его расширения подмножеством элементов низкоуровневого описания наборов данных стандартов NetCDF/CF (Climate Forecast, http://cf-pcmdi.llnl.gov/) с целью их последующей автоматической вычислительной обработки. Созданный на основе полученного профиля каталог метаданных обеспечит как публикацию информации о наборах данных и прочих геоинформационных ресурсах согласно спецификации OGC CSW 2.0, так и параметры конфигурации веб-сервисов вычислительной обработки.
3. Репозитарий Geoserver, содержащий базовые картографические слои (политические и административные границы, рельеф, растительность, климатические зоны и т. д.), а также данные дистанционного зондирования.
Слой клиентских веб-ГИС-приложений обеспечивает функциональность ГИС для конечного пользователя. Для реализации тематических приложений на базе сервисов пространственных данных в рамках геопортала локальной ИПД было выбрано следующее открытое программное обеспечение.
1. JavaScript-библиотека OpenLayers (http://openlayers.org/), обеспечивающая основную функциональность тонкого клиента веб-ГИС.
2. JavaScript библиотеки GeoExt/ExtJS [29] для разработки клиентских веб-приложений с интуитивно-понятным интерфейсом, подобным интерфейсам таких распространенных настольных ГИС-приложений, как uDIG, QuantumGIS и т. д.
Таким образом, веб-ГИС-клиент, представленный на схеме, является примером клиентского приложения, использующего сервисы пространственных данных (классические настольные приложения также могут применяться для работы).
Типовой алгоритм работы с приложением локальной ИПД выглядит следующим образом.
• Пользователь запускает веб-ГИС-клиент и выбирает необходимые наборы данных с помощью каталога метаданных.
• Используя функциональность веб-интерфейса, неявно создает XML задачу для получения необходимых данных и / или выполнения вычислений на их основе.
• PHP-контроллер веб-портала формализует XML-задачу с последующим вызовом соответствующего сервиса WPS.
• WPS запускает вычислительное ядро, помещает результаты в локальный репозитарий Geoserver и обеспечивает доступ к ним через веб-сервисы OGC.
• Пользователь получает результаты расчетов через протоколы WFS/WMS в виде гео-привязанных слоев на карте, а также в формате netCDF.
На рис. 3 представлена UML-диаграмма деятельности, иллюстрирующая процесс вычисления среднего значения метеорологической характеристики с помощью предложенной веб-ГИС.
Клиентская часть
ШРБСВСйргЬВвв
Ж
— ■
[Г^оцах ЮЙДОЗ
е
£
сда^— -аале^-
ж.
Серверная часть
-—-¿В
^•«геойсцишкв
—г£Е
-*С
ЗЕ
ЕЕЕ
\1/
— '"-ХМЬфЪрмяа ьфьрмэт УУИЗ I
ж.
I Вф^ьрйМПМЫДМи
Рис. 3. ЦМЪ-диаграмма деятельности: вычисление выборочного среднего
На рис. 1 в контексте общей архитектуры красной рамкой выделен программный инструментарий для быстрой разработки тематических веб-ГИС-приложений в области климато-экологического мониторинга, в составе вычислительного ядра, набора управляющих РНР-контроллеров в рамках веб-портала, продукта Оео8егуег (http://geoserver.org/), а также 1ауа8с11р^библиотеки для создания типовых элементов графического интерфейса веб-ГИС-приложений на базе продуктов ОрепЬауеге, GeoExt и Ех1Г8.
Заключение
Представленная архитектура геоинформационной веб-системы является концептуальной основой для дальнейшей разработки комплексных клиент-серверных приложений для поддержки исследований климато-экологических изменений.
Специализированные сервисы пространственных геофизических данных, реализованные в рамках представленной архитектуры, обеспечивают их унифицированную распределенную обработку и представление в требуемых форматах с использованием стандартов OGC.
Предлагаемый подход к хранению и обработке больших пространственных данных призван решить существующие проблемы и повысить скорость анализа данных, особенно на больших временных и пространственных масштабах.
Ряд элементов представленной архитектуры был использован при разработке веб-ГИС «Климат», предназначенной для решения задач в области климато-экологического мониторинга [30; 31]. Выполненное с ее помощью исследование современных климатических изменений на территории Сибири [32; 33] показало эффективность предложенного подхода в этой предметной области.
Список литературы
1. Лыкосов В. Н., Глазунов А. В., Кулямин Д. В., Мортиков Е. В., Степаненко В. М. Суперкомпьютерное моделирование в физике климатической системы. М.: Изд.-во Моск. ун-та, 2012. 402 с.
2. Гордое Е. П., КабановМ. В., Лыкосов В. Н. Информационно-вычислительные технологии для наук об окружающей среде: подготовка научной смены // Вычислительные технологии. 2006. Т. 11 (1), спец. вып. С. 3-15.
3. Doug Laney. 3D Data Management: Controlling Data Volume, Velocity and Variety. Gartner. URL: http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf.
4. BeyerM. A. Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data. Gartner. URL: http://www.gartner.com/newsroom/id/1731916.
5. Kusnetzky D. What is «Big Data?». ZDNet. URL: http://www.zdnet.com/blog/virtualization/ what-is-big-data/1708.
6. Vance As. Start-Up Goes After Big Data With Hadoop Helper // New York Times Blog. URL: http://bits.blogs.nytimes.com/2010/04/22/start-up-goes-after-big-data-with-hadoop-helper/?dbk.
7. Roger Magoulas, Ben Lorica. Introduction to Big Data. // Radar. Release 2.0: Issue 11. O'Reilly Media, Sebastopol, CA, USA. June 2009.
8. Shekhar S. Spatial Big Data // Proc. AAG-NIH Symp. on Enabling a National Geospatial Cyberinfrastructure for Health Research. July 2012. Minneapolis. USA, 2012. URL: http://www. aag.org/galleries/project-programs-files/AAG_NIH_July2012_GeoFrontiers_Shekhar.pdf
9. Pedersen T. Adventures with Hadoop and Perl. URL: http://www.mail-archive.com/ [email protected]/msg00570.html
10. Jiong Xie, Shu Yin, Xiaojun Ruan, Zhiyang Ding, Yun Tian, James Majors, Adam Manzanares, and Xiao Qin. Improving MapReduce performance through data placement in heterogeneous Hadoop Clusters // Proc. of 19th International Heterogeneity in Computing Workshop. Atlanta, Georgia, April 2010.
11. Nativi S., Ramamurthy M., Ritschel B. EGU-ESSI Position Paper. URL: http://scert.ru/files/ EGU-PositionPaper-final.pdf
12. Гордое Е. П., Лыкосов В. Н. Развитие информационно-вычислительной инфраструктуры для интегрированного исследования окружающей среды Сибири // Вычислительные технологии. 2007. Т. 12. Спец. вып. 2: Информационные технологии для эколого-биологических исследований. Междисциплинарный интеграционный проект СО РАН. С. 19-30.
13. Steiniger S., Hunter A. J. S. Free and open source GIS software for building a spatial data infrastructure / Bocher E., Neteler M. (eds.) Geospatial Free and Open SourceSoftware in the 21st Century. LNGC, Heidelberg, Springer, 2012. P. 247-261.
14. Демиденко А. Г. Технология построения инфраструктуры пространственных данных. URL: http://www.gisa.ru/file/file2128.doc.
15. Кошкарев А. В., Батуев А. Р., Ермошин В. В., Каракин В. П., Краснопеев С. М. Инфраструктуры пространственных данных: международный опыт, российские академические информационные ресурсы, геопорталы и геосервисы // Тематическое картографирование для создания инфраструктур пространственных данных: Материалы IX Науч. конф. по тематической картографии (Иркутск, 9-12 ноября 2010 г.). Иркутск: Изд-во Ин-та географии им. В. Б. Сочавы СО РАН, 2010. Т. 1. C. 80-82.
16. Кошкарев А. В., Ряховский В. М., Серебряков В. А. Инфраструктура распределенной среды хранения, поиска и преобразования пространственных данных // Открытое образование. 2010. № 5. С. 61-73.
17. Краснопеев С. М. Опыт развертывания ключевых элементов инфраструктуры пространственных данных на базе веб-служб // XIV Всерос. объединенной конф. «Интернет и современное общество» (IMS-2011). СПб., 2011. С. 92-99.
18. Кошкарев А. В. Геопортал как инструмент управления пространственными данными и геосервисами // Пространственные данные. 2008. № 2. С. 6-14.
19. Крюков А. П., Жижин М. Н., Пойда А. А., Мишин Д. Ю., Медведев Д. П., Демичев А. П., Коковин Д. С. Разработка RESTful-веб-сервисов удаленного доступа к ресурсам хранения данных для распределенных систем в области наук о Земле. Препринт НИИЯФ МГУ № 2012-4/882, 2012.
20. Якубайлик О. Э. Геоинформационный интернет-портал // Вычислительные технологии. 2007. Т. 12, спец. выпуск 3. С. 116-125.
21. Dragicevic S., Balram S., Lewis J. The role of Web GIS tools in the environmental modeling and decision-making process // 4th International Conference on Integrating GIS and Environmental
Modeling (GIS/EM4): Problems, Prospects and Research Needs. Banff, Alberta, Canada, September 2-8, 2000.
22. Frans J. M. van der Wel. Spatial data infrastructure for meteorological and climatic data // Meteorol. Appl. Vol. 12. 2005. P. 7-8. D01:10.1017/S1350482704001471.
23. Vatsavai, Ranga Raju, Thomas E. Burk, B. Tyler Wilson, Shashi Shekhar. A Web-based browsing and spatial analysis system for regional natural resource analysis and mapping // Proc. of the 8th ACM Int. symp. on Advances in geographic information systems. Washington, D. C., US., 2000. P. 95-101.
24. Ольшевский А. В. Использование геоинформационных сервисов для удаленной обработки пространственных данных // Автоматизированные технологии изысканий и проектирования. 2012. № 3 (46). C. 64-66.
25. Prusevich A., Shiklomanov A., Lammers R. RIMS: An Integrated Mapping and Analysis System with Application to Siberia // Вычислительные и информационные технологии для наук об окружающей среде: Избр. тр. Междунар. школы и конф. CITES-2011 (Томск, Россия, 2011 г. Томск: Изд. Том. ЦНТИ, 2011. С. 156-158.
26. Weiguo Han, Liping Di, Peisheng Zhao, Xiaoyan Li, Building an 0n-line Geospatial Analysis System with AJAX and Web Services // Services, IEEE Congress on. 2009. P. 408-413.
27. Ramwez-Villegas J., Lau C., tyhler A.-K., Signer J., Jarvis A., Arnell N., Osborne T., Hooker J. Climate analogues: finding tomorrow's agriculture today. Working Paper no. 12. Cali, Colombia: CGIAR Research Program on Climate Change, Agriculture and Food Security (CCAFS). URL: http://ccafs.cgiar.org/sites/default/files/assets/docs/ccafs-wp-12-climate-analogues-web.pdf
28. Гордое Е .П., Окладников И. Г., Титов А. Г. Программный инструментарий для поддержки исследований в области климато-экологического мониторинга // Тр. XIV Всерос. объединенной конф. «Интернет и современное общество» (IMS-2011). СПб., 2011. С. 45-52.
29. Shea Frederick, Colin Ramsay, and Steve Cutter Blades. Learning Ext JS. Packt Publishing, 2008. 299 p.
30. Гордое Е. П., Богомолов В. Ю., Генина Е. Ю., Окладников И. Г., Титов А. Г., Шульгина Т. М. Геоинформационная веб-система для исследования региональных природно-климатических изменений и первые результаты ее использования // Оптика атмосферы и океана. 2012. Т. 25, № 2. С. 137-143.
31. Гордов Е. П., Лыкосов В. Н., Крупчатников В. Н., Окладников И. Г., Титов А. Г., Шульгина Т. М. Вычислительно-информационные технологии мониторинга и моделирования климатических изменений и их последствий. Новосибирск: Наука, 2013. 199 с.
32. Shulgina T. M., Genina E. Yu., Gordov E. P. Dynamics of climatic characteristics influencing vegetation in Siberia // Environmental Research Letters. 2011. DOI: 10.1088/1748-9326/6/4/045210. 7 p.
33. Шульгина Т. М., Гордов Е. П., Окладников И. Г., Титов А. Г., Генина Е. Ю., Горбатен-ко Н. П., Кужевская И. В., Ахметшина А. С. Комплекс программ для анализа региональных климатических изменений // Вестн. Новосиб. гос. ун-та. Серия: Информационные технологии. 2013. Т. 11, вып. 1. С. 124-131.
Материал поступил в редколлегию 13.02.2014
A. G.Titov, I. G. Okladnikov
ARCHITECTURE OF WEB-GIS FOR CLIMATE MONITORING BASED ON GEOSPATIAL DATA SERVICES
Georeferenced datasets (meteorological databases, modeling and reanalysis results, remote sensing products, etc.) are currently actively used in numerous applications including modeling, interpretation and forecast of climatic and ecosystem changes for various spatial and temporal scales. Due to inherent heterogeneity of geospatial datasets as well as their increasing size studies in the area of climate change require a specialized software support based on SDI (Spatial Data Infrastructure) approach implementing geoprocessing and visualization services as well as thematic client applications. The general architecture of service-oriented Web-GIS for climate and ecological monitoring tasks is presented. It can be used as a basis for further development of complex client-server applications aiming at environmental studies.
Keywords: information systems, web mapping technologies, geospatial data, monitoring of environment, climate change.
