CC BY
42
Вычислительные технологии
Том 15, № 4, 2010
Интеграция ресурсов Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН в среду SSE Европейского космического агентства*
И. В. I i к до. IV ж ко
Институт автоматики и процессов управления ДВО РАН, Владивосток, Россия e-mail: [email protected]
Описывается опыт интеграции ресурсов Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН в среду SSE Европейского космического агентства. Рассматриваются технические аспекты интеграции, применяемые подходы и инструментальные средства.
Ключевые слова: спутниковые данные, каталоги, доступ к данным, интеграция, глобальные геоинформационные системы.
Введение
В настоящее время обмен данными является одной из основных особенностей деятельности организаций, занимающихся вопросами дистанционного зондирования Земли (ДЗЗ). Это связано с тем, что с ростом числа спутников, способов обработки и применения спутниковой информации невозможно решение всех сопутствующих задач в рамках одной организации. К основным проблемам обмена спутниковыми данными относится необходимость согласования принципов обмена и применяемых технических средств. Участники обмена могут преследовать собственные цели, имея при этом также собственные источники данных и методики обработки.
Сложившимся подходом к предоставлению спутниковых данных потребителю является создание каталогов и их интеграция в единую систему, в результате чего у пользователя появляется возможность получить доступ к данным различных организаций через единую точку доступа вне зависимости от их территориальной принадлежности. Крупнейшими развивающимися глобальными информационными системами, предоставляющими доступ к каталогам спутников данных, являются EOSDIS (Earth Observing System Data Information System) NASA и eoPortal ESA (Европейское космическое агентство). Основные задачи каталогов — поиск наборов данных по набору критериев (в первую очередь по пространственным и временным ограничениям) , просмотр подробной информации и заказ самих данных. Информационная система
*Работа выполнена при финансовой поддержке РФФИ (грант № 08-07-00227-а).
INFEO (Information about Earth Observation), существующая с 2001 г., в настоящее время является не самостоятельной единицей, а частью инфраструктуры eoPortal, Доступ пользователя к каталогам INFEO возможен как через веб-интерфейс EOLI-Web1, основанный на Лауа-апплете, так и через внешнее клиентское приложение EOLI-SA2, Данные интерфейсы предоставляют пользователю возможность поиска по базовым параметрам и свободно задаваемым ключевым словам, тогда как прочие поля метаданных, ранее используемые в INFEO, в поиске не участвуют и доступны только для просмотра. Система позволяет получить доступ к спутниковой информации таких поставщиков как ESA, DLR (Германский аэрокосмический центр), ECHO (США), Система ECHO (Earth Observing System ClearingHOuse) представляет собой развитие проекта EOSDIS NASA и является первой глобальной системой сбора, хранения и доступа к спутниковой информации, ECHO в свою очередь предоставляет основу, позволяющую системам данных наблюдения за Землей и сервисов работать совместно. Современным этапом развития европейской распределенной инфраструктуры доступа к спутниковой информации являются среда SSE (Service Support Environment) Европейского космического агентства (ESA) и основанный на ней проект НМЛ (Heterogeneous Mission Accessibilitv), Основа интерфейса для обмена между узлами в системах ECHO и SSE — технология веб-служб (Web Services), разработанная консорциумом W3C3.
Необходимость создания систем каталогов с функцией заказа обработки связана со спецификой спутниковых данных, В зависимости от применяемых методик и пакетов программ на основе одного и того же набора данных возможно получение нескольких десятков видов выходной продукции. Пользователю необходимо предоставить возможность самостоятельно задавать параметры и технологию обработки данных в соответствии с его потребностями, В частности, службы OpenGIS4 открытого геопространственного консорциума (OGC, Open Geospatial Consorcium), широко распространенные в области поставки пространственных данных, в области доступа к спутниковым данным не дают возможности для решения всего спектра задач и могут рассматриваться только как один из способов такого доступа, В частности, в среде SSE данные службы могут быть использованы в качестве одного из способов предоставления конечной продукции пользователю.
На сегодня на территории России имеется практический опыт как интеграции в существующие глобальные информационные системы с применением международных стандартов, так и создания аналогичных систем на базе собственных решений, К первым относится развертывание шлюза EOSDIS V0 Web Gateway в ЦОХКИ (Центр обработки и хранения космической информации) ФИРЭ РАН [1] и организация узла распределенной системы космических данных EOSDIS, Среди существующих российских разработок следует выделить технологию построения автоматизированных систем для хранения и доступа к спутниковым данным Института космических исследований РАН [2]. На базе данной технологии создан ряд решений для мониторинга сельскохозяйственных земель и лесных пожаров.
Попыткой интеграции российских источников информации о Мировом океане с использованием собственной технологии E2EDM (End-to End Data Management) является система ЕСИМО [3]. Однако механизмы для поставки спутниковых данных с примене-
1http://catalogues.eoportal.org
2http: / / earth.esa.int / resources / catalogues
3http://www.w3.org
4http: //www.opengeospatial.org/standards
нием этой системы либо не реализованы, либо находятся на стадии прототипирования, В настоящее время веб-портал ЕСИМО5 имеет только функции каталога организаций и ресурсов, связанных с вопросами изучения Мирового океана,
В целом следует отметить что единый подход в решении задачи доступа к российским спутниковым данным отсутствует, тогда как сама задача не теряет актуальности [4, 5]. Проблемы обмена данными и интеграции каталогов рассматриваются в работе [6], где дан анализ современных тенденций построения распределенных инфраструктур спутниковых данных и приведена история их развития. Рассмотрены системы INFEO и SSE/HMA, а также вопросы участия российского сегмента дистанционного зондирования Земли (ДЗЗ) в данных системах (проект INTAS IRIS). Опыт участия в проекте IRIS [7] Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН показал сложность интеграции в среду INFEO и трудоемкость адаптации программного обеспечения (gateway) для применения в Центре. Поскольку SSE Portal дает возможность доступа и к существующим каталогам INFEO, а детальность представления метаинформации обеих систем находится на одинаковом уровне, то с точки зрения пользователя функциональности этих систем можно считать идентичными. В то же время технология интеграции в среду SSE более проста в реализации и обладает большим потенциалом за счет применения сервис-ориентированного подхода, давая возможность интеграции как данных и метаданных, так и служб их обработки. Это стало причиной выбора SSE в качестве основы для интеграции ресурсов Центра в глобальные информационные системы [8].
Центр коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН (далее — Центр) создан на базе лаборатории спутникового мониторинга Института автоматики и процессов управления ДВО РАН. Центр обеспечивает информационную поддержку фундаментальных и прикладных научных исследований в областях физики океана и атмосферы, океанологии, морской биологии и экологии, ведет прием и архивирование данных со спутников NOAA, AQUA/TERRA, MTSAT-1R, FY-2C, FY-1D. Для обработки информации используются как общепризнанные программные пакеты, так и программное обеспечение, разработанное специалистами Центра на основе международных и отечественных методик. Ежедневное поступление данных — около 12 Гб [9]. На данном этапе развития Центра интеграция в глобальные системы обмена спутниковой информацией является одной из наиболее приоритетных задач [10]. Интеграция подразумевает решение следующих вопросов:
1) определение набора внешних интерфейсов, требуемых средой;
2) выбор средств и подходов к реализации, определение способа взаимодействия с ресурсами Центра;
3) определение возможных направлений расширения набора полей метаданных, форматов данных с учетом возможной модернизации протоколов среды SSE и развития других технологий поставки спутниковых данных и метаданных.
При этом необходимо учитывать как сложившиеся в Центре методики работы с данными, так и возможность взаимодействия с другими глобальными системами и организациями.
Цель данной работы — описание опыта интеграции Центра в среду SSE. Рассмотрены технологии, инструменты и методы интеграции информационных ресурсов Центра.
5http: //oceaninfo.ru
1. Основные положения и механизмы интеграции в среду SSE
1.1. Развитие и современное состояние среды SSE
Первой задачей системы SSE стало объединение организаций, занимающихся вопросами приема, обработки и усвоения данных дистанционного зондирования Земли среди стран Европейского союза, SSE разрабатывается в качестве способа интеграции традиционных механизмов доступа данных дистанционного зондирования (каталоги данных), служб обработки данных и служб OpenGIS, Среда изначально является открытой и нейтрально-управляемой ESA, основана на открытых международно признанных стандартах. Помимо поставщиков данных и услуг стран ЕС, возможно участие организаций других стран. Прототип системы SSE с 2001 г, создавался в рамках проекта MASS-KW группой организаций из различных стран Европы [11], В настоящее время SSE используется как платформа для реализации проекта НМЛ (Heterogeneous Mission Accessibility), разрабатываемого с 2006 г, по инициативе GMES (Global Monitoring for Environment and Security) в сотрудничестве с Комиссией европейских сообществ. Среди основных задач проекта — развитие уровня интеграции сервисов доступа к данным ЕО DAIL (Earth Observation Data Access Integration Layer), В рамках проекта были разработаны рекомендации и спецификации, часть которых в дальнейшем предполагается утверждать в качестве стандартов OGC, Кроме этого, созданы программные средства для упрощения интеграции в среду поставщиков услуг [12-14], Важным фактором является организация доступа6 к каталогам данных системы ECHO, предоставляющая поиск и получение информации наравне с другими каталогами SSE, Это демонстрирует возможности применения сервис-ориентированного подхода среды SSE для объединения гетерогенных источников спутниковой информации, не требующего модернизации внутренней инфраструктуры информационных систем самих поставщиков спутниковых данных,
1.2. Сервисы SSE
Базовой единицей, функционирующей в рамках среды SSE, является сервис (служба). Сервисы основаны на технологии Web Services и предоставляют интерфейс, определенный набором схем7. Организация, предоставляющая доступ к сервисам, называется сервис-провайдером. Отдельный сервис представляется в виде набора операций, каждая из которых может работать как в синхронном, так и в асинхронном режиме — первый подразумевает немедленный ответ сервера, второй — отправку сообщения и его подтверждение как со стороны клиента, так и со стороны сервера. Для отсылки сообщений применяется протокол SOAP, основанный на формате XML, Синхронный вид взаимодействия, также называемый процедурным стилем SOAP, в SSE используется для создания каталогов. Асинхронный режим необходим в том случае, когда немедленное получение результата невозможно, например, при оформлении заказа на генерацию еще не существующего продукта. Время обработки асинхронного сообщения не ограничивается, поэтому часть операций может выполняться персоналом организации.
Не накладывается никаких ограничений и на то, каким образом сервис-провайдер будет получать и обрабатывать информацию. Таким образом, используемые в обработке данные принадлежат самому сервис-провайдеру либо получены от пользователя или
6http: //services. eoportal.org/portal/user/GetCompanylnfo.do?companyld=71801190
7http: //www.w3.org/2002/ws
стороннего сервис-провайдера. Более того, возможно обращение к сервисам обработки других организаций. Сочленение веб-сервисов с использованием языка BPEL (Business Process Execution Language) позволяет создавать полностью автоматические распределенные цепочки сбора, обработки спутниковой информации и принятия решений по ее результатам. Такие цепочки могут функционировать как в рамках организации по локальной сети, так и на глобальном уровне через сеть Интернет, предоставляя возможность международной кооперации.
Сервисы, используемые в SSE, согласно выполняемым функциям можно разделить на следующие основные группы:
— каталоги данных, позволяющие организовать каталог продуктов (файлов данных) с функциями поиска и извлечения подробной информации;
— сервисы заказа продукта по каталогу;
— сервисы для управления доступом к данным (поставка данных на коммерческой основе и прочие ограничения);
— каталоги коллекций, позволяющие производить поиск коллекций продуктов;
— популярные в геоинформационных системах (ГИС) интерфейсы WMS (Web Map Service), WFS (Web Feature Service) и WCS (Web Coverage Service) открытого геопространственного консорциума OGC8;
— службы конвертирования данных9, в настоящее время недостаточно хорошо документированные.
Основу интеграции составляет каталог спутниковых данных, который может быть дополнен интерфейсом заказа. При этом пользовательский интерфейс каталога и корзины заказов уже реализованы на самом сервере SSE Portal,
1.3. Каталог данных
Каталоги данных являются базовым средством интеграции в среду SSE, содержат ме-таописания продуктов (наборов данных) и предоставляют две основные функции:
— поиск продуктов по заданным критериям;
— получение полной информации об указанных файлах.
Каталоги данных позволяют пользователю отобрать пригодную для его задач спутниковую информацию и могут описывать как уже существующие, так и генерируемые по запросу пользователя файлы. Результатом поиска по каталогу является список идентификаторов продуктов, на основе которых позднее может быть сформирован заказ. Идентификатор продукта уникален в рамках группы однотипных файлов (коллекции).
На нижнем уровне доступ к каталогу данных производится с использованием технологий SOAP/Web Services, тогда как взаимодействие с конечным пользователем производится через веб-интерфейс сервера SSE Portal, Набор реализуемых сервисом операций и содержимое сообщений определяются выбранным SOAP-интерфейеом, Поскольку стандарты интерфейсов являются открытыми, возможно создание специализированного клиентского программного обеспечения для непосредственной интеграции потребителя с сервис-провайдером. Такая интеграция на нижнем уровне может быть востребована при организации поиска и получения данных без непосредственного участия пользователя или при создании распределенного каталога, построенного на базе других каталогов. При использовании веб-интерфейса SSE Portal роль SOAP-клиента играет
8http: //www.opengeospatial.org
9http: / / services.eoportal.org/portal / service/ListService.do?serviceCategoryId=89808480
сам сервер, предоставляя пользователю элементы управления, позволяющие сформировать запрос в удобной для него форме, В зависимости от SOAP-интерфейеа внешний вид веб-интерфейса каталогов на сервере SSE Portal может незначительно различаться, причем сервис-провайдер имеет возможность настройки веб-интерфейса в соответствии со спецификой сервиса.
Для интеграции в среду SSE предлагаются нижеприведенные внешние интерфейсы каталогов продуктов:
— EOLI Interface (Version: 2,4), Позволяет организовать один или несколько каталогов, различаемых по идентификатору коллекции (Collection Id) [15]. Интерфейс разработан в 2003-2005 гг. для внутренних нужд ESA на основе стандартов ISO 19115 [ISO], OpenGIS [17] и FGDC [18], В настоящее время EOLI-XML применяется как для доступа к системе каталогов eoPortal через клиенты КО 1.1-Wob и EOLI-SA, так и в качестве средства интеграции каталогов в среду SSE,
— OGC 06-079г2, ЕО Application Profile for CSW 2,0 [19], Стандарт является расширением OGC Catalogue Services Specification v2,0,l для обнаружения, получения и управления метаданными продуктов ДЗЗ, Существующая спецификация CSW пригодна для описания коллекций, в то время как данный профиль решает проблему избытка либо недостатка определенных атрибутов при описании продуктов ДЗЗ, С 2006 г, интерфейс развивается в рамках проекта НМЛ и в настоящее время имеет статус документа, представленного на обсуждение,
— Две версии (OGC 06-131r2 vO.1.4 и OGC 06-131r3 vO.1.7) профиля ЕО Products Extension Package for ebRIM (ISO/TS 15000-3), Документ описывает отображение профиля OGC GML для продуктов ДЗЗ на структуру ebRIM в рамках OGC Catalogue 2,0,2 (Corrigendum 2 Release), реализуя OpenGIS Web Registry Service (WRS) [20], Разрабатывается в рамках проекта с 2006 г, и в настоящее время имеет статус документа, представленного на обсуждение.
Стандарт EOLI-XML является наиболее используемым и простым для реализации (около 30 полей, большая часть которых необязательна), а принципы интеграции каталога спутниковых данных в среду SSE едины для всех рассмотренных интерфейсов,
1.4. Доступ к данным
Располагая списком интересующих продуктов, пользователь должен иметь возможность получить их. Возможность SSE не только предоставлять пользователю существующие файлы стандартной продукции, но и формировать запрос на их генерацию является для Центра наиболее ценной. При этом пользователь может заказывать обработку данных в соответствии со своими требованиями, что является основной стратегией работы Центра с пользователями.
Наиболее простое решение — организация доступа к данным по каталогу следующим образом. Рассмотренные ранее интерфейсы каталогов позволяют указывать дополнительные поля метаданных, которые наряду со стандартными будут отображены в поисковом веб-интерфейсе. Например, применение интерфейса EOLI на SSE Portal дает возможность указания дополнительных атрибутов add i tifo [15], куда может быть включен URL файла продукта. Эти поля будут доступны пользователю при просмотре подробной информации о продукте через запрос presentRequest, В качестве такого URL используются как адрес уже существующего файла, так и динамическая ссылка, обрабатываемая web-приложением, В последнем случае возможна генерация и роду к-
та по заказу в соответствии с параметрами, задаваемыми пользователем. Применение данного подхода дает возможность непосредственной переадресации запроса к существующей в Центре системе заказов на обработку, однако это требует согласования интерфейсов передачи информации о выбранных файлах и механизмов разграничения доступа. Данный подход не является стандартным, однако может быть использован в качестве промежуточного решения.
Наиболее целесообразный способ заказа данных, обработанных в соответствии с требованиями пользователя, — применение специализированных интерфейсов заказа и встроенных средств SSE Portal, Портал предоставляет возможность оформления заказа данных с использованием корзины заказа и отслеживанием статуса их выполнения, В настоящее время Порталом предлагаются следующие интерфейсы для интеграции в среду:
— Custom SSE synchronous and asynchronous Order Registration (Version: 1,6);
— Default SSE synchronous and asynchronous Order Registration (Version: 1,6);
— Order Interface: OGC 06-141 vl.0.4 Draft, Ordering Services for Earth Observation Products [21].
Первые два способа подразумевают применение механизмов, описанных в [22], Интерфейс Custom дает возможность настройки интерфейса портала для реализации функций, специфичных для Центра (в частности, опций обработки данных). Содержательную основу запросов составляют элементы, унаследованные от расширенного запроса заказа (Order Extended Request) протокола CIP [23], Ordering Services for Earth Observation Products разрабатывается с 2006 г, и в настоящее время имеет статус черновика, Интерфейс предназначен для заказов продуктов по каталогам либо на основе данных, которые будут получены со спутников ДЗЗ в будущем. Кроме того, интерфейс может быть использован для поставки продуктов в режиме подписки [21], В качестве основных способов доставки продукта предлагается применять доступ по протоколу FTP с использованием стратегий push и pull, а также доставку на DVD-носителе, На форматы файлов данных системой не накладывается ограничений. Любой из перечисленных интерфейсов заказа использует в качестве входной информации идентификатор продукта и опции его получения (в качестве которых могут быть параметры обработки данных), Интерфейс заказа в любое время можно добавить к каталогу, поэтому реализация системы доступа к данным может производиться отдельно от создания каталога продуктов,
2. Инструментальные средства для интеграции в SSE 2.1. Общий обзор средств интеграции
Важным отличием среды SSE от системы предыдущего поколения (INFEO) является применение широко распространенных стандартов для обмена информацией (XML, SOAP, Web Services), В отличие от протокола Z39.50/CIP, предназначенного для обмена метаинформацией, данные стандарты имеют более общее назначение и применяются в области построения слабосвязанных распределенных приложений. Результатом является наличие множества инструментальных средств, которые могут быть использованы сервис-провайдерами при организации SOAP-интерфейеа к их инфраструктуре. Благодаря этому задача интеграции решается как на более низком уровне с использованием
непосредственной обработки SOAP- и HTTP-запросов, так и с помощью более специализированных инструментальных средств, таких как Apache Axis10,
Разработчиками системы SSE/HMA предлагаются специализированные инструментальные средства, предназначенные для решения следующих конкретных задач, возникающих при интеграции сервис-провайдера в среду:
— создание промежуточного программного слоя между средой SSE и инфраструктурой сервис-провайдера;
— упрощение разработки (инструментальные средства, учитывающие специфику SSE), "
2.2. SSE Toolbox Runtime Environment
SSE Toolbox Runtime Environment (далее — TRE) является основным компонентом пакета SSE Toolbox [24], распространяемым на условиях GNU General Public License11, TRE предоставляет сервис-провайдеру инструменты для развертывания веб-сервисов в соответствии с требованиями интерфейсов и их локальной отладки. Главная особенность пакета — использование специализированного языка скриптов, предназначенных для обработки SOAP-запроеов, Возможен вызов других скриптов, написанных на встроенном языке, а также на языке Jelly12, Наиболее существенной возможностью является работа со стандартными или пользовательскими классами Java, В язык скриптов встроены набор функций для работы с базами данных через интерфейс JDBC, средства для работы с XML, SOAP, а также e-mail и FTP, Это позволяет упростить процесс создания промежуточного программного слоя между SOAP-клиентом (в частности сервером SSE Portal) и внутренней инфраструктурой сервис-провайдера,
TRE является веб-приложением Java, для которого в качестве рабочей среды разработчики предлагают использовать сервер приложений Apache Tomcat13, Основа TRE — компоненты на базе технологий Java Servlets / JSP и библиотеки Apache Axis, Входящий HTTP-запрос обрабатывается сервером и передается на обработку ТНК. после чего происходит его разбор с применением пользовательских скриптов. Считывание скрипта производится непосредственно при поступлении запроса,
TRE позволяет запускать скрипты и производить их тестирование на предмет соответствия стандартным интерфейсам SSE (например, каталогу спутниковых данных EOLI), а также отсылать SOAP-еообщения вручную, WSDL-файл веб-сервиса, необходимый для регистрации сервиса на SSE Portal, генерируется автоматически. Большая часть функций пакета доступна через веб-интерфейс.
Пакет может быть загружен с официального сайта14 после указания контактной информации. Предлагаются сборки для Windows и Linux, Сборка TRE существует в двух вариантах для каждой платформы: с включенным дистрибутивом Apache Tomcat и в "облегченном" виде — для установки на существующий контейнер сервлетов.
10http: //ws.apache.org/axis
11http: / / www.gnu.org/copyleft / gpl.html
12http: //commons.apache.org/jelly
13http://tomcat.apache.org/
14http://toolbox.pisa.intecs.it
2.3. SSE Toolbox Development Environment
SSE Toolbox Development Environment (далее — TDE) является интегрированной средой разработки (IDE), предназначенной для создания и отладки веб-сервисов с применением языка скриптов, встроенного в SSE Toolbox, Среда TDE выполнена в виде плагина для платформы Eclipse15 и может быть загружена как с сайта SSE Toolbox, так и через систему обновления Eclipse, TDE представляет собой самостоятельное приложение и включает все компоненты, необходимые для локального запуска и отладки сервисов, поэтому установка TRE в данном случае не требуется,
2.4. НМА Test Skeleton
НМЛ Test Skeleton является веб-приложением, позволяющим сервис-провайдеру организовать симуляцию интерфейсов каталога, заказа и программирования (планирование приема данных в будущем) [12]. Кроме того, в НМА Test Skeleton входит пользовательский интерфейс для удаленного тестирования этих интерфейсов. Пакет распространяется как в бинарном виде, так и в виде исходных файлов. Симуляция НМА может быть использована как эталонная реализация спецификаций НМА; для простого развертывания сервера НМА, который отвечает на тестовые запросы от клиента/приложения НМА сообщениями с правдоподобным содержимым; для установки рабочих примеров с целью автоматического тестирования.
Симуляция поддерживает [25] следующие виды интерфейсов:
— каталог коллекций;
— каталог продуктов; заказ;
— программирование (планирование зондирования);
— управление пользователями.
Применение НМА Test Skeleton не обязательно при интеграции в среду SSE и имеет смысл только при реализации интерфейсов НМА, поддержка которых в настоящее время для Центра не является приоритетной,
3. Интеграция ресурсов Центра в среду SSE 3.1. Стратегия интеграции
Основу интеграции Центра в среду SSE составляет каталог спутниковых данных, для организации которого внутри Центра необходимо обеспечить решение нижеуказанных задач,
1, Описание коллекций Центра, Производится вручную и включает ряд атрибутов, общих для всех продуктов коллекции,
2, Создание механизмов генерации метаданных (описаний) для каждого экземпляра продукта (файла данных),
3, Обеспечение хранения метаданных и наиболее простого и универсального способа усвоения метаданных системой их хранения,
4, Реализация интерфейсов для доступа к хранимой информации. Интерфейсы могут быть предназначены как для внутренних нужд Центра, так и для интеграции с
15http: //www.eclipse.org
Приём данных-
Обработка спутниковый данных?
Центр
Архив данных Стандартная продукция
4=1 4=1 Ш Ii
FTP
Генерация обзорных изображений
Бинарнш& данные
Процедуры генерации метаданных
Пользователь
WEB-браузер
1 " T7iÄ>
FTP-клиент |§||||| —
T 1&
HTTP
'.Сервер обзорных, изображений
Каталог спутниковый" данный"
HTTP
SOAP
Si Porta!
Рис. 1. Общая схема интеграции Центра в среду SSE
внешними системами. Решение остальных задач определяется требованиями этих интерфейсов.
Интерфейс EOLI-XML был взят за основу интеграции Центра в среду SSE, в связи с чем минимальный набор полой, используемых при описании данных Центра, сформирован па его основе. Кроме того, в этот набор метаданных включены информация о размещении файла и ряд других полой, используемых дня внутренних нужд Центра. При этом изначально предусматривается возможность расширения набора полой в зависимости от решаемых в будущем задач.
Общая схема интеграции ресурсов Центра па текущем этане приведена па рис. 1. Реализация интерфейса заказа данных с использованием средств SSE может выполняться отдельно от реализации интерфейса каталога и является следующим этаном интеграции в среду. Предполагается применение интерфейса заказа SSE дня частичной или полной замены существующей в Центре системы заказов па обработку спутниковых данных, что обеспечит решение задачи па базе современных средств. В настоящей работе реализация интерфейса заказа по рассматривается.
3.2. Реализация каталога данных
Основу каталога данных составляет база метаданных. При ее создании потребовалось обеспечить максимально простой и расширяемый интерфейс дня добавления в базу новых записей. Это в первую очередь связано с разнородностью данных, используемых в Центре. Разработчики при создании программ получения метаипформации (Fortran,
С, С--, Java, Python и др.) могут применять разные средства и при этом не быть
специалистами в области баз данных. Поскольку метаипформация поступает в каталог
в небольших объемах (например, прием данных спутников NOAA происходит несколько раз в сутки), от интерфейса не требуется высокого быстродействия.
Учитывая приведенные особенности и ограничения, в качестве наиболее простого интерфейса между утилитами сбора метаданных и базой метаданных принято решение использовать текстовые файлы формата "параметр=значение". Каждый такой файл должен содержать определение идентификатора и ряда полей метаданных для этого продукта. Файл генерируется утилитой, предназначенной для данных конкретного типа, после чего передается утилите усвоения. Допустимы неполное задание полей для продукта и добавление информации в базу метаданных по частям. Параметры, представление которых в текстовом виде затруднительно (например, обзорное изображение), определяются ссылкой на внешний файл. Таким образом, разработчикам Центра для добавления метаинформации предоставлен простой универсальный интерфейс, не требующий специальных знаний и навыков.
При поступлении нового файла в архив спутниковых данных или стандартной продукции происходит запуск утилиты (скрипта) соответствующего типа, формирующей метафайл со всей описательной информацией, а также связанные с ним файлы. Метафайл дополняется полями, определяющими размещение файла в архиве. Следует отметить, что использованный подход к генерации и хранению метаданных позволяет производить расширение набора полей и реорганизацию структуры записей в зависимости от требований конкретной задачи обмена. В частности, это позволит упростить поддержку системы по мере развития среды SSE.
Бинарная информация, не пригодная для поиска, сохраняется отдельно. В первую очередь это относится к обзорным изображениям (квиклукам), позволяющим пользователю визуально оценить качество данных. Для каждого продукта предусмотрена возможность хранения нескольких изображений различного разрешения, построенных по разным спектральным каналам. Предусмотрена возможность автоматического преобразования формата или разрешения по запросу с кэшированием полученного результата. Таким образом, возможна выдача и Thumbnail-, и Browse-изображения согласно
PostgreSQL
Apache Tomcat
SSE Toolbox (TRE)
HTTP
Внешнее взаимодействие через Интернет
Менеджер кв и кл у ко в
Взаимодействие с внутренней инфраструктурой Центра
Рис. 2. Реализация каталога данных
спецификации EOLI [15]. Изображение по идентификатору и требуемым характеристикам получается как через утилиту командной строки, так и через HTTP-запрос. Основой для реализации подсистемы является семейство технологий Java ЕЕ16 и СУБД PostgreSQL17,
Основой для реализации интерфейса EOLI является пакет SSE Toolbox, описанный выше. Разбор запросов производится с использованием технологий XPath18, XSLT19, а также вызовов Java API и пользовательских классов. Схема реализации каталога данных приведена на рис. 2.
3.3. Функционирование EOLI-каталога спутниковых данных Центра
Рассмотрим взаимодействие пользователя с каталогом данных Центра через сервер SSE Portal. Пользователь, с помощью веб-браузера переходит на страницу каталога20 (рис. 3) либо непосредственно, используя структурированный каталог, либо через службу поиска коллекций портала SSE. Дальнейшая работа с каталогом проходит по следующему сценарию:
1) пользователь выбирает коллекцию; с помощью механизма AOI (Area of Interest), предоставляемый порталом, задает географический регион; указывает временной промежуток и запускает поиск;
2) SSE Portal формирует запрос EOLI searchRequest к серверу Центра;
3) SSE Toolbox, функционирующий на сервере, запускает на исполнение скрипт, сконфигурированный для обработки запроса searchRequest;
4) скрипт производит действия по разбору параметров поиска и отправляет запрос к СУБД PostgreSQL, где функционирует база метаданных, используя интерфейс JDBC;
5) на основе полученного результата формируется SOAP-еообщение и работа скрипта завершается;
6) Toolbox отсылает результирующее сообщение на SSE Portal;
7) портал отображает информацию о найденных файлах.
При щелчке на файл пользователь через запрос presentRequest. обрабатываемый аналогичным образом, получает более полную информацию. Ссылка на обзорное изображение, требуемое спецификацией, является динамической и подразумевает запрос на получение изображения нужного вида у подсистемы хранения изображений, описанной ранее.
В подробную информацию может входить URL файла, размещенного на FTP-сервере. Такой способ доступа к продукции используется существующей в Центре системой заказов и является одним из стандартных методов получения данных в системе SSE. При этом ограничение доступа происходит с применением стандартных механизмов, заложенных в протоколе FTP. Доступ же к интерфейсу сервиса можно ограничить средствами SSE Portal. При дополнении каталога функцией заказа пользователь с помощью механизмов среды SSE получает возможность заказать выбранные продукты. В этом случае применяется корзина заказов на сервере SSE Portal, где можно отслеживать статус выполнения каждого заказа. От Центра требуется только реализация
16http: //java.sun.com/javaee
17http: //www.postgresql.org
18http://www.w3.org/TR/xpath
и'1п I р: /www.w3.org/TR/xslt
20http: / / services-test.eoportal.org/portal / service/ShowServiceInfo.do?serviceId=92808B88
HP SSE Portal- Se-arch Process МцдИд Пгс1ок ,_! _ '___j
Файл ¡Правка Вид Журнал Закладки Инструменты Справка
jPj т Qf ф » . - ,_] j http:/|i5ervlces-test.eoportal.org|(portal/order/Prepa КЯ "С? т | ||GlT|: У'| © "
_1 Тензодатчики и АЦП @ Тюнинг AD2P! I История Земли и
[ SSE Portal... __! SSE Portal... ! SSE Portal...
I Glofiish English | | http://tmobile.modea... ^ Публикация 05.13,i... ; I Библиотека Ихтика ... , | SSE Portal - Service I...
hma_pr_s... , J SSE Port... ££ L] SSE Portal...
From: 2003 Tq: i 2008 Retrieve li Starting fro
Administrative information
Organisation Name: RU/RAS/IACP/SML Organisation Role: originator Product Identifier Element:
20081105T120051.761-NOAA17
Geographic location
Temporal information
llocalNamg: | localValue [ üri I http ¡//www, satellite..
C^iJ. Area Of Interest Features (AO! Q Coverages jQ Maps ф Cities (WHS) ф Streams (WMS) ф Rivers (WMS) ф Waterbodies (WMS) <£> Coastlines (WMS) <2> Borders (WMS) <£> Builtup areas (WMS) <£> Hillshading (WMS)
;~j3 Открыть блокнот (N)
¡~) Открыть блокнот (N)
[7] 20.08110
□ 2008110
Рис. 3. Доступ к каталогу спутниковых данных Центра через SSE Test Portal
веб-сервиса согласно выбранному интерфейсу заказа. Данный способ предоставления данных наиболее приемлем в случае, когда продукт в готовом виде не существует, а производится его генерация но запросу.
Заключение
Среда SSE является активно развивающейся системой, решающей вопросы доступа к информационным ресурсам организаций, занимающихся вопросами дистанционного зондирования Земли. Наличие программного обеспечения и применение открытых стандартов делают среду привлекательным решением дня организации поставки спутниковых данных Центра на международном уровне. На современном этане развития среды возможны различные способы интеграции, от применения различных интерфейсов каталогов данных до развертывания служб, совместимых со стандартами OpenGIS. Наиболее целесообразным дня Центра в настоящее время является развитие поддержки интерфейса EOLI-XML как наиболее простого и устоявшегося средства доступа к каталогу спутниковых данных. По мере развития Центра предполагается реализация интерфейса заказа обработки данных в соответствии с требованиями пользователя и служб OpenGIS как средства интеграции в SSE и взаимодействия с другими ГНС-системами.
Список литературы
[1] Саворский В.П. Узел распределенной системы космических данных Центра обработки и хранения космической информации (ЦОХКИ) ФИРЭ РАН // Современные проблемы дистанционного зондирования Земли из космоса. М.: Полиграфсервис, 2004. С. 241-247.
[2] Ефремов В.Ю., Лупян Е.А., Мазуров A.A. и др. Технология построения автоматизированных систем хранения спутниковых данных // Там же. С. 437-443.
[3] Белов C.B., Бритков В.Б. Интеграция информационных ресурсов в задачах исследования морской среды // Информ. технологии и вычисл. системы. 2008. № 1. С. 73-81.
[4] Шокин Ю.И., Жижимов О.Л., Пестунов И.А. и др. Распределенная информационно-аналитическая система для поиска, обработки и анализа пространственных данных // Вычисл. технологии. 2007. Т. 12. Спец. выпуск 3. ГИС- и веб-технологии в междисциплинарных исследованиях. Материалы Междисциплинарной программы СО РАН 4.5.2. Вып. I. С. 108-115.
[5] Шокин Ю.И., Пестунов И.А., Смирнов В.В. и др. Распределенная информационная система сбора, хранения и обработки спутниковых данных для мониторинга территорий Сибири и Дальнего Востока // Журн. Сибирского федерального ун-та. Техника и технологии. 2008. № 4. С. 291-314.
[6] Кудаш ев Е.Б., Филонов А.Н. Распределенная геоинформационная инфраструктура спутниковых данных // Вычисл. технологии. 2008. Т. 13, № 6. С. 79-90.
[7] Alexanin A.I., В ab yak P.V., Herbeck F.E., Levin V.A. Satellite information support of scientific researches and economic applications // Proc. of "Science k, Technical Information — STI 2002". Moscow: VINITI, 2002. P. 17-18.
[8] Алексанин А.И., Алексанина M.Г., Бавяк П.В., недолужко И.В. Организация информационного обеспечения и телекоммуникационные технологии в спутниковом центре ДВО РАН // Тр. X Санкт-Петербургской междунар. конф. "Региональная информатика — 2006". СПб.: СПОИСУ, 2007. С. 329-333.
[9] Левин В.А., Алексанин А.П., Алексанина М.Г., Бавяк П.В. Состояние дел и перспективы развития ЦКП регионального спутникового мониторинга окружающей среды ДВО РАН в области современных информационных и телекоммуникационных технологий // Открытое образование. 2008. № 4. С. 23-29.
[10] недолужко И.В. Перспективы интеграции Центра спутникового мониторинга окружающей среды ДВО ран в среду поставки и обработки данных Европейского космического агентства // Современные проблемы дистанционного зондирования Земли из космоса. 2008. Вып. 5. С. 561-567.
[11] Coene Y., Bawin С. Service Support Environment. Architecture, Model and Standards // ESA, 2004. http ://earth.esa.int/rtd/Documents/SSE_Whitepaper_2.pdf
[12] Smillie R., Nguyen Т.Н., Coene Y. Prototype Operations Concept, HMA-PR-SPB-EN-0001, Revision 3, 20/02/2007. http://services.eoportal.org/portal/documents/ hma_pr_spb_en_0001_13.pdf
[13] Marchionni D. HMA Architectural Design Technical Note, version 1.7, 14/09/2007. http ://services.eoportal.org/portal/documents/HMA%20Arch_TN_l.7.pdf
[14] Lawrence В., Pritchard XL. Woolf A. Review of the Heterogeneous Mission Accessibility Project. 2007. http://home.badc.rl.ac.uk/lawrence/static/2007/03/14/ HMA-Review.pdf
[15] Nencioni P. Earthnet On-line XML Front-End Interface Control Document, EOLI-XML-OO6-ICD, Issue 1.7, 2003. http://earth.esa.int/rtd/Documents/EOLI-XML-ICD.pdf
[16] ISO/TC 211, Geographic information - Metadata, ISO/FDIS 19115, 23/01/2003. http://www.iso.org/iso/iso_catalogue/catalogue_tc/ catalogue_detail.htm?csnumber=26020
[17] OpenGIS-Catalog Interface Implementation Specification (Version 1.0), Document 99-051s. http://portal.opengeospatial.org/files/?artifact_id=831
[18] Content Standard for Digital Geospatial Metadata: Extensions for Remote Sensing Metadata, FGDC-STD-012-2002. http://www.fgdc.gov/standards/projects/ FGDC-standards-projects/csdgm_rs_ex/MetadataRemoteSensingExtens.pdf
[19] OGC Catalogue Services Specification 2.0.1 (with Corrigendum) — EO Application Profile for CSW 2.0. http://services.eoportal.org/portal/documents/06-079r2_E0_Applica-tion_Profile_for_CSW_2.0.pdf
[20] OGC Catalogue Services Specification 2.0 — Extension Package for ebRIM (ISO/TS 15000-3) Application Profile: Earth Observation Products, http://services.eoportal.org/portal/ documents/06-131r3_E0_Products_Extension_Package_for_ebRIM_IS0TS_15000-3_ Profile_of_CSW_2.0_0.1.8.zip
[21] Ordering Services for Earth Observation Products.
http://services.eoportal.org/portal/documents/06-141r2_0rdering_Services_for_ Earth_Observation_Products.0.9.3.pdf
[22] Service Support Environment. Interface Control Document.
http://services.eoportal.org/massRef/documentation/icd.pdf
[23] Catalogue Interoperability Protocol (CIP) Specification — Release B. http://wgiss.ceos.org/ics/documents/cip2.4/cipspec-2_4_75_6.pdf
[24] Coene Y., Gianpranceschi S., Marchetti P.G. Earth Observation and GIS Services Integration Approach in MASS. Proceedings of DASIA 2003 (ESA SP-532).
http://earth.esa.int/rtd/Articles/MASS_DASIA_2003.pdf
[25] Nguyen T.H. Technical Note: HMA Service Simulation, https://services.eoportal.org/ portal/documents/fc_tn_0001_10.pdf
Поступила в редакцию 25 мая 2009 г., с доработки — 9 сентября 2009 г.
