CC BY
34Геоинформационная система мониторинга океана и атмосферы
Подопригора Е.Л. ([email protected]), Чистяков Т.С., Хованец В.А., Пермяков М.С.,
Морской Государственный Университет имени адмирала Г.И. Невельского Введение
Спецификой исследований в области мониторинга окружающей среды, где используются как дистанционные, так и контактные методы измерения, является необходимость работы с большими массивами разнородной информации. Это могут быть данные акустического и лазерного зондирования, данные о гидрологических характеристиках океана и морей, данные приповерхностных метеорологических наблюдениях и информация о физических параметрах толщи атмосферы, характеристики состояния морских экосистем. Другой особенностью подобных исследований является то, что для комплексного анализа результатов измерений необходимо осуществлять точную географическую привязку и проводить обработку данных различного пространственно-временного разрешения. Это требует использования современных технологий геоинформационных систем (ГИС). Идеология построения и уровень развития современных ГИС позволяют комплексно обрабатывать большие объемы разнородных данных, распределенных в пространстве и времени. Современные ГИС представляют собой сложные информационные системы, включающие средства сбора, хранения, обработки и визуализации, где интегрирующей основой является географическая привязка. Имеется много примеров как узко специализированных ГИС, разрабатываемых отдельными организациями [5, 6], так и универсальных, типа ARC/INFO фирмы ESRI.
В течение нескольких лет, на парусном учебном судне (ПУС) «Надежда» осуществляются исследования влияния на морские экосистемы процессов различной природы, протекающих в верхнем слое океана и атмосфере [1, 2, 8]. В основном исследуется планктонное сообщество, его формирование и развитие. При этом для проведения мониторинга океана и атмосферы используется широкий спектр инструментальных методов и источников информации: контактные измерения гидрологических параметров с использованием погружаемых зондов, отбор проб воды с различных глубин, судовые метеорологические измерения, лазерное и акустическое зондирование верхнего слоя океана, выполняемые по ходу судна, лидарное зондирование атмосферы. К анализу привлекаются спутниковые оперативные и архивные данные по цвету и температуре морской поверхности в районах исследований [3, 4]. Для решения задач по сбору и оперативной обработке результатов измерений в ходе научных экспедиций ПУС «Надежда», а также для последующей комплексной обработки и анализа данных, была разработана ГИС мониторинга характеристик состояния океана и атмосферы.
Основное отличие разработанной системы от аналогов - оперативность работы с данными. Проблема актуализации данных решается путем их автоматического и полуавтоматического сбора, а встроенные процедуры, разработанные под конкретные приборные комплексы, позволяют в режиме реального времени проводить комплексную обработку и анализ данных. Система создана с использованием современных информационных технологий (клиент-сервер, COM, ActiveX). Разработка основной части системы производилась непосредственно в ходе экспедиций. Задачи, решаемые системой,
вытекали непосредственно из научных задач, условий проводимых исследований и характера используемых аппаратных комплексов.
Задачи системы
Основными функциями данной ГИС являются: сбор, географическая привязка, хранение, обработка и визуализация получаемых в ходе экспедиций данных, предоставление необходимых средств для комплексного анализа накопленной информации. В настоящее время система позволяет хранить, обрабатывать и отображать информацию по пройденному пути, скорости, солености, температуре, биооптических параметрах морской воды (спектрах лазерно-индуцированной флюоресценции, концентрации пигментов фитопланктона, растворенного органического вещества), глубине, химическому составу морской воды и фитопланктона, метеопараметрах атмосферы, профилях аэрозольного рассеяния, полученных при лидарном зондировании. Информация собирается с аппаратных комплексов и датчиков, установленных на фрегате, в автоматическом и полуавтоматическом режимах по локальной сети. Непрерывно по ходу судна данные поступают с проточного лазерного флюориметра (измеряются температура и соленость воды на глубине 4 метра, спектры лазерной индуцированной флюоресценции - ЛИФ-спектры, по ним рассчитываются концентрация хлорофилла А и интегральный параметр ЛИФ-спектра, характеризующий растворенное в воде органическое вещество), с датчиков температуры воздуха на двух горизонтах (2 м и 50 м над поверхностью воды), с буксируемого датчика температуры поверхностного слоя воды, с датчиков влажности воздуха и атмосферного давления, направления и скорости ветра. При работе атмосферного лидара собираются профили сигнала обратного рассеяния в диапазоне высот от 100 м до 120 км. В режиме дискретных измерений поступают данные стандартных судовых метеорологических наблюдений, результаты зондирования верхнего слоя океана на гидрологических станциях (глубинные профили распределения температуры и солености), данные лазерного спектрохимического анализа проб морской воды и фитопланктона. При дальнейшей обработке данных в систему вносятся спутниковые данные о цвете морской поверхности (со сканеров 8еа'^Б8 или МОБК) и о температуре морской поверхности со спутников серии КОЛА. В настоящее время идет проработка методики обработки и хранения данных, получаемых с аппаратных комплексов акустического зондирования океана.
Автоматически поступающая информация обрабатывается и отображается в режиме реального времени. Полуавтоматический режим подразумевает промежуточное накопление данных на рабочих станциях измерительных комплексов с автоматической предварительной обработкой и последующей передачей на центральный сервер. Кроме того, имеется возможность внесения произвольных точечных информационных объектов. Частично разработана подсистема полуавтоматической обработки данных лазерного искрового спектрометра с возможностью идентификации химического состава, а также разрабатывается инструментарий работы со спутниковыми данными (привязка, получение, обработка и анализ данных, коррекция).
Структура системы
Систему структурно можно представить в виде совокупности программных модулей-клиентов (рис. 1): модули сбора данных (модули конвертирования данных и автоматического занесения информации в БД), модули обработки данных, модули обработки запросов, модули визуализации. Модули взаимодействуют с сервером СУБД. Такая организация системы позволяет быстро подключать новые источники информации, не меняя основных компонентов системы и оперативно вносить изменения в существующие.
Конвертеры - программные модули, позволяющие занести разнородные данные, полученные из различных источников в БД автоматически или полуавтоматически. Как
правило, данные, генерируемые различными сенсорами, вводятся полностью в автоматическом режиме. Ввиду того, что данные, получаемые от измерительных комплексов, имеют разную структуру, для каждого вида данных индивидуально разрабатывается конвертер (ОРБ-клиент, Метео-клиент, Спектрум-клиент, Лидар-клиент и другие).
Также имеются конвертеры в другие распространенные форматы данных. Это позволяет в случаях, когда в системе отсутствуют специализированные процедуры, производить обработку данных в других математических пакетах (МаШсаё, МаШЬаЬ).
ГИС-клиент (модуль визуализации) располагает возможностями отображения в удобном виде накопленной информации. Для этого в нем имеются инструменты работы с картографическими данными и данными измерений. Также он имеет некоторые вспомогательные функции - расчет расстояний, печать, идентификация, нанесение информационных меток и маркеров, построение диаграмм и графиков и другие.
Конвертер флюориметра
Конвертер GPS
_
Конвертер искрового спектрометра
Рис. 1. Структурная схема ГИС.
Сервер СУБД исполняет роль интегрирующего центра, управляющего хранением данных и обеспечивающего возможность удаленного доступа к информации. Резервный сервер предназначен для сохранения работоспособности системы при нештатных ситуациях на основном сервере. Информация с основного сервера автоматически резервируется на запасном и в случаях утери информации или порчи БД основного сервера имеется возможность, не останавливая процесса сбора-обработки, восстановить её с резервного.
Конвертеры, модули обработки и программы ГИС-клиент были написаны в среде Delphi 6, работа с СУБД производится через BDE (Borland Database Engine) и ADO (ActiveX Data Objects). СУБД - Microsoft SQL Server 2000.
Модуль визуализации
Программа VIS (Visual Information System) является основным рабочим инструментом экспедиционной геоинформационной системы мониторинга океана и атмосферы. Она предназначена для отображения собираемых в ходе экспедиций данных, а также результатов их обработки с пространственно-временной привязкой в режиме реального времени. Программа включает ряд связанных модулей:
• модуль картографии;
• модуль временных диаграмм;
• модуль диаграмм рассеяния.
Модуль картографии, пожалуй, можно рассматривать как базовый. Он позволяет отображать на картооснове пространственное распределение собранных данных вдоль пройденного маршрута. Может быть выбран район и масштаб отображения. В качестве картоосновы может быть подключено произвольное количество слоев в форматах ЕБЫ. Данные на карте отображаются в виде слоев точек или прочих маркеров. Цвет точки соответствует некоторому диапазону значений какой-либо отображаемой величины. Также среди возможностей имеется загрузка привязанных изображений (например, спутниковых снимков). Источником информации является база данных. Картографическая часть является основным инструментом формирования запросов к информации, хранящейся в БД. Далее эта информация может быть отображена на какой-либо диаграмме или экспортирована в другие форматы. Кроме основных инструментов работы с картой (изменение масштаба и района отображения) присутствует ряд полезных вспомогательных функций - вычисление расстояний на проложенном маршруте и времени их прохождения, идентификация информационных объектов, нанесение маркеров времени и точечных информационных объектов. Одновременно может отображаться произвольное количество картографических или информационных слоев из БД. Модуль выполнен с использованием библиотеки компании ЕБЫ МарО^ейБ. На рис. 2 приводится пример отображения на карте маршрута судна и некоторых данных измерений.
Рис. 2. Панель картографической информации.
Модуль временных диаграмм. Он носит вспомогательный характер и предназначен в первую очередь для оценки объема и временного распределения собранных и обработанных данных. Он позволяет отображать данные в виде линий маркеров, где цвет и форма маркеров связаны со значениями измеренных величин. Модуль дает возможность выборки любых данных по времени. На рис. 3 показан пример рабочего окна модуля.
Рис. 3. Временные диаграммы.
Модуль диаграмм рассеяния. Модуль предназначен для просмотра и анализа пространственно-временных распределений для любых двух наборов регулярно получаемых данных по любому участку маршрута. Он позволяет отображать данные в виде диаграмм рассеяния, например, диаграммы Q-Chl, где Q - интегральный параметр спектра флюоресценции растворенного органического вещества (РОВ) и Chl -концентрация хлорофилла А. При отображении возможно предварительное сглаживание данных для устранения шума с заданным временным окном. Также возможен обратный переход - по выделенному участку диаграммы, например, содержащему какие-либо особенности, на карте выделяются точки измерений, соответствующие этому участку диаграммы. В частности, это позволяет оперативно производить классификацию вод океанов и морей с использованием различных критериев (диаграмм T-S, температура-соленость, Q-Chl и так далее) на любых масштабах. Кроме того, имеется возможность экспорта данных, связанных как со всей диаграммой, так и с некоторой её областью в универсальный ASCII формат для последующей обработки и детального анализа.
Рис. 4. Диаграммы рассеяния.
Разработан ряд дополнительных модулей, интегрированных в программу VIS. Это модуль обработки данных флюориметра и модуль обработки и отображения данных лидарной станции. Также создан ряд модулей для промежуточной обработки и фильтрации данных, которые не имеет смысла объединять в общий интерфейс, поскольку
они предназначены для автоматической работы и выполняют взаимно не пересекающиеся задачи. В настоящее время модуль визуализации дополняется следующими функциями:
• выделения участка произвольной формы на диаграммах рассеяния для расширения возможностей кластерного анализа различных характеристик вод (в настоящее время поддерживается выделение только по диапазону);
• статистический и кластерный анализ (построение регрессий, гистограмм распределений, корреляционных функций, классификация типов вод по различным характеристикам и другие);
• анализ растровых данных для работы со спутниковыми снимками;
• настройка и сохранение конфигураций интерфейса пользователей.
Прочие модули и компоненты системы
За время экспедиций 2000-2003 годов на ПУС «Надежда» было разработано большое количество программных модулей системы, служащих для сбора данных с различных аппаратных комплексов и импорта из других форматов. Описание некоторых наиболее важных и регулярно используемых приведено ниже.
• Программа ОРБ-Ттрог! предназначена для непрерывного приема и записи в БД навигационной информации с ОРБ-приемника. В базу данных обычно с 6-ти секундным интервалом (интервал может изменяться от 2 секунд до 1 часа) записываются спутниковое время, координаты судна, скорость, ОРБ-альтиметрия. Эта информация используется для географической привязки других данных.
Рис. 5. Панель программы ОР8-1шрог1:.
Панель программы (рис. 5) отображает информацию о времени последней записи, содержимом буфера, количестве успешных записей, количестве резервированных записей. Резервированные записи обычно появляются в периоды повышенной нагрузки сервера БД либо во время сбоев. Когда программа не успевает за отведенное время сохранить запись, она записывает её в файл, откуда информация импортируется в БД.
• СЫ-са1сиЫог - расчетный модуль (рис. 6). Предназначен для вычисления концентрации хлорофилла А и интегрального параметра РОВ. Исходными данными являются ЛИФ-спектры, полученные с лазерного проточного флюориметра. В силу особенностей аппаратуры спектры имеют большой уровень шума и случайный сдвиг шкалы длин волн, меняющийся от спектра к спектру. Также спектры для различных типов вод могут весьма отличаться по форме и амплитуде. Модуль позволяет контролировать качество автоматического процесса расчета и в случае необходимости менять некоторые ее параметры - избирательность фильтрации, степень сглаживания, диапазоны сдвига спектров по шкале длин волн. Обработка ЛИФ-спектров сводится к следующему. По нескольким критериям выделяются сбойные спектры. Такими критериями являются: корреляция с ближайшими по времени спектрами, площадь под огибающей в заданных диапазонах длин волн, уровень шума. Далее, если это необходимо, производится сдвиг спектров по длинам волн по максимуму корреляции с эталонным спектром. Эталонный спектр выбирается из заданной области соседних спектров по минимуму уровня шума и максимуму корреляции с ближайшими спектрами. В каждом спектре выделяются сигналы комбинационного рассеяния воды и флюоресценции хлорофилла А (их отношение определяет концентрацию хлорофилла А), так же выделяется подложка спектра, площадь под которой характеризует растворенное в морской воде органическое вещество. Далее выполняется расчет отношения максимумов пиков комбинационного рассеяния (КР) воды и флюоресценции хлорофилла-А [1]. Программа позволяет находить концентрации от 0.05 до 4-6 мкг/литр. Обычно концентрация хлорофилла в мировом океане колеблется от 0.1 до 3 мкг/л. Однако встречались участки (шельфы островов Ирландия, Великобритании и
Курильские проливы) с чрезвычайно высокими концентрациями более 1 0 мкг/л. В этих случаях не представляется возможным корректно определить экстремумы спектральных линий в силу особенностей формы спектров. Сейчас разрабатываются методы, позволяющие решить эту проблему. Рис. 6 показывает окно с результатами предварительной обработки ЛИФ-спектров.
Рис. 6. Внешний вид интерфейса Chl calculator.
В процессе работы над программой была реализована математическая библиотека обработки данных и статистического анализа, используемая многими модулями системы. Библиотека включает порядка 30 функций и процедур (различные фильтры, функции сглаживания, построения регрессий, статистической обработки и прочее).
• Lidar-view - программа предназначена для контроля процесса сбора данных о вертикальных профилях обратного сигнала с лидарного комплекса в нижнем канале измерений (до 11 км). Источником данных является сверхбыстродействующий АЦП, запускаемый синхроимпульсом вспышки лазера и записывающий входящий сигнал, пропорциональный уровню рассеянного атмосферой излучения. Запись стробируется с интервалом времени от 20 нс, что позволяет получать пространственное разрешение до 6 метров. При этом получается максимальная высота принимаемого сигнала около 12 км. Частота импульсов лазера 10 Гц. Работу программы иллюстрирует рис. 7.
Рис. 7. Интерфейс программы Lidar-View.
Программа управляет параметрами измерений АЦП (частота дискретизации, усиление, режимы сбора данных и так далее), автоматически производит запись информации в файлы для последующей передачи в модуль обработки-импорта. Также на её панели отображается текущий профиль обратного сигнала. Имеются функции предобработки данных, заключающиеся в фильтрации, накоплении и сглаживании данных.
• Foton-View - аналог программы Lidar-view. Служит для тех же целей, за исключением того, что информация поступает со счетчика фотонов высотного канала. Вертикальное пространственное разрешение порядка 1 00 метров, максимальная высота принимаемой информации 1 20 км.
• Lidar Import - модуль обработки и импорта в БД результатов работы программ Lidar-View и Foton-View. Основная особенность обработки - изменяемый коэффициент накопления, зависящий от уровня и высоты принятого сигнала.
• Метео Import - программа сбора данных метеорологических наблюдений.
• Dat2GPS - служит для преобразования и записи в БД информации о ЛИФ-спектрах, температуре и электропроводности воды, поступающих с флюрометрического комплекса. Также этот модуль используется для экспорта привязанных к координатам данных для специальной обработки в других пакетах.
Кроме модулей, описанных выше, разработан ряд программ-конверторов, служащих для импорта в БД данных из других форматов и баз данных, а также модули фильтрации и верификации данных, отсеивающие некорректную информацию.
Структуры данных
Основной особенностью данных, определяющей структуру системы и БД, является их разнородность. Она выражается в структуре данных, скорости поступления (непрерывно, пакетами, однократно), временном разбросе (регулярные, нерегулярные), пространственном (точечные, линейные, площадные, объемные), источниках данных (измерительные комплексы, спутниковые снимки, экспорт из других систем). Всё это не позволяет применять какой-то один, более или менее общий способ их сбора, обработки и хранения, и вынуждает использовать индивидуальные модули под каждый источник данных. Одна из задач разработки БД - создание таких структур данных, которые, с одной стороны, обеспечивают целостность информации, а с другой стороны, дают возможность удобной работы с ней. В данном случае информация в БД организована в следующие структурные блоки:
• Метаинформация - описывает основные накапливаемые данные, способы их отображения и ссылки на процедуры их автоматической обработки, в соответствии с типом.
• Системная информация - данные, необходимые системе как таковой. Это геообъекты, информация о картографических слоях (способах их отображения), картографическая информация. Сюда также относится информация о настройках модулей системы.
• Собственно данные измерений, которые условно можно разделить на первичные -получаемые непосредственно с каких либо приборов, возможно с предобработкой, но не несущие в себе окончательно необходимой информации (например, спектры флюоресценции), и результирующие - полученные в результате обработки первичных данных модулями обработки и анализа (например, концентрация хлорофилла).
Так как информация, поступающая в БД, имеет весьма разнородный характер, в частности по своей организации, необходимо разрабатывать структуру таблиц и отношений индивидуально под каждый тип информации. На рис. 8 в качестве примера приведена часть структуры БД, используемая для работы с данными лазерного искрового спектрометра.
Рис. 8. Часть структуры БД для данных искрового спектрометра.
Эта часть содержит ряд таблиц, используемых для хранения и работы с данными:
• GPS - таблица данных географической привязки (координаты судна);
• oma_spectrum - собственно спектры, привязанные ко времени-месту (GPS);
• SPECTROTYPE - тип спектра (условия получения);
• DIAPASONE, CALIBRATION - данные по калибровке измерений.
Некоторые данные ввиду большого объема подвергались сжатию на этапе импорта в
базу данных. Например, за одну ночь работы судовой лидарной станции суммарный объем полученной информации составлял примерно 1 Гб. Хранение такого объема данных в формате реляционных таблиц конечно давало бы определенную гибкость работы с данными, но привело бы к неоправданно большим затратам времени и дискового пространства. В качестве решения этой проблемы на текущем этапе была реализована процедура динамического сжатия вертикальных трасс, которые затем сохраняются в базе данных в BLOB формате (Binary Large Object).
Заключение
ГИС мониторинга характеристик состояния океана и атмосферы использовалась в течение трех лет для проведения мониторинга морских экосистем Дальневосточных морей, в том числе и непосредственно во время морских экспедиций на парусном учебном судне «Надежда» Морского Государственного Университета им. Г.И. Невельского в 20002002 годах [8], и решения задач по мониторингу атмосферы и океана в первом этапе кругосветной экспедиции ПУС «Надежда» в 2003 году. Большинство измерительных комплексов, используемых во время экспедиций, объединены локальной сетью с сервером ГИС. Это позволяло оперативно принимать решения о корректировке условий проводимых измерений и экспериментов по результатам их анализа.
В настоящее время ГИС продолжает развиваться, происходит пополнение базы данных, как результатами, полученными в экспедициях, так и архивными данными, необходимыми при решении конкретных задач, осуществляется дополнение библиотек процедур обработки данных.
Более чем трехлетний опыт работы с ГИС мониторинга океана и атмосферы показал, что ее использование позволяет на качественно новом уровне проводить комплексный анализ данных непосредственно в экспедициях. Система позволяет непосредственно на месте провести сравнительный анализ больших массивов разнородных данных, привязанных к координатам (например, количество только ЛИФ спектров за одну экспедицию 2003 года приблизилось к 35000). Это дает возможность ставить и решать комплексные задачи, например, исследовать влияние атмосферного аэрозоля на биопродуктивность морских вод, где необходимо анализировать большие массивы
данных лазерной флюорометрии верхнего слоя океана и лидарного зондирования
атмосферы, а так же архивные данные.
Список литературы
1. Bukin O.A., Pavlov A.N., Permyakov M.S. et al. "Continuous measurements of chlorophyll-a concentration in the Pacific Ocean by shipborne laser fluoromener and radiometer: comparision with SeaWiFS data". //International Journal of Remote Sensing. V. 22. #2/3. 2001. p. 415-427.
2. Букин О.А., Пермяков М.С., Майор А.Ю., Павлов А.Н., Скороход Г.В., Чекункова В.В., Царева О.С., Тархова Т.И. Связь параметров спектров флуоресценции морской воды, возбуждаемых лазерным излучением, с типом морских вод //Оптика океана и атмосферы. Т. 13, №11, 2000, с. 1011-1014.
3. Букин О. А., Пермяков М.С., Павлов А.Н., Майор А.Ю., Малеенок А.В., Тархова Т.И., Скороход Г.В., Акмайкин Д.А. Использование пассивно-активных методик оптического зондирования для измерения структурных особенностей рапределения биооптических харакиеристик в верхнем слое океана //Оптика Атмосферы и Океана т. 13, № 09, 2000, с. 847-851.
4. Bukin O.A., Pavlov A.N., Permyakov M.S. et al. "Comparision some results of pigment concentration measured by satellite and shipborne remote sensing methods" //Proceedings SPIE #4154-25. 2001. p. 71-76.
5. Рянжин С. В., Ульянова Т. Ю. Геоинформационная система - «Озера Мира» //ДАН, 2000, том 370 №4, с. 542-545.
6. Кондратьев К. Я., Крапивин В.Ф., Пшенин Е. С. Концепция регионального геонформационного мониторинга //Исследование земли из космоса, 2000, № 6, с. 3-10.
7. Крутков В.А. , Полищук Ю. М. Геоинформационное обеспечение мониторинга окружающей среды и климата //Оптика атмосферы и океана, 2002, № 1 , с. 1 2-20.
8. Седых В.И., Хованец В. А., Салеев А.В. Геоинформационные технологии в задачах мониторинга Сахалинского шельфа //Информационные ресурсы и технологии. Сб. материалов 7-ой междунар. научно-практич. конф. - Владивосток: ВФ РТА, 2000. - С. 167-173.
