CC BY
17Математическое и программное обеспечение информационной технологии дистанционного
определения параметров первичной биопродуктивност
Ю.В. Фефилов ffefilov@ncmc.ru)
Всероссийский научно-исследовательский и проектно-конструкторский институт экономики, информации и автоматизированных систем управления рыбного
хозяйства (ФГУП "ВНИЭРХ")
Значительная роль фитопланктона, как показателя биопродуктивности акватории, связана с тем, что он является: первым звеном в морской пищевой цепи, кормовой базой для личиночных и ювенальных рыб, косвенным дешифровочным признаком крупно- и среднемасштабной океанической циркуляции (фронтальных зон, течений, вихревых образований, апвеллингов и др.) [1]. Достоверная оценка первичной продукции в морской воде необходима для более полного понимания и контроля экологических и социально-экономических факторов, связанных с рыбной ловлей и освоением морских пищевых ресурсов. Определение концентрации хлорофилла «а», растворённого органического вещества и взвесей в морской воде может производиться с помощью как контактных, так и дистанционных методов с использованием спутниковых оптических спектрометров.
Естественно, что использование единых для всего океана алгоритмов может приводить к определенным погрешностям для акваторий, которые по своим условиям отличаются от среднеокеанических. Поэтому одна из задач обработки спутниковых данных состоит в разработке региональных алгоритмов, которые обладали бы более высокой точностью по сравнению со стандартными.
В настоящее время функционирует более десяти спутниковых сканеров цвета, производящих дистанционное определение концентрации хлорофилла «а» в морской воде, в то же время, существующее программное обеспечение для обработки этих данных представляет собой, как правило, отдельные программы созданные пользователями таких данных. Исключение представляет собой пакет SeaDAS для обработки данных спутникового сканера SeaWiFS, который в целом удовлетворяет запросам пользователя обрабатывающего данные SeaWiFS с использованием стандартных алгоритмов. В то же время, если предполагается использование региональных алгоритмов, когда производится независимая обработка большого объёма данных, или возникает вопрос совместимости
Введение
выходных данных, обработанных другими программами, появляется необходимость реализации ряда некоторых дополнительных возможностей.
Целью работы является разработка программного обеспечения новой информационной технологии восстановления первичной продуктивности океана по спутниковым данным. Программное обеспечение должно повышать эффективность обработки данных спутниковых видеоспектрометров и достоверность результатов обработки для их последующей интеграции в отраслевую систему мониторинга (ОСМ) Госкомрыболовства России.
Решаемые задачи: математическая и программная реализация региональных алгоритмов восстановления концентрации хлорофилла «а», создание программного комплекса для реализации технологии обработки спутниковых данных.
Работа выполнялась при поддержке гранта INTAS - INFO - 00 - 598.
Биооптические алгоритмы
Существующие методы определения содержания в воде оптически активных компонентов по измеренному спектру коэффициента яркости (или диффузного отражения) можно разделить на две группы: эмпирические (или полуэмпирические) и аналитические. В эмпирических методах отношение или разность коэффициента яркости на двух длинах волн статистически связывается с концентрацией того или иного компонента. Работоспособность эмпирических методов в первую очередь определяется репрезентативностью выборки экспериментальных данных, на основе которых строятся регрессионные соотношения. Аналитические методы используют для связи между спектром и концентрацией оптически активных компонентов соотношения теории переноса излучения и модели оптических свойств воды.
На практике для обработки спутниковых изображений применяются эмпирические (регрессионные) методы. Идея использования отношения яркостей восходящего излучения на двух длинах волн и Х2 соответствующих максимуму и минимуму спектра поглощения фитопланктона, принадлежит работе [2]. Один из первых эмпирических алгоритмов определения концентрации хлорофилла (а точнее суммы концентраций хлорофилла и феофитина (Cchi+Cph) по отношению коэффициентов диффузного отражения r12=R(k1)/R(k2) при À1=440 нм и À2=560 нм приведён в работах [3, 4]. Регрессионный анализ показал, что имеет место линейное соотношение
lg CChl = lg A - B lg Г12
Коэффициенты A и B зависят от типа вод.
Регрессионные алгоритмы, как правило, применимы в диапазоне концентраций хлорофилла 0.02-20 мг/м3. В то же время исключение данных с высоким коэффициентом диффузного отражения Я (такие данные характерны для вод 2-го типа) существенно повышает точность регрессии [5].
В настоящее время получено довольно много регрессионных соотношений, в которых используются как отношение коэффициентов диффузного отражения г12, так и отношения яркостей восходящего излучения для двух длин волн
_ _ в(А) _р(А) Е(А)
^19 _ - _--- ,
12 в(А) Р(А) е(А)
где р(А) коэффициенты яркости восходящего излучения. Эти две величины связаны простым соотношением:
^ _РА) Е(А) _г 0(А) Е(А) 12 ра) е(А) 12 0(А) е(А)'
Учитывая, что параметр 0 (0~5 - коэффициент пропорциональности между коэффициентом яркости и коэффициентом диффузного отражения) слабо зависит от А и отношение освещённостей Е(А,1)/Е(А2) для ^=440 нм, А2=550 нм также близко к единице (равно отношению солнечных постоянных «1.05), можно считать, что г12 =
=р(А1)/р(А2).
Некоторые из существующих регрессионных алгоритмов приводятся в таблице 1, где Ьн'п - нормализованные значения исходящего излучения, Rrs - коэффициенты диффузного отражения.
Стандартный алгоритм SeaWiFS в настоящее время выглядит следующим образом
С _ 10ао + а я+а2я 2 + а3я3 + а
Я (490)
где Я _ Г!- - соотношения коэффициентов диффузного отражения для длин волн
(555)
490 и 555 нанометров. Значения коэффициентов а следующие: а=0.341; а;=-3.001; а2=2.811; аз=-2.041; а¥=-0.040;
При разработке региональных алгоритмов производился анализ соотношений Я35 и Я45, после чего для соотношения, для которого зависимость была наилучшей, методом наименьших квадратов подбирались коэффициенты а¡.
-0.24 -0.2 -0.16 -0.12 -0.08 -0.04
|д 1*35
-0.16 -0.12
-0.08 -0.04 |д 1*45
0 0.04 0.08
Рис. 1 Зависимость между концентрацией хлорофилла и соотношением яркостей нормализованного восходящего излучения в двух спектральных каналах 490 и 555нм (рисунок слева) и 510 и 555нм (рисунок справа) для Охотского моря
п-| Р35 10.00
Рис. 2 Зависимость между концентрацией хлорофилла и соотношением яркостей нормализованного восходящего излучения в двух спектральных каналах 490 и 555нм (рисунок слева) и 510 и 555нм (рисунок справа) для района Канарского апвеллинга
На рисунках 1 и 2 приводятся зависимости между концентрацией хлорофилла и соотношением яркостей нормализованного восходящего излучения в двух спектральных каналах для районов Охотского моря и Канарского апвеллинга. Основываясь на анализе этих соотношений, автор предлагает следующие зависимости для этих регионов: ^Ссы = 0.752 • Я353 - 0.077 • ЯЪ5 - 3.308 • Я35 + 0.248 - для Канарского апвеллинга [6] и
^Ссы1 = -2.542 • Я35 - 0.135 - для Охотского моря [7], где Я35 = ^
К* (490) К (555)
0.5
0.5
0.4
0.4
0.3
0.3
О 0.2 —
О 0.2 —
0.1
0.1
0
0
0.1
-0.1
0.00
00
К45
0.10
00
Таблица 1
Эмпирические алгоритмы восстановления Ссы
Название Пар. Алгоритм Коэффициенты CctmKa
Global Processing GPs ' [C+P] C13 = 10A(a0+ a1*R1) C23 = 10A(a2+ a3*R2) C13; IF C13 and C23 > 1.5ug/l Then [C+P]= C23 R1 = Log(Lwn443/Lwn550) R2 = Log(Lwn510/Lwn550) a = [0.053 , -1.705, 3.3266 , -2.440] Evans and Gordon 1994
Clark 3band(C3b) [C+P] 10A(a0 + a1*R) R = Log((Lwn443+Lwn520)/Lwn550) a = [0.745, -2.252] (Muller-Karger et al. 1990; D.Clark)
Aiken 21+23 C C_21 = EXP(a0 + a1*Ln(R)) C_23 = (R +a2)/(a3 + a4*R) C_21; IF C < 2.0ug/l THEN C = C_23 R = Lwn490/Lwn555 a = [0.464, -1.989, -5.29, 0.719,-4.23] Aiken et al. Vol.29,1995
Aiken 22+24 [C+P] C_22 = EXP(a0+a1*Log(R)) C_24 = (R +a2)/(a3 + a4*R) C_22; IF [C+P] < 2.0ug/l THEN [C+P] = C_24 R = Lwn490/Lwn555 a = [0.696, -2.085, -5.29, 0.592,-3.48].
OCTS_C C 10A(a0 + a1*R) R = Log((Lwn520 + Lwn565)/Lwn490) a = [-0.55006, 3.497] Science on the GLI Mission, p.16 Ocean Optics XIII, Halifax, Oct. 96
OCTS_P [C+P] 10A(a0 + a1*R1 + a2*R2) R1 = Log(Lwn443/Lwn520) R2 = Log(Lwn490/Lwn520) a = [0.19535, -2.079, -3.497]
CalCOFI 2-band Linear. C 10A(a0 + a1*R). R = Log(Rrs490/Rrs555) a = [0.444,-2.431] M. Kahru, G. Mitchell.
CalCOFI 2-band Cubic C 10A(a0 + a1*R + a2*RA2 + a3*RA3). R = Log(Rrs490/Rrs555) a = [0.450,-2.860,0.996,-0.3674]
CalCOFI 3-band C EXP(a0 +a1*R1 + a2*R2) R1 = Ln(Rrs490/Rrs555) R2 = Ln(Rrs510/Rrs555) a = [1.025, -1.622, -1.238]
CalCOFI 4-band C EXP(a0 + a1*R1 + a2*R2) R1 = Ln(Rrs443/Rrs555) R2 = Ln(Rrs412/Rrs510) a = [0.753, -2.583, 1.389]
Morel 1 C 10A(a0 + a1*R) R = Log(Rrs443/Rrs555) a = [0.2492, -1.768] Ocean Optics XIII, Halifax, Oct. 96
Morel 2 C EXP(a0 + a1*R) R = Ln(Rrs490/Rrs555) a = [1.077835, -2.542605]
Morel 3 C 10A(a0 + a1*R + a2*RA2 +a3*RA3) R = Log(Rrs443/Rrs555) a=[0.20766, -1.82878, 0.75885,-0.73979]
Ocean Chlorophyll C 10A(a0 + a1*R + a2*RA2 + a3*RA3) +a4 R = Log(Rrs490/Rrs555) a = [0.341, -3.001, 2.811, -2.041, -.040] SEABAM, J.O'Reilly, S.Maritorena
Программное обеспечение
В результате проведённого автором анализа существующего программного обеспечения, используемого для обработки спутниковых данных [8], а так же алгоритмов восстановления параметров первичной продуктивности [6,7] были сформулированы следующие требования к программному обеспечению отраслевой информационной технологии:
• в связи с тем, что стандартная процедура атмосферной коррекции может давать существенные погрешности [6,7], программное обеспечение должно обеспечивать возможность использования моделей атмосферной коррекции предлагаемых пользователем;
• поскольку использование единых для всего океана биооптических алгоритмов может приводить к значительным погрешностям для акваторий [6,7], программное обеспечение должно обеспечивать возможность расчета концентрации хлорофилла «а» с использованием алгоритмов отличных от стандартных;
• программное обеспечение должно предоставлять пользователю возможность выделения области интересов и расчета концентрации с использованием предопределённых настроек и моделей для заданного географического региона (набора регионов);
• так как стандартом поставки спутниковых данных являются магнитные ленты двух типов (4мм DAT или 8мм Exabyte), то программное обеспечение должно обеспечивать возможность работы с накопителями на магнитной ленте;
• должна быть предусмотрена возможность пакетной обработки файлов, включающая все этапы обработки (расчет биооптических параметров, выделение заданного региона, построение проекции изображения, экспорт результатов в графических, бинарных или ASCII форматах);
• должен быть обеспечен механизм совместимости выходных данных с распространёнными пакетами обработки спутниковых изображений (Erdas Imagine), геостатистическими программами (Surfer) и геоинформационными системами (ArcView GIS версий 3.Х и 8.Х).
Для реализации функций, перечисленных выше, автором было разработано соответствующее математическое и программное обеспечение.
Разработанный комплекс программ функционирует в среде программирования IDL под управлением операционной системы Red Hat Linux 7.3. Комплекс является дополнением к пакету для обработки спутниковых изображений - SeaDAS.
Программы для обработки исходных спутниковых данных написаны на языке программирования IDL, разработанном и распространяемом компанией Research Systems, Inc.(http://www.rsinc.com).
IDL (Interactive Data Language) - среда программирования, ориентированная на обработку массивов, и содержащая богатую библиотеку процедур математического анализа и визуализации данных. Пакет предназначен для инженерных и научных расчетов. Выбор данного пакета обусловлен в значительной степени тем, что большинство модулей SeaDAS написано на языке IDL и новые модули могут быть туда легко интегрированы. Интерпретатор языка IDL является необходимым условием работоспособности пакета SeaDAS, поэтому является предустановленным, что также делает целесообразным его использование.
Программное обеспечения предназначено для расчета концентрации хлорофилла «а» по спутниковым данным, построения карт концентрации, нанесения дополнительной информации, экспорта данных.
На данный момент разработаны и реализованы программные модули, осуществляющие следующие функции:
• возможность расчёта концентрации хлорофилла с использованием алгоритмов, отличных от стандартного;
• использование предопределённых настроек (параметров задаваемой географической проекции и алгоритмов восстановления) при выборе пользователем региона из предложенного в меню списка;
• обработка изображений в пакетном режиме (выделение участка с заданными географическими координатами на снимке, расчет биооптических параметров, проекция изображений, наложения береговой линии и координатной сетки, экспорт результатов);
• наложение в векторном виде на карты концентрации хлорофилла и построение в виде отдельных карт метеорологической информации (сила и направление ветра, влажность)
• работа с накопителем на магнитной ленте, управление устройством HP Superstore DAT 24, чтение с магнитной ленты спутниковых данных в формате архива tar.
\7
х
Данные формата Ь1 (регион)
X
Карты +
дополнительные данные
Рис. 3 Схема обработки данных
Разработанный программный комплекс реализует схему обработки данных спутниковых видеоспектрометров, изображенную на рисунке 3 и включает в себя следующие основные модули:
prog_main_menu
Данный модуль реализует главное меню программы и осуществляет вызов остальных программ. Запуск программы осуществляется из командной строки. Представляет собой графическую панель со следующим набором кнопок: Settings - вызов программы установок и настроек пользователя; Regional processing - вызов меню выбора регионов; Meteo Data - модуль работы с метеорологическими данными; Tape - вызов модуля работы с накопителем на магнитной ленте; Unpack - программа пакетной распаковки файлов; About - информация о программе; Exit - выход из программы.
Рис. 4 Главное меню программы
prog_subset_region
Подпрограмма выбора региона. В графическом режиме предлагает пользователю выбор региона из списка. На данный момент в списке содержатся следующие предопределённые регионы:
Sakhalin - район северо-востока острова Сахалин Far East Region - район Дальнего Востока North Atlantics - район Северной Атлантики Barents Sea - район Баренцева моря White Sea - район Белого моря Caspian Sea - район Каспийского моря Gulf of Mexico - Мексиканский залив Canary Upwelling - район Канарского апвеллинга Black Sea - Чёрное и Азовское моря
User Region - координаты района задаются пользователем.
После выбора региона при нажатии кнопки Done программа запускает модуль обработки данных prog_l1_proc и передаёт ему в качестве параметра номер выбранного региона, или координаты левого верхнего и правого нижнего углов района, в случае если регион задан пользователем.
^ Sakhalin
V Far East Region
■yf North Atlantics
V Barents Sea
■yf White Sea
V Caspian Sea
■yf Gulf of Mexico
V Canary Upvelling
■yf User Region
Done
Exit
Рис. 5 Меню выбора региона
prog_H_proc
Основной модуль, отвечающий непосредственно за обработку данных. Осуществляет выделение заданного региона из всего объёма данных, обработку данных с использованием выбранного алгоритма и параметров обработки, сохранение результатов обработки в виде графических карт в формате png или текстовых или бинарных файлов заданного формата. Поддерживает пакетную обработку данных. При запуске получает в качестве параметров номер выбранного пользователем региона, или параметры региона, введённые пользователем вручную. Входными данными для программы являются спутниковые данные уровня обработки Level 1a. Программа производит пакетную обработку всех данных такого типа, находящихся в директории, путь к которой задан в настройках.
prog_meteo
Подпрограмма работы с метеорологическими данными. Осуществляет построение растровых карт метеорологических параметров (влажность, сила и направление ветра) или наложение этих данных в векторном виде на карты концентрации хлорофилла.
prog_tape
Модуль работы с накопителем на магнитной ленте. Осуществляет копирование выбранного файла, или всей информации с магнитной ленты на жёсткий диск (директория, в которую производится копирование задана в настройках), а также основные сервисные функции.
Rewind - перемотка на начало магнитной ленты
Forward - перемотка на один файл вперёд
Back - перемотка на один файл назад
Read the File - чтение текущего файла с ленты
Read the tape - чтение всей магнитной ленты
Exit - выход из программы работы с магнитной лентой
1 1ЕШЭ ЩЩр х
i Rewind I
Forward
Back
Read the File
Read the Tape
Exit
1-II
Рис. 6 Модуль работы с накопителем на магнитной ленте prog_unpack
Программа распаковки спутниковых данных и файлов со вспомогательной информацией. Определяет тип архива и производит пакетную обработку всех заархивированных файлов в директории, которая указана в настройках.
Вся информация о ходе и этапе обработки, обрабатываемых файлах и ошибках, возникших в ходе работы, выводится в окно сообщений (рис. 7), которое остаётся открытым, пока запущено основное меню программы.
Рис. 7 Окно сообщений программы
На рисунке 8 приводится результат работы программы - карта концентрации хлорофилла «а» для региона «Сахалин» в цилиндрической проекции, построенная с использованием регионального алгоритма, с нанесёнными береговой линией, координатной сеткой и наложенными данными по направлению и скорости ветра в векторном виде.
Рис. 8 Пример результата работы программы
Для функционирования программного обеспечения должны выполняться следующие системные требования:
Входными данными для разработанного комплекса программ являются спутниковые снимки уровня обработки Level 1a, а так же дополнительная информация по атмосферным и метеорологическим условиям в распространённом формате хранения научных данных - HDF (Hierarchical Data Format). Данные могут быть как в исходном, так и в заархивированном виде, или находиться на магнитной ленте.
Выходные данные представляют собой спутниковые карты и рассчитанные значения биооптических параметров в виде графических, текстовых и бинарных файлов.
Оперативная память:
192 Mb (обычный пользователь) 384 Mb (работа с HRPT)
Жесткий диск:
Накопитель на магнитной ленте:
Диагональ монитора:
разрешение монитора:
Видеопамять:
Операционная система:
Интерпретаторы:
Компиляторы:
не менее 9 Гб
4мм (DAT) или 8мм Exabyte
не менее 19"
не менее 1280x1024
не менее 20 Мб
Red Hat Linux 7.1, 7.2 или 7.3
IDL 5.4 или IDL 5.5
C и FORTRAN
II
Выводы
В результате работы были разработаны и программно реализованы региональные алгоритмы восстановления концентрации хлорофилла «а» для районов Канарского апвеллинга и Охотского моря. Погрешности восстановления концентрации хлорофилла «а» у предложенных алгоритмов не превышают 40%, тогда как ошибки стандартного алгоритма могут превышать 200%. На базе этих алгоритмов было создано программное обеспечение, реализующее информационную технологию обработки данных спутниковых оптических сканеров.
Разработанное программное обеспечение повышает функциональность стандартных пакетов обработки спутниковых данных, сокращает время, затрачиваемое на обработку большого количества изображений, а также позволяет повысить точность результатов за счёт использования региональных алгоритмов.
Созданное программное обеспечение, наряду со стандартным, является неотъемлемым компонентом информационной технологии восстановления параметров первичной продуктивности для задач мониторинга и прогнозирования океанографических и гидробиологических параметров морских акваторий на основе спутниковых данных и впоследствии будет интегрировано в ОСМ в качестве стандартного эксплуатационного ПО региональных центров мониторинга.
В настоящее время разработанная автором информационная технология проходит опытную эксплуатацию в составе ОСМ, данная технология при внедрении в ОСМ позволяет осуществить ежесуточное обеспечение отраслевых потребителей картами, повышающими качество информационного обеспечения краткосрочного прогнозирования промысловой обстановки.
Литература
1. Васильков А.П., Романов А.А Методическое обеспечение проблемы дистанционного зондирования первичной биопродуктивности морских вод по спектрорадиометрическим измерениям в рыбохозяйственных целях. // Новые информационные технологии и дистанционные методы отраслевого мониторинга промысловых районов мирового океана. Сборник научных статей, Москва, Издательство ВНИРО, 1996.
2. Clarke G. L., Ewing G. C., Lorenzen C.T. Spectra of backscattered light from the sea obtained from aircraft as a measure of chlorophyll concentration. - Science, 1970, v. 167, N 3921, p. 1119-1121.
3. Morel A. Optical properties of pure water and pure sea waters. In optical aspects of oceanography. Academic Press, 1974.
4. Morel A., Prieur L. Analysis of variations in ocean color. Limnol. Oceanogr., 1977, v.22, N 4, p 709-722.
5. Morel A. In water and remote measurements of ocean color. Boundary-Layer Meteorol., 1980, v.18, N 2, p 177-201.
6. Романов А.А., Фефилов Ю.В. Учет региональных особенностей атмосферы и акваторий в алгоритмах определения первичной продуктивности по спутниковым данным для района Канарского апвеллинга // Тезисы докладов XII международной конференции по промысловой океанологии (Светлогорск, 9-14 сентября 2002 г.)/ Калининград: Издательство АтлантНИРО, 2002, с.210-211.
7. Фефилов Ю.В. Результаты подспутниковых экспериментов по верификации данных сканера SeaWiFS в Охотском море. Электронный журнал "Исследовано в России", 149, 1810-1820, 2003. http://zhurnal.ape.relarn.ru/articles/2003/149.pdf
8. Романов А.А., Фефилов Ю.В. Разработка пакета прикладных программ отраслевой информационной технологии мониторинга первичной продуктивности океана по спутниковым данным // Биопромысловые и экономические вопросы мирового рыболовства. Аналитическая и реферативная информация. Выпуск 2, Москва, издательство ВНИЭРХ, 2003, с.35-45.
