CC BY
36
УДК 519.9
И.В. Бойченко, М.Ю. Катаев, А.И. Петров
Распределенная информационная система автоматизации обработки данных лидарного зондирования
Рассмотрена концепция и реализация распределенной системы обработки лидарных данных атмосферного зондирования. Приведены структура системы и ее отдельных блоков, математический формализм и примеры интерфейсной части.
Введение
В настоящее время по всему миру лидарные станции являются поставщиком актуальных данных о процессах, происходящих в верхних слоях атмосферы. Эти станции находятся по всему земному шару. В России — это города Томск, Якутск, Владивосток и др. Данные, полученные на этих станциях, позволяют изучать атмосферные процессы в стратосфере и мезосфере. Накопление, обработка и последующий анализ являются первостепенными задачами в этой области.
Географическая распределенность данных ставит проблему их сбора для целостной обработки с рабочих мест, что ставит вопросы о накоплении и предоставлении доступа к этим банкам накопленных данных. В Германии, например, существует сеть, которая накапливает данные в одном месте, но не производит их обработку, выступая только в роли накопительного хранилища. На станциях лидарного зондирования атмосферы (ЛЗА), как правило, разрабатывается собственное программное обеспечение, которое настраивается под конкретную реализацию лидара. Эти программы позволяют получить надежный результат, но при сравнении с результатами других лидарных станций, изменении условий измерений будет происходить искажение самого результата. Для изменения этой ситуации нами предлагается проводить обработку лидарных данных одной или нескольких лидарных станций при помощи одной программы. Способ реализации программы обработки предлагается в виде клиента серверной системы. С этой целью для оперативного обмена и обработки данных ЛЗА в Томском государственном университете систем управления и радиоэлектроники совместно с ИОА СО РАН создается распределенная информационная система [1].
Архитектура системы предполагает наличие в Томске сервера приложений, который позволяет удаленно обрабатывать данные лидарного зондирования атмосферы с целью восстановления профилей концентрации озона и температуры, отношения аэрозольного рассеяния. Планируется создание клиентского программного обеспечения, реализующего отдельные алгоритмы обработки самостоятельно, без обращения к центральному узлу-серверу. Но в случае необходимости с помощью веб-интерфейса можно будет осуществить полный цикл обработки только с помощью главного узла системы. Сервер также предоставляет возможности пополнения банка экспериментальной информации и обновления клиентского программного обеспечения.
Данная работа является продолжением [1]. Здесь мы показываем структуру и функциональные возможности программной системы с учетом изменений, потребовавшихся в ходе годичной эксплуатации.
Структура распределенной информационной системы
Особенности обработки данных являются однотипными для разных лидарных станций, где применяются одинаковые методы измерений. Так, например, метод дифференциального поглощения одинаково реализуется как видимой, так и ИК области спектра. Отличие наблюдается лишь в способе измерений, типе детектора, величине шумов и фонового сигнала, но не в основе метода измерений. В этом случае типичная блок-схема цикла измерение-обработка может быть в виде, представленном на рис. 1.
На большинстве лидарных станций результат измерений обрабатывается непосредственно в момент поступления путем считывания данных из базы данных измерений. Результаты
обработки (профили концентрации газов, температуры или отношения рассеяния) накапливаются в соответствующей базе данных результатов (см. рис. 1). При сравнении результатов нескольких лидарных станций, как правило, сравниваются результаты обработки данных измерений без тщательного анализа алгоритмов обработки. Алгоритмы обработки могут вносить некоторые систематические погрешности, которые так или иначе влияют на получаемый результат. Базы данных результатов измерений в редких случаях передаются и обрабатываются сторонними алгоритмами.
Рис. 1. Блок-схема цикла измерение-обработка
Ранее нами были разработаны программные системы [2, 3], которые полностью соответствовали процессу обработки измерений, показанному на рис. 1. Однако современное состояние и распространенность Интернета позволяют выйти на несколько другой уровень обработки, накопления и анализа данных лидарных измерений.
Нами предлагается подход, основанный на современных Интернет технологиях, позволяющий связать несколько лидарных станций в один узел, иметь однотипные обрабатывающие алгоритмы, проводить одновременные компании измерений и т.д.
Программа-сервер обладает максимальными функциональными возможностями по накоплению, обработке, сравнению данных измерений. Программа-клиент имеет доступ к результатам, которые возникают на стороне программы-сервера. Программа-клиент в принципе является независимой, однако ее наполнение функциональными возможностями определяется программой-сервером.
Каждая станция ЛЗА имеет программу-агент, которая может взаимодействовать с программой-сервером и передавать данные измерений для пополнения центральной базы данных измерений (рис. 2). При этом географическая отдаленность станций от сервера не имеет значения, требуется лишь наличие стабильного Интернет-канала. Собранные со станций лидарного зондирования данные будут доступны для обработки и анализа на сервере посредством программы-клиента.
Атмосфера "" ^ %
Рис. 2. Схема сбора данных
Методики восстановления профилей концентрации озона, температуры и отношения рассеяния
Кратко опишем основные функциональные возможности, которые заложены в программу обработки. Пользователь может выбирать между восстановлением того или иного атмосферного параметра: высотный профиль концентрации газа, отношения аэрозольного рассеяния или температуры.
Определение вертикального профиля содержания газа из лидарных эхо-сигналов, полученных с помощью двухволнового лидара, сводится к задаче дифференцирования функции
№ [3-5]:
Кг) =
+ ВД; (1)
1 ' ¥(2) = -1П 2
Ролг(г)
где , 80рр — зарегистрированные с высоты г эхо-сигналы на длинах волн Хоы и ХОРГ ; Ролг'Рсжг — коэффициенты обратного рассеяния на соответствующих длинах волн; тоа/ ' т<жр — оптические толщи молекулярного рассеяния и аэрозольного ослабления.
В выражении (1) предполагается, что величины , 8ОРР очищены от сигналов фонового излучения атмосферы. Функция Ш(г) задается из модельных представлений либо определяется из независимого эксперимента. При посылке импульсов излучения в узкой спектральной области, занимаемой отдельной колебательно-вращательной линией, функцию можно положить равной нулю.
Концентрация газа р(г) определяется из выражения
Р(г) = 2^ф(г)' (2)
где <р(г) — регуляризованный аналог производной f'(г) функции f{z); АК = Кок - Корр — дифференциальное сечение поглощения исследуемого газа.
Плотность атмосферы ра(г) связана с объемным коэффициентом молекулярного рассеяния а(г) соотношением:
офО = а • ра(г) (3)
где а — коэффициент молекулярного рассеяния на единичную плотность.
Величину объемного коэффициента молекулярного рассеяния а(г) можно вычислить из данных реального эксперимента по выражению [5]:
а(г) =-ШЕИИс-> и(2) = 5(2) .г2>
а;1-2 ¡[Щ2-)/ио]6г'
где — эхосигнал от рассеивающего объема на высоте г\ га — высота калибровки лидара (высота, с которой мы хотим восстанавливать профиль коэффициента молекулярного рассеяния а(2)); а0 = а(г0).
Таким образом, измеряя лидарные сигналы Щг), мы можем восстановить коэффициент молекулярного рассеяния и затем плотность воздуха ра(г). Разумеется, область высот, в которой хотим получить Рд(г) по оптическим рассеивающим свойствам, полностью определяется соотношением аэрозольного и молекулярного рассеяния (влияние аэрозольной компоненты должно быть минимальным).
Для того чтобы получить формулы расчета давления Р, температуры Т и плотности воздуха ра(г) по измеренному объемным коэффициенту молекулярного рассеяния а(г), необходимо воспользоваться двумя уравнениями — статики и состояния идеального газа [5, 6-8]:
йР = -враг, р = ^
из которых следует
и в заключение имеем
Т(г) =
Р(г)
ТоР
Л
г,
(4)
где р(го) = р0 — плотность воздуха в точке калибровки; Я — универсальная газовая постоянная; ц — молекулярный вес воздуха; ё — ускорение силы тяжести, равное
§{г) = £0(Ф)
/ Д У
2 ; ^0(ф) = ^0(1-а1соз2ф),
+ 2 I
-2
где g0 = 980,616 см • с'2 — ускорение силы тяжести на широте ф = 45 град, Кг = 6370 км — средний радиус Земли; ф — широта места; а1 = 0,0026.
При решении обратной задачи лидарного зондирования профиля концентрации озона наличие аэрозольных образований (слоев) может существенно повлиять на точность восстановления, поэтому необходимо знать состояние аэрозольной атмосферы в момент зондирования. Состояние об аэрозольном наполнении можно определить из тех же данных лидарного зондирования, путем расчета отношения аэрозольного рассеяния. Из данных об отношении рассеяния можно установить аэрозольные слои, которые предполагается сопоставить со структурой слоев профиля концентрации озона, что позволит явно разделить физически обусловленную структуру от случайных слоев.
Отношение рассеяния определяется формулой
вд.Ь^ьй).,^; (5)
М*) М2) 1 '
где Ра (г), Рт(г) - коэффициенты рассеяния назад для аэрозоля и молекулярного рассеяния.
Из (5) видно, что отношение рассеяния показывает вклад аэрозольной составляющей по сравнению с молекулярной. В стратосфере вклад молекулярной составляющей более существен и поэтому только слои аэрозоля могут приводить к отклонению величины Я от единицы.
Вычисление отношения рассеяния проводится по выражению
Ы2(2)$т(2) '
здесь С — сигнал в точке калибровки (обычно 25...30 км); £2(г) — пропускание атмосферы.
Реализация распределенной информационной системы
Информационная система представляет собой три взаимодействующие части: приложе-ние-сервер, приложение-клиент и приложение-агент. Все вычислительные возможности, требуемые для обработки данных, содержатся на сервере. Приложение-клиент может обращаться к возможностям сервера посредством сети, а приложение-агент имеет возможность сбора данных измерений с различных станций ЛЗА в общее хранилище данных на стороне сервера. Клиент является практически инструментом доступа к возможностям сервера. Приложение-сервер представляет собой вычислительную систему, состоящую из нескольких логических частей, которые позволяют обеспечивать требуемую функциональность. Хранилище данных дает возможность хранить и накапливать данные измерений ЛЗА, промежуточные и конечные результаты обработки этих данных (рис. 3). Управляющий модуль обеспечивает координированную работу остальных частей. У него имеется общая информация по всей системе, что позволяет ему распределять вычислительные задачи. Он обеспечивает взаимодействие с приложениями-клиентами и сохраняет измеряемые данные и результаты обработки в хранилище. Вычислительные модули, получая задания и данные от управляющего модуля, непосредственно производят требуемые вычисления.
Рис. 3. Схема архитектуры системы
Такая реализация системы требует четкого описания всех моделей и данных, так как сервер может предоставлять доступ только к полностью описанным вычислительным возможностям. Пользователь системы выбирает модель, в ней задачу и затем параметры задачи. После этого система определяет порядок необходимых вычислений и отправляет их на исполнение. Полученный результат сохраняется в хранилище данных (рис. 4).
Рис. 4. Схема порядка работы системы при работе с пользователем
На рис. 5 показана схема устройства приложения-сервера. База данных измерений и результатов предназначена для хранения данных сигналов и вычислений. Этот модуль обеспечивает доступ к структурировано хранимым данным по запросу. Эти данные используются для вычислений, производимых системой, а также для представления пользователям. При желании можно получать промежуточные данные вычислений. База данных регулярно пополняется новыми данными с измерительных станций, которые проходят предварительную проверку.
Рис. 5. Схема приложения-сервера
Вычислительные модули — это совокупность программ, которые используются для произведения удаленных вычислений. Они связаны с управляющим модулем через сеть, что обеспечивает систему возможностью распределенных параллельных вычислений. Система позволяет использовать модули, реализованные на любых языках. Для интеграции таких модулей необходимо будет лишь обеспечить его взаимодействие с управляющим модулем в соответствии с протоколом.
Управляющий модуль обеспечивает взаимодействие вышеописанных модулей, а также отвечает за работу с приложениями клиентом и агентом. Приложения «Сервер», «Клиент» и «Агент» реализованы на языке программирования JAVA. Описание всех моделей, вычислительных модулей и данных проводится на языке XML. Вычислительные модули могут
быть реализованы на различных языках программирования, но преобладающее количество написано на FORTRAN'е. В таком исполнении система может быть установлена и работать под большим количеством операционных систем.
На рис. 6 и 7 приведены образы разработанного веб-клиента. Как видно из рисунков, клиент обладает базами данных измерений и обработанных значений, настройками процесса обработки. На рис. 6 в графическом окне показан сглаженный лидарный сигнал.
m
Файл Вмека Эш Х>ривп распадки ¡4*тр>ммим £грак»
-nix
' !? ; <?!- '
Web-based Client Lidar Sounding of Atmosphere
beta 1.03
OPTDB
Database of measuements
Cwient time; 01 №v 2007, 1Û: 07:46
Switdi view: Correct Sknä I Correct &Ticoth Sfcral I R 1 loo
Рис. 6. Образ клиентского окна «График»
Журнал Зяклаакм |»м.|ру|мигы Справка
Web-based Client Lidar Sounding of Atmosphere
beta 1.03
OPTIONS OaUbaœofneaararenK Database of redits
(ioïjfiti paarretsrs
Current tfcne; 01 Nov 2007, 10:10:12
Savesetwgs \ LoaddefaJts ;
■q-
e strob_duatton (float):
4 spatial.resdutSon (float):
^ HtiOötude (ftaat): Я.0
♦ Correctfrig LIDAR donate
0 tau.slp (float): Ю.00000004
♦ Smoothing
0 te_snooth (striig): ;sei3
0 reoeat_nuTt» (ntager):
* Badqround Radatton
0 wavejangth (dOLÖe); :532
d t» jnoöe tstrtrg): 'auto
0 brjnan.vakjB (double): :0.0
e br_auto_vaiue (doubte): 0.0
• Mftw Model
9 iattufe (double): '62
0 herrischere (strtmj): ÎSOUtfl
0 month (string): IM
• Scattering Ratio
„ cafcrattan_pdnt (tost): <25.
♦ Temperature
o height_t_rr«< (float): ¡40-
Рис. 7. Образ клиентского окна «Параметры обработки»
Заключение
При организации системы в виде клиент-сервер приложений появляется возможность гибкого масштабирования как вычислительных ресурсов, так и количества поддерживаемых моделей и задач. Повышение производительности может быть произведено за счет увеличения числа вычислительных машин, а также оптимизации вычислительных модулей и методов под конкретные задачи. Архитектура базы данных и программного обеспечения для решения указанных выше задач изначально формировалась так, что добавление новых функций не вызвало кардинальных изменений системы в целом и нарушения ее работоспособности. Наличие программы-сервера позволяет пополнять данные измерений с удаленных рабочих станций в автоматизированном режиме и производить обработку данных одновременно с нескольких станций.
Литература
1. Бойченко И.В. Программа распределенной обработки лидарных данных атмосферного зондирования / М.Ю. Катаев, А.И. Петров // Доклады ТУСУРа (Томск). - 2006. - 6(14). -С. 24-29.
2. Cheremisin A.A. Polar stratospheric clouds above Yakutsk according to data of two years lidar observations in 2004-2006 / Cheremisin A.A. Cheremisin, A.V. Kushnarenko, V.N. Mari-chev // Atmospheric and ocean optics (Tomsk). - 2006. - P. 120.
3. Информационная система для обработки, анализа и хранения стратосферных оптических измерений / И.В. Бойченко [и др.] // Оптика атмосферы и океана. - 1999. - Т. 12. -№ 5. - С. 134-141.
4. Бойченко И.В. Информационная система для анализа данных лидарного зондирования озона / М.Ю. Катаев, В.Н. Маричев // Гидрология и метеорология. - 2001. - №12 -С. 96-105.
5. Катаев М.Ю. Зондирование плотности воздуха, давдения и температуры одночастот-ным лидаром: анализ погрешностей / Г.Г. Матвиенко, A.A. Мицель // Оптика атмосферы и океана. - 1996. - Т 9. - № 5. - С. 642-646.
6. Лазерный контроль атмосферы / под ред. Э.Д. Хинкли, В.Е. Зуева — М. : Мир. -1979. - 416 с.
7. Межерис Р. Лазерное дистанционное зондирование / Р. Межерис. - М. : Мир, 1987. -550 с.
8. Применение лазеров для определения состава атмосферы / под ред. В.М. Захарова. -Л. : Гидрометеоиздат, 1983. — 216 с.
Бойченко Иван Валентинович
Канд. техн. наук, доцент каф. автоматизированных систем управления ТУСУРа
Тел.: (3822) 41 31 91
Эл. почта: [email protected]
Катаев Михаил Юрьевич
Д-р техн. наук, профессор каф. автоматизированных систем управления ТУСУРа
Тел.: (3822) 41 31 91
Эл. почта: [email protected]
Петров Андрей Игоревич
Аспирант каф. автоматизированных систем управления ТУСУРа
Тел.: (3822) 41 31 91
Эл. почта: [email protected]
I.V.Boichenko, M.Yu.Kataev, A.I.Petrov
The distributed information system for automation of the lidar sounding data processing
In the article the concept and realization of the distributed system for lidar sounding data of atmosphere processing is considered. The structure of system and its separate blocks, a mathematical formalism and examples of the interface part of distributed system is presented.
