CC BY
57
УДК 519.9
И.В. Бойченко, М.Ю. Катаев, А.И. Петров
Программа распределенной обработки лидарных данных атмосферного зондирования
Приводится описание программы распределенной обработки лидарных данных и ее практической реализации. Программа разработана по принципу «клиент — сервер». Клиент и сервер организованы как web-приложение, причем сервер имеет независимый блок обработки, реализованный на языке Java. Вычилительные операции выполняются с помощью программ, написанных на языке Fortran.
Введение
Лидары завоевали важное место среди других методов измерений в задачах предсказания погоды, изменения климата, изучения экологической обстановки на различных территориях в глобальном масштабе [1-3]. Неоспоримым преимуществом лазерных методов исследования является высокое пространственное и спектральное разрешение, возможность длительных измерений [4-7].
Как правило, лидары устанавливаются на специально оборудованных станциях, хотя возможно расположение на автомобилях и самолетах [7]. В настоящее время лидарная техника изучения атмосферных параметров сосредоточена на получении информации о профилях концентрации газовых составляющих (Н20, Оэ,), аэрозоле (профилях отношения рассеяния) и температуре, а также некоторых других параметров атмосферы (например, параметров турбулентности атмосферы). Информация о лидарных станциях публикуется в специализированных справочниках [8]. Отметим, что для получения информации об иследуемых параметрах атмосферы в ультрафиолетовом и видимом диапазонах спектра используются одинаковые методики с небольшими модификациями. Разные станции имеют похожие схемы цикла «измерение — обработка» (рис. 1). Данные измерений либо обрабатываются сразу, либо накапливаются в специальных хранилищах, как правило, в виде текстовых файлов и обрабатываются позднее. Если результат обработки удовлетворяет заданным критериям, то выходной файл помещается в другое хранилище, именуемое как база данных результатов. Далее следует этап анализа накопленных результатов, например, в виде временных рядов.
Алгоритм обработки экспериментальных данных в основном зависит от метода зондирования и существено не меняется от используемых спектральных диапазонов. Так, например, метод дифференциального поглощения одинаково реализуется как в видимой, так и ИК-области спектра. Отличие наблюдается лишь в типе детектора, величине шумов, фонового сигнала и др., но в не основе метода измерений. В этом случае типичная структурная схема цикла «измерение — обработка» может быть представлена следующим образом (рис. 1).
атмосфера
I Лидар —* Данные —* Программа —» Результат
1
База База
данных данных
измерении результатов
Рис. 1 — Структурная схема цикла «измерение — обработка»
Отметим, что в настоящее время количество лидарных станций в мире, в том числе и в России, неуклонно возрастает, что вызывает необходимость координировать действия станций как на этапе планирования эксперимента, так и при обработке экспериментальных данных. В измерительном плане возникает необходимость проводить совместные измерения
атмосферных процессов (например, циркумполярного вихря [9]), это требует согласования по времени измерений на лидарных станциях, располагающихся на больших расстояниях. На этапе обработки необходима согласованность по методикам обработки и набору учитываемых факторов, таким образом, чтобы результаты обработки можно было бы сравнивать между собой. Такие измерительные кампании именуются как intercomparisons и проводятся для получения регулярных и согласованных данных о каком-либо параметре атмосферы. Примером таких кампаний могут служить европейские программы Earlinet [10] и Sprinters [11].
В настоящее время измерения на каждой лидарной станции в период кампании проводятся согласованно, однако сравнение результатов обработки проходит после завершения кампании. В таких условиях не всегда удается согласовать изменения параметра и методики обработки.
Разрабатываемая распределенная программа обработки лидарных данных призвана решить эти и многие другие вопросы. Главной целью является возможность согласовывания параметров измерительных кампаний и постобработки данных для получения разными научными коллективами однородных, пригодных для сопоставления, результатов.
Описание разрабатываемой программы
Разрабатываемая программа построена по принципу «клиент — сервер». Назначение вебсервера — принимать HTTP-запрос от клиента и транслировать запрос на обработку вычислительному серверу в виде файла данных и исчерпывающего описания условий обработки в формате XML. Функции клиента — отправить на сервер файл с измерениями, выбрать условия обработки, принять обработанные значения (результаты) и далее отобразить и/или поместить их в соответствующее хранилище. XML-файл содержит полное описание условий обработки: последовательность применяемых методов, их параметров, моделей атмосферы и т.д. Схематично взаимодействие «клиент — сервер» показано на рис. 2.
Рис. 2 — Функциональная схема программы распределенной обработки лидарных сигналов.
Объемной стрелкой указана связь «клиент — сервер» через Интернет
Для надежности результаты измерений и обработки хранятся на сервере, поэтому пользователь может сохранять результаты обработки локально по своему усмотрению (на рис. 2 локальная база данных результатов обозначена пунктирными линиями).
Графический интерфейс, предоставляемый клиенту, работает на основе стандарта HTML. Серверная часть, в том числе и формирование графиков, реализована с помощью технологии PHP 5-й версии.
Вычислительный сервер реализован отдельно от веб-сервера для возможности без потерь для работоспособности последнего проводить модернизацию первого. Схематично структура вычислительного сервера представлена на рис. 3. Основными блоками являются анализ входной информации, вычисление параметров атмосферы (профили концентрации газа, температуры и отношения рассеяния) и анализ обработанных результатов.
Проверка входной информации на правильность (возможность быть обработанной) является необходимым атрибутом системы распределенной обработки. В качестве критериев валидности входной информации могут быть приняты следующие: величина погрешности, неотрицательность сигнала, экспоненциальный рост или убывание сигнала с высотой, наличие/отсутствие артефактов (выбросов) и др. После того как входные сигналы прошли проверку, включаются необходимые алгоритмы обработки сигналов. Далее после окончания обработки результаты пересылаются клиенту в виде автоматически созданной HTML-страницы.
Рис. 3 — Блок-схема вычислительного сервера
Реализованная система позволяет пользователям получить доступ к вычислительным возможностям сервера, использовать и пополнять базы данных измерений и результатов. Система также поддерживает многопользовательскую работу, так как имеет клиент-серверную архитектуру на основе стандартов сети Интернет. Запросы каждого пользователя на то или иное действие помещаются в очередь и обрабатываются системой последовательно. Возможно наращивание системы путем увеличения количества вычислительных серверов. Система поддерживает возможность работы с несколькими вычислительными серверами без нарушения целостности данных и конфликтов выполнения вычислений. На рис. 4 приведены схема потоков информации в программе и форматы передаваемой информации.
База данных измерений
Вычислительный сервер
База данных результатов
Графический интерфейс
Рис. 4 — Структура потоков информации и типов данных в программе
Пользователь взаимодействует с системой посредством веб-интерфейса. На рис. 5 приведена форма «Календарь», позволяющая исследователю выбрать для обработки сигналы из архива (базы данных измерений). Пользователь может пополнить базу данных измерений, загрузив файл из своей локальной базы на сервер для общего доступа.
На рис. 6 представлена форма просмотра результатов с одним из вариантов графика сглаженного сигнала. Пользователь может просмотреть графики всех промежуточных результатов вычислений. При желании он может сохранить локально как графики, так и таблицы с результатами.
Web-based Client Lidar Sounding of Atmosphere beta 1.03
OPTIONS Database of measuonsnts i Too / 20041 07.2004
i 01.07.2004 H 02.07.2004 if 03.07.2004 !! 04.07.2004 ii 05.07.2004 CS) '
, . Database of rasilts ' i 06.07.2004 (5) ij 07.07.2004 Г2) !j 08.07.2004 || 09.07.2004 i| 10.07.2004 j
i 11.07.2004 II 12.07.2004 ¡{ 13.07.2004 {{ 14.07.2004 ¡1 15.07.2004 j
.....,"*« S...............Л1"-^,*.*,:,..,«........... 16.07.2004 II 17.07.2004 !! 18.07.2004 П 19.07.2004 j 20.07.2004 !
| 21.07.2004 ! 1 22.07.2004 Si 23.07.2004 || 24.07.2004 || 25.07.2004 |
| 26.07.2004 ii 27.07.2004 || 28.07.2004 \\ 29.07.2004 j| 30.07.2004 I
j 31.07.2004 i
| Upload your own Be: |f "LofconJ
Л
Рис. 5 — Интерфейс системы. Форма «Календарь» для выбора файлов из архива
Web-based Client Lidar Sounding of Atmosphere beta 1.03
OPTIONS Current time: 10 Oct 2006, 18:17:14
Database,ofrneasuemerfts 300000.00
\ Database of resiits -, , ; I - SKDtti Signal ]
250000.00
&aphica>,pafaiwtnts. . J
200000.00
150000.00
100000.00 I
50000.00
0 7.33 14.83 22.33 29.83 37.33 44.83 32.33 39.85 67.33 74.85 550.00
Switch view: Smooth Stand 1 Correct Stnal 1 R 1 ba
Рис. 6 — Интерфейс программы и результаты вычислений
Результаты
Реализованная программа позволяет хранить и обрабатывать удаленно экспериментальные данные лидарного зондирования. Данная программа создана для проведения обработки в отложенном режиме (постобработка) и не позволяет выполнять вычисления в режиме реального времени по мере поступления измерений с лидара вследствие использования технологии «тонкого клиента». Тонкий клиент (веб-интерфейс) имеет неоспоримые плюсы, но его недостаточно для полной функциональности системы. Обработку сигналов в режиме реального времени можно обеспечить, реализовав полнофункциональное клиентское приложение, которое возьмет на себя работу по обеспечению взаимодействия с веб-сервером. Варьируя возможности приложения-клиента, можно переложить часть вычислений, не требующих больших вычислительных возможностей, например, предварительную верификацию данных измерений и автоматическое пополнение базы данных измерений, на клиента.
Вывод результатов в графическом виде и работа с ними посредством веб-клиента несколько замедленна, так как графики формируются на стороне сервера. Приложению-клиенту достаточно иметь только результаты вычислений, чтобы отображать графики, и производить навигацию по ним на порядки быстрее.
Заключение
Веб-интерфейс позволяет работать с системой и выполнять весь спектр обработки данных измерений, не предъявляя высоких требований к программному обеспечению пользователя, достаточно наличие браузера, который по умолчанию поставляется практически со всеми операционными системами.
Но этого недостаточно для автоматизации процесса измерений и пополнения базы данных. Реализованная архитектура позволяет без изменений на стороне сервера создать и поддерживать приложение-клиент, обеспечивающее доступ ко всем возможностям системы, оптимизируя и автоматизируя обработку экспериментальных данных. Приложение-клиент будет связываться с сервером по тому же принципу, что и веб-клиент. Такая архитектура позволяет развивать сервер без значительных изменений клиента.
Под развитием сервера понимается наращивание как вычислительных способностей, так и увеличение количества решаемых системой задач. Инкапсуляция этих возможностей в вебсервер и сервер вычислений позволяет разрабатывать легковесного («тонкого») клиента, основной функцией которого является предоставление пользовательского интерфейса для работы с системой.
В данный момент реализована и проходит тестирование система с веб-клиентом. Также в перспективе создание клиентского приложения и тестирование его в реальных условиях.
Данная статья частично поддержана грантом РФФИ №04-05-64390.
Литература
1. Кабанов М.В. Региональный мониторинг атмосферы. Научно-методические основы : монография / М.В. Кабанов ; под общ. ред. В.Е. Зуева. - Томск : Спектр, 1997. - Ч. 1. - 211 с.
2. Региональный мониторинг атмосферы. Ч. 4. Природно-климатические изменения : коллективная монография / под общ. ред. М.В. Кабанова. - Томск : РАСКО, 2000. - 270 с.
3. Экология : учебник / А.Д. Потапов. - 2-е изд. - М. : Высш. шк., 2004. - 528 с.
4. Лазерный контроль атмосферы / под ред. Э.Д. Хинкли, В.Е. Зуева. - М. : Мир, 1979. - 416 с.
5. Лазерные методы зондирования атмосферы (обзор) / В.Н. Макухин [и др.] // Зарубежная радиоэлектроника. - 1977. - № 8. - С. 83.
6. Применение лазеров для определения состава атмосферы / O.K. Костко [и др.]. - Л. : Гидрометеоиздат, 1983. - 216 с.
7. Межерис Р. Лазерное дистанционное зондирование / Р. Межерис. - М. : Мир, 1987. -550 с.
8. Режим доступа : http://iclas.hamptonu.edu/Pages/directal.html
9. Дымников В. П. Устойчивость крупномасштабных атмосферных процессов / В.П. Дым-ников, А.Н. Филатов. — Л. : Гидрометеоиздат, 1990. - 236 с.
10. Matthias V. Lidar intercomparisons in the framework of EARLINET / V. Matthias [et. al.]. - Part 1: Instruments. Applied Optics, 2004 - V. 43. - No. 4. - P. 961-976.
11. Takemura T. 2000: Global three-dimensional simulation of aerosol optical thickness distribution of various origins / T. Takemura [et. al.]. - J. Geophys. Res., 105, 17853-17873.
Бойченко Иван Валентинович
Канд. техн. наук, доцент каф. автоматизированные системы управления ТУСУРа Эл. почта: [email protected]
Катаев Михаил Юрьевич
Д-р техн. наук, проф. каф. автоматизированные системы управления ТУСУРа Эл. почта: [email protected]
Петров Андрей Игоревич
Аспирант каф. автоматизированные системы управления ТУСУРа Телефон: +79059921444 Эл. почта: [email protected]
I.V. Boichenko, M.Yu. Kataev, A.I. Petrov
Software for distributed processing of lidar atmospheric sensing data
In the paper, description of software for distributed processing of lidar atmospheric sensing data and its practical realization are presented. The software development is based on client-server technology. Client and server are implemented as a web-application and web-server. The server has a stand-alone processing block written with using Java. Calculations are powered by Fortran codes. The system has been installed and operates at lidar station in the Institute of Atmospheric Optics (SB RAS).
