CC BY
42
УДК 551.521.3
Ю.Я. Матющенко, В.Е. Павлов
Программный комплекс селекции данных AERONET
Введение. Глобальная сеть АЕЛСЖЕТ - одна из наиболее распространенных сетей автоматизированного наземного мониторинга атмосферы [1-2]. Она развернута для получения в режиме реального времени больших объемов данных, их накопления и последующей обработки с целью создания карты распределения аэрозоля по земному шару. Измерения оптических параметров атмосферы осуществляются с помощью солнечных фотометров С1МЕЬ [3-4]. Данные наблюдений используются для построения региональных и глобальных аэрозольных моделей атмосферы.
Специалистами ЫАБА проводится предварительная селекция наблюдательного материала с целью исключения из дальнейшего рассмотрения данных измерений яркости при наличии разрывной облачности на небосводе [5-7]. Однако анализ выставленных на сайте АЕ110№Т данных даже на самом высоком доверительном уровне ЬЁУЕЬ-2 свидетельствует о недостаточности проводимой процедуры и о сравнительно частом наличии облаков на линиях визирования фотометров [8-9].
Для исключения облачных ситуаций нами предложены дополнительные методы селекции мониторинговых измерений яркости неба [10]. В настоящей работе представляется соответствующее программное обеспечение.
[Методы селекции данных. Критерии обнаружения облаков на линиях визирования в альмукантарате и вертикале Солнца. На основе расчетов яркости неба из уравнения переноса излучения [11-13] и анализа результатов измерений яркости в абсолютно безоблачных условиях [10, 14-15] разработаны следующие методы отбора безоблачных ситуаций при мониторинговом сканировании небосвода на станциях сети АЕЯО^Т:
1. Метод обнаружения облаков, заключающийся в регистрации скачкообразных вариаций яркости при прохождении облака фотометром. При отсутствии облаков на трассе сканирования небосвода в альмукантарате Солнца должно иметь место регулярное убывание яркости неба в видимой и ближней ИК областях спектра с увеличением угла рассеяния ф от 2 до 90" и затем ее последующее возрастание на угловых расстояниях более 120". Иначе говоря, для яркости безоблачного неба В(ф) должно выполняться условие:
В(ф) > В(ф+Дф) при 2" < ф < 90"
и
В(ф)<В(ф+Дф) при ф> 120. (1)
Это условие названо нами «мягким» критерием селекции исходных данных.
2. Метод обнаружения малоконтрастных облачных образований, заключающийся в фиксировании нарушений гладкости угловой зависимости градиента яркости при наличии облака на линии визирования. Речь идет об облаках, яркость которых превышает яркость безоблачного неба лишь на 1-2% [10]. Суть метода состоит в том, что такие образования скачкообразно нарушают систематическое убывание углового градиента яркости в альмукантарате и вертикале Солнца («жесткий» критерий). Угловые градиенты определяются как разности значений яркости в соседних углах, отнесенные к их интервалу. Должны выполняться следующие условия:
Дф) -f (ф+Дф) > Дф +Дф) - Дф +2Дф) при ф < фшш и
Дф + Дф) - Дф) < Дф +2Дф) - Дф+Дф) при ф > ФП1Ш,(2) где величина шага Дф задается соответствующей угловому градиенту яркости.
Выполненный анализ экспериментальных данных абсолютно безоблачного неба показал, что в солнечном вертикале так же, как и в альмукантарате, имеет место систематическое убывание градиента яркости с увеличением угла рассеяния [14].
3. Дополнительным условием отсутствия облаков является констатация факта идентичности оптических характеристик правой и левой половин небосвода [8, 10, 16]. В этом случае независимо от стратификации мутности для яркости неба в альмукантарате Солнца должно выполняться условие:
В(Т) = В(360° - У) (3)
при изменении азимута Ч* от 0 до 180°. Оно лежит в основе селекции данных AERONET, выполняемой специалистами NASA [6]. Известно, что погрешность измерений яркости неба на фотометрах C1MEL в абсолютных единицах составляет около 5% [2, 5, 17]. Эта цифра определяет возможности всех последующих манипуляций с наблюдаемыми величинами В^) и В(360° - Т), направленных на решение прямых и обратных радиационных задач.
Анализ исходных файлов сети AERONET, содержащих угловые распределения яркости в альмукантарате и вертикале Солнца. Угловые распределения яркости в альмукантарате и вертикале Солнца, прошедшие селекцию NASA [6], выставляются на сайте AERONET в виде текстовых ASCll-файлов с расширениями *.alm и *.рр1 соответственно.
Согласно техническому описанию и инструкции по эксплуатации фотометра CIMEL СЕ-318 [3—4], по-
следовательность измерений В(4/) в альмукантарате следующая. На длине волны 1,02 мкм при заданном зенитном угле Солнца Z0 фотометр устанавливается в точку с азимутом У = -6° (4* = 354°) и проводятся измерения яркости в интервале азимутов от -6 до -2° и от 2 до 6° с шагом 0,5 и 1° и далее до 4* = 160°. С увеличением азимута шаг также возрастает. Аналогично фотометр сканирует отрицательную полуплоскость при 4* = -160° - -2° и завершает измерения яркости кривой в диапазоне азимутов 4' = 2“ 6°. После этого устанавливается длина волны 0,87 мкм, и все повторяется в той же последовательности. По окончании серии измерений в четырех длинах волн выполняется аналогичная серия в солнечном вертикале. Цикл измерений В(4/) занимает время около 5 мин; при этом Zo меняется на 0,1 ^ 0,5°. Для абсолютного большинства угловых распределений яркости, прошедших селекцию по описываемой далее методике, диапазон вариаций зенитных углов обычно составляет 50 75°.
В отличие от файлов альмукантарата, значения яркости в файлах *.рр1 вертикала Солнца являются функцией не азимутов, а углов рассеяния. Диапазон углов рассеяния изменяется от -6 до 150°.
Остановимся на ряде особенностей файлов альмукантарата и вертикала, которые необходимо учитывать при разработке программы селекции. Для альмукантарата характерно наличие отрицательных яркостей (ошибок), обычно маркируемых числом (-100), в интервале азимутов -2.5, -2, 2, 2,5° при первом сканировании ореола и-2.5, -2, 2,2.5, 3, 3.5, 4, 5,6°-при втором. По числу кривых, содержащих ошибки, файлы можно поделить на три группы:
1. Ошибок практически нет или они носят нерегулярный характер, что связано со спецификой наблюдений яркости в области ореола.
2. В начале серии наблюдений ошибки отсутству-
ют, но возникают во второй половине файла. Число таких кривых может составлять около 20 50% от
их общего количества. Например, для пустыни Solar Village на Аравийском полуострове из 57487 исходных кривых 30177, т.е. более 50%, включают яркости со значением (-100) в указанном интервале азимутов, причем с самого начала и почти до середины числового массива такие ошибки отсутствуют. Подобные файлы особенно характерны для пунктов наблюдений в океанах.
3. Ошибки присутствуют во всех без исключения кривых. Примерами могут служить данные в пустынях Tinga Tingana и Dalanzadgad, в городах Москве и Томске и др.
Наличие таких ошибок диктует необходимость частичного либо полного исключения наблюдательных данных из анализируемого массива яркостей. Следует отметить, что для файлов вертикала характерным является существенно меньшее количество подобных ошибок измерений.
Алгоритм и описание программы селекции данных AERONET. При разработке алгоритма программы селекции были учтены особенности исходных файлов для исключения потерь информации и последующей ее корректной обработки. Необходимо было обеспечить:
- использование описанных выше критериев обнаружения облаков;
- возможность установки начальных параметров селекции;
- вычисление и вывод статистических данных;
- возможность визуального контроля исходных данных, промежуточных и окончательных результатов;
- приемлемое время обработки информации.
Алгоритм включает следующие основные этапы:
- выбор файлов и их объединение;
- считывание и обработку заголовков файлов;
- загрузку данных в оперативную память и их типизацию;
- непосредственную обработку и селекцию данных;
- вывод результатов.
Первый этап предполагает поиск и отображение имен файлов альмукантарата или вертикала в выбранном диске (каталоге). При необходимости можно дописать данные следующего файла в конец предыдущего и далее обрабатывать как один файл. Обычно такая процедура требуется в двух случаях: для обработки данных в одной точке наблюдений за разные периоды времени (например, за несколько лет) либо для одновременной обработки данных в местностях со схожими географическими, климатическими или другими условиями (например, несколько точек в океане).
Загрузка исходных результатов наблюдений производится, исходя из структуры файлов, в заранее созданные массивы с соответствующим типом данных. При этом используются разделители текстовой информации. В результате структура данных в памяти компьютера становится подобной таблице. Дальнейшая обработка кривых яркости, измеренных в альмукантарате Солнца, представлена в виде блок-схемы на рисунке 1.
Отметим ряд особенностей программы, не отраженных на блок-схеме. Перед запуском можно выбрать нужный диапазон азимутов: от 10 до -10° (350°) либо полный диапазон углов: -6, -5, —4, -3.5, -3, -2.5, -2,
2, 2.5, 3, 3.5, 4, 5, 6, 7, 8, 10, 12, 20, 30, 40, 50, 60, 70, 80,90, 100, 120, 140, 160,-160,-140,-120,-100,-90, -80, -70, -60, -50, -40, -30, -20, -12, -10, -8, -7, -6, -5, -4, -3.5, -3, -2.5, -2, 2, 2.5, 3, 3.5, 4, 5, 6°. В последнем случае имеется возможность исключить из проверки углы с отрицательными значениями яркости в области ореола.
Исходные распределения яркости содержат по два значения при азимутах: +60 (для альмукантара-
Рис. 1. Блок-схема алгоритма селекции данных
та и вертикала) и -6" (только для альмукантарата). При фильтрации отрицательных значений яркости исключение анализируемой кривой осуществляется только в том случае, если оба значения для каждой пары указанных углов меньше нуля. Все последующие действия производятся относительно одной и той же кривой согласно алгоритму, изображенному на блок-схеме (рис. 1). Несоответствие какому-либо из критериев инициирует отбраковку данной кривой и переход к следующей.
Пересчет азимутальных углов в углы рассеяния для альмукантарата Солнца выполняется по формуле совф = соэ^ + зш^собТ. (4)
Вычисленные углы рассеяния используются во всех случаях анализа распределений яркости.
Далее угловые распределения яркости исследуются на соответствие «мягкому» и «жесткому» критериям. В случае выбора для селекции полного диапазона углов в первую очередь анализируются области ореола с азимутами -6 ^ +7° и -7° +6.
Прежде чем проверять остальные значения яркости при азимутах от 8 до 160° и от—160 до -8°, необходимо определить минимальное значение яркости слева или справа от Солнца. Для альмукантарата Солнца соответствующий угол рассеяния .ф может находиться в интервале 90 -г- 120°.
На фотометре фиксируется яркость при азимутах 90, 100, 120, 140, 160°. Расширяя диапазон углов Ч7 на 5 10°, по формуле (4) получаем искомые азиму-
тальные границы поиска минимума.
Что касается проверки на равенство величин В(Ч') и В(360° - 40 слева и справа от Солнца, то допустимое расхождение в соответствии с [2] не должно превышать 5% за исключением области ореола. Программа позволяет установить и 10%-ное различие, либо вообще пропустить этот этап алгоритма.
Кривая, прошедшая все этапы селекции, копируется в выходной массив вместе со своими параметрами измерения: датой, временем измерений, длиной волны и зенитным углом Солнца. Выходной массив доступен
;,)■ у •• АеготЧ-*' \ '
¡а^те^а] % И _ ,1 .. а ( (-П' г _ , 1„ -
СЗ
О ¿Ыпб О О'г/вг* Г~1 Си«*
О л,и*с
Гч Рюдгат» Г") (е1е)ал СЗ {втр О игяу«
г!
№пмс*28
РМ^ИЛ^НвЫп :г V
Е 1Я⹫п^мпв1зМс.пм«9М -
Акп Юеер.акп)
“Э
Чм -
'[ 5Ьо* ал
р** $3**- \ Ю 120 {30 • \А0 150 1» \П .*
26,021398 итг':- 77.020451 27334.49853 0337 480915 5011 26143С 3727 006696 3165 091314 2833 103256 263Ь_ 1226.482206474.2224184259 4590174164.130891? 1109556801 81 88307715 63.40 2072.526835 80а 129723« 479.7344916 333 5262064 247.676594С 190 2784011 155.6 2538.65961V1353.3653821073.626562 896.3384576 771 5430996674.0514447 501 2 906. Э38787С 364 1 725196194 8253584118 Э466356 76 84263924 53 07188672 38 66 1250.2Э006Г 498.5807987 269 4303191167 386Э671113 6688Э75 820612286? 61.31 2043 469672 795.4379516 476 3319627 334 703134£ 254.438688? 195.608155С154 6 2417.67163С 1314.94583? 1042 586686 874 8831524 750.6129715 651 5811091 579.5 ^
26.02.19» №5Ш-: 0.9 64.97Э064
2&02.7958- •1в:В4;ЭСГ • аг- 55.'ЗЭ(М5Э .
26.02:1560 г 83.6-71-412-
хтт 17:15:58, еа
гш.гээзк аз .'.К--; ««32503
2&ег1ээв 1М№-г- 0.7-^^ 6045401 -
26.07.1998 17:20-1-9 . а* • 6^690005
* ‘
Рис. 2. Внешний вид интерфейса программы селекции
для просмотра в виде таблицы. Предусмотрен вывод промежуточных массивов в табличной форме.
Основные этапы селекции файлов вертикала *.рр1 принципиально не отличаются от обработки данных альмукантарата. Отличия определены отсутствием в файлах вертикала распределений яркости в отрицательной полуплоскости углов рассеяния.
Программа написана на языке СИ [18-19]. Интерфейс программы (рис. 2), предоставляемый пользователю, включает в себя:
- браузер файлов с возможностями фильтрации файлов по расширению и одновременного выбора нескольких файлов;
- область вывода информации, содержащейся в заголовках исходных файлов;
- кнопки управления;
- таблицу вывода данных;
- окно вывода статистической информации.
Время обработки исходного массива альмукантарата объемом в 50 тысяч кривых с выводом данных занимает примерно 3-4 минуты, в зависимости от начальных параметров селекции.
Авторы выражают признательность сотруднику N'.45'А Б.Н. Холбену и сотруднику ИОА СО РАН М. В. Панченко за разрешение использования материалов АЕКОМЕТ при выполнении настоящей работы.
Библиографический список
1. Goddard Space Flight Center [Электронный ресурс]. -Электрон, дан. - Режим доступа: http://aeronet.gsfc.nasa. gov. - Яз. англ.
2. Holben, B.N. AERONET - A federated instrument network and data archive for aerosol characterization / B.N. Holben, T.F. Eck, 1. Slutsker, D. Tanre, J.P. Buis, A. Setzer, F. Vermote, J.A. Reagan, Y.J. Kaufman,T. Nakajima, F. Lavenu,
I. Jankoviak, A. Smirnov // Remote Sensing & Environment.
- 1998.-№66.
3. Automatic sun trackine sunphotometer CE 318. Technical description.
4. Simel Sun Photometer User Manual [Электронный ресурс]. - Электрон, дан. - Режим доступа: http://www.cime!. fr/photo/pdf/man_ce318_us.pdf.
5. Nakajima, Т. Use of sky brightness measurements from ground for remote sensing of particulate polydispersions / T. Nakajima, G. Tonna, R. Rao, P. Boi, Y. Kaufman, B. Holben //Appl. Optics. - 1996. - Vol. 3, №5.
6. Smimov, A. Cloud-screening and quality control algorithms for the AERONET database / A. Smimov, B.N. Holben, T.F. Eck, O. Dubovik, I. Slutsker // Remote Sensing of Environment. - 2000. - №73.
7. Smimov, A. Optical properties of atmospheric aerosol in maritime environments / A. Smimov, B.N. Holben, Y.J. Kaufman, O. Dubovik, T.F. Eck, I. Slutsker, C. Pietras // J. Atmos. Sci. - 2002. -Vol. 59.
8. Матющенко Ю.Я., Павлов B.E. Малоугловые аэрозольные и облачные образования на фоне преобладающе безоблачной атмосферы / Ю.Я. Матющенко, В.Е. Павлов // Межрегиональный экологический форум. - Барнаул, 2004.
9. Павлов, В.Е. Отбор безоблачных ситуаций по данным AERONET / В.Е. Павлов, П.М. Зацепин, Ю.Я. Матющенко //Аэрозоли Сибири : тез. докл. XI Рабочей группы. - Томск, 2004.
10. Матющенко, Ю.Я. О селекции данных AERONET.
Ч. 1: Обоснования методик / Ю.Я. Матющенко, В.К. Ошла-ков, В.Е. Павлов // Оптика атмосферы и океана. - 2006. -Т. 19, №4.
11. Метод Монте-Карло в атмосферной оптике / Под ред. Г.И. Марчука. - Новосибирск, 1976.
12. Журавлева, Т.Б. Численное моделирование угловой структуры яркости неба вблизи горизонта при наблюдении с Земли. Ч. I: Аэрозольная атмосфера / Т.Б. Журавлева, И.М. Насретдинов, С.М. Сакерин // Оптика атмосферы и океана. - 2003. - Т. 16, №5-6.
13. Павлов, А.В. Угловая структура многократно рассеянного света безоблачной атмосферы / А.В. Павлов, В.Е. Павлов, Т.З. Мулдашев // Оптика атмосферы и океана.
- 1996.-Т. 9, №5.
14. Зинченко, Г.С. Облачность и эффективность функционирования солнечных фотометров на юге Сибири / Г.С. Зинченко, Ю.Я. Матющенко, В.Е. Павлов, С.В. Смирнов // Аэрозоли Сибири : тез. докл. XIII Рабочей группы. - Томск, 2006.
15. Матющенко, Ю.Я. Методы селекции и коррекции экспериментальных данных AERONET по яркости неба : автореф. дис. ... канд. физ.-мат. наук / Ю.Я. Матющенко.
- Барнаул, 2007.
16. Dubovik, О. Variability of absorption and optical properties of key aerosol types observed in worldwide locations / O. Dubovik, B.N. Holben, T.F. Eck, A. Smimov, Y.J. Kaufman, M.D. King, D. Tanre, I. Slutsker//J. of Atm. Sciences. - 2002.
- Vol. 59.
17. Dubovik, O. A flexible inversion algorithm for retrieval of aerosol optical properties from Sun and sky radiance measurements / O. Dubovik, M.D. King // J. of Geophys. Res. - 2000. -Vol. 105, №D 16.
18. Архангельский, А.Я. Программирование в C++Builder 5 / А.Я. Архангельский. - М., 2000.
19. Архангельский, А.Я. Язык C++ в C++ Builder 5 : справ, пособие / А.Я. Архангельский. - М., 2000.
