CC BY
85
УДК 004.942
М.Ю. Катаев, И.В. Бойченко
Программная система моделирования отраженного от поверхности Земли солнечного излучения
В статье рассмотрены детали разработки программы, позволяющей моделировать отраженное от поверхности Земли солнечное излучение в ближней ИК области спектра. Спутниковый сигнал, соответствующий этому излучению, рассчитывается для всей поверхности Земли по заданной траектории полета спутника или на фиксированной пользователем пространственной сетке. Представлена технология, позволяющая проводить массовые расчеты сигналов на вычислительном кластере.
Ключевые слова: численное моделирование, спутниковый сигнал, вычислительный кластер, параметры атмосферы.
Введение
Разнообразие методов и технических средств слежения за параметрами атмосферы обусловлено огромными пространственными масштабами поверхности Земли и изменчивостью этих параметров во времени. В этой связи спутниковые методы являются единственным источником информации, способным предоставлять регулярную информацию о параметрах атмосферы в пределах всей поверхности Земли.
Исследование Земли из космоса в последние годы переросло из чисто научной задачи в практическую плоскость, когда жизнь и работа человека невозможны без спутниковых данных. На околоземной орбите находится много спутников, на борту которых расположены многочисленные приборы, данные которых предоставляются для свободного доступа. Для решения задач моделирования и обработки спутниковой информации разработано много численных методик и программ, однако большинство из них позволяет проводить расчеты для локализованной географической точки или вообще без привязки к географическим координатам. Учет сезонов года, географического положения точки или других изменений по трассе полета требует специальной организации вычислений. Это приводит к задаче анализа большого количества вычислений и визуализации данных, что является весьма затратным процессом по времени. Для решения таких проблем необходима разработка специальных программ, позволяющих учитывать изменение атмосферных параметров в течение, например, года и в масштабах всей планеты.
Для разработки подобных программ необходимо помимо соответствующих алгоритмов расчета прохождения излучения в атмосфере (разных спектральных диапазонов) также иметь в наличие данных о метеорологических параметрах, газовом составе, типах и спектральных свойствах аэрозоля, рельефе поверхности Земли и других параметрах. В настоящее время существует много открытых источников информации о метеорологических параметрах в глобальном масштабе (NCEP, ECMWF и др.), которые даны на фиксированной сетке «широта:долгота:высота:время». Использование этих данных позволяет получить набор исходной информации для расчетов, которая весьма близка к реальной, в различных географических точках планеты, и значит, получить модельные спутниковые сигналы с учетом естественных вариаций параметров в заданный промежуток времени.
Объединение значительного по объему набора исходной информации (более 10 Гб) с вычислительными алгоритмами подготовки данных для расчета уходящего излучения в ИК области спектра или отраженного от поверхности в ближней ИК области спектра и составляет сущность разрабатываемой нами программы «спутниковый симулятор».
Инфракрасный спектральный диапазон является важным для решения многих задач науки, геологии, лесного хозяйства и др., поскольку оптические свойства атмосферы и объектов, находящихся на поверхности Земли, в этом диапазоне весьма различны. Однако, несмотря на высокую информативность инфракрасной области спектра, главным источником информации для потребителей спутниковой информации является видимый диапазон спек-
тра. В области длин волн 1-3 мкм для спутниковых измерений используется отраженная солнечная радиация.
Обзор программ аналогов
Программа Planet Simulator [1] предназначена для оценки влияния растительности на климат с учетом изменения концентрации СО2 с помощью разработки GCM ECHAM4 (http://www.cgd.ucar.edu:80/cms/ccm3/). MOD3D [2] предназначена для быстрого и точного расчета переноса излучения в трехмерной атмосфере. Основывается работа MOD3DE на применении СК (correlated-K) широкополосной (спектральное разрешение 2 см-1) модели поглощения и модели однократного рассеяния излучения в атмосфере в спектральном диапазоне 0,2-10000 мкм. Программа APEX [3] разработана для моделирования сигналов спутникового прибора GLI (Global Land Imager) в спектральном диапазоне 0,38-2,5 мкм со спектральным разрешением 10 нм. MATISSE [4] рассчитывает потоки излучения в диапазоне 7503300 см-1 со спектральным разрешением 5 см-1 для различных направлений в трехмерной (3Д) атмосферы, с пространственной сеткой 0,25x0,25° в пределах всей территории Земли. Система ARTSS [5] позволяет рассчитывать сигналы различных спутниковых приборов в диапазоне спектра 14-16 мкм с учетом выбора орбиты и динамики полета. Система EGOPS4 [6] предназначена для моделирования и обработки данных затменного (occultation) зондирования. Программа [7] разработана для моделирования прохождения излучения в диапазоне спектра 400-2500 нм на 3Д атмосферных трассах с помощью метода Монте-Карло. При работе программы учитывается эффект отражения от земной поверхности, эффект наличия облачности и другие эффекты. Имитационное моделирование гиперспектральных изображений земной поверхности представлено в работе [8] с помощью программного комплекса «Геодиалог». В работе [9] рассмотрена работа подсистем хранения информации и доступа к данным на примере информации прибора MODIS космического аппарата Terra.
Обзор литературы показывает, что большинство существующих программ предназначено для моделирования спутниковых сигналов без привязки к конкретным географическим координатам, как правило, к климатическим зонам (тропики, средние широты и полярные широты). Многие из программ при моделировании опираются на климатические метеорологические базы данных, что не позволяет учитывать вариации параметров в течение времени.
Функциональные возможности программной системы
В задачах моделирования данных спутникового мониторинга важно иметь информацию о реальном изменении параметров атмосферы (температура, влажность, ветер) в течение года и в пространстве. Для этих целей нами была выбрана база данных NCEP (National center for environmental prediction) [www.ncep.noaa.gov/] [12]. Интересно учитывать реальный рельеф поверхности при расчете прохождения излучения в атмосфере на различных трассах, и это обусловило выбор данных SRTM (Shuttle relief topography model) [http://edcdaac.usgs.gov/ gtopo30] [13]. Большую роль играют типы земной поверхности в данной географической точке, которые определяют спектральный состав отраженного излучения. Для учета этих особенностей нами были выбраны базы данных типов поверхности GLC2000 [http://www-tem. jrc.it/glc2000/] и ASTER spectral library [http://speclib.jpl.nasa.gov]. Данные о внеатмосферном спектре солнечного излучения взяты из [kurucz.harvard.edu/sun.html], которые даны со спектральным шагом 1 см-1 в исследуемой нами области спектра.
Для проведения численного эксперимента была использована программная система RAD, разрабатываемая нами с 2006 года. Перечислим основные характеристики системы RAD: 1) поддержка известных программно-аппаратных платформ: Win32-64, Linux32-64; 2) интеграция ранее разработанного прикладного программного обеспечения и библиотек; 3) возможность описания выполняемого задания на XML; 4) поддержка распространенных в мировом научном сообществе форматов данных: netCDF, HDF, GRIB и др.; 5) возможность регистрации всех внутренних событий системы в специальных журналах.
Архитектурно программная система представляет собой развитие идей, изложенных в [10]. Программное обеспечение организовано в виде нескольких иерархически подчиненных
уровней. На самом нижнем уровне находятся классы, реализующие определенные шаги алгоритма расчета конкретной прикладной задачи. На втором уровне располагаются классы, отвечающие за последовательное выполнение шагов расчета и реализующие универсальные интерфейсы ввода/вывода. Второй уровень доступен для пользователя в виде интерфейса командной строки. Описание задания осуществляется на языке разметки XML. Фактически задание перечисляет необходимые классы первого уровня в том порядке, в каком они должны создаваться и запускаться в ходе расчета, а также описывает и устанавливает конкретные параметры для каждого класса. Таким образом, пользователь управляет составом модулей (шагов) и параметрами расчета не вмешиваясь в исходный код системы.
В системе предполагается и третий уровень — уровень графического интерфейса пользователя. Этот уровень облегчает работу с компонентами и параметрами системы, но не является обязательным, так как пользователь может управлять системой из командной строки.
Система большей частью реализована на языке Java, что и обеспечивает поддержку многих платформ. Архитектура системы предполагает возможность интеграции ранее созданного программного обеспечения на других языках программирования. В данном случае на языке Fortran были реализованы модули расчета отраженного солнечного излучения. Для интеграции этих модулей были созданы классы-оболочки на Java. В целом разрабатываемая программная система представляет собой специализированную систему пакетного запуска заданий, облегчающую проведение многоитерационных численных экспериментов.
Организация вычислительного процесса
Процесс расчета разбивается на три этапа:
1) моделирование траектории спутника;
2) расчет характеристик отраженного солнечного излучения для каждой точки траектории
из п.1 [14-16];
3) анализ и визуализация результатов расчета.
В п.1 под траекторией понимается проекция координат спутника на поверхность Земли в заданные промежутки времени. Каждую точку траектории характеризует пара координат по широте и долготе, а также астрономическое время пролета аппарата над точкой. В зависимости от данных характеристик можно вычислить азимут и угол Солнца, что также необходимо для расчета второго этапа.
Моделирование траектории спутника представляет собой отдельную задачу и может проводиться в разных вариантах: 1) «реальная траектория» - траектория, заданная параметрически, учитывающая законы движения спутника по орбите Земли; 2) «виртуальная траектория» - траектория, заданная параметрически по произвольному закону, не обязательно в соответствии с законами движения спутника Земли; 3) «список точек» - заданный список (перечисление) точек, возможно, не являющихся частью какой бы то ни было траектории.
Мы использовали третий вариант задания траектории. В исходном списке находилось порядка 13000 точек. С учетом интервала в 20 секунд этот список представлял траекторию движения низкоорбитального спутника в течении 72 часов. После отсева точек траектории, приходящихся на водную поверхность, а также на ночное время, когда Солнце находится за линией горизонта более чем на -7°, из 13000 было оставлено 2294 точки.
Соответственно, для каждой точки траектории проводился расчет второго этапа — моделирование характеристик отраженного солнечного излучения. Второй этап занимает существенную часть времени всего численного эксперимента. Для каждой точки траектории рассчитывалась последовательность, перечисленная в таблице 1.
Расчет последовательности для одной точки траектории требует ~40 секунд вычислительного времени. Суммарно для 2294 точек это составляет более 25 часов расчета на однопроцессорной ЭВМ. Объем выходных данных для одной точки составляет 3,5 Мб и, следовательно, в сумме для всей траектории — около 8 Гб. Таким образом, можно заключить, что данный численный эксперимент является достаточно затратным с точки зрения времени и ресурсов. Поэтому было принято решение о выполнении расчетов с применением высокопроизводительной вычислительной системы — кластера.
Таблица 1
Последовательность вычислений при моделировании отраженного солнечного излучения
№ Наименование шага в этапе Выходные данные
Извлечение данных о рельефе земной поверхности demASCH.out: развертка пиксела по широте и долготе с разрешением ~1000 м (размер зависит от широты местности). Средний наклон и поворот поверхности относительно направления на север для заданного пикселя
Расчет типов поверхности surface.out: перечислены типы и доля пиксела соответствующему типу, gltASCH.out:типы поверхности для каждой точки пиксела
Извлечение данных из БД NCEP air.dat:высота, давление, температура для заданной координаты точки траектории
Расчет частотной сетки, для которой будет рассчитываться коэффициент отражения frequency.dat: файл с сеткой частот
Извлечение газовых компонент из баз данных NCEP. Интерполяция на заданную сетку высот Gases.dat: данные по высоте, температуре и содержанию газовых компонент
Расчет коэффициента отражения для данной точки reflectance.dat: файл с коэффициентом отражения для каждой точки частотной сетки, albedo.dat: значение альбедо для заданной точки
Запуск расчета отраженной солнечной радиации trans_sum_rez.dat: файл с рассчитанными параметрами излучения для заданной точки траектории
Базовой технологией системы RAD была выбрана Java. Гибкость этой технологии позволяет использовать ПО, разработанное также и на других языках программирования: FORTRAN, C\C++ и др. Так как изначально система RAD разрабатывалась для запуска на одной ЭВМ, то нам необходимо было перенести и адаптировать ПО для работы на вычислительном кластере, который, фактически, является многомашинным комплексом.
Далее, опишем технологию проведения численного моделирования отраженного солнечного излучения на вычислительном кластере (ВК) ТУСУР.
ВК ТУСУР представляет собой комплекс из девяти связанных вычислительной сетью ЭВМ: один главный компьютер (главный узел) плюс восемь вычислительных компьютеров (вычислительных узлов). На каждом узле установлено по два четырехядерных микропроцессора Intel Xeon. На главном узле кластера установлена подсистема хранения в виде RAID-массива общим объемом 1,2Тб, и, кроме того, каждый вычислительный узел оснащен собственным накопителем на жестком диске (см. рис. 1). Подробнее об оснащении вычислительного кластера можно узнать из [17].
На главном узле, в общем хранилище данных, выделен разделяемый каталог «/share». Под этим именем разделяемый каталог доступен для записи и чтения на вычислительных узлах с помощью сетевой файловой системы NFS (Network File System). Это очень удобно для организации ввода-вывода между главным и вычислительными узлами, так как программное обеспечение будет работать только с файловыми операциями и нет необходимости непосредственно организовывать сетевое взаимодействие на уровне приложений.
Особенностью нашей задачи явилось то, что расчет каждой точки траектории может осуществляться независимо от других точек. Поэтому мы имеем возможность параллельно вести моделирование нескольких точек одновременно, в зависимости от количества вычислительных ядер в системе.
Итак, первая задача по адаптации программного обеспечения RAD — это формирование независимых вычислительных заданий для проведения параллельных вычислений. Все множество из 2294 точек траектории было разбито на 64 подмножества — по количеству вычислительных ядер кластера. Каждое подмножество обрабатывалось отдельно, на каком-либо из 64 ядер системы. Для запуска заданий на вычислительных узлах использовалась пакетная система заданий PBS Torque (Portable Batch System). С помощью системных скриптов shell запуск системы RAD осуществлялся 64 раза, и каждый новый вычислительный процесс
размещался системой PBS на свободном вычислительном ядре кластера (рис. 1). Исходные данные располагались на общем сетевом ресурсе /share главного узла. Объем исходных данных для каждой точки составлял несколько килобайт, и размещение данных на сетевом ресурсе не создавало сколько-нибудь серьезной нагрузки на коммуникационную сеть.
Рис. 1. Этапы проведения численного моделирования на вычислительном кластере
Следующей задачей стала организация вывода результатов расчета. Нам логичным казалось организовать вывод результата на ресурс /share. Но после первых полномасштабных запусков стало ясно, что коммуникационная нагрузка резко возросла и сетевые операции ввода-вывода стали узким местом, сдерживающим производительность вычислительной системы. Это можно объяснить тем, что общий объем результирующих данных составляет 8 Гб и в процессе расчета возникает конкуренция между вычислительными процессами за доступ к сети. Поэтому было решено организовать вывод результата на локальные диски вычислительных узлов, а затем осуществлять выборку необходимых данных и упаковку в файл в бинарном формате netCDF на главном узле. Выигрыш здесь получается за счет того, что большинство выходных данных являются промежуточными результатами и для анализа требуются только некоторые из них. Кроме того, при упаковке в бинарный формат информация естественным образом сжимается по сравнению с текстовым форматом.
После того, как все вычислительные задания завершили свою работу, на каждом вычислительном узле запускалась специальная программа-сканер для выборки и упаковки данных в бинарный формат netCDF (http://www.ucar.edu). Таким образом, после окончания расчета и упаковки, на сетевом ресурсе /share формировался файл с расширением ncf, готовый для проведения дальнейшего анализа и визуализации. Процедура упаковки данных в различные форматы является часто повторяющейся операцией с различными параметрами, поэтому выполняется независимо от основного расчета.
Результаты численного эксперимента
Анализ и визуализация результатов выполнялись с помощью свободно распространяемого пакета NCL (http://www.ncl.ucar.edu). Этот пакет обладает широкими возможностями для визуализации данных, представленных в формате NetCDF.
Рис. 2. Относительное отличие (в %) рассчитанных отраженных спектров излучения в БИК для двух наборов спектроскопической информации (HITRAN1996 и HITRAN2004)
Рис. 3. Результат расчета спектра отраженного солнечного излучения для одной из географических точек по траектории полета спутника
На рисунке 2 показан результат сравнения рассчитанных отраженных спектров излучения (осредненного по всему спектральному интервалу) в ближней ИК области спектра (БИК) для двух наборов спектроскопической информации (HITRAN1996 и HITRAN2004). На рисунке показано относительное отличие двух спектров. Видно, что уточнение спектроскопической информации влияет на точность расчета излучения и составляет около 1%.
На рисунке 3 приведен результат расчета отраженного от поверхности солнечного излучения в БИК для одной из подспутниковых точек по траектории полета.
Заключение
В статье представлено описание разрабатываемой программной системы «спутниковый симулятор». Особенность разработки заключается в том, что программная система позволяет проводить различные расчеты на вычислительном кластере для спутниковых приборов для всей территории поверхности Земли и с учетом изменения атмосферных параметров в течение года. Введены возможности анализа массовых расчетов за счет создания единого файла в стандарте NetCDF. Это позволяет не только переносить результаты расчетов, но и анализировать их в известных пакетах программ IDV, GRADS и др.
Литература
1. Fraedrich K. The planet simulator: green planet and desert world / K. Fraedrich, H. Jansen, E. Kirk, F. Lunkeit // Meteorologische zeitschrift. - 2005. - Vol.14, №3. - P. 305-314.
2. Berk C. MOD3D: A model for incorporating MODTRAN radiative transfer into 3D simulations / C. Berk, G.P. Anderson, B. Gossage // Proc. SPIE. - 2001. - Vol.4381. - P. 99-105.
3. APEX, a tool for the simulation, calibration and validation of Earth observation sensors / O.J. Nieke, Y. Honda, H. Murakami, N. Takeuchi, K.I. Itten // Proc. RSSJ workshop. - Naruto, Japan, 2005. - P. 84.
4. MATISSE: Advanced Earth modeling for imaging and scene simulation / P. Simoneau, R. Berton, K. Caillaut, G. Durand, T. Huet, L. Labarre, C. Malherbe, C. Miesch, A. Robin, B. Rosier // Proc. ATM. 25-27 June 2002, France. - P. 1-34.
5. Kang J-Y. Design and development of an advanced real-time satellite simulator / J-Y. Kang, J-M. Kim, S.J. Chung // J. ETRI. - 1995. - Vol.17, №3. - P. 1-14.
6. End-to-end simulation of atmospheric sounding by occultation sensors EGOPS4 and beyond / G. Kirchengast, W. Poetz, J. Ramsauer, J. Fritzer, A.K. Steiner, S. Silvestrin, K. Shultz // OPAC-1 session "Occultation methology: data exploration and performance simulations", Sept. 17, 2002, Graz, Austria. - P. 88.
7. A 3-Dimension radiative transfer hyperspectral image simulator for algorithm validation / S.C. Richtsmeier, A. Berk, L.S. Bernstein, S.M. Adler-Golden // Proc. Int. Symp. On spectral sensing research, 10-15 June, 2001. - P. 1-9.
8. The architecture of the Earth system modeling framework / C. Hill, C. DeLuca, V. Balaji, M. Suarez, A. da Silva // Comput. in Sci. and Engineering. - 2004. - Vol.6, №1. - P. 18-28.
9. Методика имитационного моделирования гиперспектральных изображений земной поверхности / Б.М. Балтер, Д.Б. Балтер, В.В. Егоров, А.П. Калинин, В.А. Кот-цов, А.Г. Орлов, И.Д. Родионов, М.В. Стальная // Исследование Земли из космоса. - 2007. -№5. - С. 21-29.
10. Бойченко И.В. Организация процесса исследований в системе ODRIS / И.В. Бой-ченко, М.Ю. Катаев // Сб. трудов «Автоматизированные системы управления экспериментом». - Томск : ТУСУР, 1999. - T.3. - C. 51-56.
11. Kataev M.Yu. Program simulator of satellite signal of the reflected solar radiation / M.Yu. Kataev, I.V. Boichenko, G. Inoue // Atmospheric and ocean optics. Atmospheric physics: XIII joint int. symp. - Tomsk, 2006. - P. 124.
12. Spatial interpolation of the meteoparameters according to the NCEP database / M.Yu. Kataev, I.V. Boichenko, S.G. Kataev, A.I. Kuskov // International conference on computational information technologies for environmental sciences. - Tomsk, 2007. - P. 52.
13. Kataev M.Yu. Computing features of the slope/aspect ratio according to database SRTM / M.Yu. Kataev, A.G. Chugunov // International conference on computational information technologies for environmental sciences. - Tomsk, 2007. - P. 51.
14. Boichenko I.V. The program 7S for simulating of the reflected sunlight propagation in atmosphere / I.V. Boichenko, M.Yu. Kataev, S. Maksyutov // XII Joint International Symp. «Atmospheric and Ocean Optics. Atmospheric Physics». - Tomsk : IAO SB RAS, 2005. - P. 44.
15. Validation of a vector version of the 6S radiative transfer code for atmospheric correction of satellite data. Part I : Path radiance / S.Y. Kotchenova, E.F. Vermote, R. Matarrese, F.J. Klemm // Appl. Opt. - 2006. - Vol.45(26). - P. 6762-6774.
16. Intercomparison of shortwave radiative transfer codes and measurements / R.N. Halthore, D. Crisp, S.E. Schwartz, G.P. Anderson, A. Berk, B. Bonnel, O. Boucher, F.-L. Chang, E.E. Clothiaux, e.a. // J. Geoph. Res. - 2006. - Vol.110, N. D11, D 11206.
17. Бойченко И.В. Вычислительный кластер ТУСУР: старт. // Информационные системы : тр. постоянно действующего науч.-техн. семинара / ТУСУР, Отд. проблем информатизации ТНЦ СО РАН / под. ред. проф. А.М. Корикова. - Вып. 5. - Томск : ТУСУР, 2008. -С. 3-12.
Катаев Михаил Юрьевич
Доктор техн. наук, профессор кафедры автоматизированных систем управления ТУСУРа Тел.: (3822) 41-31-57, 41-31-91 Эл. почта: kmy@asu.tusur.ru
Бойченко Иван Валентинович
Канд. техн. наук, доцент кафедры автоматизированных систем управления ТУСУРа Тел.: (3822) 41-31-57, 41-31-91 Эл. почта: biv@asu.tusur.ru
M.Yu. Kataev, I.V. Boichenko
Program system of modeling of the satellite monitoring an atmosphere and earth surface
In article aspects of development of the program allowing to modeling a satellite signal in near IR spectral region are presented. The satellite signal calculated for a nadir direction, for all surface of the Earth, on the set trajectory of flight of the satellite or the spatial grid fixed by the user. The technology allowing to spend mass calculations on computing cluster is described.
Keywords: numerical modeling, a satellite signal, computing cluster, parameters of an atmosphere.
