CC BY
26
The technical and economic aspects of the synthesis of integrated energy management systems are considered. The components of the economic effect in the implementation of integrated systems, which are based on the approaches proposed by the authors are analyzed.
Keywords: energy management systems, economic efficiency, supervisory control, distribution networks.
УДК 528.8.041.3
ТЕХНОЛОГИЯ БЫСТРОГО МОДЕЛИРОВАНИЯ ИЗМЕРЕНИЙ ИНФРАКРАСНЫХ ЗОНДИРОВЩИКОВ
Валерий Павлович Пяткин, д-р.техн.наук, зав. лабораторией Тел.: (383) 330 73 32, e-mail:[email protected]б[email protected] Евгений Владимирович Русин, канд.техн.наук, ст.науч.сотр. Тел.: (383)330-73-32, e-mail:[email protected], [email protected] Институт Вычислительной Математики и Математической Геофизики СО РАН
http://loi.sscc.ru
Обсуждаются вычислительные технологии быстрого и точного моделирования спектров, измеряемых в инфракрасном диапазоне зондировщиками ИКФС-2 и МСУ-МР, устанавливаемыми на перспективных метеоспутниках серии «Метеор-М». Кратко описываются методологические аспекты построения быстрых моделей переноса инфракрасного излучения. Представлено описание интерфейса и функций разработанного программного обеспечения, оценивается его точность и производительность.
Ключевые слова: вычислительные технологии, дистанционное зондирование, программное обеспечение, моделирование спутниковых измерений, высокопроизводительные вычисления, RTTOV.
Работа выполнена частично при финансовой поддержке РФФИ (грант № 13-07-00068).
Для обработки и анализа данных измерений инфракрасных зондировщиков ИКФС-2 и МСУ-МР, устанавливаемых на российских метеоспутниках серии «Метеор-М», требуется создание быстрых и высокоточных процедур радиационных расчетов. Указанные процедуры и соответствующие программные комплексы (кратко БРМ - быстрые радиационные модели) предназначены для [1]:
- валидации измеряемых спектров уходящего инфракрасного излучения и мониторинга качества абсолютной калибровки;
- тематической обработки или «обращения» спутниковых данных, т.е. восстановления различных параметров состояния системы
«атмосфера-подстилающая поверхность»;
- усвоения спутниковых данных в схемах численного анализа и прогноза погоды.
Создаваемые БРМ должны обеспечить высокое быстродействие моделирования измеряемых спектров при погрешности расчетов на уровне инструментального шума.
Характерной особенностью зондировщика ИКФС-2 является его высокая спектральная разрешающая способность: измеряемый спектр содержит 2701 «узкий» канал, покрывающий полосу 660-2000 см-1; общее время измерения полного спектра ИКФС-2 составляет 0,7 с. Это предъявляет высокие требования к скорости вычислений БРМ: по
предварительным оценкам, время моделирования одного сигнала (излучения, регистрируемого в одном канале) не должно превосходить нескольких миллисекунд. МСУ-МР содержит два «широких» инфракрасных канала - пятый (полоса чувствительности - 850-1050 см-1) и шестой (790-950 см-1).
Общая практика решения задачи моделирования спутниковых измерений - решение уравнения переноса излучения в полосе канала и последующее интегрирование результатов с функцией устройства::
+Д / N \
-д М=1 '
где Е*(у) - излучение, измеренное в канале с центром в V и шириной 2 А, Е^) - излучение 7-го слоя атмосферы (/ = 1 соответствует подстилающей поверхности), ГКч) - функция пропускания атмосферы от уровня I до верхней границы атмосферы, - функция устройства.
Функция пропускания Г^) зависит от состояния атмосферы, для её нахождения используются спектроскопические базы данных. Данный подход имеет существенные ограничения по производительности: функция пропускания меняется очень быстро, и для достижения приемлемой точности уравнение переноса необходимо решать с высоким (порядка 0,001 см-1) спектральным разрешением. Так как измерения МСУ-МР и ИКФС-2 покрывают довольно широкие полосы (шириной 250 см"1 и
1340 см-1 соответственно), для точного моделирования полного спектра этих приборов требуется решать уравнение переноса сотни тысяч раз; так, моделирование полного спектра ИКФС-2 с помощью популярного пакета ЬБЬЯТМ [2] занимает десятки секунд. Таким образом, очевидно, что приемлемое для решения прикладных задач быстродействие может быть достигнуто только при использовании простых аналитических выражений или интерполяционных схем без привлечения алгоритмов численного решения уравнения переноса.
При разработке БРМ была принята за основу методология создания зарубежных БРМ аналогичного назначения ЯТТОУ [3], основанная на быстром вычислении эффективных оптических толщин атмосферных слоев. В предположении, что интенсивность излучения в полосе канала не зависит от волнового числа (это особенно близко к истине для случая «узких» каналов ИКФС-2), уравнение переноса может быть приведено к виду
N Д
Е*^) = ^ Е^) ПМ где ПМ = J гi(v + ISRF(V +
1=1 -д
- «эффективная функция пропускания» атмосферы от уровня 1 до верхней границы для данного устройства; знание значений Ц^) позволяет найти значение измеряемого сигнала без выполнения спектрального интегрирования. Методология ЯТТОУ заключается в быстром нахождении «эффективных оптических толщин» атмосферных слоев Дт;^), определяемых как
Ц-цМ
Очевидно, что при знании эффективных толщин эффективные функции пропускания атмосферы находятся тривиальным способом.
Высокая скорость вычислений эффективных толщин достигается благодаря описанию результатов точного спектрального моделирования линейной регрессионной зависимостью от набора из нескольких десятков (до 90 - в зависимости от волнового числа) заранее установленных предикторов, представляющих собой функционалы характеристик атмосферы (вертикальных профилей температуры и концентраций основ-
ных газовых поглотителей) и зенитного угла наблюдения. Для нахождения регрессионных коэффициентов используется этап обучения БРМ.
Описываемое в работе разработанное программное обеспечение обеспечивает технологическую поддержку задач быстрого моделирования спутниковых инфракрасных измерений в Windows-окружении. Оно включает в себя GUI-программу построения БРМ, консольную программу оценки качества (валидации) построенных БРМ и консольную программу расчетов по БРМ. Разработка данного программного обеспечения выполнялась в среде Microsoft Visual Studuo 2008 c использованием пакетов Microsoft Visual C++ и Intel Fortran.
На Рис. 1 показан внешний вид основных окон программы построения БРМ. Программа позволяет настроить параметры измерительной платформы (высоту орбиты спутника, функцию каналов зондировщика) и обучения («точная» вычислительная модель, обучающий набор атмосферных данных и углов наблюдения). В настоящей работе в качестве модели для вычисления «точных» значений эффективных оптических толщин используется пакет LBLRTM [2] на базе спектроскопического атласа HITRAN-2008; в качестве обучающего набора атмосферных данных используется глобальный набор из 83 моделей атмосферы, ранее отобранный авторами RTTOV при построении БРМ, предназначенной для моделирования данных зондировщика IASI (европейский метеоспутник Metop) [4]. Время построения БРМ ИКФС-2 на персональном компьютере CPU Intel Core i5 650 3,20 ГГц и 4 Гб оперативной памяти составляет около 50 часов.
Программные модули расчетов по моделям LBLRTM и RTTOV были собраны из исходного кода указанных пакетов, написанных на FORTRAN. При этом данные пакеты были перенесены из среды UNIX в среду Windows, в них были исправлены обнаруженные в процессе эксплуатации ошибки. Дополнительное ускорение БРМ было достигнуто распараллеливанием вычислений RTTOV посредством использования директив OpenMP.
В отсутствие прямых спутниковых измерений для оценки точности разрабатываемых моделей результаты расчетов сравниваются с результатами расчетов, выполненных пакетом LBLRTM. На Рис. 2 приведено сопоставление для БРМ ИКФС-2 и упомянутого выше обучающего набора атмосферных моделей; кривые показывают, что точность разработанной БРМ сравнима с аппаратным шумом [5].
Ш шл
Platform name; [meteor^ 3 Satdteno; I 1 ±1 Sateite bbght (km): I 832 Instrument name: [irfc2 3 Sensor t®e: |bbgh resolution j^J
Instrument function:
* Верп (cm-1) End (cm-1) Step (от-1) | Type
1 660 1209.5 0.35 GaussНШМ -0.35
2 1210.2 2000.5 0.7 Gauss KWHM =0.7
a Interval...
Bariove Interval |
Learnng parameters
Line-by-line model: [LBLffTM jj] Atmospheric profits:
Database path: | D: VRFS2\Alm\Matricardi.dat _
._. С «profiles
Database type: |Matr»nl J^j <? sdeited (roffcs; 11-9,11-13,15*3
View anstes (deg,): 1040,20,30,40 Г Use Planck-weighted transmittarwes
Load Model Parameters...
Save Made! Parameters...
Edit Instrument Function Interval
First wave number (on-l): | Last wave number (cm-1): I Channel step (cm-1):
Edit Instrument Function Interval
Rrstwave numb» (cm-1): Last wave number (an-1): Г
Channel step (cm-1): Type f" Sauss
# Bes (am-1)
• pjstomi Value '
-56.5 -56 -SS.S -55 -54.5 -54 -53.5 -53 -S2.5 •S2 -51,5
0.0558 0.0567971 0.0582535 0.0597765 0.0613578 0.0630806 0.0646154 0.0665433 0.0682955 0.070131 0.0721292 0.0740834 Л П7ЯТА71
Lfiad...
Рис. 1. Основные окна приложения построения БРМ.
Рис. 2. Точность моделирования БРМ ИКФС-2 в сравнении с аппаратным шумом прибора.
Построенная по указанной методике БРМ МСУ-МР обладала значительно более низкой точностью: среднеквадратичная ошибка моделирования в терминах яркостной температуры на обучающем наборе составляла 0,77 K (пятый канал) и 3,33 K (шестой канал) при оценке аппаратного шума 0,3 K. Основная гипотеза о природе такой невысокой точности заключалась в том, что допущение о независимости интенсивности излучения атмосферного слоя от волнового числа оказывается слишком грубым для «широких» каналов МСУ-МР. Действительно, на границах каналов различие значений функции Планка, определяющей зависимость интенсивности излучения от температуры, достигает полутора раз. Для компенсации изменчивости функции Планка в разработанное программное обеспечение был введен механизм «взвешивания» функции пропускания при интегрировании с аппаратной функцией прибора при расчете эффективной оптической толщины, ранее предложенная в работе [6], где полученные в результате эффективные функции пропускания названы Planck-weighted transmittances, в результате чего ошибка моделирования сократилась до 0,32 K в пятом канале и 0,07 K в шестом, что соответствует величинам аппаратного шума.
Таблица 1 содержит время выполнения операции моделирования (в секундах) для различного числа каналов ИКФС-2 по разработанной БРМ в сравнении с «точными» вычислениями LBLRTM. Замеры выполнялись на ПЭВМ с четырехъядерным центральным процессором Intel Core i5 650 3,20 ГГц и 4 Гб оперативной памяти. Как видно, разработанная БРМ обеспечивает существенное (в 60-500 раз) ускорение вычислений в сравнении с точными расчетами LBLRTM, сохраняя при этом удовлетворительную точность моделирования.
Таблица 1
Число каналов
2701 2000 1000 500 300 100 50 10 1
LBLRTM 45,00 32,70 18,50 11,30 7,700 4,000 2,800 1,600 1,300
БРМ ИКФС-2 0,78 0,58 0,29 0,14 0,089 0,031 0,016 0,005 0,002
Коэффициент ускорения 57 56 63 80 86 129 175 320 650
Авторы считают, что в данной работе новыми являются следующие положения и результаты: впервые в нашей стране разработана технология создания и использования быстрых и точных процедур моделирования спутниковых измерений; разработаны быстрые и точные модели измерений перспективных отечественных инфракрасных зондировщиков ИКФС-2 и МСУ-МР.
Литература
1. Успенский А.Б., Рублев А.Н., Русин Е.В., Пяткин В.П. Быстрая радиационная модель для анализа данных гиперспектрального ИК-зондировщика спутников серии «Метеор-М» // Исследование Земли из космоса. 2013. № 6. С. 16-24.
2. LBLRTM. http://rtweb.aer.com/line_param_frame.html
3. RTTOV. http://research.metoffice.gov.uk/research/interproj/nwpsaf/rtm/
4. MatricardiM.: The generation of RTTOV regression coefficients for IASI and AIRS using a new profile training set and a new linebyline database, ECMWF Research Dept. Tech. Memo. 564, 2008.
5. Головин Ю.М., Завелевич Ф.С., Никулин А.Г., Козлов Д.А., Монахов Д.О., Козлов И.А., Болмосов И.В., Архипов С.А., Целиков В.А., Романовский А.С. Информационные характеристики летного образца аппаратуры ИКФС-2 // Современные проблемы дистанционного зондирования Земли из космоса: сборник статей. 2012. Т.9, № 5. С. 291-300.
6. Brunnel P., Turner S. On the use of Planck-weighted transmittances in RTTOV // Poster in the 13h International TOVS study conference, Ste. Adele, Canada, 29 October - 4 November 2003 (http://cimss.ssec.wisc.edu/itwg/itsc/itsc13/thursday/brunel_poster.pdf).
Technology for fast simulation of infrared sounders measurements
Valeriy Pavlovich Pyatkin, Doctor of Technical Sciences, Head of laboratory
Evgeniy Vladimirovich Rusin, Candidate of Technical Sciences, Senior Research Associate
Institute of Computational Mathematics and Mathematical Geophysics RAS
The computational technologies for fast and accurate modeling of infrared spectra to be measured by IRFS-2 and MSU-MR sounders which are planned to be installed on board of Russian meteorological Meteor-Msatellites are under consideration. Methodological aspects of fast radiative transfer model development are briefly described. Interface and functionality of the developed software is presented, its accuracy and performance are assessed.
Keywords: computational technologies, remote sensing, software, satellite measurements simulation, high-performance computing, RTTOV.
УДК 004.438
СТРУКТУРА ДАННЫХ ДЛЯ ХРАНЕНИЯ ИНФОРМАЦИИ В СОЦИАЛЬНЫХ СЕТЯХ
Вера Львовна Волушкова, канд.техн.наук, доц., Тел.: +7 (920) 694 13 72, e-mail: [email protected] Тверской государственный университет http://university. tversu.ru Александра Юрьевна Волушкова, студент Тел.:+7(926)153-53-30, e-mail: [email protected] Московский авиационный институт http://www.mai.ru
Предложена структура данных для хранения «постов» в социальных сетях с небольшим количеством пользователей. Перед разработчиками стоит задача выбора удобной и эффективной системы хранения информации. Созданные в работе структуры данных учитывают особенности no-SQL и SQL хранилищ данных. Производительность каждой из предложенных моделей проверяется на запросах разной сложности к базам данных разной структуры. Эффективность предложенных структур проверяется на конкретных данных.
Ключевые слова: базы данных, NoSQL базы данных, MongoDB.
Данные в социальных сетях представляют собой текстовые сообщения различных пользователей, которые вывешиваются(post up) на страничках членов сети или страничках сообществ сети. Поэтому такие сообщения называют «постами». Посты принадлежат страничкам пользователей или сообществам сети. Данные постов не требуют синхронизации. Помимо страничек в социальных сетях, которые мы рассматриваем, существует понятие «новостная лента». «Новостная лента» - это подборка «постов» ав-
