Научная статья на тему 'ИСПОЛЬЗОВАНИЕ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ ГИДРОМЕТЕОРОЛОГИИ'

ИСПОЛЬЗОВАНИЕ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ ГИДРОМЕТЕОРОЛОГИИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
360
62
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ДИСТАНЦИОННОЕ ЗОНДИРОВАНИЕ ЗЕМЛИ / МАШИННОЕ ОБУЧЕНИЕ / НЕЙРОННАЯ СЕТЬ / CNN / ТЕКСТУРЫ / КЛАССИФИКАЦИЯ СПУТНИКОВЫХ ИЗОБРАЖЕНИЙ / REMOTE SENSING / MACHINE LEARNING / NEURAL NETWORK / TEXTURES / SATELLITE IMAGE CLASSIFICATION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Крамарева Любовь Сергеевна, Андреев Александр Иванович, Блощинский Владислав Дмитриевич, Кучма Михаил Олегович, Давиденко Алексей Николаевич

Рассмотрен опыт использования нейронных сетей в решении актуальных задач в области гидрометеорологии. Приведены результаты исследований по классификации подстилающей поверхности и облачности алгоритмами на основе машинного обучения по данным космических аппаратов серий “Метеор-М”, “Электро-Л” и “Himawari”. Описан процесс формирования обучающих наборов данных из спектральных значений в каналах спутниковых приборов и текстурных данных. Показано, что использование текстур при обучении сверточных нейронных сетей повышает точность классификации по сравнению с другими методами, особенно в ситуации схожести спектральных характеристик снежного покрова и облачности. Программные комплексы для формирования маски снега и облачности, а также карт типов облачного покрова, основанные на применении описанных в данной работе методик, успешно прошли испытания и были внедрены в оперативную работу Дальневосточного центра НИЦ “Планета”.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Крамарева Любовь Сергеевна, Андреев Александр Иванович, Блощинский Владислав Дмитриевич, Кучма Михаил Олегович, Давиденко Алексей Николаевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

THE USE OF NEURAL NETWORKS IN HYDROMETEOROLOGY PROBLEMS

The purpose of this paper is to study methods and technologies based on machine learning algorithms for solution of hydrometeorological problems associated with the satellite multispectral image classification. Methodology. The models presented in the paper are developed using various machine learning methods, such as Support Vector Machine (SVM) as well as Convolutional Neural Networks (CNN). Multispectral satellite images are used as input data from which training and test datasets are formed, consisting of more than 270 thousands units. For calculations, the resources of hybrid computing systems and specialized machine learning libraries were used. Results. The models have been developed for classifying the underlying surface. Methods for verifying snow masks and clouds are described. Findings. It is shown that the use of textures in training of CNN increases the classification accuracy compared to other methods, especially in situations where spectral characteristics are similar (cold ice clouds and snow surface). The testing process of the developed algorithms includes an assessment of accuracy using metrics (f-measure, false alarm detection etc.) calculated for test datasets, as well as comparison with stateof-art models and the results of manual segmentation by experienced meteorologists. The test results showed a fairly high level of reliability and accuracy of classification.

Текст научной работы на тему «ИСПОЛЬЗОВАНИЕ НЕЙРОННЫХ СЕТЕЙ В ЗАДАЧАХ ГИДРОМЕТЕОРОЛОГИИ»

Вычислительные технологии

Том 24, № 6, 2019

Использование нейронных сетей в задачах

гидрометеорологии*

Л. С. Крамарева1, А. И. Андреев1'2^, В. Д. Блощинский1, М.О. Кучма1, А.Н. Давиденко1, И. Н. Пустатинцев1, Ю. А. Шамилова1, Е. И. Холодов1, С. П. Королёв2

Дальневосточный центр НИЦ "Планета", Хабаровск, Россия вычислительный центр ДВО РАН, Хабаровск, Россия ^Контактный e-mail: alexander.andreev.mail@gmail.com

Рассмотрен опыт использования нейронных сетей в решении актуальных задач в области гидрометеорологии. Приведены результаты исследований по классификации подстилающей поверхности и облачности алгоритмами на основе машинного обучения по данным космических аппаратов серий "Метеор-М", "Электро-Л" и "Himawari". Описан процесс формирования обучающих наборов данных из спектральных значений в каналах спутниковых приборов и текстурных данных. Показано, что использование текстур при обучении сверточных нейронных сетей повышает точность классификации по сравнению с другими методами, особенно в ситуации схожести спектральных характеристик снежного покрова и облачности. Программные комплексы для формирования маски снега и облачности, а также карт типов облачного покрова, основанные на применении описанных в данной работе методик, успешно прошли испытания и были внедрены в оперативную работу Дальневосточного центра НИЦ "Планета".

Ключевые слова: дистанционное зондирование Земли, машинное обучение, нейронная сеть, CNN, текстуры, классификация спутниковых изображений.

Библиографическая ссылка: Крамарева Л.С., Андреев А.И., Блощинский В.Д., Кучма М.О., Давиденко А.Н., Пустатинцев И.Н., Шамилова Ю.А., Холодов Е.И., Королёв С.П. Использование нейронных сетей в задачах гидрометеорологии // Вычислительные технологии. 2019. Т. 24, № 6. С. 50-59. DOI: 10.25743/ICT.2019.24.6.007.

Введение

Технологии по обработке и анализу данных, получаемых с космических аппаратов (КА), интенсивно совершенствуются. Эти данные несут различную информацию о земной поверхности, микро- и макрофизических параметрах облачных образований и состоянии атмосферы. Они позволяют в оперативном режиме с довольно высокой степенью точности решать множество фундаментальных и прикладных научных задач, связанных с комплексным мониторингом климата и экосистем, прогнозированием метеорологических явлений и др.

* Title translation and abstract in English can be found on page 59.

© ИВТ СО РАН, 2019.

Модели и алгоритмы на основе спектрального анализа данных [1], активно используемые для решения подобных задач, зачастую не в состоянии учесть все многообразие факторов, влияющих на конечный результат, и обеспечить скорость анализа требуемой информации. Альтернативой им выступают самообучающиеся алгоритмы, моделирующие зависимости исходя из самих обучающих данных. Появление высокопроизводительных вычислительных систем и адаптированных для них специализированных программных библиотек привело к росту использования технологий машинного обучения (МО) и глубокого обучения в решении задач, в том числе и в рассматриваемой области знаний.

Дальневосточный центр НИЦ "Планета" является ведущей организацией на Дальнем Востоке по эксплуатации и развитию систем наблюдения Земли из космоса. Центр обладает собственными системами приема, обработки и анализа инструментальной информации, здесь накоплены обширные архивы данных гидрометеорологического, при-родно-ресурсного и океанографического значения. С использованием ресурсов цифровой вычислительной платформы на базе архитектуры ОрепРОШЕИ [2] работниками центра совместно с сотрудниками Вычислительного центра ДВО РАН проведены исследования по оценке эффективности применения современных гибридных вычислительных систем для обработки и анализа спутниковых данных.

В настоящей статье представлены результаты разработки и использования алгоритмов на основе МО для решения задач в области гидрометеорологии, связанных с классификацией мультиспектральных спутниковых изображений.

1. Машинное обучение в задачах гидрометеорологии

В настоящее время наблюдается значительный рост использования алгоритмов МО для решения различных актуальных научно-технических задач, в том числе в области дистанционного зондирования Земли (ДЗЗ), например для классификации облачности [3], краткосрочного прогнозирования осадков [4], наводнений [5] и др. Применительно к задачам ДЗЗ подход на основе МО можно условно отнести к категории алгоритмов, неявным образом использующих физические и нефизические величины — данные измерений спутниковых приборов. Другими словами, функция, связывающая входные величины и выходной результат (например, вероятность определенного класса в задаче классификации), аппроксимируется указанными алгоритмами, в отличие от остальных подходов, в которых эта функция обычно задается явным образом.

Примером явного физического подхода являются широко распространенные алгоритмы классификации на основе спектрального анализа и пороговых методик, где физическая величина (коэффициент спектральной яркости, яркостная температура и др.) или спектральный индекс оцениваются по заданным пороговым значениям для каждого класса [6]. При таком подходе возникает необходимость учета сложных зависимостей для получения более точных результатов при неизвестной аналитической форме. Использование алгоритмов МО в качестве универсальных аппроксиматоров функций позволяет преодолеть эти сложности.

2. Процесс сбора и подготовки эталонных данных

Для построения моделей на основе МО необходимо большое количество данных с максимально возможной вариативностью в рамках решаемой задачи. В ДЗЗ данные обычно

представлены в виде числовых характеристик (признаков) или изображений, а также их временных последовательностей. Частным случаем изображений являются текстуры, представляющие собой сравнительно небольшие участки подстилающей поверхности или облачности, обладающие однородными статистическими характеристиками. Для решения задач классификации методами МО авторами проведена работа по формированию обучающих и тестовых наборов данных. С этой целью разработан программный комплекс, при помощи которого опытные специалисты-дешифровщики произвели маркировку объектов (точек или текстур) на спутниковых изображениях с присвоением им соответствующего морфологического класса.

В дальнейшем данные подвергались предварительной обработке: каждый признак нормировался в интервале от 0 до 1 или стандартизировался, удалялись ошибочные данные и пропущенные значения. Для значений коэффициентов спектральной яркости видимых каналов дополнительно производилась нормализация по зенитному углу Солнца. С целью повышения эффективности и увеличения точности классификации набор текстурных данных был расширен путем поворота текстур вокруг своей оси на различные углы и отражения по вертикали или горизонтали.

Список используемых классификационных признаков формировался по методу полного перебора комбинаций признаков (Exhaustive Feature Selection) [7], где в качестве критерия выступал показатель /-меры для тестового набора данных. Указанная процедура позволила снизить требования к используемым вычислительным ресурсам без существенного ухудшения показателей точности и качества выходной продукции.

Таким образом, сформированы достаточные наборы обучающих и тестовых данных, которые можно использовать в дальнейших исследованиях на основе методов МО, связанных с разработкой различных классификаторов. Общее их количество по всем выборкам составило более 270 тыс. текстур и точек различных типов подстилающей поверхности и облачности.

3. Детектирование облачности и снега

Максимально точное детектирование облачности и оценка распределения снежного покрова являются важными этапами при решении многих задач гидрометеорологии. Мировой опыт применения методов МО в этой области показывает, что задача классификации подстилающей поверхности и облачности может быть решена более эффективно, если помимо физических величин и дифференциальных индексов при обучении классификаторов использовать текстурные данные [8].

Для работы с текстурами обычно используются два подхода. Согласно первому из них текстуры пересчитываются в признаки при помощи статистических методов, например Gray-Level Co-occurrence Matrix [9], вейвлет-преобразования [10] и др. Комбинации признаков, рассчитанные с использованием нескольких методов, могут довольно эффективно описывать текстуры на примере задачи классификации облачности [3], однако указанный метод вычислительно-ресурсоемок и не в полной мере отражает все возможные характеристики классифицируемого объекта. Другой подход заключается в использовании нейронных сетей сверточного типа (Convolutional Neural Network, CNN) [11]. Он позволяет достичь наиболее высокой точности в решении задач детектирования облачности в сравнении с другими подходами [8, 12].

Для реализации алгоритма детектирования облачности и снега по данным приборов МСУ-МР и МСУ-ГС космических аппаратов "Метеор-М" и "Электро-Л" применен

текстурный подход на основе CNN-классификаторов. Общий объем данных, использованный при обучении классификаторов по данным МСУ-МР, составил приблизительно 184 тыс. текстур, а по данным МСУ-ГС — около 64 тыс. единиц.

На основе архитектурных решений нейронных сетей AlexNet, VGG-16, Google Inception и ResNet [13-15] экспериментальным путем подобраны архитектуры, наилучшим образом подходящие для детектирования снега и облачности в условиях малого разрешения съемки (1 км в надире для МСУ-МР и 4 км для МСУ-ГС). Полученные результаты представлены на рис. 1. Каждая архитектура состоит из ряда слоев, выполняющих операции свертки изображений (Conv) и субдискретизации (MaxPooling, GlobalAveragePooling), активации нейронов (функции ReLU, Sigmoid, Softmax), регуляризации (Dropout), аппроксимации моделируемой функции полносвязными нейронными слоями (FC, Fully Connected) и пакетной нормализации (Batch Normalization). Блоки Input и ZeroPadding несут вспомогательную функцию по преобразованию входных данных в виде тензоров и их дополнения граничными значениями.

Оценка качества получаемых классификаторами масок снега и облачности осуществлялась по нескольким методикам. В качестве основной метрики использовался показатель /-меры, по результатам расчета которого для тестовых наборов данных маска снега и облачности по данным МСУ-МР имеет точность не менее 95%, а по данным МСУ-ГС — не менее 98 %. Опытными специалистами производились сравнение получа-

Рис. 1. Архитектуры нейронных сетей для детектирования снега по данным МСУ-МР (слева), облачности по данным МСУ-МР (в центре) и создания композитной маски снега и облачности по данным МСУ-ГС (справа)

а б в

Рис. 2. Валидация маски облачности: а — по данным МСУ-МР, б — по данным УНИЯ, в — сопоставление масок облачности МСУ-МР (красный цвет) и УНИЯ (голубой цвет)

емых с помощью классификаторов масок облачности с результатами ручного дешифрирования спутниковых изображений и последующая оценка относительной погрешности, составившей не более 14 % по данным МСУ-МР. Кроме того, результаты работы классификаторов сравнивались с масками облачности по данным зарубежных КА, применяемыми в оперативной практике. На рис. 2 представлен пример сопоставления масок облачности по данным приборов МСУ-МР и УПИБ КА "Биот1 КРР", алгоритм детектирования облачности для которого реализован на основе метода, изложенного в [16]. Аналогичное сравнение произведено и для масок облачности по данным приборов МСУ-ГС и БЕУ1И1 КА "Meteosat", алгоритм детектирования облачности последнего описан в работе [17]. Результаты сравнения всех масок показали достаточно высокий уровень достоверности и точности. Подробно процесс разработки и верификации описанного решения представлен в работах [18, 19].

4. Классификация типов облачности

Другая актуальная задача метеорологии — проведение качественного синоптического анализа. В частности, интерес представляет облачный покров, который зачастую связан с опасными явлениями погоды. Для формирования карт типов облачного покрова авторами разработаны алгоритмы на основе МО, использующие данные приборов AHI и МСУ-МР космических аппаратов "Himawari-8" и "Метеор-М" № 2 соответственно.

Классификатор типов облачности по данным прибора AHI использует в качестве исходной информации параметры облачного покрова, восстановленные с применением программного комплекса CLAVR-x (Cloud from AVHRR Extended) [20], адаптированного для работы с этим прибором. Это высота верхней границы облачности, содержание воды и льда в столбе, эффективный радиус частиц, а также продукт "тип облачности" комплекса CLAVR-x. Обучающий набор данных состоит из 10.5 тыс. примеров облачности в виде точек и 12 тыс. в виде текстур на спутниковых изображениях приборов AHI и МСУ-МР соответственно. Каждый пример отнесен к одному из типов согласно системе классификации, наиболее близкой к принятой в синоптической практике, позволяющей при этом разделить традиционно объединяемые в один класс облака, дающие обложные и ливневые осадки.

В процессе разработки алгоритма классификации по данным прибора AHI проводилось сравнительное тестирование различных классификаторов: SVM, метод fc-средних, алгоритмы на основе деревьев решений (Decision Trees), наивный байесовский классификатор (Gaussian Naive Bayes). По результатам исследования выбран классификатор SVM с ядром радиальных базисных функций (RBF) [21], показавший наибольшую точность на тестовом наборе данных.

Поскольку алгоритм классификации по данным прибора AHI разработан для совместного использования с программным комплексом CLAVRx, для прибора МСУ-МР был принят другой подход, основанный на совместном применении классификаторов SVM и CNN. В нем используется двухуровневая схема классификации [22]: сначала облачность классифицируется по принадлежности к одному из ярусов (верхний, средний, нижний) или наличию потенциально опасных явлений, а затем определяется морфологический тип облачности из указанных выше классов. Данная процедура классификации использует алгоритм CNN в качестве основы для создания карты типов облачности. В дальнейшем осуществляется процедура повторной классификации

Inputs

5x5x6

Conv2D+ ReLU

3x3x16

MaxPoolmg

2x2

I

Conv2D + ReLU 3x3x24

Conv2D + ReLU 1x1x24 I

MaxPoolirig 2x2

I

ZeroPadding 1x1

I

Concatenate

I

Dropout

0.5

I

Conv2D + ReLU

3x3x16

I

Conv2D+ ReLU

1x1x9

I -

Conv2D + ReLU

1x1x3

I

GlobalAveragePooling

class label

Рис. 3. Архитектура нейронной сети, используемая для классификации типов облачности по данным МСУ-МР

Рис. 4. Пример классификации типов облачности: RGB-синтез каналов 0.62, 0.86 и 1.72 мкм прибора МСУ-МР (а) и результат классификации типов облачности (б)

потенциальной осадкообразующей облачности с целью уточнения ее границ с пиксельной точностью. Архитектура классификатора CNN, принятая в данной работе, представлена на рис. 3. В качестве входных параметров алгоритма используются высота, температура и давление на верхней границе облачности, содержание воды и льда в столбе (методика их определения описана в работе [23]), а также географическая широта.

Верификация описанных выше алгоритмов проводилась путем сопоставления получаемых классификатором результатов с данными фактических наземных наблюдений (средняя точность 82 и 78% для приборов AHI и МСУ-МР соответственно) и метеорологических радиолокационных радаров (точность 87 % для прибора AHI). В результате проведенных исследований алгоритмы были внедрены в оперативную практику и используются в работе Дальневосточного центра НИЦ "Планета" в качестве вспомогательного материала для синоптического анализа облачности. На рис. 4 представлен пример классификации типов облачности по данным МСУ-МР.

Заключение

Модели, построенные с использованием МО, позволяют учесть большее число зависимых величин, чем физические модели, что в конечном итоге позволяет повысить их точность. Нейронные сети являются эффективным инструментом для работы с данными спутниковых приборов в виде изображений (текстур), что было показано на примере классификации объектов со схожими спектральными характеристиками, таких как снег и облачность [24].

В настоящее время авторами ведется разработка алгоритмов классификации льда и краткосрочного прогнозирования осадков на основе сверточных и рекуррентных нейронных сетей с использованием спутниковых данных и численных прогностических моделей. Все описанные в данной работе подходы протестированы с использованием специально сформированных наборов данных опытными специалистами-дешифровщиками. Также произведено сравнение с действующими алгоритмами, принятыми в мировой оперативной практике. Успешные результаты испытаний представленных в работе моделей позволили внедрить их в оперативную работу Дальневосточного центра НИЦ "Планета".

Благодарности. В процессе разработки алгоритмов использованы ресурсы ЦКП

"Центр данных ДВО РАН" [25]. Численные расчеты проводились при финансовой поддержке РФФИ (грант № 18-29-03196).

Список литературы / References

[1] Khatami, R., Mountrakis, G., Stehman, V.S. A meta-analysis of remote sensing research on supervised pixel-based land-cover image classification processes: General guidelines for practitioners and future research // Remote Sensing of Environment. 2016. Vol. 177. P. 89-100.

[2] Mal'kovskii, S.I., Sorokin, A.A., Korolev, S.P., Zatsarinnyi, A.A., Tsoi, G.I. Performance evaluation of a hybrid computer cluster built on IBM POWER8 Microprocessors // Programming and Computer Software. 2019. Vol. 45, No. 6. P. 324-332.

[3] Астафуров В.Г., Скороходов А.В. Классификация многоярусной облачности по данным MODIS с использованием технологии нейронных сетей и методов нечеткой логики // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12, № 6. C. 162-173.

Astafurov, V.G., Skorokhodov, A.V. Multi-layer cloud classification from MODIS data using neural network technology and fuzzy logic approach // Current Problems in Remote Sensing of the Earth from Space. 2015. Vol. 12, No. 6. P. 162-173. (In Russ.)

[4] Shi, X., Gao, Z., Lausen, L., Wang, H., Yeung, D.Y., Wong, W., Woo W. Deep learning for precipitation nowcasting: A benchmark and a new model // Advances in Neural Information Processing Systems. 2017. P. 5617-5627.

[5] Campolo, M., Andreussi, P., Soldati, A. River flood forecasting with a neural network model // Water Resources Research. 1999. Vol. 35, No. 4. P. 1191-1197.

[6] Bankert, R.L., Mitrescu, C. Comparison of GOES cloud classification algorithms employing explicit and implicit physics // Journal of Applied Meteorology and Climatology. 2009. Vol. 48, No. 7. P. 1411-1421.

[7] Raschka, S. Python machine learning. Packt Publ. Ltd, 2015. 417 p.

[8] Le Goff, M., Tourneret, J.-Y., Wendt, H., Spigai, M. Deep learning for cloud detection // Proc. of the Intern. Conf. ICPRS (8th International Conference of Pattern Recognition Systems). Madrid, 2017. P. 1-6.

[9] Lofstedt, T., Brynolfsson, P., Asklund, T., Nyholm, T., Garpebring, A. Gray-level invariant Haralick texture features // PloS one. 2019. Vol. 14, No. 2. P. e0212110.

[10] Ma, W.Y., Manjunath, B.S. A comparison of wavelet transform features for texture image annotation // Proc. of the International Conference on Image Processing. IEEE. 1995. Vol. 2. P. 256-259.

[11] LeCun, Y., Bengio, Y. Convolutional networks for images, speech, and time series // The Handbook of Brain Theory and Neural Networks. 1995. Vol. 3361, No. 10. 1995 p.

[12] Chen, W., Duan, J., Juan, M. Cloud detection via convolutional neural network in visible light remote sensing images // Proc. of the International Conference on Artificial Intelligence: Techniques and Applications (AITA2017). 2017. P. 38-43.

[13] Krizhevsky, A., Sutskever, I., Hinton, G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. 2012. P. 1097-1105.

[14] Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition // Proc. of the ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Publ.: Computing Research Repository (CoRR), 2015. 14 p. (Preprint / arXiv:1409.1556v6.)

[15] Szegedy, C., Ioffe, S., Vanhoucke, V., Alemi, A.A. Inception-v4, inception-resnet and the impact of residual connections on learning // Proc. of the Thirty-First AAAI Conference on Artificial Intelligence. 2016. P. 4278-4284.

[16] Baker, N. Joint Polar Satellite System (JPSS) VIIRS Cloud Cover/Layers Algorithm Theoretical Basis Document (ATBD). NASA Goddard Space Flight Center Technical Report. 2011. Available at: https://www.star.nesdis.noaa.gov/JPSS/documents/ATBD/ D0001-M01-S01-014_JPSS_ATBD_VIIRS-Cloud-Cover-Layers.pdf

[17] Herve Le Gleau. Algorithm theoretical basis document for the cloud product processors of the NWC/GEO. Meteo-France/Centre de Meteorologie Spatiale, 2016. Iss. 1. Rev. 1. 75 p. Available at: http://www.nwcsaf.org/Downloads/GE0/2018/Documents/Scientific_Docs/ NWC-CD0P2-GE0-AEMET-SCI-ATBD-Precipitation_v2.1.pdf

[18] Kramareva, L.S., Andreev, A.I., Simonenko, E.V., Sorokin, A.A. The use of a

convolutional neural network for detecting snow according to the data of the multichannel satellite device of Meteor-M No. 2 spacecraft // Procedia Computer Science. 2019. Vol. 150. P. 368-375.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[19] Андреев А.И., Шамилова Ю.А., Холодов Е.И. Применение сверточной нейронной сети для детектирования облачности по данным прибора МСУ-МР спутника "Метеор-М" № 2 // Метеорология и гидрология. 2019. № 7. C. 44-53.

Andreev, A.I., Shamilova, Yu.A., Kholodov, E.I. Using convolutional neural networks for cloud detection from Meteor-M No. 2 MSU-MR Data // Russian Meteorology and Hydrology. 2019. Vol. 44, No. 7. P. 459-466.

[20] Heidinger, A.K. CLAVR-x cloud mask algorithm theoretical basis document (atbd). NOAA, Madison, WI, Technical Report. 2004. 68 p. Available at: https: //pdfs.semanticscholar.org/4134/227065ed02c14d8ee4c6eaafde0d5790d65f.pdf?_ga= 2.28684988.125665650.1574375185-2068940.1548301140

[21] Cristianini, N., Shawe-Taylor, J. An introduction to support vector machines and other kernel-based learning methods. Cambridge Univ. Press, 2000. 195 p.

[22] Bankert, R.L. Cloud classification of AVHRR imagery in maritime regions using a probabilistic neural network // Journal of Applied Meteorology. 1994. Vol. 33, No. 8. P. 909-918.

[23] Филей А.А. Восстановление оптической толщины и эффективного радиуса частиц облачности по данным дневных измерений спутникового радиометра МСУ-МР // Оптика атмосферы и океана. 2019. Т. 32, № 08. С. 650-656.

Filei, A.A. Retrieval of the cloud optical depth and particle effective radii from MSU-MR daytime measurements // Optica Atmosfery i Okeana. 2019. Vol. 32, No. 08. P. 650-656. (In Russ.)

[24] Кондратьев K.C. Альбедо и угловые характеристики отражения подстилающей поверхности и облаков. Л.: Гидрометеоиздат, 1981. 231 с.

Kondratev, K.S. Albedo and angular reflection characteristics of the underlying surface and clouds. Leningrad: Gidrometeoizdat, 1981. 231 p. (In Russ.)

[25] Sorokin, A.A., Makogonov, S.I., Korolev, S.P. The information infrastructure for collective scientific work in the Far East of Russia // Scientific and Technical Information Processing. 2017. Vol. 44, No. 4. P. 302-304.

Поступила в 'редакцию 7 октября 2019 г.

The use of neural networks in hydrometeorology problems

Kramareva, Lubov S.1, Andreev, Alexander I.1'2'*, Bloshchinskiy, Vladislav D.1, Kuchma, Mikhail O.1, Davidenko, Aleksey N.1, Pustatintsev, Igor N.1, Shamilova, Yulia A.1, Kholodov, Egor I.1, Korolev, Sergei P.2

1Far Eastern Center of State Research Center for Space Hydrometeorology "Planeta", Khabarovsk, 680000, Russia

2Computing Center FEB RAS, Khabarovsk, 680000, Russia

* Corresponding author: Andreev, Alexander I., e-mail: alexander.andreev.mail@gmail.com

The purpose of this paper is to study methods and technologies based on machine learning algorithms for solution of hydrometeorological problems associated with the satellite multispectral image classification.

Methodology. The models presented in the paper are developed using various machine learning methods, such as Support Vector Machine (SVM) as well as Con-volutional Neural Networks (CNN). Multispectral satellite images are used as input data from which training and test datasets are formed, consisting of more than 270 thousands units. For calculations, the resources of hybrid computing systems and specialized machine learning libraries were used.

Results. The models have been developed for classifying the underlying surface. Methods for verifying snow masks and clouds are described.

Findings. It is shown that the use of textures in training of CNN increases the classification accuracy compared to other methods, especially in situations where spectral characteristics are similar (cold ice clouds and snow surface). The testing process of the developed algorithms includes an assessment of accuracy using metrics (f-measure, false alarm detection etc.) calculated for test datasets, as well as comparison with state-of-art models and the results of manual segmentation by experienced meteorologists. The test results showed a fairly high level of reliability and accuracy of classification.

Keywords: remote sensing, machine learning, neural network, CNN, textures, satellite image classification.

Cite: Kramareva, L.S., Andreev, A.I., Bloshchinskiy, V.D., Kuchma, M.O., Davidenko, A.N., Pustatintsev, I.N., Shamilova, Yu.A., Kholodov, E.I., Korolev, S.P. The use of neural networks in hydrometeorology problems // Computational Technologies. 2019. Vol. 24, No. 6. P. 50-59. (In Russ.) DOI: 10.25743/ICT.2019.24.6.007.

Acknowledgements. Numerical calculations were carried out using methods and technologies developed with financial support of the RFBR, project No. 18-29-03196.

Received October 1, 2019

© ICT SB RAS, 2019

i Надоели баннеры? Вы всегда можете отключить рекламу.