CC BY
21ISSN 2782-2001 Системы анализа и обработки данных том 87, № 3, 2022, с. 7-20
http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 87, No. 3, 2022, pp. 7-20
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
INFORMATION
TECHNOLOGIES
AND TELECOMMUNICATIONS
УДК 004.932.72 + 004.032.26
DOI: 10.17212/2782-2001-2022-3-7-20
Разработка нейросетевого алгоритма оперативного детектирования разливов бассейна реки Амур на основе данных космического аппарата 8епйпе1-2*
М.О. КУЧМА1", ВВ. ВОРОНИН24, Ю.А. ШАМИЛОВА1^, Ю.А. АМЕЛЬЧЕНКО1Й
1 680000, РФ, Хабаровский край, г. Хабаровск, ул. Ленина, 18, Дальневосточный центр ФГБУ «Научно-исследовательский центр космической гидрометеорологии "Планета"»
2 680035, РФ, г. Хабаровск, ул. Тихоокеанская, 136, Тихоокеанский государственный университет
а m.kuchma@dvrcpod.ru ь 004183vvv@mail.ru с shamilova_ya@dvrcpod.ru а amelchenko@dvrcpod.ru
В настоящей работе авторами предлагается алгоритм автоматического оперативного детектирования разливов бассейна реки Амур на основе данных прибора MSI, установленного на космическом аппарате Sentinel-2. Для решения задачи используется сверточная нейронная сеть U-net, усовершенствованная ввиду специфики данных путем добавления дополнительного слоя, понижающего дискретизацию, и слоев нормализации после каждой активации нейронов. В качестве обучающего набора использовались данные Sentinel-2 Level-2A, прошедшие процедуру атмосферной коррекции и представляющие собой 4 канала прибора MSI пространственным разрешением 10 м, а также индексные изображения, построенные на их основе. В качестве эталонной информации использовались векторные карты речных разливов, построенные в интерактивном режиме специалистами дешифровщиками из Дальневосточного центра ФГБУ «Научно-исследовательский центр космической гидрометеорологии "Планета"». Результаты работы нейросетевого алгоритма после процесса обучения оценивались по метрикам, которые составили: Precision - 94,91 %, Recall - 90,76 %, F1-measure - 92,79 %. Высокие оценки точности и быстрая скорость работы позволяют использовать разработанный алгоритм для автоматического оперативного детектирования разливов бассейна реки Амур в задачах комплексного мониторинга паводковой обстановки. Работа является законченным техническим решением и внедрена в опытную эксплуатацию в Дальневосточном центре ФГБУ «Научно-исследовательский центр космической гидрометеорологии "Планета"». Полученные авторами результаты в перспективе планируется адаптировать к данным российского космического аппарата серии «Метеор-М» с установленным на борту комплексом многозональной спутниковой съемки
*
Статья получена 07 июня 2022 г.
КМСС-2. Ожидаемые результаты позволят улучшить качество предоставляемой тематической продукции и перейти на использование отечественных данных при создании собственных технологий для обработки спутниковой информации.
Ключевые слова: дистанционное зондирование Земли, мониторинг, сверточная нейронная сеть, детектирование разливов, алгоритм, Амур, Sentinel-2, MSI, U-net
ВВЕДЕНИЕ
Наводнение является одним из самых распространенных и разрушительных стихийных бедствий на планете, а также одной из основных причин экономических и человеческих потерь во всем мире [1]. Частота и масштабы наводнений, вероятно, увеличатся в ближайшие десятилетия не только из-за наблюдающегося глобального потепления, но и из-за активной хозяйственной деятельности человека [2]. Интенсивное строительство зданий и инфраструктуры в поймах в совокупности с лесными пожарами снижает способность рек поглощать паводковые воды и еще больше увеличивает риск наводнений. Многочисленные плотины ГЭС накапливают огромные массы воды в начале лета, затем, когда уровень воды естественным образом возрастает, сбрасывают в реки кубометры воды из водохранилищ. И это происходит не только на российской стороне.
Сегодня первоочередной целью, позволяющей решить проблему повышения качества управления риском наводнений, становится создание эффективных моделей формирования стока [3]. Эта работа обязательно должна быть подкреплена расширением сети гидрометеорологических наблюдений, а также внедрением новых технологий сбора информации для повышения качества гидрологических прогнозов, к которым, в частности, относятся методы дистанционных наблюдений.
В настоящее время ход прохождения паводковых вод можно оценить с помощью технологий дистанционного зондирования Земли из космоса (ДЗЗ), которые являются уникальным источником данных. Технологии ДЗЗ являются одной из наиболее широко используемых платформ для управления чрезвычайными ситуациями и картографирования обширных территорий. Спутниковые изображения могут применяться для оценки масштабов затопления территорий, анализа и оценки их воздействия на экономику, окружающую среду и инфраструктуру.
Спецификой природы бассейна Амура являются наводнения, которые вызваны выходом южных циклонов и тайфунов, несущих много влаги. Появлению паводков способствует густая речная сеть, горный рельеф, обширные территории с кратковременным и сезонным промерзанием почвы, резкое падение уклонов и малая высота берегов на Среднем и Нижнем Амуре. В бассейне Амура наводнения делятся на обычные, при которых вода выходит на пойму, сильные - когда вода, выходя из берегов, затапливает поля, и очень сильные, влекущие за собой затопление населенных пунктов.
Мониторинг наблюдающихся в последние годы наводнений в бассейне реки Амур свидетельствует о том [4], что наиболее актуальной и эффективной является технология, использующая данные ДЗЗ для картографирования паводковой обстановки. Она помогает своевременно выявлять резкие изменения обстановки в местах, не охваченных другими видами наблюдений, одновре-
менно предоставляя наглядную информацию для предотвращения негативного воздействия вод в период прохождения паводка. Векторные данные, которые являются основой картографирования, в этом случае являются результатом работы алгоритма по детектированию речных разливов, реализация которого в настоящей работе предлагается авторами по данным прибора MultiSpectral Instrument (MSI), установленного на космическом аппарате (КА) Sentinel-2.
Основная задача настоящей работы - разработка нейросетевого алгоритма, позволяющего производить автоматическое оперативное детектирование водных объектов бассейна реки Амур по данным прибора MSI.
1. РАЙОН ИССЛЕДОВАНИЯ
Бассейн реки Амур [5] расположен в умеренных широтах Восточной Азии (рис. 1). Длина реки составляет 2824 километра от места слияния рек Шилка и Аргунь до впадения в Амурский лиман. Количество годовых осадков колеблется от 250 миллиметров в юго-западной части бассейна Амура до 750 миллиметров в юго-восточной части хребта Сихотэ-Алинь.
Рис. 1. Бассейн реки Амур Fig. 1. Amur River basin
По площади бассейна (1856 тыс. кв. км) Амур занимает четвертое место среди рек России (после Енисея, Оби и Лены) и десятое место среди рек мира. Весь Верхний и Средний Амур от Покровки (Забайкальский край) до Влади-мировки (Еврейская автономная область, примерно в 10 км выше Хабаровска) является пограничной рекой, по Амуру проходит российско-китайская граница, действует режим пограничной зоны. В середине XX века начался
естественный процесс перехода реки Амур в новое русло, резко ускорившийся в начале XXI века из-за действий китайской стороны. Смещение русла, по мнению ученых, может привести к смыву нескольких российских поселков. За последние десять-пятнадцать лет на китайской стороне Амура были произведены масштабные берегоукрепительные работы с возведением многокилометровых бетонных дамб, что привело к размыву низменного российского левобережья. Катастрофический разлив реки в 2013 году, а также масштабные наводнения в 2015 и 2019 годах наглядно продемонстрировали недостаточное внимание российской стороны к берегоукрепительным работам.
С самого начала освоения русскими Приамурья река Амур доставляла немалые неудобства своими наводнениями. Сильно страдал город Благовещенск, находящийся на стыке Зеи и Амура, неоднократно затапливаемый обеими реками. В отличие от рек европейской части России, для Амура не характерно однопиковое весеннее половодье в силу более долгой весны, во время которой успевает растаять снег в верховьях рек. Наибольший ущерб представляют наводнения, вызванные дождевыми паводками при прохождении тропических циклонов и тайфунов с юга, приносящих с собой продолжительные ливни в августе-сентябре [6].
До появления искусственных спутников Земли основным дистанционным средством наблюдения были аэрометоды [7] и наземные наблюдения. С появлением космических съемок аэрофотосъемки в наблюдениях за наводнениями перешли на вспомогательные роли, они используются на малых и средних объектах, а также для детального обследования ключевых участков с применением авиатехники. Таким образом, своевременное выявление областей разлива реки Амур, по данным ДЗЗ, является актуальной на сегодняшний день задачей.
2. ИСПОЛЬЗУЕМЫЕ ДАННЫЕ
В настоящей работе используются данные КА Sentinel-2, имеющего полезную нагрузку в виде прибора MSI, который измеряет излучение Земли в 13 спектральных диапазонах с пространственным разрешением от 10 м до 60 м (табл. 1).
Полоса обзора, составляющая 290 км, позволяет обеспечивать глобальное покрытие земной поверхности каждые 10 дней с помощью одного спутника и каждые 5 дней с помощью двух спутников - Sentinel-2A и Sentinel-2B. Оба спутника идентичны с точки зрения полезной нагрузки. Отличие состоит в том, что один спутник совершает полет по нисходящей орбите, второй - по восходящей.
Спутниковые данные представляют собой цифровые массивы измеренной эффективной спектральной плотности энергетической яркости (СПЭЯ) на верхней границе атмосферы. Регистрируемое спутниковым прибором электромагнитное излучение, проходя сквозь слои атмосферы, подвергается ослаблению за счет эффектов поглощения и рассеяния частицами аэрозоля и молекулами малых газовых составляющих. Общепринятой физической характеристикой подстилающей поверхности является коэффициент спектральной яркости (КСЯ). Для перехода от СПЭЯ к КСЯ принято использовать процедуру атмосферной коррекции, задача которой заключается в исклю-
чении из оптического сигнала, измеряемого на спутнике, искажающих факторов и в восстановлении спектральной отражательной способности земной поверхности.
Таблица 1
Table 1
Характеристики прибора MSI Specifications of the MSI instrument
Номер канала Спектральный диапазон (мкм) Пространственное разрешение (м)
1 0,421...0,457 60
2 0,439...0,535 10
3 0,537.0,582 10
4 0,646.0,685 10
5 0,694.0,714 20
6 0,731.0,749 20
7 0,768.0,796 20
8 0,767.0,908 10
8а 0,848.0,881 20
9 0,931.0,958 60
10 1,338.1,414 60
11 1,539.1,681 20
12 2,072.2,312 20
Поскольку изначально данные каналов прибора MSI представляют собой СПЭЯ, то необходимо либо разработать систему обработки данных с последующей процедурой проведения атмосферной коррекции для получения значений КСЯ, либо использовать уже готовые решения. В настоящей работе используются уже атмосферно скорректированные данные Sentinel-2A (B) Level-2A, находящиеся в свободном доступе в сервисе ESA Sentinel-2 Pre-Operations Hub (https://scihub.copernicus.eu/), за период с апреля по октябрь 2021 года для территории бассейна реки Амур. В качестве эталона в настоящей работе использовались векторные карты речных разливов, составленные в интерактивном режиме специалистами-дешифровщиками из Дальневосточного центра НИЦ космической гидрометеорологии «Планета» (далее - НИЦ «Планета»).
На языке программирования Python была написана программа, позволяющая в автоматическом режиме формировать выборку для обучения нейронной сети путем сопоставления спутниковых и эталонных данных. В настоящей работе была сформирована выборка, состоящая из 41 сцены размером 10 000 х 10 000 пикселей спутникового пролета КА Sentinel-2.
Для дальнейшего решения задачи сегментации выборка разбивалась на изображения размером 512 х 512 пикселей, что в итоге позволило получить 3870 примеров. В качестве входных данных для нейросети использовались 4 канала прибора MSI с пространственным разрешением 10 м: № 2 (далее -Blue), № 3 (далее - Green), № 4 (далее - Red) и № 8 (далее - NIR). В качестве выходных данных выступали векторные карты речных разливов, преобразованные в растр средствами библиотеки GDAL. Пример изображения, полученного по данным спектрального канала № 8, для участка реки показан на рис. 2.
Рис. 2. Спектральное изображение участка реки по данным канала № 8
прибора MSI
Fig. 2. Spectral image of a part of the river according to channel No. 8 of the MSI instrument
3. АЛГОРИТМ
Для реализации автоматического алгоритма по детектированию речных разливов необходимо в первую очередь разработать архитектуру нейронной сети и провести ее обучение, чтобы затем использовать уже зафиксированные веса нейронов для оперативного расчета.
В настоящей работе для классификации пикселей изображения используется вариант архитектуры сверточной нейронной сети U-Net, которая имеет эффективную структуру для успешного выполнения задач сегментации изображений [8]. Архитектура сети представляет собой полносвязную сверточную сеть, модифицированную так, чтобы она могла работать с меньшим количеством примеров (обучающих образов) и делала бы более точную сегментацию. Сеть содержит сверточную и разверточную части, поэтому архитектура похожа на букву U, что и отражено в ее названии. На каждом шаге количество каналов признаков удваивается. Кодирующая половина модели выполняет процесс понижения дискретизации, сводя входное изображение к матрице признаков небольшого размера. Декодер строит выходные данные модели и выполняет процесс повышения дискретизации, чтобы вернуть пространственную информацию входного изображения. Модель была адаптирована под размер используемых изображений в рамках решаемой задачи (рис. 3). Размерность декодирующих слоев соответствует кодирующим, так как объединяться могут только слои
с одинаковыми размерностями. Помимо этого, после каждого шага понижения или повышения дискретизации применялась операция нормализации слоев Ва1сЬКогшаН2айоп [9], которая основана на нормализации вывода уровня активации и делает обучение нейронной сети более устойчивым. Для выделения более абстрактных текстурных признаков и лучшей точности классификации был добавлен еще один понижающий дискретизацию слой.
Рис. 3. Графическое изображение архитектуры сети U-net, адаптированной для сегментации речного разлива
Fig. 3. Graphical representation of the U-net network architecture adapted for flood segmentation
Рассмотрим подробнее слои архитектуры нейросети, которые указаны на рис. 3.
Conv [10] - сверточный слой, который имеет ядро свертки - матрицу весов. Ядро, «двигаясь» по изображению, поэлементно выполняет операцию умножения с частью данных, над которой находится, формируя сигнал активации. Такая процедура выполняется для каждой локации, над которой проходит ядро, формируя таким образом карту признаков, передающуюся следующим слоям. Up-conv - слой Conv, который повышает дискретизацию путем простого удвоения входных данных. MaxPool [11] - сверточный слой, который по принципу действия очень похож на Conv, но с тем отличием, что при «движении» происходит не операция умножения, а из части данных выбирается только максимальное значение. Этот слой был разработан для сжатия карт объектов в результате сверточной операции. Кроме того, данный слой позволяет уменьшить зависимость от смещения объектов на изображении. Copy&Concatenate - операция объединения слоев одинаковой размерности, подаваемых на вход. ReLU - функция активации, необходимая для формирования выходного сигнала нейронов, который получается при преобразовании функцией активации взвешенной суммы входных сигналов нейрона. Ее основные преимущества - отсутствие ресурсоемких операций, быстрое обучение при отсутствии затухания градиента.
Процесс обучения нейронной сети заключается в итерационной перенастройке весовых коэффициентов у нейронов заданным алгоритмом оптимизации. Обучение проходит по алгоритму обратного распространения ошибки, согласно которому на каждом шаге с зафиксированными весами нейронов вычисляется реакция сети на поданные данные, от входного слоя к выходному.
Далее по полученной реакции определяется ошибка выходного слоя, называемая функцией потерь, которая при обратном проходе сети изменяет весовые коэффициенты каждого нейрона по методу градиентного спуска. В качестве функции потерь выбрана бинарная кросс-энтропия, так как она хорошо зарекомендовала себя при двухклассовой классификации [12]. В качестве алгоритма оптимизации был выбран алгоритм Adam (adaptive moment estimation), в котором сочетаются идеи сохранения инерции и масштабирования градиента [13]. Обучение происходило до обнаружения минимальных изменений показателей метрик машинного обучения для проверочной выборки по результатам нескольких итераций обучения, идущих подряд.
Используемые для обучения 3870 изображений были случайным образом поделены на подвыборки: 70 % - для обучения, 20 % - для проверки и 10 % - для тестирования. В процессе обучения было выявлено, что использование только четырех каналов прибора MSI недостаточно для получения удовлетворительного результата, так как большая часть пикселей, которые являлись на изображении тенями от облачности или темными участками суши, классифицировались ошибочно и относились к классу воды. Поэтому эмпирическим методом были опробованы различные комбинации входных данных с участием ранее указанных каналов прибора MSI, а также были использованы так называемые «индексные» изображения. На основе комбинации значений яркости в определенных каналах, информативных для выделения исследуемого объекта, и расчета по этим значениям «спектрального индекса» формировались цифровые массивы, соответствующие значению индекса в каждом пикселе. Для детектирования речных разливов на спутниковых изображениях использовались следующие индексы: NDWI (Normalized Difference Water Index - нормализованный относительный индекс воды) [14], MSAVI (Modified Soil-Adjusted Vegetation Index - модифицированный почвенный вегетационный индекс) [15], NDVI (Normalized Difference Vegetation Index - нормализованный относительный индекс растительности) [16] и комбинация индексов EVI (Enhanced Vegetation Index - расширенный вегетационный индекс), NVDI и NDWI - (NVDI+EVI)/2-NDWI [17] (табл. 2).
Таблица 2 Table 2
Используемые индексы
Indexes used
Индекс Формула
NDVI (NIR-Red)/(NIR+Red)
EVI 2.5 (NIR-Red)/(NIR+6 Red-7.5 Blue+1)
MSAVI (1/2)(2(NIR+1) - sqrt((2NIR+1)2-8(NIR-Red)))
NDWI (Green-NIR)/(Green+NIR)
Согласно работам [18-20], индексы N0'^, М8ЛУ1 и КБУ1 показывают высокую точность в определении класса поверхности «вода/суша». При расчете индексов использовался ближний инфракрасный канал (№Я), поскольку именно спектр этого канала максимально поглощается водой и максимально отражается от земной растительности и сухой почвы [19]. Комбинация индексов (№УГО+ЕУ1)/2^В'1 позволяет выделить на спутниковом изображении болотистые участки местности [17].
В результате проведенных экспериментов лучшую точность показала следующая комбинация: 4 исходных канала; отношения каналов - Blue/Red, NIR/Green; индексы NDWI, MSA VI, NDVI и комбинация индексов (NVDI+EVI)/2-NDWI.
Для оценки точности использовались метрики Precision, Recall и их гармоническое среднее F1-measure [21]. При проведении валидации с эталонными картами Precision составил 94,91 %, Recall - 90,76 %, F1-measure - 92,79 %. Дополнительно с эталонными векторными картами сравнивался стандартный продукт Sentinel-2 Scene Classification (далее - SC) [22], который официально предоставляется в свободном доступе Европейским космическим агентством. Precision в этом случае составил 85,45 %, Recall - 79,84 %, F1-measure - 82,54 %.
По результатам визуального сравнения было выявлено, что продукт SC зачастую ошибочно классифицирует водную поверхность в пикселях, соответствующих переувлажненным участкам почвы или теням от облачности. Пример результатов классификации представлен на рис. 4.
Рис. 4. Результаты классификации водной поверхности:
1 - спектральное изображение; 2 - эталонная векторная карта; 3 - 8С; 4 - разработанный алгоритм
Fig. 4. Water surface classification results:
1 - a spectral image; 2 - reference vector map; 3 - SC; 4 - the developed algorithm
На мультиспектральном изображении (блок 1 на рис. 4) черный цвет означает водную поверхность, белый цвет - облачность. Серым цветом (блоки 2-4 на рис. 4) обозначены соответствующие векторы разливов, которые формиро-
вались при работе программы, написанной на языке Python, после выполнения расчета нейронной сетью. Стоит отметить, что в приведенном примере алгоритм SC (блок 3 на рис. 4) ошибочно произвел детектирование суши там, где должна быть вода (темные участки изображения), в то время как разработанный алгоритм (блок 4 на рис. 4) справился с этой задачей.
После того как были получены удовлетворительные результаты валидации, позволяющие применять разработанную нейронную сеть в оперативной практике, был реализован автоматический алгоритм, производящий необходимые расчеты. Для обозначенной области интереса с сайта https://scihub.copernicus.eu/ автоматически производится скачивание данных Sentinel-2A (B) Level-2A. С использованием программы PlanetaSentinelToTiff [24] данные преобразовываются в формат GeoTIFF и затем загружаются в ОЗУ в виде цифровых массивов физических величин. По формулам из табл. 2 рассчитываются необходимые индексы и формируется входной набор данных. После загрузки модели нейронной сети и ее весовых коэффициентов данные подаются на вход и выполняется расчет. Выходные данные сохраняются в векторном формате Shapefile. Время на расчет одной сцены Sentinel-2 с использованием GPU NVIDIA GeForce RTX 2080 8 Гб занимает одну минуту, что подтверждает оперативность алгоритма.
ЗАКЛЮЧЕНИЕ
В результате проведенной работы была получена архитектура нейронной сети, которая позволяет проводить детектирование разливов бассейна реки Амур. Результаты работы показали, что разработанный на основе сверточной сети U-net алгоритм имеет высокие показатели метрик: Precision - 94,91 %, Recall - 90,76 % и F1-measure - 92,79 %, в то время как для продукта Sentinel-2 Scene Classification Precision составил 85,45 %, Recall - 79,84 %, F1-measure - 82,54 %. Благодаря разработанному алгоритму детектирования разливов бассейна реки Амур стало возможным оперативно в автоматическом режиме получать достоверную информацию о динамике затопления территории. Формируемые карты затопления являются актуальной дополнительной информацией при принятии решения о проведении необходимых мероприятий для предотвращения опасных и чрезвычайных ситуаций. Также эти карты могут использоваться для усвоения в системах прогнозирования паводков. Работа является законченным техническим решением и внедрена в опытную эксплуатацию в НИЦ «Планета».
Полученные авторами в ходе проведенного исследования результаты в перспективе планируется адаптировать к данным российского КА серии «Метеор-М» с установленным на борту комплексом многозональной спутниковой съемки КМСС-2. Ожидаемые результаты позволят улучшить качество предоставляемой тематической продукции и перейти на использование отечественных данных при создании собственных технологий для обработки спутниковой информации.
БЛАГОДАРНОСТИ
Исследования проведены с использованием ресурсов Центра коллективного пользования научным оборудованием «Центр обработки и хранения научных данных ДВО РАН», финансируемого Российской Федерацией в лице Минобрнауки России по оглашению №075-15-2021-663.
СПИСОК ЛИТЕРАТУРЫ
1. European Commission. Directive 2007/60/EC of the European Parliament and of the Council of 23 October 2007 on the assessment and management of flood risks // Official Journal of the European Union L. - 2007. - Vol. 288. - P. 27-34.
2. Jongman B.W., Ward P.J., Aerts J.C. Global exposure to river and coastal flooding: long term trends and changes // Global Environmental Change. - 2012. - Vol. 22. - P. 823-835. -DOI: 10.1016/j.gloenvcha.2012.07.004.
3. TanoueM. Hirabayashi Y., IkeuchiH. Global-scale river flood vulnerability in the last 50 years // Scientific Reports. - 2016. - Vol. 6. - P. 36021. - DOI: 10.1038/srep36021.
4. Возможности использования данных дистанционного зондирования Земли на примере мониторинга паводковой обстановки на реке Амур в 2019 году / М.О. Кучма, Л.С. Крамарева, В.В. Суханова, Ю.А. Амельченко, З.Н. Лотарева, Ю.А. Шамилова, Л.А. Слесаренко // Материалы 17-й Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса», Москва, 11-15 ноября 2019 года / Институт космических исследований Российской академии наук. - М., 2019. - С. 1-6. - DOI: 10.21046/17DZZconf-2019a.
5. EgidarevE., SimonovE., Darman Y. Amur-heilong river basin: overview of wetland resources // The Wetland Book. - Dordrecht: Springer, 2016. - Vol. 2. - P. 1-15. - DOI: 10.1007/978-94-007-6173-5_7-2.
6. Афанасьев ПЮ. Наводнения Верхнего Приамурья. - Талакан: Бурейская ГЭС, 2012. - 48 с.
7. Усачев В.Ф., Бурда НЮ. Наводнения и геоинформационные технологии // Труды VI гидрологического съезда. - СПб.: Гидрометеоиздат, 2004. - С. 7578.
8. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // 18th International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2015. Pt. 3. - Cham: Springer, 2015. - P. 234-241. - DOI: 10.1007/978-3-319-24574-4_28.
9. Ioffe S., Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift // Proceedings of Machine Learning Research. - 2015. - Vol. 37: ICML'15: Proceedings of the 32nd International Conference on Machine Learning. - P. 448-456. -DOI: 10.48550/arXiv.1502.03167.
10. Jay Kuo C.C. Understanding convolutional neural networks with a mathematical model // Journal of Visual Communication and Image Representation. - 2016. - N 41. - P. 406-413. -DOI: 10.48550/arXiv.1609.04112.
11. Boureau Y., Ponce J., LeCun Y. A theoretical analysis of feature pooling in visual recognition // Proceedings of the 27th International Conference on International Conference on Machine Learning. - Haifa, Israel, 2010. - P. 111-118. - DOI: 10.5555/3104322.3104338.
12. Mueller A., Guido S. An introduction to machine learning with Python. - O'Reilly Media, 2016. - P. 400.
13. DiederikP.K., Jimmy L.B. Adam: a method for stochastic optimization (Poster) // 3rd International Conference on Learning Representations, ICLR 2015. - San Diego, CA, 2015. -DOI: 10.48550/arXiv.1412.6980.
14. Gao B.C. NDWI - A normalized difference water index for remote sensing of vegetation liquid water from space // Remote Sensing of Environment. - 1996. - Vol. 58. - P. 257-266.
15. A modified soil adjusted vegetation index / J. Qi, A. Chehbouni, A.R. Huete, Y.H. Kerr, S. Sorooshian // Remote Sensing of Environment. - 1994. - Vol. 48. - P. 119-126. - DOI: 10.1016/0034-4257(94)90134-1.
16. Monitoring vegetation systems in the great plains with ERTS / J.W., Jr. Rouse, R.H. Haas, J.A. Schell, D.W. Deering // Third Earth Resources Technology Satellite-1 Symposium. Vol. 1: Technical Presentations. Section A. - Washington, DC: NASA, 1974. - P. 309-317. - Bibcode: 1974NASSP.351.309R.
17. Mapping paddy rice distribution using multi-temporal Landsat imagery in the Sanjiang Plain, Northeast China / C. Jin, X. Xiao, J. Dong, Y. Qin, Z. Wang // Frontiers of Earth Science. - 2015. -Vol. 10, iss. 1. - P. 49-62. - DOI: 10.1007/s11707-015-0518-3.
18. Xu H. Modification of normalised difference water index (NDWI) to enhance open water features in remotely sensed imagery // International Journal of Remote Sensing. - 2006. - Vol. 27 (14). -P. 3025-3033. - DOI: 10.1080/01431160600589179.
19. Water Feature Extraction and Change Detection Using Multitemporal Landsat Imagery / K. Rokni, A. Ahmad, A. Selamat, S. Hazini // Remote Sensing. - 2014. - Vol. 6. - P. 4173-4189. -DOI: 10.3390/rs6054173.
20. A comparison of land surface water mapping using the normalized difference water index from TM, ETM+ and ALI / W. Li, Z. Du, F. Ling, D. Zhou, H. Wang, Y. Gui, B. Sun, X. Zhang // Remote Sensing. - 2013. - Vol. 5. - P. 5530-5549. - DOI: 10.3390/rs5115530.
21. Hastie T., TibshiraniR., Friedman J. The elements of statistical learning: data mining, inference, and prediction. - 2nd ed. - New York, Springer, 2009. - 745 p. - DOI: 10.1007/978-0-387-84858-7.
22. Richter R., Louis J., Muller-Wilm U. Sentinel-2 MSI - Level 2A products algorithm theoretical basis document. S2PAD-ATBD-0001, Issue 2.0. - Darmstadt, Germany: Telespazio VEGA Deutschland GmbH, 2012. - 79 p.
23. Программа «PlanetaSentinelToTiff» для автоматического преобразования данных КА Sentinel в формат GeoTiff: свидетельство о гос. регистрации программы для ЭВМ: № 2019618369: зарег. 10.07.2019: опубл. 19.07.2019 / Кучма М.О., Амельченко Ю.А., Андреев А.И.; правообладатель: Федеральное государственное бюджетное учреждение «Научно-исследовательский центр космической гидрометеорологии "Планета"».
Кучма Михаил Олегович, младший научный сотрудник отдела разработки и внедрения НИОКР Дальневосточного центра ФГБУ «Научно-исследовательский центр космической гидрометеорологии "Планета"». Основное направление научных исследований - искусственный интеллект, распознавание образов, компьютерное зрение. Имеет более 40 печатных работ. E-mail: m.kuchma@dvrcpod.ru
Воронин Владимир Викторович, доктор технических наук, профессор кафедры автоматики и системотехники Тихоокеанского государственного университета. Основное направление научных исследований - анализ и синтез концептуальных диагностических моделей различных типов объектов диагностирования. Имеет более 200 печатных работ и учебных пособий. E-mail: 004183vvv@mail.ru
Шамилова Юлия Андреевна, младший научный сотрудник отдела выходной продукции Дальневосточного центра ФГБУ «Научно-исследовательский центр космической гидрометеорологии "Планета"». Основное направление научных исследований - метеорология, автоматизация, программное обеспечение. Имеет более 10 печатных работ. E-mail: shamilova_ya@dvrcpod.ru
Амельченко Юлия Александровна, младший научный сотрудник отдела выходной продукции Дальневосточного центра ФГБУ «Научно-исследовательский центр космической гидрометеорологии "Планета"». Основное направление научных исследований -гидрология, гляциология, автоматизация, программное обеспечение. Имеет более 10 печатных работ. E-mail: amelchenko@dvrcpod.ru
Kuchma Mikhail O., junior researcher at the department of the development and implementation of R&D in the Far-Eastern Center of State Research Center for Space Hydrometeor-ology "Planeta". The main field of his scientific research is artificial intelligence, pattern recognition, and computer vision. He has over 40 publications. E-mail: m.kuchma@dvrcpod.ru
Voronin Vladimir V., PhD (Eng), professor at the Department of Automation and Systems Engineering, Pacific National University. His research interests include analysis and synthesis of conceptual diagnostic models of various types of diagnostic objects. He has more than 200 publications and teaching manuals. E-mail: 004183vvv@mail.ru
Shamilova Yuliya A., junior researcher at the output production department in the Far-Eastern Center of State Research Center for Space Hydrometeorology "Planeta". The main field of her scientific research is meteorology, automation, and software. She has more than 10 publications. E-mail: shamilova_ya@dvrcpod.ru
Amelchenko Yuliya A., junior researcher at the output production department n the Far-Eastern Center of State Research Center for Space Hydrometeorology "Planeta". The main field of her scientific research is hydrology, glaciology, automation, and software. She has more than 10 publications. E-mail: amelchenko@dvrcpod.ru
DOI: 10.17212/2782-2001-2022-3-7-20
Development of a Neural Network Algorithm for automatic operational detection of Amur River basin floods based on Sentinel-2 satellite data*
M.O. KUCHMA1-", KV VORONIN2'b, YU.A. SHAMILOVA1c YUA. AMELCHENKO1d
1 Far-Eastern Center of State Research Center for Space Hydrometeorology «Planeta», 18 Le-nina Street, Khabarovsk, 680035, Russian Federation
2 Pacific National University, 136 Tihookeanskaya Street, Khabarovsk, 680035, Russian Federation
a m.kuchma@dvrcpod.ru b 004183vvv@mail.ru c shamilova_ya@dvrcpod.ru d amelchenko@dvrcpod.ru
Abstract
In this paper, the authors propose an algorithm for automatic operational flood detection of the Amur River basin based on data from the MSI instrument installed on the Sentinel-2 satellite. To solve the problem, a U-net convolutional neural network is used, improved due to the specifics of the data by adding an additional layer that reduces sampling and normalization layers after each neuron activation. As a training set, Sentinel-2 Level-2A data was used, which underwent the atmospheric correction procedure and represents 4 channels of the MSI instrument with a spatial resolution of 10 m, as well as index images built on their basis. As reference information, vector maps of river floods were used, built in an interactive mode by decoder specialists from the Far-Eastern Center of State Research Center for Space Hydrometeorology "Planeta". The results of the neural network algorithm after the learning process were evaluated according to the metrics that amounted to: Precision - 94.91 %, Recall - 90.76 %, F1-measure - 92.79 %. High accuracy ratings and fast operation speed make it possible to use the developed algorithm for automatic operational flood detection of the Amur River basin floods in the tasks of integrated monitoring of flood conditions. The work is a complete technical solution and has been put into trial operation at the Far-Eastern Center of State Research Center for Space Hydrometeorology "Planeta". In the future, the results obtained by the authors are planned to be adapted to the data of the Russian satellite of the Meteor-M series with the KMSS-2 multi-zone satellite imagery complex installed on board. The expected results will improve the quality of the thematic products provided and will make it possible to switch over to the use of domestic data when creating our own technologies for processing satellite information.
Keywords: remote sensing, monitoring, convolutional neural network, flood detection, algorithm, Amur, Sentinel-2, MSI, U-net
REFERENCES
1. European Commission. Directive 2007/60/EC of the European Parliament and of the Council of 23 October 2007 on the assessment and management of flood risks. Official Journal of the European Union L, 2007, vol. 288, pp. 27-34.
2. Jongman B.W., Ward P.J., Aerts J.C. Global exposure to river and coastal flooding: Long term trends and changes Global Environmental Change, 2012, vol. 22, pp. 823-835. DOI: 10.1016/j.gloen-vcha.2012.07.004.
3. Tanoue M. Hirabayashi Y., Ikeuchi H. Global-scale river flood vulnerability in the last 50 years. Scientific Reports, 2016, vol. 6, p. 36021. DOI: 10.1038/srep36021.
4. Kuchma M.O., Kramareva L.S., Sukhanova V.V., Amelchenko Yu.A., Lotareva Z.N., Shami-lova Yu.A., Slesarenko L.A. [Possibilities of using Earth remote sensing data on the example of monitoring the flood situation on the Amur River in 2019]. Materialy 17-i Vserossiiskoi otkrytoi konferentsii "Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa " [Proceedings 17th All-Russia Open Conference "Current problems in remote sensing of the earth from space"]. Moscow, 2019, p. 1-6. DOI: 10.21046/17DZZconf-2019a. (In Russian).
5. Egidarev E., Simonov E., Darman Y. Amur-Heilong River Basin: Overview of Wetland Resources. The Wetland Book. Vol. 2. Dordrecht, Springer, 2016, pp. 1-15. DOI: 10.1007/978-94-007-6173-5_7-2.
6. Afanas'ev P.Yu. Navodneniya Verkhnego Priamur'ya [Floods of the Upper Amur Region]. Talakan, Bureiskaya GES Publ., 2012. 48 p.
7. Usachev V.F., Burda N.Yu. Navodneniya i geoinformatsionye tekhnologii [Floods and geoin-formation technologies]. Trudy VI Vserossiiskogo gidrologicheskogo s"ezda [Proceedings of the VI All-Russian Hydrological Congress]. St. Petersburg, Gidrometeoizdat, 2004., p. 7578.
*
Received 07 June 2022.
8. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation. 18th International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI2015. Pt. 3. Cham, Springer, 2015, pp. 234-241. DOI: 10.1007/978-3-319-24574-4_28.
9. Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. Proceedings of Machine Learning Research, 2015, vol. 37. ICML'15: Proceedings of the 32nd International Conference on Machine Learning, pp. 448-456. DOI: 10.48550/arXiv.1502.03167.
10. Jay Kuo C.C. Understanding Convolutional Neural Networks with A Mathematical Model. Journal of Visual Communication and Image Representation, 2016, no. 41, pp. 406-413. DOI: 10.48550/arXiv.1609.04112.
11. Boureau Y., Ponce J., LeCun Y. A theoretical analysis of feature pooling in visual recognition. ICML'10:Proceedings of the 27th International Conference on International Conference on Machine Learning, Haifa, Israel, 2010, pp. 111-118. DOI: 10.5555/3104322.3104338.
12. Mueller A., Guido S. An introduction to Machine Learning with Python. O'Reilly Media, 2016. 400 p.
13. Diederik P.K., Jimmy L.B. Adam: a method for stochastic optimization (Poster). 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, 2015. DOI: 10.48550/arXiv.1412.6980.
14. Gao B.C. NDWI - A normalized difference water index for remote sensing of vegetation liquid water from space. Remote Sensing of Environment, 1996, vol. 58, pp. 257-266. DOI: 10.1016/S0034-4257(96)00067-3.
15. Qi J., Chehbouni A., Huete A.R., Kerr Y.H., Sorooshian S. A Modified Soil Adjusted Vegetation Index. Remote Sensing of Environment, 1994, vol. 48, pp. 119-126. DOI: 10.1016/0034-4257(94)90134-1.
16. Rouse J.W., Jr., Haas R.H., Schell J.A., Deering D.W. Monitoring Vegetation Systems in the Great Plains with ERTS. Third Earth Resources Technology Satellite-1 Symposium. Vol. 1. Technical Presentations. Section A. Washington, DC, NASA, 1974, pp. 309-317. Bibcode: 1974NASSP.351.309R.
17. Jin C., Xiao X., Dong J., Qin Y., Wang Z. Mapping paddy rice distribution using multi-temporal Landsat imagery in the Sanjiang Plain, Northeast China. Frontiers of Earth Science, 2015, vol. 10, iss. 1, pp. 49-62. DOI: 10.1007/s11707-015-0518-3.
18. Xu H. Modification of normalised difference water index (NDWI) to enhance open water features in remotely sensed imagery. International Journal of Remote Sensing, 2006, vol. 27 (14), pp. 3025-3033. DOI: 10.1080/01431160600589179.
19. Rokni K., Ahmad A., Selamat A., Hazini S. Water feature extraction and change detection using multitemporal landsat imagery. Remote Sensing, 2014, vol. 6, pp. 4173-4189. DOI: 10.3390/rs6054173.
20. Li W., Du Z., Ling F., Zhou D., Wang H., Gui Y., Sun B., Zhang X. A comparison of land surface water mapping using the normalized difference water index from TM, ETM+ and ALI. Remote Sensing, 2013, vol. 5, pp. 5530-5549. DOI: 10.3390/rs5115530.
21. Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. 2nd ed. New York, Springer, 2009. 745 p. DOI: 10.1007/978-0-387-84858-7.
22. Richter R., Louis J., Muller-Wilm U. Sentinel-2 MSI - Level 2A products algorithm theoretical basis document. S2PAD-ATBD-0001, Issue 2.0. Darmstadt, Germany, Telespazio VEGA Deutschland GmbH, 2012. 79 p.
23. Kuchma M.O., Amelchenko Yu.A., Andreev A.I. Programma "PlanetaSentinelToTiff^' dlya avtomaticheskogo preobrazovaniya dannykh KA Sentinel v format GeoTiff ["PlanetaSentinelToTiff" program for automatic conversion of Sentinel data into GeoTiff format]. The Certificate on official registration of the computer program. No. 201961836, 2019.
Для цитирования:
Разработка нейросетевого алгоритма оперативного детектирования разливов бассейна реки Амур на основе данных космического аппарата Sentinel-2 / М.О. Кучма, В.В. Воронин, Ю.А. Шамилова, Ю.А. Амельченко // Системы анализа и обработки данных. - 2022. - № 3 (87). -С. 7-20. - DOI: 10.17212/2782-2001-2022-3-7-20.
For citation:
Kuchma M.O., Voronin V.V., Shamilova Yu.A., Amelchenko Yu.A. Razrabotka neirosetevogo algoritma operativnogo detektirovaniya razlivov basseina reki Amur na osnove dannykh kosmicheskogo apparata Sentinel-2 [Development of a Neural Network Algorithm for automatic operational detection of Amur River basin floods based on Sentinel-2 satellite data]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2022, no. 3 (87), pp. 7-20. DOI: 10.17212/2782-2001-2022-3-7-20.
ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 87, No 3, 2022, pp. 7-20
