CC BY
67УДК 556.5:004.8 DOI: 10.35567/1999-4508-2021-3-1
ПРИМЕНЕНИЕ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ КОНТРОЛЯ ПАВОДКООПАСНЫХ ТЕРРИТОРИЙ
К.А. Курганович 12, А.В. Шаликовский 12, М.А. Босов 12, Д.В. Кочев12
Е-mail: naptheodor@mail.ru
1 ФГБУ «Российский научно-исследовательский институт комплексного использования и охраны водных ресурсов», Восточный филиал,
г. Чита, Россия
2 ФГБОУ ВО «Забайкальский государственный университет», г. Чита, Россия
АННОТАЦИЯ: Актуальной задачей при интенсивном хозяйственном освоении территорий, подверженных затоплению и подтоплению, является мониторинг использования таких территорий. Проведение мониторинга возможно на основании изучения высокодетальных данных дистанционного зондирования Земли. Трудоемкий анализ спутниковых снимков можно автоматизировать за счет использования специально обученных свёрточных нейронных сетей для семантической сегментации изображений на основании алгоритма, предложенного в данной статье.
В работе на выделенных ранее зонах затопления с использованием данных дистанционного зондирования автоматически определены объекты застройки, посредством совмещения разновременной информации произведена оценка интенсивности строительства в межпаводковый период. В целях формирования обучающей выборки проведена съемка нескольких населенных пунктов на территории Забайкальского края с использованием беспилотных летательных аппаратов. Нейронная сеть сконфигурирована с применением языка Python и библиотеки PyTorch. Для выбора наилучшей конфигурации свёрточной нейронной сети различные комбинации архитектур и видов энкодеров протестированы на производительность и точность. Наилучший результат по скорости и точности показала архитектура U-Net, построенная с использованием свёрточной нейронной сети с энкодером SE-ResNeXt50. По данным спутниковых изображений высокого пространственного разрешения для с. Агинское Забайкальского края построена детальная карта застройки в паводкоопасной территории в 2013 и 2019 гг. и определены объекты застройки в межпаводковый период. Результаты исследования позволяют учитывать ряд важных факторов при планировании рационального использования паводкоопасных территорий.
© Курганович К.А., Шаликовский А.В. , Босов М.А., Кочев Д.В. , 2021
Научно-практический журнал № 3, 2021 г.
КЛЮЧЕВЫЕ СЛОВА: искусственный интеллект, свёрточные нейронные сети, наводнения, дистанционное зондирование, паводкоопасные территории, мониторинг, Забайкальский край.
Финансирование: Работа выполнена при поддержке гранта Совета по научной и инновационной деятельности ФГБОУ «Забайкальский государственный университет».
ВВЕДЕНИЕ
В последние годы системы искусственного интеллекта находят все более широкое применение в различных сферах деятельности, т. к. они позволяют автоматизировать трудоемкие рутинные операции. Очевидно, что методы искусственного интеллекта могут и должны применяться и в водохозяйственной отрасли.
Одним из перспективных направлений использования искусственного интеллекта в сфере водного хозяйства является решение задач, связанных с дистанционным зондированием Земли (ДЗЗ) для выявления проявлений негативного воздействия вод, нарушений водного законодательства и других аналогичных проблем. Анализ и сопоставление большого массива данных ДЗЗ является трудоемкой задачей, автоматизация которой возможна за счет создания интеллектуальных систем, «обученных» выявлять и сопоставлять интересующие объекты - бровки русла, гидротехнические сооружения и их дефекты, свалки в водоохранной зоне, шлейфы взвешенных веществ и т. д.
В данной статье рассматривается возможность применения средств искусственного интеллекта для анализа использования территорий, подверженных затоплению в период наводнений. Наводнения - опасные природные явления, влекущие значительные негативные последствия для экономики. Среди множества проблем на первый план выходят негативные проявления, связанные с интенсивным освоением территорий, подверженных затоплению и подтоплению. Анализ причин и последствий наводнений последних лет на Дальнем Востоке и в Сибири [1] свидетельствует об увеличении риска чрезвычайных ситуаций и ущербов в результате застройки опасных территорий [2].
В соответствии с Постановлением Правительства РФ от 18.04.2014 № 360 для незарегулированных рек устанавливаются границы зоны затопления 1 % обеспеченности (первоначально выделялись границы зон различных градаций обеспеченности), а также территорий сильного, умеренного и слабого подтопления [3]. Для регламентации использования паводкоопасных территорий за 2017-2020 гг. по многим приоритетным населенным пунктам установлены границы зоны затопления, где должны быть введены ограничения на хозяйственную деятельность. Однако застройка
water sector of russia
подверженных воздействию паводков участков продолжается, что потенциально может грозить дополнительным ущербом при возникновении чрезвычайных ситуаций. Поэтому актуальной задачей является мониторинг использования территорий, подверженных затоплению при наводнениях. Проведение такого мониторинга возможно на основании изучения высокодетальных данных ДЗЗ, выполненных в разные годы со спутниковых систем или беспилотных летательных аппаратов (БПЛА). Технологии ДЗЗ являются распространенными механизмами получения новых пространственно-распределенных данных, позволяющих классифицировать типы поверхностей, в т. ч. занятых застройкой.
С точки зрения мониторинга хозяйственной деятельности на паводкоопасных территориях требуется анализ большого массива данных ДЗЗ с необходимостью автоматического выделения объектов застройки на снимках -домов, участков индивидуального строительства, типов застройки. Это требует совершенных алгоритмов классификации спутниковых изображений в рамках технологии семантической сегментации объектов. В области дешифрирования данных ДЗЗ эта технология приобрела значимость в задачах компьютерного зрения и распознавания образов, когда каждый элемент изображения необходимо отнести к тому или иному классу. При этом имеются достаточно широкие возможности для проведения сегментации - от традиционных методов математической статистики до реализации мощных алгоритмов машинного обучения, существенно повышающих качество распознавания объектов. Традиционно методы классификации ДЗЗ включают использование алгоритмов максимального правдоподобия, оценки расстояний в пространстве признаков, кластеризации и т. д. В последнее время для классификации широко применяются методы машинного обучения - k-ближайших соседей, алгоритмы «случайный лес», нейронных сетей, метод опорных векторов [4]. Использование широкого объема разнородной информации, различных спектральных индексов, вспомогательной информации об объектах помогает с высоким качеством классифицировать данные.
В последние годы для решения задач распознавания и классификации объектов на поверхности Земли успешно применяются технологии глубокого обучения искусственных нейронных сетей, что позволяет заметно увеличить производительность [5]. Глубокое обучение искусственных нейронных сетей превосходит традиционные технологии машинного обучения, прежде всего, в задачах анализа «больших данных» (Big Data) с множеством признаков и глубокой вложенностью разветвленной структуры математических моделей. Наиболее значительные результаты получены в областях крупномасштабного распознавания изображений [6],
Научно-практический журнал № 3, 2021 г.
детектирования (обнаружения) объектов [7] и семантической сегментации с использованием глубокого обучения свёрточных нейронных сетей.
Успех алгоритмов глубокого обучения в классификации различных типов покрытия поверхности Земли, особенно зданий и дорог, на основании данных оптического и радиолокационного зондирования [8] доказал, что этот метод может помочь в решении целого ряда проблем дистанционного зондирования [9]. Таким образом, глубокое обучение свёрточных нейронных сетей становится эффективным методом для реализации мульти-сенсорной и разновременной классификации спутниковых изображений применительно к задачам семантической сегментации объектов хозяйственного использования паводкоопасных территорий.
МЕТОДЫ И МАТЕРИАЛЫ
Для сегментации объектов застройки паводкоопасных территорий предлагается следующая схема реализации технологии (рис. 1):
- построение нейросетевой модели семантической сегментации спутниковых изображений;
- конфигурирование нейронной сети и ее обучение;
- обработка данных на обученной модели (инференс).
i Ш РЖ
t JrMH H1li. ж
OGpiOona новых
АЛИ+ILII .и сйучгмнои н»ир<и.наи сг»ти
lihiwu
Рис. 1. Этапы выполнения работ по семантической сегментации спутниковых изображений населенных пунктов, подверженных затоплению при наводнении. Fig. 1. Stages of the flooded inhibited locations satellite images sematic segmentation implementation.
Scientific/practical journal № 3, 2021
dtor of russia
water sector of russia
Детальная последовательность операций по конфигурированию и обучению нейронной сети представлена на рис. 2. Для построения работающей нейронной сети автоматизированной классификации спутниковых снимков необходимо сформировать корректную обучающую выборку. При этом правильным подходом следует считать визуальную разметку объектов классификации на данных дистанционного зондирования с пространственным разрешением более детальным, чем космические снимки, на которых будет проводиться обучение. Это позволит обеспечить запас точности оригинальной обучающей выборки и улучшить входные данные.
Формнровакие обучающей выборки
• ctiffMNd территории населенного пункта с БПЛА
• Фотограмметрическая обработка
• Поучение ортофотоплана
• Визуальное ДешифлиаDfedняе И
распределение по классам
• Форм и pottd ии е» п d рч iii х uiipaa цоа (Train - Ground Trutfi)
Подгстойкл НСЙфОММйЙ н обучению
Построение технологического Процесса обучения выбор конфигурации сети, энкодера Выбор оценочной метрики Выбор объема пакета данные размера анодного изображения Выбор алгоритма оптимизации Соэ да нке обуча ю ще й, налидйционнпй и тестовой выборки
Рис. 2. Последовательность операций по обучению нейронной сети. Fig. 2. The sequence of operations in the neural network learning.
Научно-практический журнал № 3, 2021 г.
Для проведения исследования были выбраны данные спутниковой съемки высокого разрешения - Quickbird, IKONOS, Worldview на сервисе Google Earth. Эти данные пойдут в нейронную сеть и на их основе будет произведена классификация застроенных территорий населенных пунктов. Пространственное разрешение снимков составляет менее 1 м. Учитывая принятый для формирования обучающей выборки нейронной сети подход, еще более детальные данные можно получить только с использованием беспилотных летательных аппаратов, которые дают разрешение ортофотопланов в 0,08 м.
На начальном этапе исследований для формирования обучающей выборки была проведена съемка нескольких населенных пунктов на территории Забайкальского края с использованием БПЛА (табл. 1). Аппарат производит съемку местности, полученная серия снимков анализируется с использованием алгоритмов реконструкции трехмерной сцены из фотографий, таких как structure from motion (SfM) [10]. В результате реконструкции получается цифровая модель рельефа высокого разрешения и ортофо-топлан местности.
Таблица 1. Аэрофотоснимки с беспилотных летательных аппаратов, использованные для формирования обучающей выборки Table 1. Airphotos from pilotless vehicles used for the learning sample
Населенные пункты (Забайкальский край) Дата съемки, год Высота съемки, м Пространственное разрешение ортофотоплана, м
пос. Агинское 2019 200 0,08
с. Угдан 2019 200 0,08
г. Нерчинск 2018 200 0,08
пос. Оловянная 2018 200 0,08
г. Петровск-Забайкальский 2018 200 0,08
г. Балей 2018 200 0,08
г. Могоча 2020 200 0,08
с. Улеты 2020 200 0,08
г. Хилок 2018 200 0,08
г. Шилка 2019 200 0,08
пос. Аксеново-Зиловское 2019 200 0,08
с. Дорожное 2019 200 0,08
с. Комсомольское 2019 200 0,08
с. Урейск 2019 200 0,08
с. Усть-Иля 2019 200 0,08
с. Утан 2019 200 0,08
water sector of russia
Схема проведения работ по фотограмметрической обработке снимков БПЛА с использованием метода Structure from Motion включала следующие этапы [11] (рис. 3):
- координирование сети наземных опорных точек и маркировка их местоположения любым способом, позволяющим определить их с фотоснимков, выполненных БПЛА;
Рис. 3. Схема получения и обработки данных с беспилотных летательных аппаратов [11]. Fig. 3. The scheme of obtaining and processing of data from pilotless vehicles [11].
Научно-практический журнал № 3, 2021 г.
- аэрофотосъемка исследуемой территории с использованием БПЛА. Фотоснимки, полученные с использованием БПЛА, имеют записанные в exif-теге географические координаты положения камеры в момент их выполнения;
- реализация алгоритмов фотограмметрической обработки снимков по методу SfM с получением пространственно-ориентированного плотного облака точек местности;
- постобработка плотного облака точек с получением трехмерной модели местности и ортофотоплана высокого пространственного разрешения.
Полученный таким образом массив исходных данных для формирования обучающей выборки нейронной сети впоследствии подвергали визуальному дешифрированию и распределению на классы.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Визуальное дешифрирование и формирование обучающей выборки
Для формирования обучающей выборки в виде пар «спутниковое изображение RGB (Data) - размеченное классифицированное изображение (Ground Truth)» использовано программное обеспечение ArcGIS и QGIS. Ортофотопланы, полученные на предыдущем этапе работ, были загружены в ГИС и созданы полигональные слои, обозначающие классы. Затем по растрам спутниковых изображений вручную были отрисованы все объекты, относящиеся к одному из 6 классов: дома, ограждения, участки, дороги, реки, неклассифицированные объекты (рис. 4). Векторные слои переведены в растровые с разрешением, соответствующим разрешению изображений, впоследствии подаваемых на обучение в нейронную сеть -0,3 м. Для формирования более представительной по объему обучающей выборки были выбраны спутниковые изображения систем Quickbird, IKONOS, Worldview для дат, близких по времени проведения съемок с БПЛА. Эти изображения были подвергнуты интерполяции и приведены к одному пространственному разрешению - 0,3 м, соответствующему разрешению самого детального продукта Worldview. Снимки с БПЛА также были проинтерполированы с разрешения 0,08 м к разрешению 0,3 м. В результате получена обучающая выборка, включающая более 700 пар спутниковых изображений и соответствующих им классифицированных растровых масок.
Конфигурирование нейронной сети и ее обучение
Нейронная сеть сконфигурирована с использованием языка Python и библиотеки PyTorch. Для выбора наилучшей конфигурации свёрточной нейронной сети различные комбинации архитектур и видов энкодеров были протестированы на производительность и точность. Численный экспери-
water sector of russia
Рис. 4. Подготовка обучающей выборки. Fig. 4. Preparation of a learning sample.
мент включал 30 энкодеров, представленных в табл. 2, и две архитектуры - SegNet [12] и [13]. Модели натренированы на 10 тысячах итерациях,
проведено сравнение кривых обучения по метрике Б1 (1):
F = 2 1 P + R
(1)
где P (точность) - доля объектов, названных моделью положительными и при этом действительно являющимися положительными; R (полнота) - доля объектов положительного класса из всех объектов положительного класса, которые нашел алгоритм.
Научно-практический журнал № 3, 2021 г.
В качестве оптимизаторов использован метод адаптивной оценки моментов (ADAM) [14]. Шаг оптимизации изначально задан 0,0001, с уменьшением в 10 раз через каждые 25 тысяч итераций. Модели обучены на рабочей станции с CUDA-совместимым видеопроцессором NVIDIA GPU Geforce GTX 1080 Ti.
Исходный массив данных разделили на тренировочную, валидационную и тестовую выборки в соотношении 60-30-10 %. Тренировочная выборка включала фрагменты спутниковых изображений с разрешением 256x256 пикселей, которые случайным образом вырезались из набора исходных данных и соответствующих им заранее размеченных вручную спутниковых изображений (Ground Truth). Вырезанные фрагменты представляли собой RGB-композиты, а фрагменты Ground Truth - растры классов.
Таблица 2. Конфигурации энкодеров нейронных сетей, протестированные в работе
Table 2. Configuration of the neural networks encoders tested in operation
Типы энкодеров Конфигурация
VGG [15] VGG11, VGG13, VGG16, VGG19, VGG11BN, VGG13BN, VGG16BN, VGG19BN
DenseNet [16] DenseNet121, DenseNet169, DenseNet201, DenseNet161
Inception [17], InceptionResNetV2
ResNet [18], ResNet18, ResNet34, ResNet50, ResNet101, ResNet152
SE-ResNet [19] Se-ResNet50, Se-ResNet101, Se-ResNet152
SE-ResNeXt [19] Se-ResNeXt50, Se_ResNeXt101
Для обеспечения большей вариативности при обучении и исключения переобучения в тренировочной выборке фрагменты подвергали аугментации изображений [20], включавшей операции поворота на случайный угол, отражения, наложения фильтра гауссова размытия и изменения цветопередачи (рис. 5). Для процедуры аугментации использована библиотека Python Albumentations (https://github.com/albu/albumentations).
После каждых 10 тысяч итераций процесса обучения производили оценку производительности по Fl-метрике. Анализ показал, что из всех возможных вариантов наилучший результат по скорости и точности продемонстрировала архитектура U-Net, построенная с использованием свёрточной нейронной сети с энкодером SE-ResNeXt50 (розовая линия на рис. 6).
water sector of russia
Аугаднпцин
Нтиодыое
и
/ \
;
ш
ш ш 1 ■ • ■
Соёртачная
ыЫыыныц^
Рис. 5. Аугментация изображений для увеличения объема выборки. Fig. 5. Images augmentation for increasing the sampling volume.
T
I I
Рис. 6. Сравнение вариантов конфигураций нейронной сети. Fig. 6. Comparison of the neural network configuration versions.
Научно-практический журнал № 3, 2021 г.
После обучения, в процессе валидации наилучшей модели при анализе матрицы ошибок (Confusion matrix), отмечено неравномерное качество сегментации объектов разных классов (рис. 7). Классы «реки», «участки» и «неклассифицированные объекты» продемонстрировали наилучшую точность при обучении, классы «строения» и «дороги» -
Нтлй«иф.
Сщмнир
l*4Ktnn
Дчнгн
PinH
ЛИ 0.00 aoo o.oo 0.01 aoo
Q.M 0.43 0.06 aol aoo o.oo
0. W 0.01 a»T aoi 0.00 0-00
a.as a.-oa 0.1 J aoo aoo
&07 0.00 aoo a.00 au aoo
0.01 n.no aoo им aoo a«
П
i
00
Предсказанные >
Ой
04
02
Рис. 7. Матрица ошибок разделения классов и сравнительные образцы работы алгоритма сегментации. Fig. 7. Matrix of the classes division errors and comparative samples of the segmentation algorithm operation.
Scientific/practical journal № 3, 2021
water sector of russia
более низкую, класс «ограждения» - самую низкую. Это связано с проблемой несбалансированности выборки, т. е. с разными размерами объектов, попадающих в классы (ограждения представляют собой линейные объекты малой толщины, в связи с этим их распознавание является более сложной задачей). Кроме того, нейронная сеть часто неверно детектировала ограждающий забор в качестве части участка, что видно на матрице как значение меры F:= 0,13.
В ряде случаев сеть неверно относила строения к классу участков (F1= 0,06). Для повышения точности сегментации ограждений внесены коррективы в исходную разметку обучающей выборки, маски данного класса сделаны большей толщины. Это позволило получить прирост точности и в выделении классов ограждений, и в распознавании участков, огороженных заборами.
Обработка данных на обученной модели (инференс)
После того как сеть окончательно сконфигурирована и обучена, были подготовлены спутниковые изображения объектов, подверженных затоплению, с целью сегментации застройки на паводкоопасных территориях. Обработке на обученной нейронной сети (инференсу) подвергнуты растровые RGB-мозаики разрешением 0,3 м со спутниковых систем Quickbird, IKONOS, Worldview, полученные с сайта Google Earth за разные временные промежутки. Для анализа выбраны спутниковые изображения пос. Агинское (Забайкальский край), выполненные в 2013 и 2019 гг. На выходе из сети получены растровые сегментированные изображения, на которые была наложена маска зоны затопления 1 % обеспеченности.
Для сопоставления данных и оценки динамики застройки в пос. Агинское за период 2013-2019 гг. проведен геоинформационный анализ в ArcGIS. Полученные после сегментации на свёрточной нейронной сети классифицированные растровые изображения конвертировались из растрового в векторный формат шейп-файлов ArcGIS. С ними производилась операция оверлея, в результате которой получены совмещения объектов, построенных в разные годы. Полученные данные позволили сделать вывод об активном индивидуальном строительстве в паводкоопасной зоне в период 2013-2019 гг. (рис. 8). Количественные показатели площади застройки на территориях пос. Агинское, подверженные затоплению в результате наводнений, представлены в табл. 3.
Полученную модель можно масштабировать на другие объекты, по которым есть разработанные зоны затопления. Карты освоенности паводкоо-пасных территорий можно использовать для мониторинга нежелательной застройки в опасных зонах.
Научно-практический журнал № 3, 2021 г.
Рис. 8. Сегментированное изображение застройки пос. Агинское Забайкальского края с нанесенной зоной затопления 1 % обеспеченности. Fig. 8. Segmented image of the Transbaikal Kray Aginskoye development with the indicated zone of flooding of 1% probability.
Scientific/practical journal № 3, 2021
dtor of russia
water sector of russia
Таблица 3. Площади индивидуальной застройки в паводкоопасной зоне пос. Агинское
Table 3. Areas of individual private development in the flood-risk zone of Aginskoye
Населенный пункт Год Участки, га Дома, кв. м
пос. Агинское 2013 191,49 254 961
пос. Агинское 2019 214,72 279 026
ЗАКЛЮЧЕНИЕ
В настоящее время в водохозяйственной отрасли для оперативного контроля деятельности на территориях, потенциально подверженных затоплению, необходимо осуществлять дистанционный мониторинг. Современная система мониторинга хозяйственного использования паводкоопасных территорий должна базироваться на использовании данных дистанционного зондирования Земли. Трудоемкую задачу анализа спутниковых изображений можно автоматизировать за счет использования специально обученных свёрточных нейронных сетей семантической сегментации на основании алгоритма, предложенного в данной статье.
В представленной работе на выделенных ранее зонах затопления с использованием данных дистанционного зондирования автоматически определены (сегментированы) объекты застройки за различные периоды, посредством совмещения разновременной информации произведена оценка интенсивности строительства в межпаводковый период. Результаты исследования позволяют более эффективно планировать рациональное использование паводкоопасных территорий в целях повышения качества жизни населения.
СПИСОК ЛИТЕРАТУРЫ
1. Шаликовский А.В., Лепихин А.П., Тиунов А.А., Курганович К.А., Морозов М.Г. Наводнения в Иркутской области 2019 года // Водное хозяйство России: проблемы, технологии, управление. 2019. № 6. С. 48-65. DOI: 10.35567/1999-4508-2019-6-4.
2. Шаликовский А.В., Курганович К.А. Оценка опасности и риска хозяйственного использования речных пойм бассейна верхнего и среднего Амура // Вестник Читинского государственного университета. 2011. № 11 (78). С. 119-124.
3. Постановление Правительства РФ от 18.04.2014 № 360 «О зонах затопления, подтопления».
4. Zhang L., Wu J., Fan Y. An Efficient Building Extraction Method from High Spatial Resolution Remote Sensing Images Based on Improved Mask R-CNN // Sensors 2020. Режим доступа: http://dx.doi.org/10.3390/s20051465.
5. Chen Y., Lin Z., Zhao X., Wang G., Gu Y. Deep learning-based classification of hyperspectral data // IEEE J-STARS. 2014. 7(6). Р. 2094-2107.
Научно-практический журнал № 3, 2021 г.
6. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Adv Neural Inf Process Syst 25. 2012. - Available online at: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neuralnetworks. pdf.
7. Girshick R., Donahue J., Darrell T., Malik J. Region-based convolutional networks for accurate object detection and semantic segmentation // IEEE Trans Pattern Anal Mach Intell. 2016. 38(1). Р. 142-158.
8. Goodfellow I., Bengio Y., Courville A. Deep learning. Cambridge (MA): MIT Press, 2016.
9. Hu W., Huang Y., Wei L., Zhang F., Li H. Deep convolutional neural networks for hyperspectral image classification // J Sens. 2015. Р. 1-12.
10. Westoby M.J., Brasington J., Glasser N.F., Hambrey M.J., Reynolds J.M. 'Structure-from-Motion' photogrammetry: A low-cost, effective tool for geoscience applications // Geomorphology. 2012. Iss. 179. P. 300-314.
11. КургановичК.А., Шаликовский А.В., Босов М.А., Кочев Д.В. Использование беспилотных летательных аппаратов для мониторинга состояния бесхозяйных противопаводковых гидротехнических сооружений Забайкальского края // Гидросфера. Опасные процессы и явления. 2020. Т. 2. № 1. С. 32-43.
12. Badrinarayanan V, Kendall A., Cipolla R. SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 39. No. 12. Р. 2481-2495. DOI: 10.1109/ TPAMI.2016.2644615.
13. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science. Vol. 9351. Springer, Cham. Режим доступа: https://doi.org/10.1007/978-3-319-24574-4_28.
14. Duchi J., Hazan E., Singer Y. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization // Journal of Machine Learning Research. 2011. 12. P. 2121-2159
15. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv. 2015. Available online at: https://arxiv.org/pdf/1409.1556.pdf.
16. Huang G., Liu Z., van der Maaten L., Weinberger K.Q. Densely connected convolutional networks // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. Режим доступа: https://doi. org/10.1109/CVPR.2017.243.
17. Szegedy C., Liu W., Jia Y. et al. Going deeper with convolutions // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. https://doi.org/10.1109/CVPR.2015.7298594.
18. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. https://doi.org/10.1109/CVPR.2016.90.
19. Xie S., Girshick R., Dollar P., Tu Z., He K. Aggregated Residual Transformations for Deep Neural Networks. https://arxiv.org/abs/1611.05431.
water sector of russia
20. Zhong Z., Zheng L., Kang G., Li S., Yang Y. Random erasing data augmentation // arXiv. 2017. Available online at: https://arxiv.org/pdf/1708.04896.pdf. Для цитирования: Курганович К.А., Шаликовский А.В. , БосовМ.А., Кочев Д.В. Применение алгоритмов искусственного интеллекта для контроля паводкоо-пасных территорий //Водное хозяйство России: проблемы, технологии, управление. 2021. № 3. С. 6-24. DOI: 10.35567/1999-4508-2021-3-1. Сведения об авторах:
Курганович Константин Анатольевич, канд. техн. наук, доцент, ведущий научный сотрудник, ФГБУ «Российский научно-исследовательский институт комплексного использования и охраны водных ресурсов», Восточный филиал, Россия, 672039, г. Чита, ул. Александро-Заводская, д. 30; е-mail: naptheodor@mail.ru
Шаликовский Андрей Валерьевич, канд. техн. наук, доцент, директор филиала, ФГБУ «Российский научно-исследовательский институт комплексного использования и охраны водных ресурсов», Восточный филиал, Россия, 672039, г. Чита, ул. Александро-Заводская, д. 30; е-mail: vostokniivh@mail.ru
Босов Максим Анатольевич, канд. техн. наук, главный инженер проекта, ФГБУ «Российский научно-исследовательский институт комплексного использования и охраны водных ресурсов», Восточный филиал, Россия, 672039, г. Чита, ул. Александро-Заводская, д. 30; е-mail: max_bosov@mail.ru
Кочев Денис Владимирович, инженер-исследователь, ФГБУ «Российский научно-исследовательский институт комплексного использования и охраны водных ресурсов», Восточный филиал, Россия, 672039, г. Чита, ул. Александро-Заводская, д. 30; е-mail: denis.ko4ev@yandex.ru
APPLICATION OF ARTIFICIAL INTELLEGENCE ALGORITHMS TO CONTROL THE USE OF FLOOD-PRONE AREAS
Konstantin A. Kurganovich12, Andrey V. Shalikovskiy1,2, Maksim A. Bosov1,2, Denis V. Kochev1,2
1 Russian Research Institute for Integrated Use and Protection of Water Resources Eastern Branch (RosNllVH), Chita, Russian Federation 2Transbaikal State University, Chita, Russian Federation
Abstract: This article examines the possibility of using artificial intelligence tools to analyze the use of territories prone to flooding during floods. A modern system for monitoring the economic use of flood-prone areas should be based on the use of Earth remote sensing data. The analysis of satellite images, being a laborious task, can be automated through the use of specially trained convolutional neural networks of semantic segmentation based on the algorithm proposed in this article. In this work, on the previously identified flooding zones, using remote sensing data, development objects are automatically determined (segmented) for different times and, by combining information at different times, an assessment of the intensity of this construction in the inter-flood period is made. To form a training sample, a survey of several settlements in the Trans-Baikal Territory was carried out using unmanned aerial vehicles. The neural network was configured using the Python language and the PyTorch
Научно-практический журнал № 3, 2021 г.
library. To select the best convolutional neural network configuration, various combinations of architectures and encoder types were tested for performance and accuracy. The best result in terms of speed and accuracy was shown by the U-Net architecture, built using a convolutional neural network with an SE-ResNeXt50 encoder. According to satellite images of high spatial resolution for the Aginskoye village of Trans-Baikal Kray, a development map was drawn in the flood hazardous area in 2013 and 2019. The objects of development in the period between floods were identified. The results of the study can make it possible to consider a number of important factors when planning the rational use of flood-prone areas in order to improve the quality of life in the region. The obtained maps of the development of flood-prone zones of a large spatial scale are planned to be recommended in the work of state authorities in the field of water resources protection and elimination of natural disasters.
Keywords: artificial intelligence, convolutional neural networks, floods, remote sensing, flood-prone areas, unmanned aerial vehicles, monitoring.
Financing: The work has been carried out with support of the grant of the Council on Scientific and Innovative Activities of the Transbaikal State University.
About the authors:
Konstantin A. Kurganovich, Associate Professor, Candidate of Technical Sciences, Leading Researcher, Russian Research Institute for Integrated Use and Protection of Water Resources Eastern Branch (RosNIIVH), ul. Aleksandro-Zavodskaya, 30, Chita, 672039, Russian Federation; e-mail: naptheodor@mail.ru
Andrey V. Shalikovskiy, Associate Professor, Candidate of Technical Sciences, Director, Russian Research Institute for Integrated Use and Protection of Water Resources Eastern Branch (RosNIIVH), ul. Aleksandro-Zavodskaya, 30, Chita, 672039, Russian Federation; e-mail: vostokniivh@mail.ru
Maksim A. Bosov, Candidate of Technical Sciences, Principal Project Engineer, Russian Research Institute for Integrated Use and Protection of Water Resources Eastern Branch (RosNIIVH), ul. Aleksandro-Zavodskaya, 30, Chita, 672039, Russian Federation; e-mail: max_bosov@mail.ru
Denis V. Kochev, Researcher Engineer, Russian Research Institute for Integrated Use and Protection of Water Resources Eastern Branch (RosNIIVH), ul. Aleksandro-Zavodskaya, 30, Chita, 672039, Russian Federation; e-mail: denis.ko4ev@yandex.ru
For citation: Kurganovich K.A., Shalikovskiy A.V., Bosov M.A., Kochev D.V. Application of Artificial Intelligence Algorithms to Control the Use of Flood-prone Areas // Water Sector of Russia: Problems, Technologies, Management. 2021. No. 3. P. 6-24. DOI: 10.35567/19994508-2021-3-1.
REFERENCES
1. Shalikovskiy A.V., Lepihin A.P., Tiunov A.A., Kurganovich K.A., Morozov M.G. Navod-neniya v Irkutskoj oblasti 2019 goda [Floods in Irkutsk Oblast in 2019] // Vodnoe khozya-jstvo Rossiyi: problemy, tekhnologiyi, upravlenie. 2019. № 6. P 48-65.
2. Shalikovskiy A.V., Kurganovich K.A. Ocenka opasnosti i riska khozyaystvennogo ispol'zovaniya rechnykh poym basseyna verkhnego i srednego Amura [Assessment of hazard and risks of the economic use of river floodplains of the Upper and Middle Amur River] // Vestnik Chitinskogo gosudarstvennogo universiteta. 2011. № 11 (78). P. 119-124.
3. Postanovlenie Pravitel'stva RF ot 18.04.2014 № 360 «O zonah zatopleniya, podtopleniya» [Resolution of the Government of the Russian Federation of 18.04.2014 No. 360 "About zones of flooding and inundation"].
water sector of russia
4. ZhangL., Wu J., Fan Y. An Efficient Building Extraction Method from High Spatial Resolution Remote Sensing Images Based on Improved Mask R-CNN // Sensors 2020 http:// dx.doi.org/10.3390/s20051465.
5. Chen Y., Lin Z., Zhao X., Wang G., Gu Y. Deep learning-based classification of hyperspec-tral data // IEEE J-STARS. 2014. 7(6). Р. 2094-2107.
6. Krizhevsky A., Sutskever l., Hinton G.E. ImageNet classification with deep convolutional neural networks // Adv Neural Inf Process Syst 25. 2012. Available online at: https://papers.nips. cc/paper/4824-imagenet-classification-with-deep-convolutional-neuralnetworks. pdf.
7. Girshick R., Donahue J., Darrell T., Malik J. Region-based convolutional networks for accurate object detection and semantic segmentation // IEEE Trans Pattern Anal Mach Intell. 2016. 38(1):142-158
8. Goodfellow l., Bengio Y., Courville A. Deep learning. Cambridge (MA): MIT Press -2016.
9. Hu W., Huang Y., Wei L., ZhangF., Li H. Deep convolutional neural networks for hyper-spectral image classification // J Sens. 2015. Р.1-12.
10. Westoby M.J., Brasington J., Glasser N.F., Hambrey M.J., Reynolds J.M. 'Structure-from-Motion' photogrammetry: A low-cost, effective tool for geoscience applications // Geo-morphology. 2012. Iss. 179. P. 300-314
11. Kurganovich K.A., Shalikovskiy A.V., Bosov M.A., Kochev D.V. Ispol'zovanie bespilotnyh letatel'nykh apparatov dlya monitoringa sostoyaniya beskhozyaynykh protivopavodko-vykh gidrotekhnicheskikh sooruzheniy Zabaikalskogo kraya [Application of pilotless vehicles for monitoring of derelict hydraulic facilities of Transbaikal Kray] // Gidrosfera. Opasnye protsessy i yavleniya. 2020. T. 2. № 1. P. 32-43.
12. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 39, No. 12, Р. 2481-2495. DOI: 10.1109/ TPAMI.2016.2644615.
13. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention -MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, vol 9351. Springer, Cham. https://D0I.org/10.1007/978-3-319-24574-4_28.
14. Duchi J., Hazan E., Singer Y. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization // Journal of Machine Learning Research. 2011, 12. P. 2121-2159.
15. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv. 2015. - Available online at: https://arxiv.org/pdf/1409.1556.pdf.
16. Huang G., Liu Z., van der Maaten L., Weinberger K.Q. Densely connected convolutional networks // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. https://doi.org/10.1109/CVPR.2017.243
17. Szegedy C., Liu W., Jia Y. et al. Going deeper with convolutions // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (2015) https:// doi.org/10.1109/CVPR.2015.7298594.
18. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
2016. https://doi.org/10.1109/CVPR.2016.90.
19. Xie S., Girshick R., Dollar P., Tu Z., He K. Aggregated Residual Transformations for Deep Neural Networks. https://arxiv.org/abs/1611.05431.
20. Zhong Z., Zheng L., Kang G., Li S., Yang Y. Random erasing data augmentation // arXiv.
2017. Available online at: https://arxiv.org/pdf/1708.04896.pdf.
Научно-практический журнал № 3, 2021 г.
