CC BY
17
Применение нейросетевых подходов для сегментации геопространственных изображений при решении задач управления
территориальными системами
А.А. Камаева, А.С. Ротанов, Ю.Е. Тепаева, С.А. Ямашкин Мордовский государственный университет им. Н.П. Огарёва, Саранск, Россия
Аннотация: Решение проектных задач в области управления территориальными системами основано на необходимости автоматизированного анализа больших массивов геопространственных данных, в том числе материалов космической съемки. Целью статьи является изучение и разработка эффективных методов семантической сегментации изображений, содержащих геопространственные данные. Методы и материалы. В работе изучаются и используются методы и алгоритмы увеличения точности и быстродействия работы нейронной сети архитектуры U-Net. Результаты. Проведены комплексные исследования конфигурирования сверточной нейронной сети U-Net, в частности, восстановление изображения интерполированным методом ближайшего соседа, добавление в архитектуру слоев прореживания. Выводы. Представленные подходы конфигурирования нейронной сети U-Net позволили повысить точность распознавания по метрике Жаккара на 2-3% и в 2 раза увеличить скорость работы.
Ключевые слова: искусственные нейронные сети, машинное обучение, глубокое обучение, сверточные нейронные сети, U-Net, семантическая сегментация, распознавание образов, геопространственные данные.
Введение
Решение проектных задач в области управления территориальными системами актуально в различных областях хозяйственной деятельности, таких, как анализ структуры и свойств земель сельскохозяйственного назначения, населённых пунктов, промышленности и иного спец. назначения, особо охраняемых территорий и объектов, лесного и водного фондов; распознавание и оценка последствий пожаров, определение зон подтоплений, распознавание и прогнозирование развития оползневых процессов для территории Республики Мордовия и регионов России, разработка новых алгоритмов для оптимизации деятельности служб МЧС; решение коммерческих задач организаций агропромышленного комплекса, лесной промышленности, промышленности строительных материалов, связанных с мониторингом и управлением пространственно-
распределенными ресурсами, подсчетом объемов запасов. Процесс управления пространственно-распределенными системами в значительной степени опирается на необходимости автоматизированного анализа больших массивов геопространственных данных, в том числе материалов космической съемки. В данном контексте актуальную роль играет семантическая сегментация графической информации - это задача классификации каждого пиксела изображения и объединения их в кластеры, пикселы которого принадлежат к одному и тому же классу объектов [1].
До появления глубокого обучения для решения проблемы семантической сегментации использовались классические методы машинного обучения. Но, как и с большинством задач, связанных с обработкой изображений, глубокое обучение показало результаты лучше, чем классические методы [2]. Следовательно, на данный момент самым популярным и эффективным методом для сегментации является глубокое обучение. По мере развития глубокого обучения применялись разные подходы для решения данной задачи. Первым из таких было применение FCNN, состоящей из последовательности сверточных слоев, за которыми следовали полносвязные слои, которые могли быть заменены слоем свертки, достигающим того же результата. Полученные результаты были достойными, но полученная маска была грубой и негладкой. Причиной этому служило обилие сверток, выполняющих уменьшение дискретизации в 32 раза. Для решения данной проблемы была разработана архитектура предлагающая новый подход к проблеме потери информации. Новый подход предлагал отправление информации об изображении на каждый верхний слой в декодере из соответствующего слоя в кодере. Таким образом, это позволяло получать более точную информацию, необходимую для лучшей работы декодера с дискретизацией, предоставляя информацию о мелких деталях.
Реализация и валидация архитектуры
U-Net является одним из ярких представителей сегментационных энкодер-декодер моделей, которая хорошо зарекомендовала себя при решении практических задач и соревнований по сегментации любых предметных областей, несмотря на то, что впервые она была заявлена как сеть для сегментации биологических снимков [3]. На рис.1 представлена ее
структура.
Рис. 1 - Архитектура U-Net (пример для 32x32 пикселей) [3]
При проектировании нейронной сети был выделен ряд основных функциональных модулей, изображенных на диаграмме классов рис.2.
Для обучения нейронных сетей используют специальные наборы данных - датасеты [4]. Датасет состоит из фотограмметрических данных (аэрофото- спутниковых снимков) и ручной контурной разметки объектов на них [5]. Фотограмметрические данные предоставляются в формате GeoTIFF.
М Инженерный вестник Дона, №2 (2023) ivdon.ru/ru/magazine/arcliive/n2y2023/8237
Рис. 2 - Диаграмма классов системы семантической сегментации
Для ручной разметки использовались изображения, полученные со спутника Sentinel-2, с разрешающей способностью 2,5 метра на 1 пиксель, приведенные к цветовой модели RGB. Создание разметки производилось в программе QGIS. Размечаемые классы на геоснимках:
- «forest» - лесные массивы;
- «felling» - зоны вырубки леса;
- «logging-road» - лесовозные дороги;
- «burnt-forest» - лесные массивы, пострадавшие от огня: гари, горельники, выгоревшие леса;
- «cloud» - облака»;
- «cloud-shadow» - тени от облаков;
- «waterbody» - водоёмы.
Для обучения были размечены 2 геоснимка, каждый размером 10*10км . Пример разметки снимка со спутника представлен на рис.3.
М Инженерный вестник Дона, №2 (2023) ivdon.ru/ru/magazine/arcliive/n2y2023/8237
Рис.3 - Процесс ручной разметки на геоснимках
В качестве эксперимента были обучены 512-, 1024- и 2048-канальные архитектуры нейронной сети U-Net. Для каждой архитектуры был проведен ряд испытаний с разными значениями параметра layers_in_block - от 1 до 5. Стабильное обучение сети U-Net достигается при использовании минимум трех блоков свертки.
Были использованы стандартные параметры для обучения [6, 7]:
- classes_num = 7;
- epoch_num = 100;
- learning_rate = 0.0001;
- last_activation = "sigmoid";
- loss_function = "categorical_crossentropy".
В качестве основной метрики для обучения использовался коэффициент Жаккара [8], описывающий меру сходства, как меру площади корректно выделенных сегментов. Коэффициент вычисляется по формуле:
koef = , (1)
где А - область исходной маски, В - область получаемой маски на выходе. Loss-функции возвращают значения, вычисляемые по формуле:
loss = 1";:3i/' (2)
где кое/ - функция нахождения коэффициента Жаккара.
На рисунке 15 сравнивается точность распознавания U-Net моделей с 3
слоями свертки на каждом уровне, выраженная коэффициентом Жаккара.
- unet_512_3 ---uriet_lQ24_3 ..... unet_2048_3
л 1; I I Д-ч Л .' v . ' v \ 1 A : * / v" " ; v : V \ / 4'i r u V v'
- У: . t: * •t ■r t J I / A 1 J
1 j : t i \-'t !
V i
M
20 40 6i 100
Epoch
Рис. 4 - Графики качества распознавания архитектур U-Net
1024- и 2048-канальные архитектуры показали качество распознавания образов выше, чем 512-канальные архитектуры. Однако, количество параметров у 2048-канальных архитектур слишком велико (рис. 5), что ведет к увеличению затрат на вычисление и может привести к переобучению сети и уменьшению обобщаемости модели [9].
Number rrf pnramrTrrs ПсЗ Ni.umticr r>f рпгагпгтггч
Рис. 5 - Графики зависимости времени исполнения и количества параметров сети от количества каналов архитектур и-№1
Были апробированы методы увеличения качества 1024-канальной сети и-№1 путем добавления в архитектуру слоев функций интерполяции методом ближайшего соседа и путем добавления в архитектуру слоев
прореживания [10]. Результаты обучения отражены на рис.6.
Epoch
Рис. 6 - График качества распознавания наилучших архитектур
и
Как видно из рис.6, за счет применения методов интерполяции и прореживания показатель качества улучшился на 2-3%. Такое поведение объяснимо, так как методы прореживания и интерполяции хорошо зарекомендовали себя в борьбе с переобучением нейронных сетей.
Пример результата работы дообученной 1024-канальной сети и-№1 представлен на рис.7.
Рис. 7. - Сегментация лесного массива на геоснимке
Заключение
В результате работы были изучены и разработаны эффективные методы семантической сегментации изображений, содержащих геопространственные данные для решения задач в области управления пространственно-распределенными системами. Проведены комплексные исследования конфигурирования сверточной нейронной сети U-net, в частности, восстановление изображения интерполированием методом ближайшего соседа, добавление в архитектуру слоев прореживания. С помощью изученных методов было увеличено быстродействие и точность нейронной сети. В результате работы была выбрана конфигурация 1024-канальной архитектуры, так как она показала наибольший прирост качества и производительности. Изначально полученная максимальная точность сегментации (коэффициент Жаккара) составляла около 65,6% при обучении 1024-канальной архитектуры U-Net. В результате комплексного применения представленных подходов интерполяции и прореживания удалось добиться улучшения точности на 2.31% и увеличения скорости работы сети в 2 раза.
Благодарности. Исследование выполнено за счет гранта Российского научного фонда № 22-27-00651, rscf.ru/project/22-27-00651/
Литература
1. Chollet F. Deep learning with Python // Simon and Schuster, 2021, 400p.
2. Тарасов А.С., Никифоров М.Б., Бакамбис Н.И. Применение сверточных сегментационных нейронных сетей для экологического мониторинга земной поверхности // Известия Тульского государственного университета. Технические науки, 2021, № 6, С. 3-10.
3. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention, 2015, pp. 234-241.
4. Ямашкин С.А., Ямашкин А.А., Зарубин О.А., Кирюшин А.В. Геосистемный подход в развитии методов и алгоритмов анализа пространственных данных // Инженерный вестник Дона, 2022, № 11. URL: ivdon.ru/ru/magazine/archive/n11y2022/8008/.
5. Куштин В.И., Турчик С.Е., Глинская О.С. Анализ современных методов получения геопространственной информации при мониторинге объектов железнодорожной инфраструктуры // Инженерный вестник Дона, 2022, № 11. URL: ivdon.ru/ru/magazine/archive/n11y2022/8004/.
6. Белоусов И.С., Рогачев А.Ф. Разработка глубокой нейронной сети для сегментации проблемных участков сельскохозяйственных полей // Инженерный вестник Дона, 2022, № 8. URL: ivdon.ru/ru/magazine/archive/n8y2022/7864/.
7. Евсин В.А., Широбокова С.Н., Воробьев С.П., Евсина В.А. Моделирование и реализация модуля определения дорожного покрытия для автоматического управления транспортным средством с использованием нейронной сети U-NET // Инженерный вестник Дона, 2022, № 1(85) URL: ivdon.ru/ru/magazine/archive/n1y2022/7424/.
8. Родионов И.В., Созонтов А.Н. О доверительном оценивании на основе количественных коэффициентов сходства // Автоматика и телемеханика, 2020, № 2, С. 157-172.
9. Афонин В.В., Никулин В.В. Оптимизация многоканальных систем массового обслуживания при больших загрузках // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика, 2020, № 3, С. 105-115.
10. Соловьев Р.А., Тельпухов Д.В., Кустов А.Г. Автоматическая сегментация спутниковых снимков на базе модифицированной свёрточной нейронной сети UNET // Инженерный вестник Дона, 2017, № 4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4433/.
References
1. Chollet F. Deep learning with Python. Simon and Schuster, 2021, 400p.
2. Tarasov A.S., Nikiforov M.B., Bakambis N.I. Izvestija Tul'skogo gosudarstvennogo universiteta. Tehnicheskie nauki, 2021, № 6, pp. 3-10.
3. Ronneberger O., Fischer P., Brox T. International Conference on Medical image computing and computer-assisted intervention, 2015, pp. 234-241.
4. Yamashkin S.A., Jamashkin A.A., Zarubin O.A., Kirjushin A.V. Inzhenernyj vestnik Dona, 2022, № 11. URL: ivdon.ru/ru/magazine/archive/n11y2022/8008/.
5. Kushtin V.I., Turchik S.E., Glinskaja O.S. Inzhenernyj vestnik Dona, 2022, № 11.URL: ivdon.ru/ru/magazine/archive/n11y2022/8004/.
6. Belousov I.S., Rogachev A.F. Inzhenernyj vestnik Dona, 2022, № 8. URL: ivdon.ru/ru/magazine/archive/n8y2022/7864/.
7. Evsin V.A., Shirobokova S.N., Vorob'ev S.P., Evsina V.A. Inzhenernyj vestnik Dona, 2022, № 1. URL: ivdon.ru/ru/magazine/archive/n1y2022/7424/.
8. Rodionov I.V., Sozontov A.N. Avtomatika i telemehanika, 2020, № 2, pp. 157-172.
9. Afonin V.V., Nikulin V.V. Vestnik Astrahanskogo gosudarstvennogo tehnicheskogo universiteta. Serija: Upravlenie, vychislitel'naja tehnika i informatika, 2020, № 3, pp. 105-115.
10. Solov'ev R.A., Tel'puhov D.V., Kustov A.G. Inzhenernyj vestnik Dona, 2017, № 4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4433/.
