CC BY
0Студенческий научный электронный журнал StudArctic Forum
T. 9, № 2. С. 80-89 Научная статья УДК 004.93
Компьютерные и информационные науки
ПЕТРОЗАЕ
ПАВЛОВ Максим Павлович
бакалавриат, Петрозаводский государственный университет (Петрозаводск, Россия), maksim pavlov 2003@list.ru
СЕМАНТИЧЕСКАЯ СЕГМЕНТАЦИЯ СПУТНИКОВЫХ СНИМКОВ РЕСПУБЛИКИ КАРЕЛИЯ С ПОМОЩЬЮ СПЕКТРАЛЬНОГО АНАЛИЗА МЕСТНОСТИ СВЁРТОЧНОЙ НЕЙРОННОЙ СЕТЬЮ
Для цитирования: Павлов М. П. Семантическая сегментация спутниковых снимков Республики Карелия с помощью спектрального анализа местности свёрточной нейронной сетью // StudArctic Forum. 2024. T. 9, № 2. С. 80-89.
1. Введение
Задача семантической сегментации местности по спутниковым изображениям заключается в нахождении и классификации областей объектов на изображении с целью получения информации о местности, дальнейшей аналитики и статистики. Для нашей задачи мы выделили следующие классы объектов, которые необходимо находить на местности: леса, болота, водоёмы (реки, озёра и т. д.) и области без растительности (дороги, постройки, вырубки и т. д.). Решения данной задачи могут иметь широкое применение в различных областях, включая экологию, географию, сельское хозяйство, мониторинг окружающей среды, исследования изменений земной поверхности и многие другие.
В то же время, современные спутниковые снимки представляют собой огромные массивы данных, которые требуют сложного анализа и большого количества ресурсов для извлечения ценной информации. В связи с этим, рассмотрим один из методов автоматизации - спектральный анализ местности на основе свёрточной нейронной сети. В последние годы свёрточные нейронные сети показали себя как мощный инструмент для решения задач обработки изображений, включая семантическую сегментацию. В качестве источника данных будут использоваться снимки спутника Sentinel-2 (рисунок 1), так как они находятся
Научный руководитель:
Марахтанов Алексей
Георгиевич
Рецензент:
Лукашенко Олег Викторович Статья поступила: 14.03.2024; Принята к публикации: 29.06.2024; Размещена в сети: 30.06.2024.
Аннотация. Снимки дистанционного зондирования Земли являются одним из ключевых источников данных при картировании ландшафтов, управлении природными объектами и изучении изменений окружающей среды. В данном исследовании рассматривается применение алгоритмов глубокого обучения для семантической сегментации спутниковых снимков Республики Карелия. Автор рассматривает гипотезу об использовании специальных комбинаций световых каналов и спектральных индексов для улучшения точности предсказаний модели нейронной сети. Доказывается важность выбора входных данных для улучшения понимания сцены нейронной сетью.
Ключевые слова: дистанционное зондирование Земли, искусственный интеллект, спектральная съемка Земли, видеоаналитика спутниковых снимков, семантическая сегментация местности, U-Net
в открытом доступе и обновляются в течение нескольких дней [Павлов: 77-78].
В данной статье формируется и рассматривается метод семантической сегментации спутниковых снимков, комбинирующий два актуальных на данный момент подхода: спектральные индексы и нейронные сети [Зарубин] с целью улучшения скорости сбора данных для обучения нейронной сети и достижения достаточной точности модели. Созданная методика семантической сегментации служит для повышения понимания сцены моделью нейронной сети с учётом специфики Карельской местности и рассматриваемых классов объектов: леса, болота, водоёмы (реки, озёра и т. д.) и области без растительности (дороги, постройки, вырубки и т. д.).
Рис. 1. Пример изображения в истинном цвете (True color image) участка местности Пряжинского района со спутника Sentinel 2-B от 15.06.2023. Снимок дистанционного зондирования был получен в рамках открытой международной научно-исследовательской миссии Copernicus [Peuch: 1594-1596]
2. Набор данных семантической сегментации спутниковых снимков
Одной из основных проблем при разработке модели компьютерного зрения является доступ к качественным и разнообразным наборам данных для обучения нейронной сети. Идеальный датасет для решения нашей задачи должен быть максимально качественным и содержать большое количество снимков в достаточно высоком разрешении, чтобы на каждом участке содержалось как можно больше информации. На данный момент одним из лучших открытых источников актуальных спутниковых снимков являются снимки спутника Sentinel-2 (рисунок 1). Соответственно, снимки набора данных должны им полностью соответствовать и иметь разрешение 10 м на пиксель, а также разметку, содержащую все необходимые классы объектов, такие как леса, водоёмы, болота, дороги, города и т. д.
Однако на практике найти готовый набор данных, который бы удовлетворял всем этим критериям, практически невозможно. Например, многие существующие датасеты спутниковых снимков могут быть запрещены для коммерческого использования из-за авторских прав или ограничений, что делает невозможным практическое применение разработанной модели на практике. Также многие наборы данных, как правило, не содержат всех необходимых для решения вашей задачи классов объектов в разметке, что делает их непригодными для обучения моделей. Кроме того, в большинстве доступных датасетов разрешение снимков не соответствует 10 м на пиксель, что делает их непригодными для использования в задачах, требующих высокого разрешения. В связи с этим, исследователи часто вынуждены создавать свои собственные наборы данных, собирая и размечая спутниковые снимки самостоятельно. Это требует больших временных и финансовых затрат, делая этот этап исследования довольно трудоёмким. Однако это также открывает
возможности для создания качественных датасетов, которые полностью соответствуют всем требованиям задачи.
Рис. 2. Пример участка исходного изображения спутникового снимка (справа) и соответствующей ему семантической маски (слева). Снимок дистанционного зондирования был получен в рамках открытой международной научно-исследовательской миссии Copernicus [Peuch:
1594-1596]
При решении нашей сегментационной задачи мы использовали спектральные индексы для предварительной разметки изображений, чтобы повысить эффективность и продуктивность сбора данных. В работе использовалось 8 снимков районов Карелии, сделанных в июне 2023 г. (рисунок 3). Исходное изображение спутникового снимка имеет очень большое разрешение - как правило, более 10000 х 10000 пикселей. В связи с этим, оно делится на равные участки одинакового размера - 256 х 256 пикселей. Из классификатора сцен спутниковых снимков (SCL) Sentinel-2 берутся сегменты, содержащие облака, тени от облаков, неклассифицированные области, участки с отсутствием данных и световыми дефектами, чтобы удалить их из исходного изображения. После этого применяются несколько спектральных индексов (NDVI, NDWI, FI, LSWI), описанные далее, для выделения всех классов объектов. Каждый класс обозначается определенным цветом на сегментационной маске, что позволяет быстро получить размеченные данные для обучения нейронной сети. Так как в каждом из спектральных индексов используются только матричные вычисления по определённым формулам, то обработка каждой сцены занимает секунды. Подготовка такого объёма данных человеком заняла бы недели. Отметим, что спектральные индексы действуют строго по формулам, что не даёт гибкости и учёта сторонних факторов данному методу. Впоследствии полученные семантические маски постепенно корректировались вручную экспертом с целью улучшения точности модели. Итоговый набор данных состоит из 18380 изображений с разрешением 256 х 256 пикселей и их соответствующих сегментационных масок (рисунок 2). Сегментационная маска изображения состоит из следующих цветовых сегментов:
1) фиолетовый - некорректные области (зашумленные пиксели, облака, тени),
2) зеленый - растительность (леса),
3) синий - реки и озера,
4) красный - болота,
5) желтый - области без растительности (города, дороги и т. д.).
Рис. 3. Области, соответствующие спутниковым снимкам набора данных
3. Обучение модели свёрточной нейронной сети
На основе практического опыта и ряда исследований в области нейросетевого анализа снимков дистанционного зондирования Земли [Зарубин] была выбрана архитектура U-Net, которая хорошо себя показала при решении схожих задач сегментации спутниковых снимков [Соловьев: 26-32]; [Singh: 1197-1200]. Ключевое преимущество U-Net перед другими архитектурами свёрточных нейронных сетей заключается в способности извлекать как локальную, так и глобальную контекстную информацию из входных изображений, что делает разработанный на её основе метод подходящим для обработки сложных сцен с множеством объектов и фонов [Хрящев: 40-42].
Таблица 1
Характеристика спутникового снимка Sentinel-2
Название слоя Аббревиатура Длина волны, нм Разрешение, м
Видимый ультра синий (прибрежные зоны) B1 443 60
Видимый синий B2 490 10
Видимый зелёный B3 560 10
Видимый красный B4 665 10
Видимый ИК-диапазон (VNIR) B5 705 20
B6 740 20
B7 783 20
B8 842 10
B8A 865 20
Коротковолновой инфракрасный спектр (SWIR) B9 940 60
B10 1375 60
B11 1610 20
B12 2190 20
При обучении модели свёрточной нейронной сети мы проверили следующую гипотезу - обучение модели на спектральных индексах может продемонстрировать лучшую точность по сравнению с ^Ь-изображением. Многие современные спутники осуществляют многоспектральную съёмку местности. Например, один снимок спутника Sentinel-2 состоит из 12 слоёв (таблица 1), каждый из которых имеет свою длину световой волны, что даёт дополнительные возможности для анализа.
Существуют специальные спектральные индексы - комбинации слоёв снимков, основанные на физических, биологических, химических и других идеях, способствующие анализу местности. Например, рассмотрим нормализованный относительный индекс влажности - NDVI (1) [Табунщик: 3-7]. Его основная идея заключается в том, что растения поглощают красный свет. Соответственно, комбинируя особым образом красный и инфракрасный спектры, мы можем получить изображение, на котором более яркие значения будут указывать на более густую растительность, а низкие или отрицательные - на отсутствие растений (рисунок 4).
Рис. 4. Пример изображения TCI (в центре) и соответствующего ему изображения NDVI (слева) и NDWI (справа) с наложенной цветовой маской. Снимок дистанционного зондирования был получен в рамках открытой международной научно-исследовательской миссии Copernicus [Peuch: 1594-1596]
NDWI =
BSA-B11
(2)
В8А+£11Л
Рассмотрим ещё несколько индексов, которые пригодятся нам как для подготовки набора данных, так и для проверки гипотезы об обучении. Нормализованный разностный индекс влажности - NDWI (2) позволяет определить уровень влажности в каждом участке местности, т. е. позволяет определить как водоемы, так и засушливые места. Его идея заключается в поглощении и отражении светового излучения влагой, располагающейся на поверхности или в ассимиляционных органах растений (рисунок 4).
FI = PBS~PB 4--Ьх
С1 Рв 8
РВЕ+рВ4 С2+РВЗ
(3)
гДе Ь > С1 и с2 ~ эмпирические константы, равные 0,01, 1 и 0,1 соответственно, а р - значения отражения (от 0 до 1) для соответствующих каналов.
Существует также индекс леса - FI (3), позволяющий отделить область леса из области растительности, а также выделить участки с небольшой растительностью (рисунок 5): небольшие молодые деревья, кустарничковые и т. д. И индекс поверхностных вод - LSWI (4) ^етегаго: 686], который даст нам оценку более сложного типа местности - болота (рисунок 5). Так как болото своего рода и водоём, и область с растениями - покров растений над водой, то его сложно выявить, используя рассмотренные ранее индексы NDVI и NDWI.
84
Рис. 5. Пример изображения TCI (в центре) и соответствующего ему изображения LSWI (слева) и FI (справа) с наложенной цветовой маской. Снимок дистанционного зондирования был получен в рамках открытой международной научно-исследовательской миссии Copernicus [Peuch: 1594-1596]
Во время обучения мы оптимизировали параметры модели U-Net, используя стохастический градиентный спуск с функцией потери перекрёстной энтропии. Также применили методы регуляризации, такие как dropout и weight decay, чтобы предотвратить переобучение.
4. Тестирование и валидация модели
Оценка эффективности предложенного нами метода проходила на проверочном наборе, состоящем из 15 % (2757 изображений) независимых спутниковых снимков, не использовавшихся во время обучения. При оценке качества модели использовались следующие метрики:
1) Метрика Fl micro
Firmer o(TP,FP,FN) =-г^-
v ' TP+h,(FP-\-FN)
2) Коэффициент Дайса
kf>|
Dice(x,y) =
где x - предсказанные значения, а y - целевые.
3) Индекс подобия Жаккара
■^rv
Jacard[x,y) —
где x - предсказанные значения, а y - целевые.
При тестировании мы также решили проверить гипотезу - использование других каналов в качестве входного источника данных может повысить точность сегментации. Чтобы использовать все преимущества использования предобученных весов модели U-Net, мы не сможем проверить и использовать комбинации входных каналов данных, состоящие не из трёх элементов. Иначе это приведёт к сильным изменениям в архитектуре модели U-Net и, как следствие, невозможности использования предобученных весов модели для начала обучения, что не позволит получить сопоставимых по точности результатов на имеющихся вычислительных кластерах.
Таблица 2
Метрики качества модели сегментации спутниковых снимков
Комбинация каналов исходного изображения Коэффицент Дайса Индекс подобия Жаккара F1 micro (True color image) 0,726 0,825 0,841
(NDVI; FI; NDVI-LSWI) 0,693 0,809 0,801
(NDWI; FI; NDVI-LSWI) 0,374 0,469 0,352
(Red; Green; Blue) 0,357 0,706 0,707
(Red; Green; Infrared) 0,351 0,7 0,699
Эксперименты показали, что наилучшие результаты достигаются при использовании изображений в истинном цвете (True color image) в качестве источника входных данных (таблица 2). Отметим, что изображения в истинном цвете не всегда совпадают со своими RGB аналогами, так как они являются результатом автоматической атмосферной коррекции Sentinel-2. Атмосферные эффекты при оптическом дистанционном зондировании являются значительными и сложными, резко изменяя спектральную природу излучения, достигающего камеры спутника. Атмосфера как поглощает, так и рассеивает различные длины волн видимого спектра, которые должны проходить через атмосферу дважды: один раз от солнца к объекту, а затем снова по мере прохождения обратно к датчику изображения. Эти искажения исправляются автоматически для каждой сцены Sentinel-2 и доступны для загрузки вместе со слоями спутникового снимка (таблица 1). Метрика F1 на изображениях в истинном цвете составила 0,841, коэффициент Дайса - 0,726, а индекс подобия Жаккара -0,825. При сравнении комбинация каналов из индексов (NDVI, FI, NDVI-LSWI) показала сопоставимые результаты, в то время как остальные комбинации входных каналов показали плохую точность сегментации. Данный результат свидетельствует о том, что выбор источника входных данных играет одну из решающих ролей в достижении точных результатов семантической сегментации местности и понимания сцены.
Рис. 6. Пример результатов предсказания семантической сегментации (слева) участка исходного изображения спутникового снимка (справа). Снимок дистанционного зондирования был получен в рамках открытой международной научно-исследовательской миссии Copernicus [Peuch:
1594-1596]
5. Заключение
Рассмотренный метод семантической сегментации спутниковых снимков, комбинирующий спектральные индексы и нейронные сети, показал высокую точность и полноту сегментации объектов на изображении, что подтверждает актуальность и значимость данной работы для дальнейших исследований в области обработки спутниковых изображений и анализа местности. Полученные в ходе исследования экспериментальные результаты демонстрируют эффективность предложенного нами подхода к семантической сегментации спутниковых изображений с учётом специфики Республики Карелия (рисунок
6). В силу технических ограничений использование изображений в истинном цвете в качестве источника данных показало наилучшие результаты при решении поставленной задачи. Однако, мы также обнаружили, что комбинации других каналов данных могут давать хорошие результаты, сопоставимые по точности с изображением в истинном цвете (таблица 2). Дальнейшие исследования в данной области могут помочь оптимизировать данные для обучения нейронных сетей и улучшить их точность сегментации и понимание сцены.
Таким образом, несмотря на сложности в доступе к готовым датасетам для семантической сегментации спутниковых снимков, исследования в этой области продолжают активно развиваться, и решения этой проблемы могут стать ключевыми для развития новых методов и технологий в области обработки спутниковых изображений. Кроме того, мы подчеркнули важность выбора подходящих источников входных данных для обеспечения наилучшей точности сегментации местности.
Список литературы
Зарубин О.А. Применение нейронных сетей для целей анализа данных дистанционного зондирования Земли [Электронный ресурс] // Современные научные исследования и инновации. 2016. № 8. URL: https://web.snauka.ru/issues/2016/08/70887 (дата обращения: 4.03.2024).
Павлов М.П. Потенциал применения спутниковых снимков для интеллектуальной видеоаналитики Республики Карелия / М.П. Павлов, А.Г. Марахтанов // Цифровые технологии в образовании, науке, обществе: материалы XVII всероссийской научно-практической конференции. Петрозаводск, 2023. С. 77-80.
Соловьев Р.А. Автоматическая сегментация спутниковых снимков на базе модифицированной свёрточной нейронной сети UNET [Электронный ресурс] / Р.А. Соловьев, Д.В. Тельпухов, А.Г. Кустов // Инженерный вестник Дона. 2017. № 4(47). URL: http://www.ivdon.ru/ru/magazine/archive/n4y2017/4433 (дата обращения: 4.03.2024).
Табунщик В.А. Применение спутниковых снимков Sentinel-2 для анализа земель используемых в сельском хозяйстве (на примере Раздольненского района Республики Крым) / В.А. Табунщик, Е.А. Петлюкова, М.О. Хитрин // Труды Карадагской научной станции им. Т.И. Вяземского - Природного заповедника РАН. 2018. № 1(5). С. 43-57.
Хрящев В.В. Модификация архитектуры свёрточной нейронной сети U-Net в задаче сегментации мультиканальных спутниковых изображений / В.В. Хрящев, А.Л. Приоров, В.А. Павлов, Р.В. Ларионов // Цифровая обработка сигналов. 2019. № 3. С. 39-45.
Cristea C. Use of Sentinel-2 data for forest inventory / C. Cristea, A.F. Jocea // 18th International Multidisciplinary Scientific GeoConference SGEM 2018. 2018. Vol. 18. P. 713-718. DOI: 10.5593/sgem2018/2.3/S11.090.
Peuch V.H. The use of satellite data in the Copernicus atmosphere monitoring service (CAMS) / V.H. Peuch, R. Engelen, M. Ades et al // International Geoscience and Remote Sensing Symposium (IGARSS). 2018. P. 1594-1596. DOI: 10.1109/IGARSS.2018.8518698.
Semeraro T. Modelling fuzzy combination of remote sensing vegetation index for durum wheat crop analysis / T. Semeraro, A. Luvisi, G. Mastroleo et al // Computers and Electronics in Agriculture. 2019. Vol. 156. P. 684-692. DOI: 10.1016/j.compag.2018.12.027.
Singh N.J. Semantic segmentation of satellite images using deep-UNet / N.J. Singh, K. Nongmeikapam // Arabian Journal for Science and Engineering. 2023. Vol. 48, № 2. P. 1193-1205. DOI: 10.1007/s13369-022-06734-4.
Computer and Information Sciences
Maksim P. PAVLOV
bachelor's degree, Petrozavodsk State University (Petrozavodsk, Russia), maksim pavlov 2003@list.ru
SEMANTIC SEGMENTATION OF SATELLITE IMAGES OF THE REPUBLIC OF KARELIA USING SPECTRAL ANALYSIS WITH A CONVOLUTIONAL NEURAL NETWORK
Scientific adviser:
Aleksey G. Marakhtanov Reviewer:
Lukashenko Oleg Paper submitted on: 03/14/2024; Accepted on: 06/29/2024; Published online on: 06/30/2024.
Abstract. Remote sensing images are one of the key sources of data for landscape mapping, managing natural objects, and studying environmental changes. This research explores the use of deep learning algorithms for the semantic segmentation of satellite images of the Republic of Karelia. The author investigates the hypothesis that utilizing specific combinations of light channels and spectral indices can improve the accuracy of predictions made by a neural network model. The research underscores the significance of input data selection for improving the neural network's understanding of the scene. Keywords: Earth remote sensing, artificial intelligence, spectral image of the Earth, video analytics of satellite images, semantic segmentation of area, U-Net
For citation: Pavlov, M. P. Semantic Segmentation of Satellite Images of the Republic of Karelia Using Spectral Analysis with a Convolutional Neural Network. StudArctic Forum. 2024, 9 (2): 80-89.
Zarubin O.A. The use of neural networks for analysis remote sensing data. Modern Scientific Researches and Innovations, 2016, No. 8. URL: https://web.snauka.ru/issues/2016/08/70887 (Accessed: 04.03.2024) (In Russ.)
Pavlov M.P. The potential of using satellite images for intelligent video analytics in the Republic of Karelia. Digital technologies for education, science, and society: proceedings of the XVII all-Russian scientific and practical conference, Petrozavodsk, 2023, pp. 77-80. (In Russ.)
Solovyev R.A., et al. Automatic segmentation of satellite imagery based on the modified UNET convolutional neural network. Engineering Journal of Don, 2017,
No. 4. URL: http://www.ivdon.ru/ru/magazine/archive/n4y2017/4433 (Accessed: 04.03.2024) (In Russ.)
Tabunshchyk V.A., Petlukova E.A., Hytrin M.O. The use of satellite imagery Sentinel-2 for analysis of land used in agriculture (for example Razdolnensky District of the Republic of Crimea). Proceedings of the T.I. Vyazemsky Karadag Scientific Station - Nature Reserve of the Russian Academy of Sciences, 2018, No. 1, pp. 43-57. (In Russ.)
Khryashchev V.V., Priorov A.L., Pavlov V.A., et al. Modification of the U-Net convolutional neural architecture in the multi-channel satellite images segmentation problem. Digital Signal Processing, 2019, No. 3, pp. 39-45. (In Russ.)
Cristea C., Jocea A.F. Use of Sentinel-2 data for forest inventory. 18th International Multidisciplinary Scientific GeoConference SGEM 2018, 2018, pp. 713-718. DOI: 10.5593/sgem2018/2.3/S11.090.
Peuch V.H., Engelen R., Ades M., et al. The use of satellite data in the Copernicus atmosphere monitoring service (CAMS). International Geoscience and Remote Sensing Symposium (IGARSS), 2018, pp. 1594-1596. DOI: 10.1109/IGARSS.2018.8518698.
Semeraro T., Luvisi A., Mastroleo G., et al. Modelling fuzzy combination of remote sensing
References
vegetation index for durum wheat crop analysis. Computers and Electronics in Agriculture, 2019, Vol. 156, pp. 684-692. DOI: 10.1016/j.compag.2018.12.027.
Singh N. J., Nongmeikapam K. Semantic segmentation of satellite images using deep-UNet. Arabian Journal for Science and Engineering, 2023, Vol. 48, pp. 1193-1205. DOI: 10.1007/s13369-02-06734-4.
