CC BY
392. MAGIC Gamma Telescope Data Set [Электронный ресурс]. URL: https://archive.ics.uci.edu/ml/datasets/MAGIC+Gamma+Telescope (дата обращения: 11.01.2020).
3. Васильев Г.И., Холупенко Е.Е., Байко Д. А., Быков А.М., Красильщиков А.М., Павлов Г.Г. Влияние оптического она ночного неба на наземные наблюдения гамма-всплесков в диапазоне 1-10 ГэВ.
4. Heck D., Knapp J., Capdevielle J.N., Schatz G., Thouw T. CORSIKA: A Monte Carlo Code to Simulate Extensive Air Showers // Tech. Rep. 1998. FZKA. P. 6019.
5. Python // Python. URL: https://www.python.org/ (дата обращения: 11.01.2020).
6. NumPy// NumPy. URL: https://numpy.org/ (дата обращения: 11.01.2020).
7. MatPlotLib // MatPlotLib. URL: https://matplotlib.org/ (дата обращения: 11.01.2020).
8. Воронова Л.И., Воронов В.И. MachineLearning: регрессионные методы интеллектуального анализа данных: Учебное пособие. М.: МТУСИ, 2018. 83 с.
9. Шалтынова З.С., Тутова Н.В. Классификация спама с применением методов машинного обучения // XI Международная студенческая научная конференция «Студенческий научный форум - 2019». Российская академия естествознания. URL: https://scienceforum.ru/2019/article/2018013813(дата обращения: 11.01.2020).
УДК 004.93
ао1:10.18720/8РБРШМ20-170
Виноградов Андрей Николаевич1,
канд. физ.-мат. наук, доцент кафедры ИТ;
2
Куршев Евгений Петрович ,
канд. техн. наук, ведущий научный сотрудник ИЦИИ;
Тищенко Игорь Петрович , канд. техн. наук, заведующий лабораторией;
Иванов Егор Сергеевич4, младший научный сотрудник
ПРИМЕНЕНИЕ КОМБИНИРОВАННОЙ СЕГМЕНТАЦИИ ДЛЯ РАСПОЗНАВАНИЯ МУЛЬТИСПЕКТРАЛЬНЫХ СНИМКОВ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
1 ФГАОУ ВО «Российский университет дружбы народов»,
Москва, Россия, 1 vinogradov-an@rudn.ru
2 3 4
' ' ФГБУН «Институт программных систем им.А.К.Айламазяна Российской академии наук», Переславль-Залесский, Россия,
2 3 4
epk@epk.botik.ru, igor.p.tishchenko@gmail.com, penguin90@yandex.ru
Аннотация. Работа посвящена технологии сегментации мультиспектральных аэрокосмических снимков, полученных при дистанционном зондировании Земли. Спектральные отражательные свойства растительности и водных поверхностей
значительно отличаются. Индекс NDVI (Normalized Difference Vegetation Index) хорошо отображает качество растительного покрова, индекс NDWI (Normalized Difference Water Index) — водную поверхность с использованием канала, снятого в ближнем инфракрасном диапазоне NIR. В статье предложен комбинированный метод сегментации с использованием этих индексов, позволяющий повысить точность сегментации за счет большого коэффициента корреляции этих индексов с реальными объектами.
Ключевые слова: сегментация изображений, дистанционное зондирование, компьютерное зрение, обработка изображений, мультиспектральные снимки, свёрточные нейронные сети.
Andrei N. Vinogradov \
Candidate of Technical Sciences, Associate Professor;
Evgeny P. Kurshev , Candidate of Technical Sciences, Leading Researcher;
Igor P. Tishchenko , Candidate of Technical Sciences, Head of Laboratory;
Egor S. Ivanov 4, Junior Researcher
COMBINED SEGMENTATION METHOD APPLICATION FOR THE EARTH REMOTE SENSING MULTI-SPECTRAL IMAGES RECOGNITION
1 Рeoples' Friendship University of Russia (RUDN University),
Moscow, Russia, 1 vinogradov-an@rudn.ru 2,3,4 Ailamazyan Program Systems Institute of RAS (PSI RAS), Pereslavl-Zalessky, Russia,
2 3 4
epk@epk.botik.ru, igor.p.tishchenko@gmail.com, penguin90@yandex.ru
Abstract. The paper is devoted to the technology of multispectral aerospace images segmentation obtained by the Earth remote sensing. The spectral reflective properties of vegetation and water surfaces are significantly different. The NDVI (Normalized Difference Vegetation Index) clearly recognizes the quality of the vegetation cover, the NDWI (Normalized Difference Water Index) recognizes a water surface using the near infrared (NIR) channel. The article proposes a combined segmentation method using these indices, which allows to increase the accuracy of segmentation due to the large correlation coefficient of these indices with real objects.
Keywords: image segmentation, remote sensing, computer vision, image processing, multispectral images, convolutional neural networks.
Введение
В настоящее время растет интерес к использованию снимков дистанционного зондирования Земли (ДЗЗ). Это обусловлено тем, что на таких снимках можно производить анализ территорий, как естественных природных регионов (леса, водоемы и т. д.), так и антропогенных (городские застройки, мусорные свалки и т. д.). Зачастую имеющиеся снимки ДЗЗ являются мультиспектральными, то есть содержат гораздо больше каналов, чем стандартные RGB-изображения. Материалы космической съёмки в нескольких зонах энергетического спектра, преимущественно в видимом (0,4 - 0,7 мкм) и ближнем инфракрасном (0,7 - 1,3 мкм) диапазонах, представляют большой интерес для решения многих задач. Спектральные отражательные свойства растительности и почвеннораститель-ных комплексов зависят от состава, структуры, фазы вегетации, климатических и многих других факторов. За счет того, что данное направление сейчас очень актуально, ученые всего мира занимаются анализом снимков ДЗЗ.
1. Сегментация спутниковых снимков
Индекс NDVI (Normalized Difference Vegetation Index) хорошо отображает качество растительного покрова, индекс NDWI (Normalized Difference Water Index) - водную поверхность с использованием канала, снятого в ближнем инфракрасном диапазоне NIR. Использование этих индексов при сегментации может улучшить качество сегментации. Например, в работе [1] используется карта NDVI как отдельный канал изображения (комбинация видимых каналов с картой NDVI), которое будет обрабатываться свёрточной нейронной сетью (СНС). Авторы выполняют поиск мест, где произошли оползни: снимки для СНС состоят из комбинации разновременных изображений «до» (каналы R, G, B, NIR) и «после» (каналы R, G, B, NIR) оползня, а также NDVI карты до оползня.
В статье [2] предложен подход, основанный на сверточных нейронных сетях и на картах с нормализованными индексами. Суть подхода заключается в том, что изначально происходит обучение на трехканальных изображениях (карты NDVI и NDWI), затем сегментация при помощи скользящего окна карт, построенных на сегментируемых снимках. Таким образом, можно определить границы растительности и водной поверхности. В работе [3] представлен метод сегментации изображения с использованием нейронных сетей и предварительно отфильтрованной карты NDVI. При сегментации используются только данные с карты NDVI, а сегментированное изображение состоит из объектов двух классов: «растительность» и «не растительность». Таким образом, подобные подходы могут только определить воду, растительность от всего остального. Вы-
делить дороги, городские построек, песчаные карьеров и пр. данными подходами невозможно.
Данный недостаток можно исправить, производя обработку не только КОУ1 изображения, но и используя данные с самого мультиспек-трального снимка. Частично это было учтено в работе [4]. В качестве данных для СНС использовались многоканальные изображения, состоящие из КОУ1 карты и видимых каналов. Использовался однократный проход снимка фиксированным скользящим окном с перекрытием 50 %.
Таким образом, можно сказать, что существующие методы сегментации снимков ДЗЗ с использованием СНС схожи: снимок обходится маской и разбивается на равные фрагменты, каждый из которых подаётся нейронной сети на распознавание [5]; нейронная сеть для каждого фрагмента вычисляет класс. Используются как снимки в видимом ЯОБ-диапазоне, так и мультиспектральные снимки в невидимом диапазоне (включая карты КОУ1). В статье [6] авторы разбивают снимок на фрагменты размером 5*5. В зависимости от результата распознавания участок сегментированного изображения окрашивается в цвет, соответствующий классу этого фрагмента. Недостатком подобных подходов стал факт, что фрагменты, на которые разбивается исходный снимок, не всегда пересекаются, вследствие чего часто теряются объекты на сегментированных изображениях. Для решения этой проблемы можно выполнить разбиение исходного изображения на пересекающиеся области, например, этот подход применен в работах [7, 4].
Однако и это не в полной мере решает задачу поиска и распознавания объектов (а следовательно, и сегментации) на ДЗЗ: существуют случаи, когда объекты на снимках полностью не вмещаются или наоборот, слишком малы для используемых масок, то есть появляются ситуации, когда объект целиком не попадает ни в один из фрагментов, на которые разбивается исходное изображение, или же занимает небольшую часть в этом фрагменте. Поэтому следует разбивать исходный снимок ДЗЗ на фрагменты разного размера, сохраняя пересечение фрагментов.
На данный момент на мировом уровне неизвестны методы обработки снимков ДЗЗ при помощи нейронных сетей, которые бы учитывали все эти факторы (разбиение на фрагменты разного размера и разбиение с перекрытием), только частичное использование указанных методов. Предложенный метод описан в нашей статье [8]. Алгоритм описан ниже.
Используется обход снимка масками разных размеров. Изначально происходит классификация всего снимка. Затем происходят обходы снимка разными масками, при каждой последующей итерации размер маски уменьшается. Участок обрабатываемого снимка под маской масштабируется до размера 32х32 и передается нейронной сети для классификации. Если вероятность отнесения фрагмента к полученному классу
больше некоторого порогового значения, то считается, что текущий фрагмент принадлежит этому классу. В зависимости от полученного класса, соответствующий фрагмент нового (сегментированного) изображения окрашивается в определенный цвет, либо (в случае, когда найденная вероятность меньше порогового значения) окрашивание на данном шаге не происходит. Таким образом, при уменьшении размера маски, постепенно происходит повышение детализации сегментации. Данный процесс изображен на рисунке 1. Верху слева представлен канал исходного снимка, затем представлена оценка всего снимка - так как большую часть на снимке занимает вода, то оно окрашено в соответствующий цвет. Следующим изображением показана улучшенная детализация сегментов (размер скользящего окна 800х800пикселей), затем границы сегментов становятся более плавными и за счет уменьшения размера маски, появляются новые детали сегментов. Процесс сегментации завершается, как только будет выполнен обход снимка скользящим окном с наименьшим из заданных размеров (в данном случае - 32x32).
Рис. 1. Пример повышения детализации сегментации при уменьшении размера скользящего окна, слева направо, сверху вниз
Таким образом, если при использовании маски небольшого размера не был вычислен класс для некоторого участка снимка, то класс для этого участка остается таким же, каким он был определен ранее.
2. Модификация алгоритма с учетом индекса NDVI
В результате анализа имеющихся подходов предлагается использовать комбинированный метод сегментации в два этапа: предварительную сегментацию производить исходя из построенных карт индексов КБУ1, N0"! - это поможет предварительно выделить участки с растительностью и с водой. Затем производить дополнение при помощи нейронной сети. Таким образом, при последующей обработке (если это будет требоваться в конкретной задаче), каждый участок с растительным покровом можно будет разбить на участки, соответствующие типам растений: массивы из лиственных или хвойных деревьев, кустарники, трава. Такого разбиения можно добиться путем использования мультиспектральных изображений, спектральный анализ позволяет определить эти классы. Подобное уточнение предполагается выполнять при помощи нейронной сети.
Таким образом, ранее предложенный [8] алгоритм сегментации предлагается модифицировать образом, описанным ниже.
Заранее требуется создать и обучить нейронную сеть:
1. Создание обучающей выборки. Классы для обучения могут быть объединены в суперклассы. Например, «хвойные деревья», «лиственные деревья» могут быть объединены в класс «лес», а класс «лес» в свою очередь входит в класс «растительность». Данная привязка классов может храниться отдельно и не влиять на архитектуру нейронной сети (НС), а также на процесс распознавания (или обучения), поскольку данное деление представляет собой постобработку результатов работы СНС.
2. Обучение НС. В качестве входных данных предлагается оставить многоканальные изображения размера 32х32. Если уменьшать размер изображений для СНС, то может потеряться информация о текстурах объектов, что в свою очередь приведет к увеличению ошибки. Увеличение размера приведет к увеличению слоев СНС, что в свою очередь приведет к увеличению вычислительной сложности. Кроме того, при увеличении размера изображений (например, до 64х64) обучающей выборки также будет требоваться изменение размера фрагментов для распознавания. Следовательно, потребуется обходить исходное изображение с минимальными масками 64х64 - это повлечет за собой неточность границ (фактически, это будет сопоставимо с промежуточными обходами изображения масками, показанный на рис. 1).
Затем происходит непосредственно сегментация:
1. Предварительная сегментация снимков на основании NDVI/NDWI. Принцип, лежащий в основе NDVI, заключается в том, что здоровая зеленая растительность отражает больше инфракрасного излучения и поглощает больше энергии на красной длине волны по сравнению с нездоровой растительностью или поверхностями без вегетации [9]. Согласно исследованиям [10], корреляция между растительным покровом и индексом NDVI достигает 97.7 %. Аналогичным образом присутствует взаимосвязь между ближним инфракрасным спектром в сочетании с зеленым для воды. Построение карт NDVI/NDWI происходит согласно формулам:
NDVI = NIR -RED , (1)
NIR + RED
NDWI = GREEN - NIR . (2)
GREEN + NIR
2. После чего происходит анализ и выделение сегментов с растительностью (NDVI >= 0.2) и с водоемами (NDWI >= 0.5) [11]. В случае, если некий участок изображения (например, ввиду шумов на исходном снимке) будет иметь значения индекса NDVI >= 0.2 и NDWI >= 0.5, то решение о принадлежности фрагмента тому или иному классу определяется исходя из того, у какого из классов нормированное значение индекса больше. Исходные значения индексов могут принимать значения от -1 до +1. Значения индекса NDVI в диапазоне растительности [0.2; 1] линейно масштабируются (нормируются) до интервала [0; +1]. Аналогично происходит для диапазона [0.5; 1] индекса NDWI. Таким образом, весь диапазон растительности и водоемов в нормированном виде будут принимать значения [0; 1]. В таком виде значения индексов подвергаются равноценному сравнению.
В результате данной обработки получается изображение, на котором присутствуют сегменты водоемов и растительности.
На рисунках 2 - 5 показаны шаги обработки.
На рисунке 5 белым цветом выделены участки, которые не удалось классифицировать в результате анализа индексов NDVI и NDWI. К таким участкам на данном снимке можно отнести облака, береговую линию (это уже не вода, но уже не растительность), участки земли без растительности и пр.
\
Рис. 2. Исходное изображение
Рис. 3. Изображение с нанесенными на него сегментами растительности, определенными при помощи индекса NDVI
Рис. 5. Сегментированное изображение. Белым цветом выделены фрагменты, которые не удалось распознать при помощи индексов КБУТ и
Заключение
Предложен подход комбинированной сегментации с использованием предварительной за счет индексов К0У1 и N0'!, которые повышают точность сегментации за счет большого коэффициента корреляции этих индексов с реальными объектами.
Работа выполнялась при финансовой поддержке Министерства науки и высшего образования Российской Федерации (Минобрнауки России), уникальный идентификатор проекта RFMEFI60419X0236.
Список литературы
1. Wang Y., Wang X., Jian J. Remote Sensing Landslide Recognition Based on Con-volutional Neural Network // Mathematical Problems in Engineering. 2019. № 1. Pp. 1-12.
2. Jin B. et al. Object-Oriented method combined with deep convolutional neural networks for land-use-type classification of remote sensing images // Journal of the Indian Society of Remote Sensing. 2019. № 47. Pp. 951-965.
3. Dyson J. et al. Deep Learning for Soil and Crop Segmentation from Remotely Sensed Data // Remote Sensing. 2019. Vol. 11. №. 16. P. 1859.
4. Fishgold L., Emanuele R. Deep Learning For Semantic Segmentation of Aerial Imagery // Azawea. 2017. URL: https://www.azavea.com/blog/2017/05/30/deep-learning-on-aerial-imagery (accessed date: 25.04.2020).
5. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Navab N., Hornegger J., Wells W., Frangi A. (Eds.) Medical Image Computing and Computer-Assisted Intervention (MICCAI 2015). Lecture Notes in Computer Science. 2015. Vol. 9351. Springer, Cham.
6. Li Y., Zhang H., Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network // Remote Sensing. 2017. Vol. 9. No. 1. P. 67.
7. Соловьев Р. А., Тельпухов Д. В., Кустов А. Г. Автоматическая сегментация спутниковых снимков на базе модифицированной свёрточной нейронной сети UNET // Инженерный вестник Дона. 2017. Т. 47. № 4. URL: http://ivdon.ru/uploads/article/ pdf/IVD_56_soloviev_N.pdf_116222c2f5.pdf (дата обращения: 25.04.2020).
8. Иванов Е.С., Тищенко И.П., Виноградов А.Н. Сегментация мультиспектраль-ных снимков с применением сверточных нейронных сетей // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. №1. С. 25-34. URL: http://d33.infospace.ru/d33_conf/sb2019t1/25-34.pdf (дата обращения: 25.04.2020).
9. Rhew I. C. et al. Validation of the normalized difference vegetation index as a measure of neighborhood greenness //Annals of epidemiology. 2011. Vol. 21. №. 12. Pp.946-952.
10. Cheruiyot E. et al. Accuracy and precision of algorithms to determine the extent of aquatic plants: Empirical sealing of spectral indices vs. spectral unmixing // ESA Living Planet Symposium. 2013. Vol. 722. P. 85.
11. Xu H. Modification of normalised difference water index (NDWI) to enhance open water features in remotely sensed imagery // International journal of remote sensing. 2006. V. 27. №. 14. Pp. 3025-3033.
