CC BY
8
ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ т. 13, № 3(54), с. 99-112
научная статья искусственный интеллект, интеллектуальные системы, нейронные сети
удк 519.68+004.89
10.25209/2079-3316-2022-13-3-99-112
Ускорение алгоритма сегментации мультиспектральных снимков дистанционного зондирования Земли, основанного на использовании сверточных нейронных сетей
Егор Сергеевич Иванов1^, Александр Владимирович Смирнов2
Институт программных систем им. А. К. Айламазяна РАН, Веськово, Россия
1 egor.s.ivanov@gmail.com (подробнее об авторах на с. 109)
Аннотация. Предложен усовершенствованный подход к сегментации мультиспектральных снимков с использованием сверточных нейронных сетей (СНС). Оригинальный алгоритм учитывал некоторые погрешности, которые могли возникать в ходе обработки снимков СНС при помощи скользящего окна, и построен так, что устраняет эти проблемы. В предлагаемой модификации помимо классического поиска объектов СНС, использованы индексы NDVI и NDWI, которые имеют большой коэффициент корреляции с реальными объектами, присутствующими на снимках, а также пирамиды изображений. Все это в совокупности дает ускорение при обработке изображений.
(see abstract in English on p. 110)
Ключевые слова и фразы: мультиспектральные снимки, дистанционное зондирование Земли, сверточные нейронные сети, сегментация, пирамида изображений
Для цитирования: Иванов Е.С., Смирнов А.В. Ускорение алгоритма сегментации мультиспектральных снимков дистанционного зондирования Земли, основанного на использовании сверточных нейронных сетей // Программные системы: теория и приложения. 2022. Т. 13. № 3(54). С. 99-112. http://psta.psiras.ru/read/psta2022_3_99-112.pdf
© Иванов Е. С., Смирнов А. В.
2022
Введение
Растущий интерес к использованию снимков дистанционного зондирования Земли (ДЗЗ) обусловлен возможностями анализа как естественных природных регионов (леса, водоемы и т. д.), так и антропогенных территорий, таких как городские застройки или мусорные свалки. Зачастую имеющиеся снимки ДЗЗ являются мультиспектраль-ными, то есть содержат гораздо больше каналов, чем стандартные ИСБ-изображения, полученные с классических камер. Материалы космической съёмки в нескольких зонах энергетического спектра, преимущественно в видимом (0,4-0,7 мкм) и ближнем инфракрасном (0,7-1,3 мкм) диапазонах, представляют большой интерес для решения различных современных задач [1-3].
Одним из инструментов обработки снимков, упрощающих анализ снимков, является сегментация —выделение областей, имеющих схожие характеристики [4], [5]. К таким характеристикам можно отнести текстуру, форму, цвет, состояние и пр. Объектами (сегментами) на изображениях могут быть участки леса, водоемы, городские застройки и другие. В результате получается изображение, на котором каждый сегмент является отдельным объектом, а анализ исходных данных сводится к анализу полученных объектов. Подход получил название «Анализ изображений на основе объектов» (ОБ1А) — это относительно новая парадигма для интерпретации изображений дистанционного зондирования Земли [6].
Многие исследования в области сегментации изображений направлены на поиск оптимального результата сегментации [7]. Однако нет единого критерия оптимальности сегментации: для одной задачи результат сегментации может быть неудовлетворительным, но для другой задачи этого результата будет достаточно для проведения последующего анализа полученных данных [8]. Например, для некоторых задач достаточно отделить растительность от водоемов и дорог, а для других задач может потребоваться отдельное выделение полей, лесов (возможно, даже распределение участков по составу пород: хвойные, лиственные, смешанные).
В последнее время все чаще используют искусственные нейронные сети и высокопроизводительные вычислительные технологии [9]. Нейронные сети зарекомендовали себя как хороший инструмент для классификации изображений [10]. Классифицируются как цельные объекты, имеющие определенные унифицированные формы (самолет, автомобиль, буква и пр.) [11], [12], так и обобщенные объекты, имеющие схожую текстуру (водоемы, леса. пожары и пр.) [13], [14].
Проведенный информационный поиск показал, что с течением времени количество работ, которые так или иначе описывают исследования в области мультиспектральных спутниковых изображений и нейронных сетей (поиск по ключевым словам «image segmentation», «remote sensing», «multispectral», «neural network»), ощутимо возрастало: за 2019-2021 годы найдено соответственно 1300, 1750 и 2250 работ. Для сравнения: за 2013 год их было только 280.
В настоящей статье описан метод сегментации мультиспектральных спутниковых снимков с применением нейронных сетей, карт индексов NDWI и NDWI, представлен подход для ускорения работы алгоритма, основанный на использовании пирамид изображений и приведено сравнение скорости работы разных модификаций алгоритма.
1. Оригинальный алгоритм
Ранее был предложен алгоритм сегментации [15,16], имеющий ряд преимуществ по сравнению с аналогами, в котором учтены некоторые тонкости обработки, позволяющие получить более качественный результат (теоретическое обоснование также было дано в прошлых работах).
Одним из таких преимуществ является то, что предложенный метод использует скользящие окна разного размера. Это позволяет получить устойчивость к масштабированию объектов. Другим преимуществом является использование перекрытия при обработке скользящим окном, что гарантирует попадание объекта в тот или иной фрагмент изображения.
Опишем предложенный подход, предусматривающий реализацию следующих шагов:
1. Предварительная сегментация снимков на основании значений NDWI (Normalized Difference Vegetation Index - Нормализованный относительный индекс растительности) и NDWI (Normalized Difference Water Index - Нормализованный разностный водный индекс). Построение карт NDWI и NDWI происходит согласно формулам (вычисления проводятся для каждого пикселя снимка):
NIR - RED GREEN - NIR
NDVI =--NDWI =-,
NIR + RED GREEN + NIR'
где NIR, RED, GREEN — значение яркости пикселя на ближнем инфракрасном, красном и зеленом каналах.
После этого происходит анализ и выделение сегментов с растительностью (NDVI ^ 0.2) и водоемами (NDWI ^ 0.5). В результате получается изображение, на котором присутствуют сегменты водоемов и растительности.
2. Фильтрация сегментов. В результате выполнения данного этапа обработки снимка происходит удаление шумов, полученных при предварительной сегментации. Под шумом в данном случае подразумеваются сегменты, размер которых меньше К пикселей (данный параметр задается пользователем, это минимальный размер объектов, которые в будущем будут важны для обработки), и которые окружены большим однородным сегментом. Пример шума (элемент оц) показан на рисунке 1. Поскольку данный элемент окружен однородными (зелеными) элементами, то после фильтрации он классифицируется так же, как и его соседи. Некоторые другие правила фильтрации прописаны в [16].
а00 а01 а02
а10 ап а12
а20 а21 а22
Рисунок 1. Пример шума на изображении
3. Сегментация при помощи СНС. Изображение обходится скользящим окном разных размеров:
• Если фрагмент снимка под скользящим окном содержит нераспознанные участки, то этот фрагмент подается СНС для классификации, и ранее нераспознанные участки на результирующем изображении окрашиваются в цвет, соответствующий вычисленному классу.
• Если фрагмент снимка под окном полностью классифицирован в результате предварительной сегментации, то этот фрагмент переносится на результирующее сегментированное изображение, и (в общем случае) обработка этого фрагмента СНС не происходит.
После обхода всех фрагментов каждый пиксель результирующего изображения окрашивается в цвет, соответствующий изображенному на нем объекту.
На рисунке 2 показаны этапы сегментации снимков. В ходе предварительной сегментации не были найдены облака, а также границы снимка, поскольку эта сегментация выполняет только обнаружение растительности и водной поверхности. Иные объекты (облака, границы снимка, застройки и прочие объекты, которые не относятся к классам «растительность» и «вода») выделяются на снимке путем сегментации с использованием СНС. Отметим, что часть фрагментов, не распознанных при предварительной сегментации, позже была классифицирована
как «растительность» или «вода», поэтому после предварительной сегментации нельзя говорить о том, что все участки с растительностью и водоемами были найдены на этом шаге, и нельзя исключать эти классы из дальнейшего поиска.
(а) Канал исходного (б) Результат (в) Окончательный
снимка ДЗЗ предварительной результат сегментации
сегментации
Рисунок 2. Сегментация при помощи СНС: зеленым цветом выделена растительность, синим - водоемы, белым -участки снимка, которые не были отнесены к указанным классам на основе индексов ЫЭУ! и NDWI
Таким образом, использование предварительной сегментации на основе NDVI и NDWI дает ускорение обработки снимка по сравнению с обработкой всего снимка СНС.
2. Ускорение алгоритма за счет использования пирамиды изображений
В процессе пирамидальной обработки изображений строится множество изображений разного размера на базе исходного, после чего происходит обработка уже масштабированных изображений. На рисунке 3 показана визуализация построения пирамиды из исходного
Рисунок 3. Пример построения пирамиды изображений
снимка: размер изображения пошагово уменьшается с некоторым коэффициентом.
В работе [17] предложена пирамидальная обработка изображений для анализа сцены на снимке при помощи пирамидальной сети Р8РМе1. Хотя в названной работе такой подход не используется для задачи сегментации или обработки данных ДЗЗ, данный метод получил свое развитие в работе [18]. Авторы производят выделение зданий на изображениях ДЗЗ, используя принцип пирамид изображений. Такой подход направлен на устранение ограничений по фиксации размера входного изображения, подаваемого нейронной сети.
В работе [19] представлен модифицированный алгоритм поиска объектов — он использует различные масштабы исходного снимка для построения карты признаков. Как показали результаты этого исследования, поиск объектов на изображениях с разным масштабом (по сравнению с оригинальным размером) дает более высокий процент распознавания объектов на снимках, в том числе при нахождении нескольких объектов на одном снимке. Полноценное применение описанного похода для классификации участков земной поверхности описано в [20], [21]. Авторы решают задачу классификации земного покрова по снимкам ДЗЗ. В первой работе были описаны обучение и распознавание цельных фрагментов, а не сегментация. Авторами второй статьи разработана структура сверточной нейронной сети, оптимизированная для суперпикселей (ЯОСКК). Подход состоит из трех этапов: семантическая сегментация, оптимизация суперпикселей и слияние результатов.
При использовании пирамиды изображений по сравнению с оригинальным алгоритмом [16] нам удалось добиться ускорения за счет того, что исходное изображение перед обработкой нейронной сетью последовательно масштабируется, и в дальнейшем изображение обходится скользящим окном фиксированного размера (32x32). Здесь и далее в работе, размер изображений и их фрагментов, размер и шаг смещения скользящих окон измеряются в пикселях.
Приведем пример: исходное изображение размером 320x320 пикселей. На некотором этапе обработки планируется обойти это изображение окном размером NxN пикселей с шагом N/2, в качестве N возьмем значение 64. Чтобы обработать изображение алгоритмом в первоначально предложенной версии (когда происходит преобразование участка под скользящим окном до размера 32x32), изображение разбивалось на 64 фрагмента 64x64, каждый из которых сжимался до требуемого размера 32x32, и только потом выполнялась классификация этого фрагмента нейронной сетью. Значит, выполнялись 64 операции преобразования размеров, а за счет перекрытия фрагментов большая часть изображения
уменьшалась по несколько раз. На рисунке 4а изображен пример,
(а) Визуализация цветом: белый=одна, серый=две, черный=четыре
(б) Пояснение указанного количества операций масштабирования
Рисунок 4. Количество операций масштабирования
который показывает количество обходов. Изображение обходится окном размера NxN с перекрытием N/2. Каждый квадрат имеет размер N/2xN/2. Белым цветом отражены фрагменты, которые сжимались только 1 раз. Серым цветом - те, которые сжимались по 2 раза. Черным цветом выделены фрагменты изображения, которые сжимались по 4 раза. На рисунке 4б показан пример, обосновывающий расчетное количество производимых операций масштабирования, где красным цветом обозначено скользящее окно, размер которого N xN.
Таким образом, из описанного примера следует, что большинство фрагментов исходного снимка масштабировалось несколько раз (выделялся фрагмент, происходило преобразование его размера, затем выполнялась обработка СНС), что приводило к дополнительным временным затратам. Предложенная модификация позволила изначально выполнить операцию изменения размера всего снимка один раз, и только потом уже разбивать его на фрагменты и передавать их СНС для классификации, то есть при предлагаемом подходе уменьшается количество вызовов операций масштабирования фрагментов.
На ряде изображений (рисунок 5) был исследован предложенный подход. В качестве исходных данных брались снимки ASTER1. Каждый обработанный снимок имел 16 каналов, все каналы использовались в процессе сегментации.
1Снимки были сохранены в мае 2020 с сервера https://e4ftl01.cr.usgs.gov/, путем получения доступа на сайте https://www.earthdata.nasa.gov/
А В С О Е
Рисунок 5. Примеры обрабатываемых изображений
Для исходной версии алгоритма выполнялся обход скользящими окнами со сторонами 32, 64, 128, 256, 512, 1024, 2048, 4096. Для модифицированного алгоритма изображения последовательно сжимались в 2 раза до тех пор, пока размер был больше используемого окна (32x32): 4980x4200, 2490x2100, 1245x1050, 623x525 и т. д. Полученные результаты сегментации оказались идентичными: в результате попиксельного сравнения не было выявлено отличий изображений. Однако время, затраченное на обработку каждого снимка, сократилось. В результате, вместо применения масок разных размеров (первоначальной версии алгоритма), можно использовать окно фиксированного размера и пирамиды изображений исходного снимка - масштабировать только обрабатываемое изображение.
В таблице 1 приведены сравнительные результаты времени обработки снимков (рисунок 5) первоначальной версией алгоритма, алгоритма с предварительной сегментации, а также модифицированного алгоритма с предварительной сегментацией и построением пирамиды изображений.
Таблица 1. Затраты на обработку снимков, в минутах
Снимок (см. рисунок 5) А В С В Е
без предварительной сегментации |15| 261 263 261 262 262
с предварительной сегментацией |16| 74 153 70 138 76
с использованием пирамид изображений 66 131 64 122 6'/
По сравнению с первоначальным алгоритмом, использование предварительной сегментации снизило временные затраты на 40-70%. Использование пирамид изображений дало дополнительное ускорение на 10-15%. В указанное время также включено время, затраченное на загрузку снимков и настроек СНС, включая чтение файлов с весами.
3. Заключение
Представлена модификация алгоритма сегментации мультиспек-тральных снимков ДЗЗ на основе индексов NDVI и NDWI и с использованием СНС. Модификация заключается в применении пирамиды
изображений для ускорения обработки снимков ДЗЗ. В результате анализа работы алгоритма установлено, что данная модификация привела к сокращению времени обработки на 10-15%, не оказывая влияния на точность результатов.
Список литературы
[1] Oliveira R. A., R. Nasi, O. Niemeláinen, Nyholm L., Alhonoja K., Kaivosoja J., Jauhiainen L., Viljanen N., Nezami S., Markelin L., Hakala T., Honkavaara E. Machine learning estimators for the quantity and quality of grass swards used for silage production using drone-based imaging spectrometry and photogrammetry jj Remote Sensing of Environment.- 2020,- Vol. 246,- 111830. two
[2] Viljanen N., Honkavaara E., R. Nasi, Hakala T., O. Niemeláinen, Kaivosoja J. A novel machine learning method for estimating bio-mass of grass swards using a photogrammetric canopy height model, images and vegetation indices captured by a drone // Agriculture.- 2018.- Vol. 8.- No. 5.- pp. 70. t100
[3] F. Lopez-Granados, J. Torres-Sanchez, de Castro A., A. Serrano-Pérez, Mesas-Carrascosa F. J., J. M. Peña Object-based early monitoring of a grass weed in a grass crop using high resolution UAV imagery // Agronomy for sustainable development.- 2016.- Vol. 36.- No. 4.- 67.- 12 pp. 100
[4] Родионова Н. В. Текстурная сегментация одноканальных изображений: примеры применения // Современные проблемы дистанционного зондирования Земли из космоса.- 2012.- Т. 9.- № 3.- с. 65-69. sj^ (url. 100
[5] Абрамов Н. С., Макаров Д. А., Талалаев А. А., ФраленкоВ. П. Современные методы интеллектуальной обработки данных ДЗЗ // Программные системы: теория и приложения.- 2018.- Т. 9.- № 4.- с. 417-442. url mo
[6] Su T., Zhang S. Local and global evaluation for remote sensing image segmentation // ISPRS Journal of Photogrammetry and Remote Sensing.-2017,-Vol. 130,-pp. 256-276. i ' ioo
[7] Wang M., Dong Z., Cheng Y., Li D. Optimal segmentation of high-resolution remote sensing image by combining superpixels with the minimum spanning tree // IEEE Transactions on Geoscience and Remote Sensing.- 2017.- Vol. 56.-No. 1,- pp. 228-238. two
[8] Basaeed E., Bhaskar H., Al-Mualla M. Supervised remote sensing image segmentation using boosted convolutional neural networks // Knowledge-Based Systems.- 2016,- Vol. 99,- pp. 19-27. two
[9] AbramovN. S., Talalayev A. A.,Fralenko V. P., ShishkinO. G.,Khachumov V. M. Neural network technology to search for targets in remote sensing images of the Earth, V International Conference on "Information Technology and Nanotechnology" (ITNT-2019), CEUR Workshop Proceedings.-vol. 2391. 2019,-pp. 180-186. url ioo
[10] Kemker R., Salvaggio C., Kanan C. Efficient flame detection based on static and dynamic texture analysis in forest fire detection // Algorithms for semantic segmentation of multispectral remote sensing imagery using deep learning.- 2018,- Vol. 145,- pp. 60-70. i 100
[11] Murugan P. Implementation of deep convolutional neural network in multi-class categorical image classification.- 2018.- 22 pp. arXiv£jJ 1801.01397 [cs.GV] 100
[12] Ma C., Li Y., Yang F., Zhang Z., Zhuang Y., Jia H., Xie X. Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network // ICMR '19: Proceedings of the 2019 on International Conference on Multimedia Retrieval (June 10-13, 2019, Ottawa, ON, Canada), New York: ACM.- 2019,- isbn 978-1-4503-6765-3,- pp. 253-261. i ' loo
[13] Emmy Prema C., Vinsley S. S., Suresh S. Efficient flame detection based on static and dynamic texture analysis in forest fire detection // Fire technology.-
2019,- Vol. 54,- No. 1,- pp. 255-288. 100
[14] Chang T., Rasmussen B.P., Dickson B. G., Zachmann L.J. Chimera: A multi-task recurrent convolutional neural network for forest classification and structural estimation // Remote Sensing.- 2019.- Vol. 11.- No. 7.- pp. 768.
100
[15] Иванов Е.С., Тищенко И. П., Виноградов А.Н. Сегментация мультиспектральных снимков с применением сверточных нейронных сетей // Современные проблемы дистанционного зондирования Земли из космоса.- 2019.- Т. 16.- № 1.- с. 25-34. % d (uf 101 106
[16] Виноградов А. Н., Иванов Е. С., Тищенко И. П. Применение комбинированной сегментации для распознавания мультиспектральных снимков дистанционного зондирования Земли // Системный анализ в проектировании и управлении, сборник научных трудов XXIV Международной научной и учебно-практической конференции, в 3 ч..- Т. 2 (13-14 октября 2020 г., Санкт-Петербург, Россия), СПб: Политех-Пресс.-
2020.-с. 219-228. ¡¡^ d 1101 102 104 106
[17] Zhao H., Shi J., Qi X., Wang X., Jia J. Pyramid scene parsing network // 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR (21-26 July 2017, Honolulu, HI, USA).- 2017,- pp. 6230-6239.
[18] Liu Y., Gross L., Li Z., Li X., Fan X., Qi W. Automatic building extraction on high-resolution remote sensing imagery using deep convolutional encoder-decoder with spatial pyramid pooling // IEEE Access.- 2019.- Vol. 7.-pp. 128774-128786. d - 104
[19] Yu B., Yang L., Chen F. Semantic segmentation for high spatial resolution remote sensing images based on convolution neural network and pyramid pooling module // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing.- 2018,- Vol. 11. No. 9,- pp. 3252-3261. I ' 104
[20] Chai H., Yan C., Zou Y., Chen Z. Land cover classification of remote sensing image of Hubei Province by using PSP Net // Geomatics and Information Science of Wuhan University.- 2021,- Vol. 49. No. 8.- pp. 1224-1232. d fi04
[21] Yuan X., Chen Z., Chen N., Gong J. Land cover classification based on the PSPNet and superpixel segmentation methods with high spatial resolution multispectral remote sensing imagery // Journal of Applied Remote Sensing.-2021,- Vol. 15.- No. 3.- 034511. d
Поступила в редакцию 24.08.2022;
одобрена после рецензирования 09.09.2022;
принята к публикации 21.09.2022.
Рекомендовал к публикации д.ф.-м.н. А. М. Елизаров
Информация об авторах:
Егор Сергеевич Иванов
Младший научный сотрудник Лаборатории методов обработки и анализа изображений, Институт Программных Систем имени А. К. Айламазяна РАН
¡ГО 0000-0002-5593-4404 e-mail: egor.s.ivanov@gmail.com
Александр Владимирович Смирнов
Младший научный сотрудник Лаборатории методов обработки и анализа изображений, Институт Программных Систем имени А. К. Айламазяна РАН
0000-0002-7104-1462 e-mail: asmirnov_1991@mail.ru
Все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
ISSN 2079-3316 PROGRAM SYSTEMS: THEORY AND APPLICATIONS vol. 13, No3(54), pp. 99-112 Research Article artificial intelligence, intelligent systems, neural networks
udc 519.68+004.89
10.25209/2079-3316-2022-13-3-99-112
Acceleration of the advanced segmentation algorithm for multispectral images using CNN
Egor Sergeevich Ivanov1, Alexandr Vladimirovich Smirnov2
Ailamazyan Program Systems Institute of RAS, Ves'kovo, Russia
1 egor.s.ivanov@gmail.com (learn more about the authors in Russian on p. 109)
Abstract. Proposed an improved approach to the segmentation of multispectral images using Convolutional Neural Networks (CNN). The original algorithm was described earlier. It took into account some errors that could arise during the processing of SNA images using a sliding window. The proposed modification uses the NDVI and NDWI indices, which have a high correlation coefficient with real objects present in the images, also images pyramids were used. (In Russian).
Key words and phrases: multispectral imaging, Earth remote sensing, convolutional neural networks, segmentation, image pyramid
2020 Mathematics Subject Classification: 68t07; 68t45
For citation: Egor S. Ivanov, Alexandr V. Smirnov. Acceleration of the advanced segmentation algorithm for multispectral images using CNN // Program Systems: Theory and Applications, 2022, 13:3(54), pp. 99-112. (In Russian). http://psta.psiras.ru/read/psta2022_3_99-112.pdf
References
[1] R. A. Oliveira, R. Nasi, O. Niemelainen, L. Nyholm, K. Alhonoja, J. Kaivosoja, L. Jauhiainen, N. Viljanen, S. Nezami, L. Markelin, T. Hakala, E. Honkavaara. "Machine learning estimators for the quantity and quality of grass swards used for silage production using
drone-based imaging spectrometry and photogrammetry", Remote Sensing of Environment, 246 (2020), 111830. 100
[2] N. Viljanen, E. Honkavaara, R. Nasi, T. Hakala, O. Niemelainen, J. Kaivosoja. "A novel machine learning method for estimating biomass of grass swards using a photogrammetric canopy height model, images and vegetation indices captured by a drone", Agriculture, 8:5 (2018), pp. 70. i 100
© Ivanov E. S., Smirnov A. V.
2022
[3] F. López-Granados, J. Torres-Sánchez, A. de Castro, A. Serrano-Pérez, F. J. Mesas-Carrascosa, J. M. Peña. "Object-based early monitoring of a
grass weed in a grass crop using high resolution IJAV imagery", Agronomy for sustainable development, 36:4 (2016), 67, 12 pp. I 1100
[4] N. V. Rodionova. "One channel texture based segmentation: application
examples", Sovremennyye problemy dista,ntsionnogo zondirovaniya Zemli iz kosmosa, 9:3 (2012), pp. 65-69 (in Russian), url; ioo
[5] N. S. Abramov, D. A. Makarov, A. A. Talalayev, V. P. Fralenko. "Modern methods for intelligent processing of Earth remote sensing data", Program Systems: Theory and Applications, 9:4 (2018), pp. 417-442 (in Russian). url •fioo
[6] T. Su, S. Zhang. "Local and global evaluation for remote sensing image
segmentation", ISPRS Journal of Photogrammetry and Remote Sensing, 130 (2017), pp. 256-276. I ' ioo
[7] M. Wang, Z. Dong, Y. Cheng, D. Li. "Optimal segmentation of highresolution remote sensing image by combining superpixels with the minimum spanning tree", IEEE Transactions on Geoscience and Remote Sensing, 56:1 (2017), pp. 228-238. ioo
[8] E. Basaeed, H. Bhaskar, M. Al-Mualla. "Supervised remote sensing image segmentation using boosted convoiutional neural networks", Knowledge-Based Systems, 99 (2016), pp. 19-27. ioo
[9] N. S. Abramov, A. A. Talalayev, V. P. Fralenko, O. G. Shishkin, V. M. Khachumov. "Neural network technology to search for targets in remote sensing images of the Earth", V International Conference on "Information Technology and Nanotechnology" (ITNT-2019), CEIJR Workshop Proceedings, vol. 2391, 2019, pp. 180-186. (url) ioo
[10] R. Kemker, C. Salvaggio, C. Kanan. " Efficient flame detection based on static and dynamic texture analysis in forest fire detection ", Algorithms
for semantic segmentation of multi,spectral, remote sensing imagery using deep learning, 145 (2018), pp. 60-70. two
[11] P. Murugan. Implementation of deep convolutional neural network in multi-class categorical image classification, 2018, 22 pp. arXiv£| 1801.01397 [cs.GV] i 100
[12] C. Ma, Y. Li, F. Yang, Z. Zhang, Y. Zhuang, H. Jia, X. Xie. "Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network", ICMR '19: Proceedings of the 2019 on International Conference on Multimedia Retrieval (June 10-13, 2019, Ottawa, ON, Canada), ACM, New York, 2019, isbn 978-1-4503-6765-3, pp.253-261. d wo
112
Egqr s. Iyanqy, Alexandr v. Smirnoy
[13] C. Emmy Prema, S. S. Vinsley, S. Suresh. "Efficient flame detection
based 011 static and dynamic texture analysis in forest fire detection", Fire technology, 54:1 (2019), pp. 255-288. ' 1ioo
[14] T. Chang, B. P. Rasmussen, B. G. Dickson, L. J. Zachmann. "Chimera:
A multi-task recurrent c.onvolutional neural network for forest classification and structural estimation", Remote Sensing, 11:7 (2019), pp. 768. 100
[15] Ye. S. Ivanov, I. P. Tishchenko, A.N. Vinogradov. "Multispectral image segmentation using convolutional neural network", Sovremennyye problemy distantsionnogo zondirovaniya Zemli iz kosmosa, 16:1 (2019), pp. 25-34 (in Russian). url 101 106
[16] A.N. Vinogradov, Ye. S. Ivanov, I. P. Tishchenko. "Combined segmentation method application for the Earth remote sensing multi-spectral images recognition", Sistemnyy analiz v proyektirovanii i upravlenii, sbornik nauchnykh trudov XXIV Mezhdunarodnoy nauchnoy i uchebno-prakticheskoy konferentsii, v 3 ch.. V. 2 (13-14 oktyabrya 2020 g., Sankt-Peterburg, Rossiya), Politekh-Press, SPb, 2020, pp. 219-228 (in Russian). 101 102 104 106
[17] H. Zhao, J. Shi, X. Qi, X. Wang, J. Jia. "Pyramid scene parsing network", 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR (21-26 July 2017, Honolulu, HI, USA), 2017, pp. 6230-6239.
104
[18] Y. Liu, L. Gross, Z. Li, X. Li, X. Fan, W. Qi. "Automatic building extraction on high-resolution remote sensing imagery using deep convolutional encoder-decoder with spatial pyramid pooling", IEEE Access, 7 (2019), pp. 128774-128786.
[19] B. Yu, L. Yang, F. Chen. "Semantic segmentation for high spatial resolution remote sensing images based on convolution neural network and pyramid pooling module", IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11:9 (2018), pp. 3252-3261.
104
[20] H. Chai, C. Yan, Y. Zou, Z. Chen. "Land cover classification of remote sensing image of Hubei Province by using PSP Net", Geomatics and Information Science of Wuhan University, 49:8 (2021), pp. 1224-1232.
d 1*104
[21] X. Yuan, Z. Chen, N. Chen, J. Gong. "Land cover classification based on the PSPNet and superpixel segmentation methods with high spatial resolution multispectral remote sensing imagery", Journal of Applied Remote Sensing, 15:3 (2021), 034511. i 104
