CC BY
35
О классификации космических снимков Sentinel-2 нейронной сетью ResNet-50
И.В. Бычков1, Г.М. Ружников1, Р.К. Федоров1, А.К. Попова1, Ю.В. Авраменко1 1ИДСТУ СО РАН - Институт динамики систем и теории управления им. В.М. Матросова, 664033, Россия, г. Иркутск, ул. Лермонтова, д. 134
Аннотация
В работе исследовано изменение точности классификации спутниковых изображений при различных комбинациях параметров нейронной сети и набора входных данных. Проведено добавление к обучающей выборке индекса NDVI и локальных бинарных шаблонов. Выполнено тестирование классификаторов, созданных на разных количествах эпох и образцах. Определены значения гиперпараметров нейронной сети, позволяющие достичь точности классификации 0,70 и F-меры 0,65. Разделение классов с похожими спектральными характеристиками показывает низкое качество при различных параметрах и наборах входных данных. Для улучшения требуется привлечение дополнительной информации. Например, для разделения лесов на подклассы необходимо применение классификаторов, использующих изображения за разные периоды года, учитывающих вегетационный период. Кроме того, необходимо расширение обучающей выборки для учета различных природных зон, почв и т.д.
Ключевые слова: нейронные сети, классификация, данные ДЗЗ, обработка изображений, машинное обучение, локальные бинарные шаблоны.
Цитирование: Бычков, И.В. О классификации космических снимков Sentinel-2 нейронной сетью ResNet-50 / И.В. Бычков, Г.М. Ружников, Р.К. Федоров, А.К. Попова, Ю.В. Авраменко // Компьютерная оптика. - 2023. - Т. 47, № 3. - С. 474-481. - DOI: 10.18287/2412-6179-C0-1216.
Citation: Bychkov IV, Ruzhnikov GM, Fedorov RK, Popova AK, Avramenko YV. On classification of Sentinel-2 satellite images by a neural network ResNet-50. Computer Optics 2023; 47(3): 474-481. DOI: 10.18287/2412-6179-C0-1216.
Введение
Информация о типе земной поверхности нужна для проведения мониторинга состояния окружающей среды, позволяющего отслеживать изменения природных ресурсов. Для автоматизированного картографирования больших территорий в современных исследованиях [1 - 3] активно используют классификацию данных дистанционного зондирования Земли (ДЗЗ) с помощью методов машинного обучения. Высокую точность классификации космоснимков показывают сверточные нейронные сети [4], которые позволяют учитывать специфику спектральных характеристик конкретной территории. Методы машинного обучения Random Forest успешно применяют для классификации городских территорий [5] и породного состава лесов [6 - 7]. В [8] для классификации видов деревьев на территории Швеции по снимкам Sen-tinel-2 был использован метод последовательного байесовского вывода. Успешные результаты по классификации пород лесов, изложенные в современных научных публикациях, позволяют предполагать, что такого же результата можно достигнуть для исследуемой территории.
Для улучшения результата классификации к каналам спутниковых снимков добавляют спектральные индексы. В работе [9] спектральные индексы NDVI, EVI, DVI, CIg используют при составлении карт мангровых зарослей на этапах формирования маски рас-
тительности и в качестве входных переменных для алгоритма машинного обучения. В статье [10] при классификации космоснимков бореальных ландшафтов к стандартным каналам спутника 8епйпе1-2 были добавлены значения индексов N0^, MNDWI и МЭВ1. Авторы [11] исследуют возможности N0^ по различению объектов на гиперспектральных данных.
В работе [12] классификация типов подстилающей поверхности по космоснимкам проводится с помощью сверточных нейронных сетей. При этом методы глубокого обучения показали стабильно хорошие результаты на изображениях с разными характеристиками и на несбалансированных по размеру классах обучающей выборки. В работе [13] исследована классификация временных рядов 8еШте1-2 с помощью рекуррентной нейронной сети для выявления изменения параметров землепользования. Влияние различных спектральных и временных характеристик на точность классификации оценивалось с помощью подхода перестановки добавленного шума во временной и в спектральной областях.
Во многих работах часто используется N0^, который является нормализованной комбинацией значений красного и инфракрасного каналов. NDVI характеризует объем зеленой массы, потому что пигмент хлорофилл максимально поглощает солнечную радиацию в красной части спектра, а в инфракрасной - максимально отражает ее. Это позволяет отделять на космоснимках области с растительностью от
участков открытой почвы, воды, антропогенных объектов.
В различных задачах распознавания изображений со сложной текстурой часто используют локальные бинарные шаблоны (ЬБР) [14] - от анализа фотографий лиц людей [15] и построения описания изображений [16] до классификации гиперспектральных изображений нейронными сетями [17]. Метод позволяет добавить информацию об окружении каждого пикселя, сочетая пространственные и спектральные данные, и не обладает при этом вычислительной сложностью.
Качество классификации зависит от начальных гиперпараметров нейронной сети [18]. Такой параметр, как количество эпох, напрямую влияет на качество обучения - чем больше эпох, тем лучше обучена сеть. Но при слишком большом количестве эпох возникает проблема переобучения, когда нейронная сеть слишком точно настраивается на обучающую выборку, а на тестовых данных потом показывает низкий результат. Также на процесс обучения влияет количество образцов в обучающей выборке, недостаточное их количество не позволяет охватить все возможные вариации спектральных характеристик в конкретном классе.
Ранее в работе [19] нами были исследованы методы классификации мультиспектральных изображений спутника 8епйпе1-2, позволяющие для каждого пикселя космоснимка определить его класс - растительность, открытая почва, вода, антропогенные объекты и т.д. Сформирована обучающая выборка, содержащая характерные для Байкальской природной территории 12 классов: голая скала, пастбище, вырубки, кустарники, хвойный лес, редколесье, лиственный лес, смешанный лес, облака, пашня, жилая зона, вода.
Построение обучающей выборки проводилось с помощью Web-интерфейса собственной разработки на основе данных 8епйпе1-2 и полевых исследований. Разметка осуществлялась полигональными объектами с указанием класса, директории космоснимка, даты съемки.
Всего размечены 134 космоснимка Иркутской области и Республики Бурятии, количество полигональных объектов - 2246 шт. на площадь более 5900 кв.км (примерно 230 млн пикселей, одна территория может быть размечена для нескольких снимков). Все снимки летнего периода за 2018 - 2020 года. Далее эти снимки будем называть базовыми изображениями.
Для классификации использовались методы машинного обучения: случайных лесов ЯаМотРогеБ! и сверточная нейронная сеть архитектуры КеБ№1-50. Результаты оценки точности обоих методов на верификационной выборке показали, что нейронная сеть лучше определяла классы из-за того, что решение принималось по окрестности 64*64 пикселя вместо попиксельного сравнения у КаМотРогеБ!
В настоящей работе были исследованы различные приемы повышения точности классификации космо-снимков Sentinel-2 на основе нейронной сети ResNet-50.
1. Методы
Обучение ResNet-50 проводилось на 12 классах по 815 образцов в каждом. На вход нейронной сети подается образец, представленный тензором 64 х 64 пикселя, где каждый пиксель представлен 13 исходными каналами Sentinel-2. На выходе получаем класс центрального пикселя. Соответственно, решение о классе центрального пикселя принимается на основе анализа его окрестности 64 х 64 пикселя, где каждый пиксель имеет пространственное разрешение 10 м, т.е. производится анализ окрестности 640 х 640 метров. Такое представление образцов позволяет обучать классификатор случаям, когда центральный пиксель может находиться на границе классов. Формирование обучающей выборки и классификация проводится в процессе движения скользящим окном размером 64 х 64 пикселя по изображению.
Общее число настраиваемых параметров ResNet50: 23 538 338. Используется алгоритм оптимизации: Adam, betas = (0,9; 0,99), функция потерь: FlattenedLoss. Обучение ResNet-50 проводилось на 20 эпохах в течение 30 минут. Обучение и классификация проводились на компьютере со следующими характеристиками: процессор Intel(R) Core (TM) i9-9900X CPU с тактовой частотой 3.50GHz, объем ОЗУ 125 Гб, две графических карты NVIDIA GeForce RTX 2080SUPER 8ГБ.
При этом ряд классов отделялся недостаточно хорошо. Большое количество неверно классифицированных объектов наблюдалось в классах «Вырубки», «Лиственный лес» и «Переходный лес / кустарники», «Пашни» и «Голая скала». Также низкая точность наблюдалась на границах классов.
Для повышения точности классификации космо-снимков нами было принято решение продолжить улучшение работы нейронной сети, исследовав ее работу с разными параметрами. Для этого был проведен ряд экспериментальных исследований:
• в обучающую выборку добавлен слой на основе спектральных индексов, призванный улучшить точность отделения разных классов растительности;
• в обучающую выборку добавлен слой локальных бинарных шаблонов для добавления информации о текстуре изображения;
• увеличено количество образцов в обучающей выборке;
• добавлено количество эпох обучения нейронной сети;
• классификатор протестирован на территории с другими спектральными характеристиками. Тестирование классификатора с выбранными
лучшими параметрами на другой территории, отличающейся по составу почв от местности, где распо-
ложена обучающая выборка, позволило оценить его устойчивость. Исследование устойчивости нейронной сети является одним из способов повысить качество обучения. Этот шаг необходим для принятия решения об использовании полученного результата при классификации спутниковых снимков на обширные территории, охватывающие несколько природных зон. Для оценки классификации рассчитаны матрицы неточностей (confusion matrix) и метрики точность (precision), полнота (recall) и F-мера, представляющая собой гармоническое среднее первых двух метрик.
Precision=-
TP
Recall=-
TP+FP TP
F=2
TP+FN Precision x Recall Precision+Recall
(1) (2) (3)
Такой выбор метрик позволяет довольно полно оценить качество классификации в каждом варианте, ведь точность отражает процент правильно классифицированных объектов из всех, отнесенных сетью к конкретному классу, полнота - процент правильно классифицированных из всех объектов этого класса.
Верификация результатов классификации данных ДЗЗ является критически важным моментом. Существующие программные библиотеки классификации данных автоматически делят разметку на обучающую, тестовую и верификационную выборку. При этом не учитываются условия съемки и пространственное распределение образцов. Это приводит к тому, что образцы с одного изображения и одного полигона разметки часто попадают одновременно в обучающую и верификационную выборку. В результате при итоговой классификации снимка точность значительно отличается от полученной на верификационной выборке. С целью более корректной оценки результатов классификации авторами проведена отдельная разметка изображений, не участвующих в обучающей и тестовой выборке. Далее эти изображения будем называть верификационными. Выделенные полигоны пространственно не пересекаются с полигонами обучающей и тестовой выборки. Классификация одного изображения - достаточно длительный процесс, для ускорения которого могут применяться различные эвристики, например, классификация на более грубом разрешении. Сравнение результатов классификации с верификационной разметкой выполняется сравнением изображений попиксельно, дает более точную оценку.
2. Результаты и обсуждение
В начале было проведено обучение на выборке, состоящей из 1000 образцов для каждого класса. Каждый образец имеет размерность 64 х 64 пикселя и 13 слоев 8епйпе1-2. Проведено обучение на 80 эпохах
и тестирование на верификационных изображениях местности около Иркутска. Результаты тестирования приводятся в матрице неточностей в табл. 1.
Итоговая средняя точность базового варианта составила 0,54, F-мера = 0,53. В табл. 2 приведено сравнение средней точности всех вариантов расчетов по классам.
2.1. Добавление спектральных индексов
Территория Иркутской области на 80 % площади покрыта лесной растительностью. Поэтому в работе было исследовано применение широко используемого спектрального индекса растительности NDVI для улучшения точности классификации космо-снимков. Для каждого образца обучающей выборки добавлен слой с NDVI, посчитанный на каналах B4 и B8. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях. Результаты отражены в табл. 3.
Итоговая средняя точность составила 0,54, F-мера = 0,52. По некоторым классам - «Голая скала», «Лиственный лес» - оценки улучшились, по другим -«Редколесье», «Пастбище» - ухудшились.
Спектральные индексы хорошо работают на снимках Landsat. Но изображения со спутников Sentinel-2 имеют больше каналов, важных для распознавания растительности. Это каналы B5-B7 в области красного края с длинами волн 705, 740 и 783 нм и SWIR каналы B11-B12 с длинами 1610 и 2190 нм. Включение в исходные данные каналов красного края дает дополнительную информацию, ведь в этой области находятся дополнительные пики коэффициента отражения хлорофилла, положение и величина которых связаны с возрастом и концентрацией пигмента в растениях [20]. Поэтому добавление слоя NDVI в целом не дало улучшения результатов классификации.
2.2. Добавление локальных бинарных шаблонов
Для учета текстурных характеристик успешно применяют локальные бинарные шаблоны. LBP инвариантны к изменениям яркости, контрастности, к повороту изображения. Применяются обычно для распознавания текстур на изображении. Локальный бинарный шаблон представляет собой функцию оценки пикселя на основе значений яркости его соседей из восьмисвязной окрестности. Функция вычисляется как сумма значений пикселей из окрестности, которые принимают значение 1, если значение пикселя из окрестности больше или равно оцениваемому, в остальных случаях значение равно 0. Для каждого образца обучающей выборки добавлен слой с LBP, посчитанный на канале B2. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях.
Итоговая средняя точность составила 0,52, F-мера = 0,51. Гистограмма (рис. 1) показывает, что добавление слоев NDVI и LBP не дало повышения F-
меры почти во всех классах. Вероятно, в процессе обучения нейронная сеть КеБ№1-50 сама находит нужные сочетания слоев и определяет текстурные признаки. В некоторых классах - «Сельхозкультуры», «Пастбище», «Редколесье», «Смешанный лес» -даже наблюдалось снижение значений Б-меры при добавлении слоев МЭУ1 и ЬБР к обучающей выборке. При этом в классах «Хвойный лес» и «Лиственный лес» добавление МЭУ1 все же повысило Б-меру, а слой ЬБР улучшил показатели класса «Голая скала».
Рис. 1. Гистограмма сравнения базового классификатора с добавлением МВУ1 и ЬБР
2.3. Расширение обучающей выборки
Одиним из методов улучшения результатов классификации спутниковых изображений является увеличение объема обучающей выборки. Была выдвинута гипотеза, что 1000 образцов на класс недостаточно для классификации целого снимка 8еШте1-2, разрешение в 10 м у которого соответствует изображению в 10 000 пикселей в каждом измерении. На рис. 2 показана зависимость точности классификации от количества образцов.
0,7 0,6
0,2 0,1
Рис. 2. Зависимость точности классификации от количества образцов
Поэтому было проведено увеличение обучающей выборки до 13000 образцов на каждый класс. Проведено обучение на 80 эпохах и тестирование на верификационных изображениях. Итоговая средняя точность составила 0,72, Б-мера = 0,65, что заметно лучше начального варианта классификации.
2.4. Увеличение количества эпох обучения
Малое количество эпох обучения может приводить к недообучению нейронной сети, что вызывает
снижение точности классификации. Поэтому было проведено тестирование на классификаторах, созданных с разным количеством эпох - 120 и 160. Количество образцов на класс осталось равным 13000. В табл. 4 показаны результаты тестирования: изображения около Иркутска, 120 эпох, 13000 образцов на класс.
Для варианта обучения на 120 эпох итоговая средняя точность составила 0,71, Б-мера=0,66. Значения примерно сходные с вариантом классификации на 80 эпох, небольшое снижение средней точности наблюдается из-за снижения ее у класса «Хвойный лес», у остальных классов отмечен рост значений точности и Б-меры.
Для варианта обучения на 160 эпох итоговая средняя точность составила 0,65, Б-мера = 0,69, т.е. при увеличении количества эпох наблюдается ухудшение качества классификации.
В результате выявлено, что наилучшее качество при обучении было получено на 120 эпохах, а далее начало падать (возможно, из-за переобучения нейронной сети). Гистограмма сравнения классификаторов с разным количеством эпох (рис. 3) показывает, что на ряде классов значения Б-меры были примерно равны при любом количестве эпох («Сельхозкультуры», «Жилая зона», «Вода», «Голая скала», «Облака»).
Рис. 3. Гистограмма сравнения классификаторов с разным количеством эпох
При этом в классах «Пастбище», «Вырубки», «Редколесье» «Лиственный лес» классификатор на 120 эпох показал увеличение значения Б-меры по сравнению с 80 эпохами, а на 160 эпохах - уменьшение. Прирост на 160 эпохах относительно 120 показал только класс «Смешанный лес» (рис. 4).
10 20 25 35 60 80 120 240
Рис. 4. Гистограмма сравнения классификаторов с разным количеством эпох
На диаграмме размаха (рис. 5) всех 6 использованных классификаторов видно, что медианное значение Б-меры выше у классификатора, использовавшего увеличенную выборку 13000 образцов на класс и 120 эпох. У него же выше находится нижняя и верхняя границы, соответствующие нижнему (25 % выборки) и верхнему (75 % выборки) квартилям, что соответствует лучшим показателям значений Б-меры.
База NDVI HLBP ■ 80 эпох □ 120 эпох □ 160 эпох
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3
Рис. 5. Диаграмма размаха сравнения классификаторов 2.5. Тестирование на другой территории
Расширение обучающей выборки проводилось в основном на территории возле г. Иркутска и южной части озера Байкал. Для исследования поведения классификатора на территории с отличающимися спектральными характеристиками было проведено тестирование на верификационных изображениях возле Ну-кутского района, находящегося на расстоянии 200 км от Иркутска. В данной местности отличается ландшафт территории, преобладают степи и глинистые почвы. Результаты тестирования приводятся в табл. 5.
Оценки классификации в целом ухудшились, что говорит о необходимости расширения обучающей выборки по некоторым классам для территорий с отличающимися спектральными характеристиками. Например, это классы «Вырубки», «Редколесье» и «Голая скала», по которым отмечено самое большое снижение значений Б-меры (рис. 6). Также снижение наблюдается для классов «Сельхозкультуры» и «Пастбище». При этом у классов «Вода», «Облака» и «Жилая зона» результат остался стабильно высоким. Это означает, что изменение состава почвы приводит к изменению спектральных характеристик классов растительности, тогда как параметры остальных классов сохраняются.
Заключение
В работе исследовано изменение точности классификации спутниковых изображений при различных комбинациях параметров нейронной сети. Проведено добавление к обучающей выборке новых слоев. Так, добавление N0^ и локальных бинарных шаблонов не улучшило результаты классификации. Вероятно, в процессе обучения сеть К^№1-50 находит нужные сочетания слоев и определяет текстурные признаки.
Выполнено тестирование классификаторов, созданных на разных количествах эпох, с увеличенным
количество образцов на класс - 13000. В результате выявлено, что наилучшая точность была получена при обучении на 120 эпохах. При этом максимальная средняя точность выявлена на 80 эпохах, а снижение ее значения на 120 эпохах вызвано снижением точности только у одного класса, тогда как у всех остальных значения выросли. Поэтому лучшим результатом мы считаем обучение на 120 эпохах с увеличенным количеством образцов на класс.
Иркутск ■ Нукуты
1
0,9
0,7 0,6
I
ti |
Рис. 6. Гистограмма сравнения классификаторов на разных территориях Отделение разных классов лесов показывает низкое качество. Мы полагаем, что это связано с близостью их спектральных характеристик. Разделение лесов на более детальные классы требует применения классификаторов, использующих изображения за разные периоды года, учитывающих разные моменты вегетационного периода. В дальнейшем требуется расширение обучающей выборки с целью учета различных природных зон, почв и т.д., что достаточно сложно сделать из-за большой площади Иркутской области.
Результаты классификации представлены на сайте https://geos.icc.ru/remotesensing.
Благодарности
Работа выполнена в рамках гранта № 075-15-2020787 Министерства науки и высшего образования РФ на выполнение крупного научного проекта по приоритетным направлениям научно-технологического развития (проект «Фундаментальные основы, методы и технологии цифрового мониторинга и прогнозирования экологической обстановки Байкальской природной территории»).
References
[1] Talukdar S, Mahato S, Shahfahad Pal S, Liou YA, Rahman A. Land-use land-cover classification by machine learning classifiers for satellite observations-A review. Remote Sens 2020; 12(7): 1135. DOI: 10.3390/rs12071135.
[2] Keshtkar H, Voigt W, Alizadeh E. Land-cover classification and analysis of change using machine-learning classifiers and multi-temporal remote sensing imagery. Arab J Geosci 2017; 10: 154. DOI: 10.1007/s12517-017-2899-y.
0,8
0 5
0,4
0,3
0,1
0,2
0
01
0
[3] Lastovicka J, Svec P, Paluba D, Kobliuk N, Svoboda J, Hladky R, Stych P. Sentinel-2 data in an evaluation of the impact of the disturbances on forest vegetation. Remote Sens 2020; 12(12): 1914. DOI: 10.3390/rs12121914.
[4] Feng Q, Liu J, Gong J. UAV remote sensing for urban vegetation mapping using random forest and texture analysis. Remote Sens 2015; 7: 1074-1094. DOI: 10.3390/rs70101074.
[5] Liu Y, Gong W, Hu X, Gong J. Forest type identification with random forest using Sentinel-1A, Sentinel-2A, multitemporal Landsat-8 and DEM data. Remote Sens 2018; 10: 946. DOI: 10.3390/rs10060946.
[6] Immitzer M, Neuwirth M, Böck S, Brenner H, Vuolo F, Atzberger C. Optimal input features for tree species classification in Central Europe based on multi-temporal Sentinel-2 data. Remote Sens 2019; 11: 22. DOI: 10.3390/rs11222599.
[7] Axelsson A, Lindberg E, Reese H, Olsson H. Tree species classification using Sentinel-2 imagery and Bayesian inference. Int J Appl Earth Obs Geoinf 2021; 100: 102318.
[8] Chambon T. Fighting hunger through open satellite data: a new state of the art for land use classification. 2019. Source: ahttps://medium.com/omdena/fighting-hunger-through-open-satellite-data-a-new-state-of-the-art-for-land-use-classification-f57f20b7294bn.
[9] Wang D, Wan B, Qiu P, Su Y, Guo Q, Wang R, Sun F, Wu X. Evaluating the performance of Sentinel-2, Landsat 8 and Pléiades-1 in mapping mangrove extent and species. Remote Sens 2018; 10: 9.
[10] Abdi AM. Land cover and land use classification performance of machine learning algorithms in a boreal landscape using Sentinel-2 data. GIScience Remote Sens 2020; 57(1): 1-20.
[11] Paringer RA, Mukhin AV, Kupriyanov AV. Formation of an informative index for recognizing specified objects in hyperspectral data. Computer Optics 2021; 45(6): 873-878. DOI: 10.18287/2412-6179-CO-930.
[12] Carranza-García M, García-Gutiérrez J, Riquelme JC. A framework for evaluating land use and land cover classification using convolutional neural networks. Remote Sens 2019; 11(30): 274. DOI: 10.3390/rs11030274.
[13] Campos-Taberner M, García-Haro FJ, Martínez B, Izquierdo-Verdiguier E, Atzberger C, Camps-Valls G, Gilabert MA. Understanding deep learning in land use classification based on Sentinel-2 time series. Sci Rep 2020; 10(1): 17188.
[14] Ojala T, Pietikainen M, Hawood D. A comparative study of texture measures with classification based on featured distributions. Pattern Recogn 1996; 29(1): 51-59.
[15] Huang D, Shan C, Ardabilian M, Wang Y, Chen L. Local binary patterns and its applications on facial image: A survey. IEEE Trans Syst Man Cybern Syst 2011; 41(6): 765-781.
[16] Myasnikov VV. Description of images using a configuration equivalence relation. Computer Optics 2018; 42(6): 998-1007. DOI: 10.18287/2412-6179-2018-42-6998-1007.
[17] Wei X, Yu X, Liu B, Zhi L. Convolutional neural networks and local binary patterns for hyperspectral image classification. Eur J Remote Sens 2019; 52(1): 448-462. DOI: 10.1080/22797254.2019.1634980.
[18] Zhao F, Sun R, Zhong L, Meng R, Huang C, Zeng X, Wang M, Li Y, Wang Z. Monthly mapping of forest harvesting using dense time series Sentinel-1 SAR imagery and deep learning. Remote Sens Environ 2022; 269: 112822.
[19] Bychkov IV, Ruzhnikov GM, Fedorov RK, Popova AK, Avramenko YV. Classification of Sentinel-2 satellite images of the Baikal Natural Territory. Computer Optics 2022; 46(1): 90-96. DOI: 10.18287/2412-6179-CO-1022.
[20] Gitelson AA, Merzlyak MN, Lichtenthaler HK. Detection of red edge position and chlorophyll content by reflectance measurements near 700 nm. J Plant Physiol 1996; 148(3-4): 501-508. DOI: 10.1016/S0176-1617(96)80285-9.
Приложение
Табл. 1. Результаты тестирования: изображения окрестности Иркутска, без ЬБР и ЫОУ1, 80 эпох
Реал\Пред Сельхоз Пастбище Жилая зона Вода Смешанный Редколесье Вырубки Хвойный Лиственный Голая скала Облака
Сельхоз 39335 15824 381 0 0 15 2210 0 0 918 4971
Пастбище 1 2958 0 0 0 0 0 0 0 1723 481
Жилая зона 43 1862 99303 190 0 0 0 0 0 294 4083
Вода 0 708 1428 646093 0 0 8 80 6 50 2969
Смешанный 0 64 0 0 6530 0 0 16574 1893 0 9613
Редколесье 647 2747 76 0 13118 18877 3770 2442 9354 0 2702
Вырубки 0 0 0 0 0 232 6624 0 0 0 2978
Хвойный 0 4707 0 1 1023 0 0 3916 1013 1215 12387
Лиственный 0 578 0 0 38 0 3 0 128 0 9664
Голая скала 0 316 142 0 0 0 0 0 0 26367 37952
Облака 0 57 0 0 0 0 0 0 0 0 476255
Полнота 0,982 0,099 0,979 0,999 0,315 0,987 0,525 0,170 0,01 0,862 0,844
Точность 0,618 0,573 0,939 0,992 0,188 0,351 0,674 0,161 0,012 0,407 1,000
Б-Мера 0,759 0,169 0,958 0,995 0,236 0,518 0,590 0,166 0,011 0,553 0,915
Табл. 2. Сравнение точности всех расчетных вариантов
Точ- Сельхоз Пастби- Жилая Вода Смешан- Редколе- Вырубки Хвойный Листвен- Голая Облака Средняя
ности Классы ще зона ный сье ный скала точность
Базовый 0,618 0,573 0,939 0,992 0,188 0,351 0,674 0,161 0,012 0,407 1,000 0,54
вариант
с :ЫОУ1 0,584 0,125 0,935 0,935 0,077 0,286 0,545 0,308 0,302 0,857 1,000 0,54
с ЬБР 0,439 0,140 0,862 0,999 0,019 0,248 0,520 0,486 0,176 0,863 1,000 0,52
80 эпох, 0,678 0,758 0,933 0,997 0,236 0,533 0,835 0,621 0,327 0,998 0,996 0,72
13000 образцов
на класс
120 эпох, 13000 0,686 0,840 0,933 0,998 0,207 0,562 0,832 0,201 0,465 0,991 1,000 0,7
образцов
на класс
160 эпох, 0,662 0,746 0,927 0,997 0,241 0,512 0,808 0 0,250 1,000 0,998 0,65
13000 образцов
на класс
Другая 0,888 0,317 0,984 0,999 0,349 0,134 0 0,926 0,343 0,574 0,980 0,59
мест-
ность
Табл. 3. Результаты сравнения точности классификации с добавлением слоя МВУ1 и без
Сельхоз Пастбище Жилая зона Вода Смешанный Редколесье Вырубки Хвойный Лиственный Голая скала Облака Итого
без Точность 0,618 0,573 0,939 0,992 0,188 0,351 0,674 0,161 0,012 0,407 1 0,537
Мера 0,759 0,169 0,958 0,995 0,236 0,518 0,59 0,166 0,011 0,553 0,915 0,533
с ЖУТ Точность 0,584 0,125 0,935 0,935 0,077 0,286 0,545 0,308 0,302 0,857 1 0,541
Мера 0,657 0,072 0,964 0,965 0,056 0,427 0,081 0,369 0,304 0,889 0,93 0,52
Табл. 4. Результаты тестирования: изображения около Иркутска, 120 эпох, 13000 образцов на класс
Реал\Пред Сельхоз Пастбище Жилая зона Вода Смешанный Редколесье Вырубки Хвойный Лиственный Голая скала Облака
Сельхоз 39754 14963 0 0 0 0 2187 194 0 124 733
Пастбище 1 12243 0 0 0 0 0 0 0 1684 640
Жилая зона 0 1028 100276 173 0 0 0 0 0 6 5947
Вода 0 30 1050 646047 64 0 0 0 3 99 0
Смешанный 0 0 4 0 10923 0 0 20496 7636 0 13817
Редколесье 39 1008 0 0 8611 18574 3398 381 237 0 790
Вырубки 39 0 0 0 375 496 6500 0 64 79 264
Хвойный 0 226 0 16 0 0 0 252 375 0 382
Лиственный 0 0 0 0 678 0 530 1689 3538 0 1177
Голая скала 192 0 0 0 0 0 0 0 0 28575 64
Облака 1 64 0 48 0 0 0 0 0 0 539988
Полнота 0,993 0,414 0,989 0,999 0,528 0,973 0,515 0,01 0,298 0,934 0,957
Точность 0,686 0,840 0,933 0,998 0,207 0,562 0,832 0,201 0,465 0,991 1,000
Б-Мера 0,811 0,555 0,960 0,999 0,297 0,713 0,636 0,019 0,363 0,962 0,978
Табл. 5. Результаты тестирования: изображения окрестности Нукутского района, 120 эпох, 13000 образцов на класс
Реал\Пред Сельхоз Пастбище Жилая зона Вода Смешанный Редколесье Вырубки Хвойный Лиственный Голая скала Облака
Сельхоз 61088 703 0 38 570 968 887 500 0 595 3439
Пастбище 35121 20878 1352 51 660 6283 482 166 0 737 199
Жилая зона 201 173 150673 43 1 848 0 0 0 1178 0
Вода 0 0 0 710534 0 0 0 0 0 386 0
Смешанный 0 0 0 0 10252 2325 516 15272 1037 0 1
Редколесье 0 84 0 0 17236 4387 1513 621 8917 84 0
Вырубки 0 0 0 0 0 0 0 0 670 0 0
Хвойный 0 0 0 0 818 0 207 13039 11 4 0
Лиственный 0 0 0 0 18073 3738 51 1909 12390 0 0
Голая скала 0 0 0 0 0 0 0 46 0 62 0
Облака 0 1663 0 0 267 355 251 318 488 1171 217561
Полнота 0,633 0,888 0,991 0,9994 0,214 0,232 0 0,409 0,526 0,014 0,983
Точность 0,888 0,317 0,984 0,999 0,349 0,134 0 0,926 0,343 0,574 0,980
Б-мера 0,739 0,467 0,988 0,999 0,265 0,170 0 0,567 0,415 0,027 0,981
Сведения об авторах
Бычков Игорь Вячеславович, 1961 года рождения, в 1983 году окончил математический факультет Иркутского государственного университета по специальности «Прикладная математика», работает директором
ИДСТУ СО РАН. Область научных интересов: геоинформационные системы, искусственный интеллект, распределенные информационно-вычислительные системы, информационно-аналитические системы. E-mail: bychkov@icc.ru .
Ружников Геннадий Михайлович, 1947 года рождения, в 1970 году окончил математический факультет Иркутского государственного университета по специальности «Математика», работает заведующим отделения в ИДСТУ СО РАН. Область научных интересов: геоинформационные системы, системы и технологии создания и поддержки проблемно-ориентированных систем, сервис-ориентированные системы, интеллектуальный анализ распределённых, разноформатных данных. E-mail: rusnikov@icc.ru .
Фёдоров Роман Константинович, 1977 года рождения, в 1999 году окончил математический факультет Иркутского государственного университета по специальности «Математические методы в экономике», работает ведущим научным сотрудником в ИДСТУ СО РАН. Область научных интересов: распознавание образов, геоинформационные системы, системы и технологии создания и поддержки проблемно-ориентированных систем, сервис-ориентированные системы, интеллектуальный анализ распределённых, разноформатных данных. E-mail: _ fedorov@icc.ru .
Попова Анастасия Константиновна, 1981 года рождения, в 2003 году окончила факультет кибернетики Иркутского государственного технического университета по специальности «Инженер-системотехник», работает научным сотрудником в ИДСТУ СО РАН. Область научных интересов: распознавание образов, геоинформационные системы, системы и технологии создания и поддержки проблемно-ориентированных систем, сервис-ориентированные системы, интеллектуальный анализ распределённых, разноформатных данных. E-mail: chudnenko@icc.ru .
Авраменко Юрий Владимирович, 1988 года рождения, в 2012 году окончил математический факультет Иркутского государственного университета по специальности «Математическое обеспечение и администрирование информационных систем», работает научным сотрудником в ИДСТУ СО РАН. Область научных интересов: распознавание образов, облачные вычисления, логические методы, нейронные сети, ДЗЗ. E-mail: avramenko@icc.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 31 августа 2022 г. Окончательный вариант - 12 октября 2022 г.
On classification of Sentinel-2 satellite images by a neural network ResNet-50
I. V. Bychkov1, G.M. Ruzhnikov1, R.K. Fedorov1, A.K. Popova1, Y. V. Avramenko1 1ISDCT SB RAS - Matrosov Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS,
664033, Irkuts, Russia, Lermontova 134
Abstract
Various combinations of neural network parameters and sets of input data for satellite image classification are considered in the article. The training set is completed with a NDVI (normalized difference vegetation index) and local binary patterns. Testing of classifiers created on a different number of epochs and samples is carried out. Values of the neural network hyperparameters are determined that allow a classification accuracy of 0.70 and an F-measure of 0.65 to be achieved. Separation into classes with similar spectral characteristics is shown to offer low classification quality at different parameters and input data sets. Additional information is required. For example, for forests to be divided into more detailed classes, one needs to employ classifiers that use images from different seasons and vegetation periods. In addition, the training set needs to be extended to take into account various natural zones, soils, etc.
Keywords: neural networks, classification, Sentinel-2, remote sensing, image processing.
Citation: Bychkov IV, Ruzhnikov GM, Fedorov RK, Popova AK, Avramenko YV. On classification of Sentinel-2 satellite images by a neural network ResNet-50. Computer Optics 2023; 47(3): 474-481. DOI: 10.18287/2412-6179-C0-1216.
Acknowledgements: The work was supported by grant No. 075-15-2020-787 of the Ministry of Science and Higher Education of the Russian Federation for the implementation of a large scientific project in priority areas of scientific and technological development (the project "Fundamentals, methods and technologies for digital monitoring and forecasting of the ecological situation of the Baikal natural territory").
Authors' information
Igor Vyacheslavovich Bychkov (b. 1961) graduated from Mathematics faculty of Irkutsk State University in 1983 with a degree in Applied Mathematics, works as a director of the Matrosov Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS. Research interests: geographic information systems, artificial intelligence, distributed information and computing systems, information and analytical systems. E-mail: bychkov@jcc.ru .
Gennady Mikhailovich Ruzhnikov (b. 1947) graduated from Mathematics faculty of Irkutsk State University with a degree in Mathematics in 1970, works as the head of the department at the Matrosov Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS. Research interests: geographic information systems, systems and technologies for creating and supporting problem-oriented systems, service-oriented systems, intelligent analysis of distributed, multi-format data. E-mail: rugnikov@icc.ru .
Roman Konstantinovich Fedorov (b. 1977) graduated from Mathematical faculty of Irkutsk State University in 1999 with a degree in Mathematical Methods in Economics, works as a leading researcher at the Matrosov Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS. Research interests: pattern recognition, geographic information systems, systems and technologies for creating and supporting problem-oriented systems, service-oriented systems, intelligent analysis of distributed, multi-format data. E-mail: _ fedorov@icc.ru .
Anastasiya Konstantinovna Popova (b. 1981) in 2003 graduated from Faculty of Cybernetics of the Irkutsk State Technical University with a degree in Systems Engineer, works as a research assistant at the Matrosov Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS. Research interests: pattern recognition, geographic information systems, systems and technologies for creating and supporting problem-oriented systems, service-oriented systems, intelligent analysis of distributed, multi-format data. E-mail: chudnenko@icc.ru .
Yuri Vladimirovich Avramenko (b. 1988) graduated from Mathematical faculty of Irkutsk State University in 2012 with a degree in Mathematical Support and Administration of Information Systems, works as a research assistant at the Matrosov Institute for System Dynamics and Control Theory of the Siberian Branch of the RAS. Research interests: pattern recognition, cloud computing, logical methods, neural networks, remote sensing. E-mail: avramenko@icc.ru .
Received August 31, 2022. The final version - October 12, 2022.
