CC BY
42
Классификация изображений ДЗЗ с использованием алгоритма комплексирования данных различных сенсоров
А.М. Белов1, А.Ю. Денисова1 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34
Аннотация
Комплексирование данных дистанционного зондирования Земли предназначено для получения изображений более высокого качества, чем исходные изображения. Однако вопрос о влиянии комплексирования данных на дальнейшую тематическую обработку часто остаётся за рамками исследований, и методы комплексирования используются в большинстве своём для улучшения визуального представления данных. В настоящей статье рассматривается вопрос о влиянии комплексирования с повышением пространственного и спектрального разрешения данных на тематическую классификацию изображений с использованием различных классификаторов и методов извлечения признаков, популярных в задачах обработки данных дистанционного зондирования Земли. В качестве алгоритма комплексирова-ния в работе используется авторский алгоритм, позволяющий выполнять комплексирование данных по множеству кадров из различных источников оптических систем дистанционного зондирования Земли, обладающих различным пространственным и спектральным разрешением. В качестве алгоритмов классификации рассматриваются метод опорных векторов и Random Forest, в качестве признаков - спектральные каналы, а также расширенные атрибутивные профили и локальные признаки атрибутивных профилей. Экспериментальное исследование было произведено с использованием модельных изображений четырёх изображающих систем. Результирующее изображение имело пространственное разрешение в 2, 3, 4 и 5 раз выше, чем для исходных изображений соответственно. В результате исследований было выявлено, что для метода опорных векторов не имеет смысла выполнять ком-плексирование, так как излишняя пространственная детализация на классификацию данным алгоритмом влияет отрицательно. Для алгоритма Random Forest, напротив, результаты классификации в 90 % случаев имели большую точность, чем для исходных изображений низкого разрешения. Например, для изображений с наименьшим отличием в пространственном разрешении (в 2 раза) от результата комплексирования точность классификации комплексированного изображения была в среднем на 4% выше. Кроме того, результаты, полученные для алгоритма Random Forest с комплексированием, оказались лучше результатов для метода опорных векторов без комплексирования. Дополнительно было показано, что точность классификации комплексированного изображения методом Random Forest может быть повышена в среднем на 9 % за счёт использования расширенных атрибутивных профилей в качестве признаков. Таким образом, при использовании комплексирования данных лучше применять классификатор Random Forest, а использование комплексирования с методом опорных векторов нецелесообразно.
Ключевые слова: классификация изображений, комплексирование данных, повышение разрешения, SVM, RF.
Цитирование: Белов, А.М. Классификация изображений ДЗЗ с использованием алгоритма комплексирования данных различных сенсоров / А.М. Белов, А.Ю. Денисова // Компьютерная оптика. - 2020. - Т. 44, № 4. - С. 627-635. - DOI: 10.18287/2412-6179-CO-735.
Citation: Belov AM, Denisova AY. Earth remote sensing imagery classification using multisensor super-resolution algorithm. Computer Optics 2020; 44(4): 627-635. DOI: 10.18287/2412-6179-CO-735.
Введение
Комплексирование данных дистанционного зондирования Земли (ДЗЗ) направлено на повышение качества изображений по сравнению с исходными данными. В части данных ДЗЗ наибольшее распространение получили методы комплексирования с повышением разрешения, позволяющие получить более детальное
представление снимаемой сцены по используемым входным данным низкого разрешения (НР). По параметру данных, используемому для повышения разрешения, можно выделить группы методов повышения разрешения, такие как пространственные, спектральные, пространственно-временные и спектрально-пространственные. Среди всех этих групп методы спектрально-пространственного повышения разрешения
выглядят наиболее привлекательными, так как позволяют получить более точное в смысле спектрального представления изображение одновременно с повышением его пространственной детализации. Несмотря на очевидное улучшение визуального качества изображений в процессе комплексирования с повышением спектрально-пространственного разрешения, вопрос о влиянии данного вида обработки данных на последующую тематическую классификацию остаётся открытым. В связи с чем целью настоящей работы являлось исследование влияния спектрально-пространственного комплексирования данных ДЗЗ на результаты тематической классификации данных ДЗЗ с помощью хорошо зарекомендовавших себя методов классификации и методов извлечения признаков.
Настоящее исследование было проведено с помощью авторского алгоритма повышения спектрально-пространственного разрешения по множеству изображений ДЗЗ, сформированных системами съёмки с различными параметрами спектральной и пространственной дискретизации [1]. Данный алгоритм формирует из набора изображений НР оценку идеального изображения снимаемой территории с заданным пространственным разрешением и составом спектральных каналов. В качестве алгоритмов классификации были рассмотрены метод опорных векторов (Support Vector Machines - SVM) и метод Random Forest (RF). На основе анализа источников [2 -7] было выявлено, что данные классификаторы являются одними из наиболее эффективных и часто применяемых для обработки данных ДЗЗ, в особенности в случае использования малых обучающих выборок. В качестве признаков для классификации были рассмотрены яркость по спектральным каналам изображения, как наиболее часто применяемый признак, и два метода формирования признаков, признанных эффективными для классификации данных ДЗЗ в ряде работ [8-11]: расширенные атрибутивные профили (Extended Attribute Profiles - EAP) и локальные признаки атрибутивных профилей (Local Feature Attribute Profiles - LFAP).
Экспериментальное исследование проводилось с целью выявления влияния комплексирования данных на результат их последующей тематической классификации. Исследование было проведено на модельных изображениях, сформированных из участков гиперспектральных сцен с параметрами четырёх различных систем ДЗЗ. В результате комплексирования строится оценка идеального изображения с заданными параметрами спектрального и пространственного разрешения с использованием в качестве исходных данных изображений для всех четырёх систем. В итоге эксперимента оценивалось качество классификации по всем системам в отдельности и с использованием ком-плексирования для случая яркостных признаков. Дополнительно оценивалось качество классификации
комплексируемого изображения с применением различных методов извлечения признаков.
В статье приведено краткое описание алгоритма комплексирования и описание экспериментальных исследований по оценке влияния комплексирования на результаты тематической классификации изображений.
Алгоритм комплексирования
Рассматриваемый алгоритм комплексирования данных ДЗЗ был предложен в работе [1] и является развитием идей работ Ратаи и др. [12, 13] по восстановлению цветных изображений с повышением пространственного разрешения. В отличие от работ [12, 13] предлагаемый подход позволяет выполнить восстановление не только с повышением пространственного разрешения, но и с повышением спектрального разрешения, которое понимается как увеличение числа спектральных каналов с уменьшением их средней ширины относительно аналогичных параметров исходных изображений.
Алгоритм предполагает, что исходные данные описываются следующей спектрально-пространственной моделью наблюдений:
= DkFKHk (^ wu (Х)ХЛ) + V k = 1,...,K, l = 1,...,Lk, 1,...,
k%l
(1)
где Хх - X - й спектральный канал идеального изображения высокого разрешения (ВР), Ук%1 - 1- й спектральный канал наблюдаемого изображения НР с номером полученного к- й системой съёмки, ^(Х) -коэффициенты спектрального преобразования из Ь-канального спектрального представления идеального изображения в Ьк- канальное представление для к-й системы. Оператор Нк определяет размытие, связанное с действием оптической системы датчика к- й системы съёмки. Оператор Ек% отвечает за геометрическое преобразование кадра изображения в связи с остаточной погрешностью геопривязки и определяется относительно некоторого эталонного положения кадра, соответствующего изображению Хх. Оператор Вк определяет равномерную дискретизацию с усреднением по области наземного шага дискретизации к- й системы, т.е. в пределах площадки Тк х Тк. Операторы Нк, ¥к% и Бк предполагаются линейными и ограниченными. ¥к%1 - Гауссов белый шум в I - м спектральном канале изображения У^. Предполагается, что шаг дискретизации изображения ВР равен Т< Тк, к = 1, ..., К, а количество спектральных каналов Ь > тах(Ьк).
Алгоритм повышения разрешения состоит в решении оптимизационной задачи (2) и минимизирует отклонение между наблюдаемыми изображениями, преобразованными к системе координат изображения ВР, и результатом моделирования.
X = argminI ££ —£F-1lt£wkl (7,)DkHkFk,Xx -Zt
X I k=1 l=1 7k 7=1 Л=1
Z« = 7-/LFk-1lk (Y^), k = 1,...,£, 7 = 1,...,Zk,
7k 7=1
+ ߣ £al'I+1J\\XL -/
где Zki - 7- й канал объединённого изображения Zk для k- й изображающей системы, lk - оператор интерполяции по пространственным координатам с шагом T/Tk, F— - оператор обратной геометрической трансформации 7 - го наблюдаемого изображения k-й изображающей системы низкого разрешения, приводящие наблюдаемое интерполированное изображение к параметрам кадра восстанавливаемого изображения ВР. Операторы lk и Fk-1 полагаются линейными. Параметры p, a, ß задают веса регуляризирующего члена в оптимизируемом функционале.
Оптимизационная задача (2) решается методом градиентного спуска. Заметим, что в задаче (2) для улучшения свойств решения используется B-TV-регуляризация [12, 13]. В результате получается оценка требуемого изображения ВР X с параметрами дискретизации T, L.
Моделирование исходных данных для эксперимента
Целью экспериментального исследования являлась оценка влияния комплексирования данных на результат их последующей классификации. Для этого был сформирован набор модельных изображений НР для четырёх систем ДЗЗ с различными параметрами дискретизации. Моделирование производилось для 10 фрагментов гиперспектральных сцен с частично известной разметкой изображений на классы. Фрагменты формировались из изображений набора Hyperspec-tral scenes [14]. Описание использованных фрагментов гиперспектральных сцен представлено в табл. 1.
Полученные фрагменты гиперспектральных изображений служили для моделирования эталонного мультиспектрального изображения сцены X и наблюдаемых изображений Yk%, k = 1, ..., 4, 7 = 1, ..., 7k в соответствии с моделью наблюдений (1).
Спектральные каналы моделируемых изображений задавались с помощью Гауссовой функции спектрального отклика Wi(u) с параметром полуширины на уровне половинной амплитуды (FWHM) и центральной длины волны и1}, где l - номер спектрального канала:
W, (и) = S-1 (2л)-1'2 exp |-0,5 (и - и0 )2 /52 j, FWHM = 2^2ln (2)S7
(4)
При этом предполагалось, что шаг пространственной дискретизации изображения ВР совпадает с шагом дискретизации исходного гиперспектрального изображения и равен Т = 1, а количество спектраль-
(2) (3)
ных каналов равно Ь = 15 для всех фрагментов, кроме Рау1а и Рау1аи, для которых Ь = 11. Параметры спектральных каналов эталонного мультиспектрального изображения приведены в табл. 2.
Табл. 1. Характеристики фрагментов изображений, использованных для моделирования
Название Размер Количество Спектральный
сцены классов диапазон, нм
Botswana-1 240x240 6 447,17-1057,68
Botswana-2 240x240 5 447,17-1057,68
Pavia-1 420x420 8 430-808,75
Pavia-2 420x420 6 430-808,75
Pavia-3 420x420 5 430-808,75
PaviaU-1 240x240 6 430-812,5
PaviaU-2 240x240 8 430-812,5
PaviaU-3 240x240 8 430-812,5
Salinas-1 180x180 8 365,93-1262,96
Salinas-2 180x180 8 365,93-1262,96
Для моделируемых систем ДЗЗ шаг дискретизации Tk составлял 2, 3, 4 и 5 соответственно. Наборы спектральных каналов для рассматриваемых систем были выбраны в соответствии со спектральными характеристиками каналов реальных съёмочных систем: Геотон (Ресурс-П), Spot-7, Канопус-В и Sentinel-2A. Параметры спектральных каналов моделируемых систем приведены в табл. 3.
Поскольку изображения Pavia и PaviaU имеют более узкий спектральный диапазон, для них моделирование осуществлялось без использования каналов, отмеченных в табл. 2 и 3 курсивом.
При моделировании предполагалось, что в качестве идеального изображения сцены и для эталонного мультиспектрального изображения ВР, и для наблюдаемых изображений НР используется исходный гиперспектральный фрагмент. Для формирования эталонного изображения ВР применялась только спектральная дискретизация.
Для наблюдаемых изображений использовалась модель наблюдения (1). Коэффициенты спектрального преобразования для k - й съёмочной системы определялись в соответствии с Гауссовыми функциями спектрального отклика (4) и имели вид:
(Л)
Wki (Л) = J Wk, (и)du / J Wki (и)du :
С (Л) / -»
(5)
где X - номер канала эталонного спектрального представления, а I - номер канала к - й системы,
С, (х) = u% - 2^21п(2)5,
С2 (Х) = u° + 2^21п(2)5.
Табл. 2. Параметры спектральных каналов эталонного мультиспектрального изображения
№ 2 3 4 5 6 7 8 9 Ю П 12 13 14 15
т 463 492 52, 550 580 609 638 665 694 724 753 782 812 841 870
ЕШИМ 29 29 29 29 29 29 29 29 29 29 29 29 30 30 30
Табл. 3. Параметры спектральных каналов моделируемых систем ДЗЗ
№ , = ! , = 2 , = 3 , = 4
ад ЕШИМ ад Е'МНМ ад Е'МНМ ад ЕШИМ
, 485 70 490 70 490 30 490 65
2 560 80 560 60 555 45 560 35
3 645 70 660 70 660 30 665 30
4 685 30 825 130 795 45 705 ,5
5 7,5 30 - - - - 740 ,5
6 750 Ю0 - - - - 783 20
7 - - - - - - 842 115
8 - - - - - - 865 20
Оператор задавался как сдвиг относительно эталонного положения кадра на и %;2 пикселей по горизонтали и вертикали соответственно:
X*. «2,1) = ( («,, «2,1)) =
= («, +Х;ь «2 +Х; 2 ,1).
(6)
Оператор Н, искажений, вызванных действием оптической системы датчика, имеет вид:
ХН («,, «2,1) = Нк ( (п,, «2,1)) =
= X X h(,,Х2)Х*(«,-X,,«2 -Т2,1),
(7)
XI =-Д» Х2 =-Д,
где h (х,, т2) = 1 ехр (-0,5ст-2 (х2 + х2)) - импульсная характеристика Гауссова фильтра, определяющего размытие с радиусом а, для ,-й изображающей системы.
Оператор В, определяется как композиция операторов В, усреднения по площадке Тк х Тк и В2 прореживания в Т, раз.
хвв, («,, «2,1) = В,, ( («, «2, /)) =
\Т,/2] \Щ2~]
= X X ХН (« -X,, «2 Х2,1),
х, =-[Л/ 2]т2 =-[Л/2] (8)
ХВ;2 (т,, т2,1) = В,2 ( («,, «2,1)) =
= ХВ («ь «2 ,1) =тТ .
« =тгТ,
В табл. 4 приведены значения параметров пространственных искажений для всех систем в пикселях изображения ВР.
Примеры эталонных мультиспектральных изображений для некоторых фрагментов приведены на рис. ,.
Табл. 4. Параметры пространственных искажений моделируемых съёмочных систем
Параметр , = , , = 2 , = 3 ,=4
х;1= х;2 [- 2, 2] [- 3, 3] [- 4, 4] [- 5, 5]
та ,,5 2 2,5
Т, 2 3 4 5
Рис. 1. Примеры идеальных мультиспектральных изображений, используемых в экспериментах: PaviaU-1 (а), Salinas-1 (б)
Параметры комплексирования
Комплексирование изображений производилось с использованием рассмотренного алгоритма со следующими параметрами регуляризации а = 0,1, p = 2 и Р = 0,5. Выполнялось 280 итераций методом градиентного спуска с шагом 20. Для комплексирования использовались изображения всех четырёх систем съёмки. Количество наблюдаемых изображений для каждой из съёмочных систем составляло 4, 9, ,6, 25 соответственно и выбиралось из условия оптимального восстановления для многокадровых алгоритмов повышения пространственного разрешения [13]. Примеры результата комплексирования и исходных изображений для каждой из съёмочных систем приведены на рис. 2.
Рис. 2. Пример результата комплексирования и данных четырёх моделируемых систем ДЗЗ: результат комплексирования (а), система-1 (б), система-2 (в), система-3 (г), система-4 (д)
Классификация
Для обеспечения сопоставимости результатов классификации в случаях с использованием комплек-сирования и без была произведена предварительная обработка изображений результата комплексирова-ния и наблюдаемых изображений НР. Маски классов были заданы в системе координат изображения ВР. Наблюдаемые изображения НР для каждой из К систем были переведены в сопоставимое представление 2к по формуле (3) с помощью операторов интерполяции по ближайшему соседу и обратного сдвига кадра с дополнением отсутствующих значений пикселей нулями с последующим усреднением по всем изображениям для каждой системы. Из-за использования дополнения нулями полученные изображения 2к содержали рамку значений заведомо заниженных, поэтому непосредственно перед классификацией ком-плексированное изображение и средние изображения по каждой из систем обрезались по границе некорректных значений для изображения системы 4, обладающего самой широкой рамкой. Таким образом, некорректные отсчеты изображений из-за сдвига кадров при приведении к единой системе пространственных координат в классификации не учитывались. Обучающие и контрольные выборки формировались случайным образом из доступных размеченных отсчетов маски классов, заданной в пространственных координатах эталонного изображения ВР, в соотношении 7:3 с ограничением на максимальное количество данных, используемых для обучения в виде 15 пикселей на класс. Примеры масок классов для ряда изображений приведены на рис. 3.
Рис. 3. Примеры масок классов для изображений: PaviaU-1 (а), Salinas-1 (б). Чёрный цвет определяет неразмеченную область на изображении
Классификация алгоритмами SVM, RF и расчёт признаков методами EAP и LFAP производились в
программной среде МАТЬАБ 2017 с использованием пакета программ, разработанного в исследованиях [15-16]. Для настройки алгоритма 8УМ использовалась кроссвалидация. Алгоритм ЯР применялся с количеством деревьев, равным 200.
Полученные результаты классификации сравнивались по критерию общей точности классификации, равному отношению количества верно классифицированных образцов контрольной выборки к общему объему контрольной выборки. Далее при описании результатов имеется в виду средняя общая точность классификации по 5 запускам алгоритма классификации.
Результаты оценки влияния комплексирования на качество классификации
Для оценки влияния комплексирования на качество классификации рассматривались результаты классификации яркости изображения результата ком-плексирования, эталонного изображения ВР и усредненных интерполированных изображений для каждой из систем 2к. Результаты эксперимента для алгоритмов 8УМ и № представлены в табл. 5 и 6 соответственно.
Из табл. 5 видно, что для алгоритма 8УМ не имеет смысла выполнять комплексирование, так как средняя точность классификации в этом случае составила 76,16, тогда как для изображений системы 1 и системы 2 средняя точность классификации оказалась выше и была равна 78 и 76,56 соответственно. Снижение производительности 8УМ связано с высокой чувствительностью данного метода к шуму в данных, который возрастает в результате усиления высокочастной составляющей изображения при повышении разрешения.
Из табл. 6 видно, что для алгоритма ЯР средняя точность классификации комплексированного изображения для 9 из 10 изображений выше, чем для изображений любой из рассмотренных съёмочных систем. Поскольку система 1 имела наименьшее отличие в пространственном разрешении от комплекси-рованного изображения (в 2 раза), то для нее результаты классификации наиболее близки к комплексиро-ванному изображению, чем для остальных систем. Тем не менее, точность классификации комплексиро-ванного изображения по сравнению с изображением для системы 1 была на 4% выше, т.е. при использовании классификатора № желательно использовать ком-плексирование данных с повышением разрешения.
Табл. 5. Общая точность классификации методом SVM
Изображение Результат комплексирования Система 1 Система 2 Система 3 Система 4 Эталон
Botswana-1 89,84 89,87 77,11 7S,9S 79,33 S7,1S
Botswana-2 75,51 73,25 82,75 75,71 73,22 S7,6S
Pavia-1 71,74 76,43 76,93 69,S4 60,90 S2,44
Pavia-2 63,44 70,0S 76,62 70,05 65,6S 77,30
Pavia-3 77,44 S5,19 85,33 77,93 53,10 7S,54
PaviaU-1 79,71 7S,S3 81,58 75,4S 63,54 74,SS
PaviaU-2 63,61 66,67 57,02 67,58 6232 69,00
PaviaU-3 70,25 66,55 59,24 65,16 65,79 70,59
Salinas-1 80,16 83,26 75,16 S 1,34 7S,56 S3,14
Salinas-2 89,92 S9,S4 93,83 92,S3 91,75 90,90
Среднее 76,16 78,00 76,56 75,49 69,47 80,17
Табл. 6. Общая точность классификации методом RF
Изображение Результат комплексирования Система 1 Система 2 Система 3 Система 4 Эталон
Botswana-1 85,85 79,0 S 71,46 74,40 6S,45 S3,97
Botswana-2 86,43 S 1,64 S6,44 S2,74 S6,17 S1,S2
Pavia-1 81,35 79,02 77,95 S0,76 7S,S5 79,47
Pavia-2 82,27 74,72 79,53 77,16 74,35 S4,17
Pavia-3 86,37 S3,35 7S,63 S 1,63 75,13 S5,0S
PaviaU-1 81,84 85,01 7S,91 79,39 74,S7 90,42
PaviaU-2 64,25 61,95 4S,46 56,17 53,24 64,09
PaviaU-3 72,80 6S,94 54,04 60,S7 59,02 70,72
Salinas-1 83,41 S1,5S S0,13 77,24 77,92 S5,17
Salinas-2 88,41 S7,63 S3,54 S5,4S S5,09 SS,S9
Среднее 81,30 78,29 73,91 75,58 73,31 81,38
Следует отметить, что результаты, полученные для алгоритма RF, лучше, чем для SVM: в среднем по всем комплексированным изображениям общая точность классификации алгоритмом RF составила 81,3 по сравнению с наилучшей средней точностью классификации, достигнутой для системы 1, методом SVM и равной 78.
Оценка влияния алгоритмов извлечения признаков на качество классификации комплексированного изображения
В связи с тем, что результаты комплексирования эффективнее использовать вместе с методом классификации RF, дальнейшее экспериментальное исследование влияния методов извлечения признаков на результат классификации производилось только для алгоритма RF. В результате были рассмотрены следующие методы формирования признаков: 1) спектральные яркости по каналам,
2) расширенные атрибутивные профили (EAP) [10],
3) локальные признаки атрибутивных профилей (LFAP) [8].
EAP представляют собой признаки, рассчитанные с помощью различных атрибутивных фильтров от каждого канала изображения и объединенные в единый вектор признаков. Атрибутивные фильтры являются обобщением морфологических фильтров, полагая, что фильтруемые компоненты связности должны удовлетворять определенному критерию. Пороговые значения критерия задают множество атрибутивных фильтров. Например, для атрибутивного фильтра по площади с заданным порогом в результате фильтрации останутся только компоненты связности изображения, для которых площадь, например, больше заданной пороговой величины.
LFAP образуются из EAP путем введения дополнительной локальной фильтрации EAP несколькими
фильтрами. Согласно работе [8] оба метода извлечения признаков являются весьма эффективными средствами анализа гиперспектральных изображений ДЗЗ. При этом для их наилучшего применения в [8] рассматривались варианты с использованием методов снижения размерности. Так как в настоящей работе классификации подвергались только мультиспек-тральные изображения, то EAP и LFAP рассчитывались непосредственно по яркости во всех спектральных каналах каждого изображения без использования методов снижения размерности.
В качестве EAP использовались признаки, предложенные в работе [8] для классификации гиперспектрального изображения PaviaUniversity, входящего в состав набора HyperspectralScenes [14]. Описание признаков дано в табл. 7.
В качестве LFAP были применены такие фильтры, как: локальное среднее и диапазон в окне 7* 7 от атрибутивных профилей с описанной выше конфигурацией. Более подробно об алгоритмах расчёта EAP и LFAP можно найти информацию в [8 - 10].
Табл. 7. Параметры расширенного атрибутивного профиля, используемого в качестве признаков
Атрибут Порог
Площадь 100, 500, 1000, 5000
Стандартное отклонение 20, 30, 40, 50
Момент инерции 0,2; 0,3; 0,4; 0,5
Длина диагонали 10, 25, 50, 100
Результаты классификации комплексированного изображения методом № с использованием различных методов извлечения признаков отражены в табл. 8.
Табл. 8. Общая точность классификации методом ЕЕ для различных методов извлечения признаков
Названия строк EAP Яркость LFAP
Botswana-1 82,04 83,55 78,07
Botswana-2 95,11 86,49 85,48
Pavia-1 84,11 80,33 80,21
Pavia-2 90,03 84,31 77,24
Pavia-3 96,46 77,23 81,43
PaviaU-1 91,51 86,63 80,94
PaviaU-2 68,50 63,11 60,53
PaviaU-3 79,88 68,01 74,76
Salinas-1 92,84 83,23 82,25
Salinas-2 94,41 90,94 88,26
Среднее 87,49 80,38 78,92
Можно видеть, что для алгоритма RF наилучшим выбором из рассмотренных методов формирования признаков являются EAP, которые позволяют получить точность классификации по комплексированно-му изображению от 70 до 95 % и в среднем выше, чем без использования EAP на 9 %, тогда как использование LFAP не приводит к улучшению качества классификации.
Таким образом, можно заключить, что метод RF эффективнее применять для классификации комплек-сированного изображения с расширенными атрибутивными профилями в качестве признаков.
Примеры результатов классификации с использованием комплексирования и без для алгоритма RF и яркостных признаков приведены на рис. 4 и 5.
Рис. 4. Маска классов (а) и примеры изображений результатов классификации изображения Рау1а~и-1 классификатором ЕЕ для результата комплексирования (б), системы 1 (в), системы 3 (г)
Рис. 5. Маска классов (а) и примеры изображений результатов классификации изображения БаИпаз-1 классификатором ЕЕ для результата комплексирования (б), системы 1 (в), системы 3 (г)
Можно сделать вывод, что использование комплексирования увеличивает качество классификации при использовании классификатора RF. Использование комплексирования с алгоритмом SVM нецелесообразно, так как, несмотря на близкие по качеству результаты, предпочтительно использовать более гладкие интерполированные и усредненные изображения по каждой системе.
Заключение
В статье рассмотрен вопрос о влиянии спектрально-пространственного комплексирования данных на результаты тематической классификации изображений ДЗЗ. Экспериментальное исследование производилось на модельных изображениях четырёх систем ДЗЗ с шагами пространственной дискретизации в 2, 3, 4 и 5 раз больше, чем у результата комплексирования. Спектральное представление результата комплексирования включало от 11 до 15 каналов (в зависимости от изображения) со средней шириной 29 нм. Спектральное представление изображений моделируемых систем содержало от 3 до 8 спектральных каналов со средней шириной от 37 нм до 83 нм. В результате исследований было выявлено, что для алгоритма SVM не имеет смысла выполнять комплексирование, так как средняя точность классификации по комплексированному изображению оказалась ниже, чем по интерполированным и усредненным изображениям НР, пространственное разрешение которых было в 2 и 3 раза хуже, чем у комплекси-рованного изображения. Излишняя пространственная детализация на классификацию алгоритмом SVM влияет отрицательно. Для алгоритма RF, напротив, результаты классификации в 90 % случаев имели большую точность, чем для исходных изображений. Например, для изображений с наименьшим отличием в пространственном разрешении (в 2 раза) от результата комплексиро-вания точность классификации комплексированного изображения была в среднем на 4% выше. Следует отметить, что результаты, полученные для RF с комплек-сированием, оказались лучше результатов для SVM без комплексирования, в частности, средняя точность классификации составила 81,3 и 78 соответственно. Дополнительный эксперимент по использованию классификатора RF с различными методами формирования признаков показал, что расширенные атрибутивные профили позволяют повысить точность классификации в среднем на 9 % по сравнению с использованием яркости пикселя по каналам в качестве признаков.
Можно заключить, что при использовании спектрально-пространственного комплексирования данных лучше использовать классификатор RF, а использование комплексирования с алгоритмом SVM нецелесообразно.
Благодарности
Настоящая работа была выполнена при поддержке гранта РФФИ № 18-07-00748 а.
Литература
1. Белов, А.М. Спектральное и пространственное сверхразрешение при комплексировании данных ДЗЗ различных источников / А.М. Белов, А.Ю. Денисова // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 855-863. -DOI: 10.18287/2412-6179-2018-42-5-855-863.
2. Tuia, D. Automatic feature learning for spatio-spectral image classification with sparse SVM / D. Tuia, M. Volpi, M. Dalla Mura, A. Rakotomamonjy, R. Flamary // IEEE Transactions on Geoscience and Remote Sensing. - 2014. -Vol. 52, Issue 10. - P. 6062-6074.
3. Belgiu, M. Random forest in remote sensing: A review of applications and future directions / M. Belgiu, L. Dragu^ // ISPRS Journal of Photogrammetry and Remote Sensing. -2016. - Vol. 114. - P. 24-31.
4. Li, M. A systematic comparison of different object-based classification techniques using high spatial resolution imagery in agricultural environments / M. Li, L. Ma, T. Blaschke, L. Cheng, D. Tiede // International Journal of Applied Earth Observation and Geoinformation. - 2016. -Vol. 49. - P. 87-98.
5. Khatami, R. A meta-analysis of remote sensing research on supervised pixel-based land-cover image classification processes: General guidelines for practitioners and future research / R. Khatami, G. Mountrakis, S.V. Stehman // Remote Sensing of Environment. - 2016. - Vol. 177. - P. 89100.
6. García, M.A. Using hidden markov models for land surface phenology: An evaluation across a range of land cover types in southeast spain / M.A. García, H. Moutahir, G.M. Ca-sady, S. Bautista, F. Rodríguez // Remote Sensing. - 2019. -Vol. 11, Issue 5. - 507.
7. Liao, W. Fusion of spectral and spatial information for classification of hyperspectral remote-sensed imagery by local graph / W. Liao, M. Dalla Mura, J. Chanussot, A. Pizurica // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2015. - Vol. 9, Issue 2. -P. 583-594.
8. Pham, M.T. Local feature-based attribute profiles for optical remote sensing image classification / M.T. Pham, S. Lefévre, E. Aptoula // IEEE Transactions on Geoscience and Remote Sensing. - 2017. - Vol. 56, Issue 2. - P. 1199-1212.
9. Pham, M.T. Classification of remote sensing images using attribute profiles and feature profiles from different trees: a comparative study / M.T. Pham, E. Aptoula, S. Lefévre // IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. - 2018. - P. 4511-4514.
10. Pham, M.-T. Recent developments from attribute profiles for remote sensing image classification [Electronical Resource] / M.-T. Pham, S. Lefévre, E. Aptoula, L. Bruzzone // arXiv preprint. - 2018. - URL: https://arxiv.org/abs/1803.10036 (request date 10.04.2020).
11. Hong, D. Invariant attribute profiles: A spatial-frequency joint feature extractor for hyperspectral image classification / D. Hong, X. Wu, P. Ghamisi, J. Chanussot, N. Yokoya, X.X. Zhu // IEEE Transactions on Geoscience and Remote Sensing. - 2019. - 18 p. - DOI: 10.1109/TGRS.2019.2957251.
12. Farsiu, S. Fast and robust multiframe super resolution / S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar // IEEE Transactions on Image Processing. - 2004. - Vol. 13, Issue 10. - P. 1327-1344. - DOI: 10.1109/TIP.2004.834669.
13. Farsiu, S. Fast and robust super-resolution / S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar // Proceedings of the 2003 International Conference on Image Processing. - 2003. - Vol. 3. - P. 291-294. - DOI: 10.1109/ICIP.2003.1246674.
14. Hyperspectral remote sensing scenes [Electronical Resource]. - URL: http://www.ehu.eus/ccwintco/index.php? title=Hyperspectral_Remote_Sensing_Scenes (request date 18.03.2020).
15. Marpu, P.R. Automatic generation of standard deviation attribute profiles for spectral-spatial classification of remote sensing data / P.R. Marpu, M. Pedergnana, M. Dalla Mura,
J.A. Benediktsson, L. Bruzzone // Geoscience and Remote Sensing Letters. - 2013. - Vol. 10, Issue 2. - P. 293-297.
16. Li, J. Multiple feature learning for hyperspectral image classification / J. Li, X. Huang, P. Gamba, J.M. Bioucas-Dias, L. Zhang, J.A. Benediktsson, A. Plaza // IEEE Transactions on Geoscience and Remote Sensing. - 2015. -Vol. 53, Issue 3. - P. 1592-1606.
Сведения об авторах
Белов Александр Михайлович, 1980 года рождения. В 2003 году с отличием окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (Самарский университет) по специальности «Прикладная математика и информатика». В 2007 году получил степень кандидата физико-математических наук. В настоящее время работает доцентом кафедры геоинформатики и компьютерной безопасности в Самарском университете. Область научных интересов: обработка изображений и геоинформационные системы. Автор 37 научных публикаций, из них 14 статей в научных журналах. Член Поволжского отделения Российской ассоциации распознавания образов и анализа изображений.
E-mail: bam.post@smail.com .
Денисова Анна Юрьевна, 1988 года рождения, в 2011 году окончила Самарский государственный аэрокосмический университет имени академика С.П. Королёва (ныне Самарский университет) по специальности «Прикладная математика и информатика». В 2014 году защитила диссертацию на соискание степени кандидата технических наук. Работает доцентом кафедры геоинформатики и информационной безопасности, Самарский университет. Область научных интересов: обработка изображений, геоинформационные системы.
E-mail: denisova_ay@geosamara. ru .
ГРНТИ: 28.21.15, 28.17.19, 89.57.35, 89.57.45 Поступила в редакцию 15 апреля 2020 г. Окончательный вариант - 8 мая 2020 г.
Earth remote sensing imagery classification using a multi-sensor superresolution fusion algorithm
A.M. Belov1, A. Y. Denisova1 1 Samara National Research University, 34, Moskovskoye shosse, Samara, 443086, Russia
Abstract
Earth remote sensing data fusion is intended to produce images of higher quality than the original ones. However, the fusion impact on further thematic processing remains an open question because fusion methods are mostly used to improve the visual data representation. This article addresses an issue of the effect of fusion with increasing spatial and spectral resolution of data on thematic classification of images using various state-of-the-art classifiers and features extraction methods. In this paper, we use our own algorithm to perform multi-frame image fusion over optical remote sensing images with different spatial and spectral resolutions. For classification, we applied support vector machines and Random Forest algorithms. For features, we used spectral channels, extended attribute profiles and local feature attribute profiles. An experimental study was carried out using model images of four imaging systems. The resulting image had a spatial resolution of 2.3.4 and 5 times better than for the original images of each imaging system, respectively. As a result of our studies, it was revealed that for the support vector machines method, fusion was inexpedient since excessive spatial details had a negative effect on the classification. For the Random Forest algorithm, the classification results of a fused image were more accurate than for the original low-resolution images in 90% of cases. For example, for images with the smallest difference in spatial resolution (2 times) from the fusion result, the classification accuracy of the fused image was on average 4% higher. In addition, the results obtained for the Random Forest algorithm with fusion were better than the results for the support vector machines method without fusion. Additionally, it was shown that the classification accuracy of a fused image using the Random Forest method could be increased by an average of 9% due to the use of extended attribute profiles as features. Thus, when using data fusion, it is better to use the Random Forest classifier, whereas using fusion with the support vector machines method is not recommended.
Keywords: image classification, data fusion, super-resolution, SVM, RF, EAP, LFAP.
Citation: Belov AM, Denisova AY. Earth remote sensing imagery classification using multisensor super-resolution algorithm. Computer Optics 2020; 44(4): 627-635. DOI: 10.18287/2412-6179-CO-735.
Acknowledgements: The work was partly funded by the Russian Foundation for Basic Research under project #18-07-00748.
References
[1] Belov AM, Denisova AY. Spectral and spatial superresolution method for Earth remote sensing image fusion. Computer Optics 2018; 42(5): 855-863. DOI: 10.18287/2412-6179-2018-42-5-855-863.
[2] Tuia D, Volpi M, Dalla Mura M, Rakotomamonjy A, Flamary R. Automatic feature learning for spatio-spectral image classification with sparse SVM. IEEE Trans Geosci Remote Sens 2014; 52(10): 6062-6074.
[3] Belgiu M, Drâgu^ L. Random forest in remote sensing: A review of applications and future directions. ISPRS J Photogramm Remote Sens 2016; 114: 24-31.
[4] Li M, Ma L, Blaschke T, Cheng L, Tiede D. A systematic comparison of different object-based classification techniques using high spatial resolution imagery in agricultural environments. Int J Appl Earth Obs Geoinf 2016; 49: 87-98.
[5] Khatami R, Mountrakis G, Stehman SV. A meta-analysis of remote sensing research on supervised pixel-based landcover image classification processes: General guidelines for practitioners and future research. Remote Sens Environ 2016; 177: 89-100.
[6] Garcia MA, Moutahir H, Casady GM, Bautista S, Rodriguez F. Using hidden markov models for land surface
phenology: An evaluation across a range of land cover types in southeast spain. Remote Sens 2019; 11(5): 507.
[7] Liao W, Dalla Mura M, Chanussot J, Pizurica A. Fusion of spectral and spatial information for classification of hyperspectral remote-sensed imagery by local graph. IEEE J Sel Top Appl Earth Obs Remote Sens 2015; 9(2): 583-594.
[8] Pham MT, Lefèvre S, Aptoula E. Local feature-based attribute profiles for optical remote sensing image classification. IEEE Trans Geosci Remote Sens 2017; 56(2): 1199-1212.
[9] Pham MT, Aptoula E, Lefèvre S. Classification of remote sensing images using attribute profiles and feature profiles from different trees: a comparative study. IGARSS 20182018 IEEE International Geoscience and Remote Sensing Symposium 2018: 4511-4514.
[10] Pham M-T, Lefèvre S, Aptoula E, Bruzzone L. Recent developments from attribute profiles for remote sensing image classification. Source: (https://arxiv.org/abs/1803.10036).
[11] Hong D, Wu X, Ghamisi P, Chanussot J, Yokoya N, Zhu XX. Invariant attribute profiles: A spatial-frequency joint feature extractor for hyperspectral image classification. IEEE Trans Geosci Remote Sens 2019: 1-18. DOI: 10.1109/TGRS.2019.2957251.
[12] Farsiu S, Robinson MD, Elad M, Milanfar P. Fast and robust multiframe super resolution. IEEE Trans Image
Process 2004; 13(10): 1327-1344. DOI: 10.1109/TIP.2004.834669.
[13] Farsiu S, Robinson MD, Elad M, Milanfar P. Fast and robust super-resolution. Proceedings of the 2003 International Conference on Image Processing 2003; 3: 291-294. - DOI: 10.1109/ICIP.2003.1246674.
[14] Hyperspectral remote sensing scenes. Source: (http://www.ehu.eus/ccwintco/index.php?title=Hyperspectr al_Remote_Sensing_Scenes).
[15] Marpu PR, Pedergnana M., Dalla Mura M; Benediktsson JA, Bruzzone L. Automatic generation of standard deviation attribute profiles for spectral-spatial classification of remote sensing data. IEEE Geosci Remote Sens Lett 2013: 10(2): 293-297.
[16] Li J, Huang X, Gamba P, Bioucas-Dias JM, Zhang L, Benediktsson JA, Plaza A. Multiple Feature Learning for Hyperspectral Image Classification. IEEE Transactions on Geoscience and Remote Sensing 2015; 53(3): 1592-1606.
Authors' information
Aleksandr Mikhailovich Belov (b. 1980) graduated from S.P. Korolyov Samara State Aerospace University (Samara University), majoring in Applied Mathematics and Informatics in 2003. He received Candidate's degree in Physics and Mathematics in 2007. Currently he is holding position of associate professor at of Geoinformatics and Computer Sequrity department at Samara University. His research interests are currently focused on image processing and geoin-formation systems. He is author of 37 publications, including 14 papers. Member of the Russian Pattern Recognition and Image Processing Association. E-mail: bam.post@smail.com .
Anna Yurievna Denisova (b. 1988). Graduated from Samara National Research University (Samara University) in 2011 as Master of Mathematics and Computer Science. She received a degree of Candidate in Technical Sciences in 2014. Now she works at Samara University. The area of research interest includes image processing and geoinformational systems. E-mail: denisova_ay@seosamara.ru .
Received April 15, 2020. The final version - May 8, 2020.
