CC BY
61Journal of Siberian Federal University. Engineering & Technologies, 2018, 11(1), 69-76
УДК 528.854
Classification of Hyperspectral Images with High Spatial Resolution
Igor A. Pestunov, Sergey A. Rylov and Pavel V. Melnikov*
Institute of Computational Technologies of SB RAS 6 Academician M.A. Lavrentiev, Novosibirsk, 630090, Russia
Received 13.04.2016, received in revised form 22.09.2016, accepted 18.04.2017
А new computationally efficient spectral-texture classification method for high spatial resolution hyperspectral images is proposed. This method is based on the ensemble clustering algorithm ECCA. Classification method is based on the assumption that the percentage of pixels from different clusters in local image regions is approximately the same for the fixed texture type and differs for different types of textures. The proposed classification method does not require large amount of training samples. It is enough to set only few representatives of each class. Experiments on models and real-world data are described proving the effectiveness of the proposed method.
Keywords: hyperspectral images, high spatial resolution, multispectral texture, spectral-spatial classification.
Citation: Pestunov I.A., Rylov S.A., Melnikov P.V. Classification of hyperspectral images with high spatial resolution, J. Sib. Fed. Univ. Eng. technol., 2018, 11(1), 69-76. DOI: 10.17516/1999-494X-0010.
Классификация гиперспектральных изображений высокого пространственного разрешения
И.А. Пестунов, С.А. Рылов, П.В. Мельников
Институт вычислительных технологий СО РАН Россия, 630090, Новосибирск, пр. Академика Лаврентьева, 6
В статье предлагается новый вычислительно эффективный метод спектрально-текстурной классификации гиперспектральных изображений высокого пространственного разрешения, основанный на использовании ансамблевого алгоритма кластеризации ECCA. При классификации используется предположение, что в локальной области изображения для текстур одного типа процентное содержание пикселей из разных кластеров примерно одинаково, а для разных типов текстур, как правило, отличается. Для предлагаемого классификатора не требуются обучающие выборки большого объема. Достаточно задать всего лишь несколько
© Siberian Federal University. All rights reserved
* Corresponding author E-mail address: pestunov@ict.sbras.ru, rylovs@mail.ru
представителей каждого класса. Приводятся результаты экспериментов с модельными и реальными изображениями, подтверждающие эффективность предложенного метода.
Ключевые слова: гиперспектральные изображения, высокое пространственное разрешение, спектрально-текстурные признаки, классификация.
Введение
В области аэрокосмического дистанционного зондирования Земли наблюдается активное внедрение гиперспектральных систем, обеспечивающих съемку в видимом и инфракрасном диапазонах спектра (0.4-2.5 мкм) [1]. Поэтому в настоящее время появились потенциальные возможности использования высокоинформативных гиперспектральных изображений (ГСИ) для решения широкого круга научных и практических задач. Однако существенным сдерживающим фактором для реализации этих возможностей является отсутствие приемлемого инструментария для их автоматизированного анализа.
К главным особенностям ГСИ относятся высокое спектральное разрешение (несколько нанометров) и большое количество (до нескольких сотен) спектральных каналов. Последняя особенность ГСИ порождает так называемую проблему «проклятия размерности», из-за которой многие широко применяемые на практике попиксельные классификаторы зачастую становятся непригодными (например, классификатор максимального правдоподобия ввиду плохой обусловленности выборочных ковариационных матриц классов). Кроме того, применение попик-сельных классификаторов к ГСИ высокого пространственного разрешения приводит в большинстве случаев к получению шумовых классификационных картосхем, которые практически не поддаются интерпретации [2].
В работе [3] предложены схема и методы классификации ГСИ, учитывающие как спектральную информацию, так и пространственную информацию о соседстве пикселей (т.е. используется предположение, что соседние пиксели с большей вероятностью имеют одну и ту же метку класса, по сравнению с несоседними). Показано, что использование такой разновидности контекстной информации позволяет приблизительно на 6-8 % повысить качество классификации.
Особенность ГСИ высокого пространственного разрешения (4 м и лучше) состоит в том, что многие классифицируемые объекты сцены могут быть выделены как единые информационные единицы только на основании анализа так называемых текстурных признаков. Единого определения текстуры не существует, но в рамках статистического подхода предполагается, что однородные текстуры характеризуются статистической однородностью в локальной области изображения [4].
К настоящему времени известен целый ряд эффективных методов формирования текстурных признаков для полутоновых изображений [5], но проблема спектрально-текстурной классификации мультиспектральных и тем более гиперспектральных изображений до сих пор остается открытой, хотя в этом направлении в последние годы ведутся интенсивные исследования [6, 7].
В данной работе предлагается новый вычислительно эффективный метод спектрально-текстурной классификации гиперспектральных изображений высокого пространственного разрешения, основанный на использовании процедур кластеризации данных. Для предлагае-
мого классификатора не требуются обучающие выборки большого объема, достаточно задать все го лиша нпскевеко пекеелев-предсртвттелеё вцл^ каждого слвсер Э ффективность метода демонстрируется на модельных и реальных изображениях.
Кдуское от-асание молода
Праоонатслбно к т^лиои- и огспсе)с;11е^]кт^оляе^1>1]г: иееОлйооаоапм толстуру можно интерпре-тлковотт етк оне101;с1сепк) г>ас1^л,п;Д)плсне1с всквтпоо рпае^т>ва1е[е>н1>1х боеоссей по полю изображения облакла, тTyооввкaнпьш вообмлош х^ап:оно1яе;пр[1сит> еасссеоло51ес1евел^ наоднородных составляющим оВъеит элсмонтоо. Если пртаиоести кла1сеПр;о>ия>1н;ию хоротслило! от'елстурного изображения только по спектральным признакам, ее результат будет представлять чрезмерно раздробленную шумовую картину. Но в заданной локальной области изображения для текстур одного и тог же типа процент ое соде жание пикселей из разных кластеров будет примерно одина-кове.1сТ[ т длк ртзстся типтв еелыттл с- раелирнв1М[ ре'ео> зерономерность справедлива для боль-естлт-п>з£1 оекотуИ) с;сюоуз!еое)гсе)норзиб> оаъндвем пдиролстгт пpoпзкoк«дeиия (например, лесным, бклотеетс, епнкрооогтс пюднсш и нткыпи ландшнфппм). Токов годход успешно применялся в ббркав [Д] емлыо о,В1се;та,1>лоСе веимслтициа мтлcеислeоокaлбныб леоТртжеуий на основе сеточных алгоритмов кластеризации.
Предлагаемый ниже метод классификации гиперспектральных изображений высокого пространственного разрешения основан именно натаком подходе и включает пять этапов.
Большое чггега писктдокеде1х нтнсевь и выелнап спе;1си>рн.л1>ное ртере шение приводят к зна-виатъьной инфoомипиoпнaл нкДытониаоти ГСЛТ Пемьомл о!]] шивом этапе производится вы-д^левнгз; информаторшо нобора спектральных признаков. Для этих целей используется метод лиаинои р:оо13[оне;^т (КЛА) иле дто моиификацип ((5лоГнг]т1т Р-ПА ее милел минимизации шумовых помех), позволяющий на порядок сократить число спектральных признаков без существенного снижения качества классификации [3].
Нн гогфом ктопе оиoиеотиивеа сооментодфт ийкодаюмь е>Ср- по оыделенному набору ин-формат-еных спогарсобнози пр^всема с номищаю £):ни;а:зеб)лс;:1В(:^ето сРл-поритма кластеризации ЕССА [9]. Этот алгоритм обеспечивает выделение кластеров различной формы, размера и плбтнбоол. Кееме тoI[[o) исхали™ ЕСМА лоллинст слоокным зе xaс]евтсpизуется высоким бы-сородейсооисм.
На третьем этапе по полученной картосхеме вычисляются спектрально-текстурные признаки, описывающие мультиспектральную текстуру. Процедура вычисления признаков заклю-ниевсл о алз:дующем. П^дположим, етво б[a вз'охиотн эоппе выдилаяе ьг кластеров и построена соответсьнрющбп картостамг. Оно инеСтвееотя ни лстетисн>гс1сопгиеся квадратные фрагмен-oIIе назмером к х к пискит-П (то тЕрр-аяня изoб]зaжония воткзожно поилоление прямоугольных фрагментов): {/1 ...,/м}. Каждому фрагменту/ сопоставляется вектор спектральных частот ., -К к) г оДе ¿р=Ы)0е?, NN - число пикселей фрагмента/, относящихся к кластеру с номером j, = 1, ., К.
Векторы спектральных частот г(1), ..., z(M) описывают многомерную гистограмму фрагментов изображения. При этом их размерность равна числу кластеров, полученных при кластеризации по спектральным признакам, что на порядки меньше числа элементов, необходимых для описания многомерной гистограммы исходного изображения.
Расстояние между двумя векторами спектральных частот и задается с помощью ме-
трики Мааппэттена: ¡л (z(!\z(j)=1/2 Ef=i
.(О Л Л
На четвертом этапе алгоритма выполняется классификация фрагментов изображения посредством отнесения их к ближайшим представителям классов. Обучающие представители для классов задаются пользователем в виде набора пикселей с указанием класса, к которому они принадлежат. Для окрестности каждого помеченного пикселя вычисляется соответствующий векторспектральных частот. Такимобразом формируетсясписокпредставителей классов.
Пофрагментная, а не попиксельная классификация обеспечивает высокую скорость обработки. Однако получаемые при этом классы характеризуются грубыми границами. Поэтому на заключительном этапе обработки выполняется попиксельная коррекция границ классов. Для этого рассматриваются все граничные фрагменты. Каждый пиксель, попадающий на границу, относится к тому классу, к которому ближе вектор спектральных частот фрагмента с центром в этом пикселе. При этом могут появиться новые граничные пиксели. Процесс продолжается до тех пор, пока все граничные пиксели не будут рассмотрены.
Результатыэкспериментальныхисследований
Обработка данных проводилась на ПЭВМ с процессором Intel Core i7 (4 ядра, 3.3 ГГц). Во всех экспериментах при работе алгоритма ECCA использовался ансамбль из восьми элементов.
На рис. 1 представлен пример классификации модельного RGB-изображения размером 622x622 пикселей, составленного из пяти цветных текстур. При этом две текстуры (верхняя левая и верхняя правая) имеют одинаковый средний цвет, что делает невозможным их корректное разделение без использования текстурных признаков. Для каждого из классов задавалось по одной обучающей метке, размер фрагментов 35x35 пикселей. Точность классификации с коррекцией границсоставила 99.5 %, абезкоррекции -97.0 %.
На рис. 2a представлен RGB-композит изображения, полученного в августе 2011 г. гиперспектральным сенсором, разработанным НПО «Лептон» [10, 11]. Изображение содержит 87 спектральных каналов в диапазоне 404-1016 нм, пространственное разрешение около 1 м,
a b c
Рис. 1. a - исходное изображение; b, c - результаты классификации без коррекции границ и с коррекцией соответственно
Fig. 1. a - original image; b,c — c^^j^^s^ific ation resultwithoutand with borders correction
размер 1000^350 пикселей. На изображении представлена тестовая территория Савватьевско-го лесничества (Тверская область). Для этого изображения имеется эталонная картосхема, полученная по результатам наземных лесотаксационных обследований (рис. 2Ь). Картосхема описывает видовой и возрастной составы лесных выделов. С момента создания картосхемы до момента съемки прошло много лет, поэтому специалистами была выполнена модификация картосхемы на основе визуального анализа изображения (рис. 2с). Из оригинальной картосхемы были удалены (отнесены к классу-фону) сомнительные пиксели на границах классов.
Для классификации изображения были взяты первые четыре признака, полученные с помощью РСА. Для семи классов на картосхеме было задано 25 обучающих меток. На рис. 2d представлена картосхема с нанесенными обучающими метками, полученная в результате спектрально-текстурной классификации при й=35.
Точность классификации составила 98.47 % для модифицированной и 85.61 % - для оригинальной картосхемы соответственно. График зависимости точности классификации от размера фрагмента h представлен на рис. 3. Время работы алгоритма кластеризации ЕССА составляет 8 с, дальнейшая спектрально-текстурная классификация занимает 0.5 с.
Для демонстрации преимуществ гиперспектральных данных перед мультиспектральны-ми на основе рассматриваемого изображения было создано синтезированное мультиспектраль-ное изображение с восемью спектральными признаками. Значения спектральных признаков вычислялись путем усреднения значений по всем каналам гиперспектральных данных, попадающих в диапазоны длин волн, которые соответствуют каналам сенсора WorldView-2.
1 Сосна 100%. 100 лет 4 Сосна 100%. 90 лет 7 Дороги
2 Береза 90%. сосна ¡04. 70 лет 5 Сосна 100%. 80 лет
3 Сосна 100%, 70 лет 6 Сосна 100%. 80 лет (2)
Рис. 2. a - RGB-композит исходного изображения (каналы 82, 19, 10); b, c - оригинальная и модифицированная картосхемысоответственно; d - р езультаты спектрально-текстурнойклассификации с нанеыькыыш! обучающтнш меыками
Fig. 2. a - RGB-composite (bands 82,19,10);b - original reference map; c- modified referenced map;d- spectral-texture classification result with training marks
10 15 20 25 30 35 40 45 50 55 60 Fragment size. 1)
Рис. 3. Зависимостьточности классификацииотразмеровфрагмента для разных наборовпризнаков Fig. 3. Classification accuracy depending on the fragn^otaaze for different feature sets
Для сравнительного анализа использовалась упрощенная модификация предложенного метода (вместо векторов спектральных частот применили векторы усредненных по фрагментам значений спектральных яркостей в различных каналах). При этом размерность векторов равнялась числу выбранных спектральных каналов, а предварительная кластеризация не требовалась. В таблице показана точность классификации модифицированным алгоритмом в зависимости от размера фрагмента для различного числа главных компонент, а также для синтезированного восьмиканального изображения VW-2 и изображения SI-4, сформированного из четырех синтезированных каналов (соответствующих синему, зеленому, красному и ближнему инфракрасному диапазонам спектра).
Анализ полученных результатов показывает, что учет спектрально-текстурных признаков обеспечивает лучшие результаты классификации по сравнению с усредненными спектральными характеристиками. Использование пяти главных компонент гиперспектрального изображения обеспечивает более высокую точность классификации по сравнению с мультиспектраль-ным набором из восьми каналов.
Таблица. Зависимость точности классификации от размера фрагмента h
Table. Classification accuracy depending on the fragment size h
Точно текст классиф ;ть (%) урной шкации Точность (%) классификации по средним значениям спектральных признаков
h PCA (4) SI-4 PCA (2) PCA (3) PCA (4) PCA (5) PCA (6) PCA (8) PCA (10) SI-4 VW-2 (8)
10 86.4 82.4 67.7 81.9 85.9 88.7 88.3 86.7 86.0 67.9 74.1
20 96.3 95.2 74.0 91.6 94.2 94.5 94.5 94.2 94.3 79.0 82.0
25 97.4 96.8 75.4 91.3 94.4 95.0 94.7 92.8 92.7 80.8 88.3
26 97.7 97.3 76.7 91.5 94.3 95.0 94.5 94.0 94.2 83.7 88.3
27 97.6 97.3 78.4 91.0 94.9 94.5 94.8 93.8 93.4 83.0 89.6
28 97.9 97.0 76.4 91.4 95.7 95.9 95.4 93.8 92.7 83.5 87.4
29 97.7 97.0 76.0 91.0 95.3 94.7 95.2 93.2 92.9 86.1 88.4
30 97.7 97.3 76.1 90.9 95.2 94.8 94.2 91.9 92.5 82.1 88.0
31 98.4 97.0 75.4 93.3 94.6 95.6 95.1 93.4 93.4 85.5 90.0
32 97.9 97.2 75.2 91.5 94.7 94.6 94.4 93.3 93.4 81.7 85.3
33 97.9 97.2 73.5 91.3 95.5 94.5 94.4 92.8 93.2 84.2 89.1
34 97.8 96.8 75.9 91.1 95.6 94.7 93.5 91.9 92.2 83.6 88.0
35 98.5 96.8 75.3 92.4 95.2 95.7 93.8 93.3 93.3 81.7 85.8
36 97.9 96.7 77.3 92.7 94.9 96.3 95.0 92.8 93.0 85.6 89.8
37 97.9 97.1 80.1 93.2 95.4 96.0 95.1 94.7 94.1 80.5 87.1
38 97.3 96.7 77.6 91.8 94.8 95.2 94.6 93.5 93.9 82.3 88.4
39 97.8 96.8 80.2 91.2 95.0 95.5 94.4 94.8 93.7 81.9 86.8
40 97.5 96.5 80.1 90.8 94.1 95.2 95.7 94.6 94.8 84.0 86.3
45 97.1 96.2 81.2 89.4 93.5 94.3 93.4 92.8 92.1 81.9 86.4
52 96.0 95.3 75.6 91.2 94.2 94.1 95.2 93.3 92.9 84.1 90.5
55 95.9 95.1 84.0 90.5 93.9 94.9 95.2 93.8 92.9 77.0 89.1
60 95.7 94.3 77.3 90.6 92.4 94.0 94.2 93.0 92.5 81.0 88.7
98.5 97.3 84.0 93.3 95.7 96.3 95.7 94.8 94.8 86.1 90.5
Список литературы
[1] Бондур В.Г. Современные подходы к обработке больших потоков гиперспектральной и многоспектральной аэрокосмической информации. Исследование Земли из космоса, 2014, 1, 4-16 [Bondur V.G. Modern approaches for processing of big hyperspectral aerospace data, Issledovanie Zemli iz Kosmosa, 2014, 1, 4-16 (in Russian)].
[2] Fauvel M., Benediktsson J.A., Chanussot J., Sveinsson J.R. Spectral and spatial classification of hyperspectral data using SVMs and morphological profiles, IEEE Trans. Geosci. Remote Sens., 46(11), 3804-3814.
[3] Борзов С.М., Мельников П.В., Пестунов И.А., Потатуркин О.И., Федотов А.М. Комплексная обработка гиперспектральных изображений на основе спектральной и пространственной информации. Вычислительные технологии, 2016, 21(1), 25-39 [Borzov S.M., Melnikov P.V., Pestunov I.A., Potaturkin O.I., Fedotov A.M. Integrated processing hyperspectral images on the
basis of spectral and spatial information, Jornal Computational Technologies, 2016, 21(10), 25-39 (in Russian)].
[4] Потапов А.А. Новые информационные технологии на основе вероятностных текстурных и фрактальных признаков в радиолокационном обнаружении малоконтрастных целей. Радиотехника и электроника, 2003, 48(9), 1101-1119 [Potapov A.A. Novye informacionnye tehnologii na osnove verojatnostnyh teksturnyh i fraktal'nyh priznakov v radiolokacionnom obnaruzhenii malokontrastnyh celej, Radiotehnika i jelektronika, 2003, 48(9), 1101-1119 (in Russian)].
[5] Petrou M., Gacia Sevilla P. Image processing: Dealing with texture, 2006. 618 p.
[6] Kumar B., Onkar Dikshit O. Spectral-Spatial Classification of Hyperspectral Imagery Based on Moment Invariants, IEEE Journal of selected topics in applied earth observations and remote sensing, 2015, 8(6), 2457-24-63.
[7] Salem R.B., Ettabaa K.S., Hamdi M.A. Spectral-spatial classification of hyperspectral images using different spatial features and composite kernels, IEEE IPAS'14: International image processing applications and systems conference, 2014, 1-7.
[8] Пестунов И.А., Рылов С.А. Алгоритмы спектрально-текстурной сегментации спутниковых изображений высокого пространственного разрешения. Вестник КемГУ, 2012, 4/2 (52), 104-110 [Pestunov I.A., Rylov S.A. Spectral-texture segmentation algorithms for high spatial resolution satellite images. Bulletin of KemSU, 2012, 4/2 (52), 104-110 (in Russian)].
[9] Pestunov, I.A., Berikov, V.B., Kulikova, E.A., Rylov, S.A. Ensemble of clustering algorithm for large datasets, Optoelectronics, Instrumentation and Data Processing, 2011, 47(3), 245-252.
[10]Kozoderov V.V., Kondranin T.V., Dmitriev E.V., Sokolov A.A. Retrieval of forest stand attributes using optical airborne remote sensing data, Optics Express, 2014, 22(13), 15410-15423.
[11] Kozoderov V.V., Kondranin T.V., Dmitriev E.V., Kamentsev V.P. Bayesian classifier applications of airborne hyperspectral imagery processing for forested areas, Advances in Space Research, 2015, 55(11), 2657-2667.
