CC BY
337
УДК 528.854.2; 004.93'11
МЕТОД ГЛАВНЫХ КОМПОНЕНТ И ЕГО МОДИФИКАЦИИ В ЗАДАЧАХ КЛАССИФИКАЦИИ ГИПЕРСПЕКТРАЛЬНЫХ ДАННЫХ
Игорь Алексеевич Пестунов
Институт вычислительных технологий СО РАН, 630090, Россия, Новосибирск, пр. Академика Лаврентьева, 6, заведующий лабораторией обработки данных, тел. (383)334-91-55, e-mail: [email protected]
Павел Владимирович Мельников
Институт вычислительных технологий СО РАН, 630090, Россия, Новосибирск, пр. Академика Лаврентьева, 6, аспирант, тел. (383)334-91-55, e-mail: [email protected]
В работе представлены результаты экспериментального сравнения классического метода главных компонент (МГК), блочного метода главный компонент (БМГК) и метода MNF (Minimum Noise Fraction) для выделения информативных признаков при классификации гиперспектральных данных. Показано, что признаки, полученные методом MNF и БМГК, обеспечивают более высокое качество распознавания по сравнению с признаками, полученными МГК.
Ключевые слова: выделение признаков, классификация, гиперспектральные изображения, метод главных компонент.
PRINCIPAL COMPONENT ANALYSIS AND ITS MODIFICATIONS IN HYPERSPECTRAL IMAGE CLASSIFICATION
Igor A. Pestunov
Institute of Computational Technologies SB RAS, 630090, Russia, Novosibirsk, 6 Acad. Lavrentjev ave., head of Data Processing Laboratory, tel. (383)334-91-55, e-mail: [email protected]
Pavel V. Melnikov
Institute of Computational Technologies SB RAS, 630090, Russia, Novosibirsk, 6 Acad. Lavrentjev ave., postgraduate student, tel. (383)334-91-55, e-mail: [email protected]
Three methods of feature extraction for hyperspectral image classification are compared in this work: principal component analysis (PCA), block principal component analysis (BPCA) and minimum noise fraction (MNF). It is shown that BPCA and MNF produce better classification results than PCA.
Key words: feature extraction, classification, hyperspectral images, principal component analysis.
В последние годы в связи с интенсивным развитием средств и технологий дистанционного зондирования все большую актуальность приобретает задача распознавания гиперспектральных изображений [1]. Главными особенностями таких изображений являются большое число спектральных каналов, которое может достигать нескольких сотен, и малая ширина каждого канала (порядка нескольких нанометров).
В силу большого объёма данных многие распространенные методы анализа цифровых изображений не могут быть использованы при обработке гиперспектральных изображений. Ограничения могут быть связаны как с теоретическими требованиями их корректного применения к данным большой размерности, так и с неприемлемым увеличением времени работы алгоритмов или объема используемой памяти.
При классификации гиперспектральных изображений с обучением актуальной становится проблема репрезентативности обучающей выборки (ОВ). Известно [1], что для обеспечения приемлемого качества классификации минимальный объем ОВ для параметрических классификаторов составляет -10к точек на класс (где k - число каналов), для непараметрических - 50k точек. На практике получение ОВ таких объемов, как правило, не представляется возможным. Таким образом, задача сокращения числа признаков при классификации с обучением является особенно актуальной.
Существует целый ряд методов для сокращения размерности пространства признаков: метод главных компонент, факторный анализ, метод случайных проекций, самоорганизующиеся карты Кохонена и др. [3]. В данной работе производится экспериментальное сравнение трех методов выделения признаков, используемых при обработке гиперспектральных изображений: 1) классический метод главных компонент (МГК) [3], 2) блочный метод главный компонент (БМГК) [4] и 3) метод MNF (Minimum Noise Fraction) [3, 5].
Метод главных компонент предназначен для выделения некоррелированных комбинаций признаков среди коррелированных данных, в том числе в задачах обработки гиперспектральных изображений. Он заключается в следующем. Пусть xl,...,xm е R" - векторы спектральных яркостей пикселей изображения. Требуется найти ортогональную систему координат, в которой корреляции между отдельными координатами векторов данных равны нулю. Задача сводится к диагонализации выборочной ковариационной матрицы,
1 т i т
С = — ХЛЛ^ ~ > гДе * = — X хк ~ выборочный вектор средних значений.
™ к=х m к=1
Решение задачи о поиске ортогональных систем координат с наибольшей дисперсией по координатам - это ортонормированный набор собственных векторов а1;... ,ат матрицы С, расположенных в порядке убывания собственных значений Х\ Я{> Я2>...> Л; • Матрица С симметрична и неотрицательно определена, поэтому для вычисления максимальных собственных значений можно применять итерационный алгоритм, при котором на каждой следующей итерации из корреляционной матрицы вычитается её проекция на главную компоненту, вычисленную на предыдущей итерации: С^1-* = С^ , где
, v(í) - собственное значение и соответствующий собственный вектор, вычисленные на i-й итерации. В базисе из собственных векторов коэффициент корреляции между различными координатами равен нулю, и i-я координата в новом базисе является искомой i-й главной компонентой.
Метод MNF в последние годы получает все большее распространение для выделения признаков и уменьшения шума в гиперспектральных изображениях [5,6]. В основе метода лежит идея построения линейного преобразования признаков, при котором в новой системе координат отношение сингал/шум уменьшается с увеличением номера координаты. В рамках этого метода данные представляются как сумма полезного сигнала и некоррелированного с ним шума:
хг = s, + пг е R" . Матрица ковариации в таком случае может быть представлена
в виде С = CS + Сп. В отличие от МГК, в данном методе производится диагона-
лизация матрицы с помощью аналогичных преобразований. Каждое соб-
ственное число Я, этой матрицы характеризует отношение сигнал/шум в соответствующей компоненте. Для этого метода требуется априорное знание компонент шума щ или ковариационной матрицы шума Cn. В реальных задачах при отсутствии такой информации вместо нее используется оценка шума на основе исходных данных (например, с помощью метода автокорреляции). Однако в случае большого количества перепадов яркости на изображении автоматическая оценка шума может не обеспечить качественных результатов. В частности, в работе [6] показано, что при классификации изображений антропогенных территорий этот метод уступает по качеству методу главных компонент.
Блочный метод главных компонент. Идея метода заключается в том, что каналы гиперспектрального изображения, обладающие сильной взаимной корреляцией, расположены последовательными блоками. Поэтому, разделив множество каналов на блоки, обладающие высокой внутриблочной корреляцией, и произведя выделение информативных признаков в каждом блоке, можно получить набор признаков, содержащий большее количество информации, чем набор признаков того же объема, полученный традиционным МГК.
БМГК включает в себя три этапа. На первом этапе происходит разделение множества каналов изображения на блоки на основе анализа матрицы корреляции. В один блок относятся соседние каналы, обладающие взаимной корреляцией больше некоторого порога. На втором этапе к каждому блоку признаков применяется МГК. Заключительный этап состоит в выборе необходимого количества информативных компонент из каждого блока. В данном исследовании информативные признаки выбирались посредством визуального анализа полученных компонент. Этот способ позволяет относительно точно оценить информативность каждого признака.
Результаты экспериментальных исследований. В качестве тестового изображения в данной статье использовалось изображение Indian Pines, полученное сенсором AVIRIS [5]. Этот снимок часто используется при исследовании алгоритмов анализа гиперспектральных изображений. Размер изображения составляет 145x145 пикселей, каждый пиксель представлен вектором из 224 значений спектральных яркостей в диапазоне 400-2500 нм. Для него существует эталонная картосхема, содержащая 16 тематических классов (посадки кукурузы, сои, люцерны, пшеницы и др.) и класс фона (рис. 1).
Corn-notill
Com-min
Com
Soybeans-min Soybeans-cleaii Soybeans-notill Alfalfa
Grass/pasture
Grass-trees
Oats
Grass/pasture-moved Woods
Hay-windrowed Wheat
Bldg-grass-tree-drives Stone-steel towers
Рис. 1. RGB-композит (слева) и эталонная картосхема (справа) тестового
изображения Indian Pines.
Количество выделенных блоков и количество выбранных информативных каналов в каждом блоке при использовании БМГК представлено в табл. 1. Общее число признаков, выделенных этим методом, равнялось 21, поэтому в экспериментах с МГК и MNF также был использован 21 признак.
Таблица 1
Число информативных компонент для каждого блока каналов при использовании БМГК
Номер блока 1 2 3 4 5
Число исходных каналов 36 42 19 34 57
Число главных компонент 4 5 3 4 5
Для оценки эффективности предложенного метода было выполнено сравнение результатов классификации тестового изображения по всем спектральным каналам и с использованием подсистем признаков, полученных рассматриваемыми методами. Производилось сравнение следующих наборов признаков:
1) 21 признак, полученный БМГК,
2) 21 главная компонента, полученная МГК,
3) 21 признак, полученный методом MNF,
4) 10 признаков, полученных методом MNF,
5) полный набор из 188 нешумовых каналов (из исходных 224 каналов были удалены те, которые содержат спектральные полосы поглощения атмосферы).
Классификация с обучением производилась с помощью метода опорных векторов (Support Vector Machine, SVM) [7] и метода максимального правдоподобия (Maximum likelihood, ML).
Метод SVM получил широкое распространение в задачах классификации данных высокой размерности. Экспериментальные исследования показывают [8], что при классификации гиперспектральных изображений этот алгоритм превосходит многие другие по качеству классификации. В данной работе использовался алгоритм SVM с ядром на основе радиальной базисной функции (RBF).
Алгоритм максимального правдоподобия является классическим алгоритмом классификации с обучением, который широко применяется при распознавании изображений. К сожалению, в пространстве большой размерности при ограниченных объемах ОВ данный классификатор неприменим. Поэтому он не применялся для классификации по полному набору признаков.
В ходе экспериментов для оценки точности классификации был использован метод контрольной выборки; рассматривались выборки объемом 25, 50, 100, 200, 300 и 400 точек на класс. Точки ОВ выбирались на эталонной картосхеме случайным образом. Для классов, содержащих меньше точек, чем необходимый объем обучающей выборки, выбиралось по 20 точек.
Результаты приведены на рис. 2 и в табл. 2. В них приведена средняя точность классификации, полученная в ходе проведения 15 независимых экспериментов. Результаты показывают, что классификация по полному набору признаков обеспечивает лучшее качество, чем по набору признаков МГК. Набор признаков БМГК обеспечивает более высокое качество, чем набор МГК, а при малом объеме ОВ он оказывается существенно лучше, чем полный набор признаков. Признаки, полученные методом МЫБ, обеспечивают наилучшие результаты (при малых ОВ лучшее качество обеспечивает набор из 10 признаков, а при больших - набор из 21 признака). При больших объемах ОВ качество результатов наборов БМГК и МЫБ практически совпадает.
Таблица 2
Точность классификации по различным наборам признаков при использовании
обучающих выборок разного объема
Число признаков Объем выборки
Алгоритм Признаки 25 50 100 200 300 400
БУМ БМГК 21 75,2 79,8 83,7 87,1 87,8 87,7
МГК 21 69,0 75,7 82,2 85,3 84,8 85,3
М№ 21 74,9 81,0 85,7 89,3 89,8 89,9
М№ 10 80,7 83,5 86,3 87,7 88,1 87,6
все 188 70,8 78,2 83,6 88,9 87,9 86,8
МЬ БМГК 21 54,6 76,7 82,2 85,0 83,0 81,3
МГК 21 52,6 75,1 81,1 84,3 82,2 80,8
М№ 21 57,5 78,9 84,6 87,4 85,2 83,1
М№ 10 77,6 82,2 84,6 85,7 86,0 85,6
Небольшое ухудшение результатов при большом объеме ОВ (300-400 точек), по-видимому, обусловлено тем, что в эталонной картосхеме присутствуют классы малых размеров (самый маленький класс содержит 22 точки).
Таким образом, результаты классификации гиперспектрального изображения сельскохозяйственных угодий показали, что признаки, полученные методом МЫБ и БМГК, обеспечивают лучшее качество распознавания, чем признаки, полученные с помощью МГК. Метод МЫБ обеспечивает наилучшее качество при
малых объемах обучающей выборки, при этом увеличение количества использованных признаков не всегда приводит к улучшению качества классификации.
о
о — "
и
л
I—I
о о К
—БМГК(21)
—■— МГК(21)
—*- MNF(21)
—*—MNF (10)
25 50 100 200 300
Объем выборки
400
Рис. 2. Точность классификации в зависимости от объема обучающей выборки при использовании классификаторов SVM (слева) и МЬ (справа)
Работа выполнена при финансовой поддержке РФФИ (гранты № 13-07-12202-офи_м, № 14-07-31320-мол-а).
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Бондур В.Г. Современные подходы к обработке больших потоков гиперспектральной и многоспектральной аэрокосмической информации // Исследование Земли из космоса. -2014. - № 1. - С. 4-16.
2. Раудис Р. Влияние объема выборки на качество классификации (обзор) // Сб.: Статистические проблемы управления. - Вильнюс: Институт математики и кибернетики АН ЛитССР, 1984. - Вып. 66. - С. 9-42.
3. Fodor I. A Survey Of Dimension Reduction Techniques // Technical Report UCRL-ID-148494. - Oakland: University of California. - 2002. - 26 p.
4. Пестунов И.А., Мельников П.В. Блочный метод главных компонент для выделения информативных признаков при классификации гиперспектральных изображений // Журнал Сибирского федерального университета. Серия «Техника и технологии» (в печати).
5. Vermillion S. C., Sader S. A. Use of the Minimum Noise Fraction (MNF) Transform to Analyze Airborne Visible/Infrared Imaging Spectrometer (AVIRIS) Data of Northern Forest Types // AVIRIS Workshop. - JPL Publication. - 1999. - 7 p.
6. Потатуркин О.И. Борзов С.М. Обработка гиперспектральных спутниковых изображений при исследовании антропогенных и природных объектов [Электронный ресурс]. -Режим доступа: http://conf.ict.nsc.ru/dicr2014/ru/reportview/248576.
7. Cristianini N., Shawe-Taylor J. An Introduction to Support Vector Machines and other kernel-based learning methods / Cambridge University Press, 2000. - 198 p.
8. Кузнецов А.В., Мясников В.В. Сравнение алгоритмов управляемой поэлементной классификации гиперспектральных изображений // Компьютерная оптика. - Самара: СГАУ. - 2014. - Том № 38-1. - C. 494-502.
© И. А. Пестунов, П. В. Мельников, 2015
