CC BY
49
УДК 528.72:004.93
КЛАССИФИКАЦИЯ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СООТНОШЕНИЙ ЯРКОСТЕЙ РАЗЛИЧНЫХ КАНАЛОВ
Марк Александрович Гурьянов
Новосибирский государственный университет, 630090, Россия, г. Новосибирск, ул. Пирогова, 2, студент, тел. (923)172-73-00, e-mail: mark-guryanov@yandex.ru
Сергей Михайлович Борзов
Институт автоматики и электрометрии СО РАН, 630090, Россия, г. Новосибирск, пр. Академика Коптюга, 1, кандидат технических наук, зав. лабораторией, (383)330-90-33, e-mail: borzov@iae.nsk.su
В работе предложены модификации метода спектрального угла, осуществляющие анализ разброса значений пикселей в пространствах признаков-углов. Эффективность данных модификаций исследована на двух тестовых гиперспектральных изображениях и сравнена с некоторыми распространёнными методами классификации путём сопоставления достигаемых ими точностей классификации.
Ключевые слова: дистанционное зондирование Земли, обработка гиперспектральных данных, спектральные признаки, угловые признаки.
HYPERSPECTRAL IMAGE CLASSIFICATION BASED ON THE BRIGHTNESS RATIO OF VARIOUS CHANNELS
Mark A. Guryanov
Novosibirsk State University, 2, Pirogova St., Novosibirsk, 630090, Russia, Student, phone: (923)172-73-00, e-mail: mark-guryanov@yandex.ru
Sergey M. Borzov
Institute of Automation and Electrometry SB RAS, 1, Prospect Аkademik Koptyug St., Novosibirsk, 630090, Russia, Ph. D., Head of Laboratory, phone: (383)330-90-33, e-mail: borzov@iae.nsk.su
In this paper, we propose modifications of Spectral Angle Mapper method, which analyse the scatter of pixel values in angular features spaces. The efficiency of these modifications is tested on two different hyperspectral images and compared with the efficiency of some common classification methods by matching the overall accuracies that are achieved by them.
Key words: remote sensing, hyperspectral image classification, spectral features, angular features.
Введение. В настоящее время развитие средств ДЗЗ характеризуется внедрением технологий гиперспектральной съёмки в видимом и ближнем инфракрасном диапазонах. При подобной съемке формируется насколько десятков или даже сотен изображений в узких спектральных зонах. С учетом того, что спектры поглощения различных веществ и материалов уникальны, такой подход позволяет определять тип и состояние растительности и почвенного покрова, идентифицировать материал наблюдаемых объектов. Высокое спектральное
разрешение дает в тысячи раз больше информации об объекте наблюдения, чем человеческое зрение.
В то же время перспективы применения и ценность гиперспектральных данных по сравнению с обычными мультиспектральными остаётся под вопросом, особенно если учесть затраты, необходимые на регистрирующее оборудование, а также передачу, обработку и хранение гигантского объема поступающей информации. Использование гиперспектральных данных оправдано в задачах, которые не могут быть решены средствами мультиспектральной съемки, в частности, при классификации подклассов поверхности, отличающихся не только типом материала, но и его состоянием. Но проблема заключается в том, что классические методы попиксельной классификации демонстрируют недостаточно большую точность при работе с гиперспектральными данными. В настоящий момент известны ряд подходов к увеличению точности классификации. Один из них основан на учете соотношений яркостей пикселей в различных спектральных каналах.
Целью работы является исследование эффективности методов классификации типов растительности, основанных на учете соотношений яркостей в различных каналах гиперспектральных изображений.
Методы попиксельной спектральной классификации. Спектральная классификация типов подстилающей поверхности по авиационным и спутниковым мульти- и гиперспектральным изображениям осуществляется на основе анализа диаграмм рассеяния значений пикселей в многомерном пространстве признаков, в качестве которых используются яркости в отдельных каналах. Процедура состоит из двух этапов: обучения и отнесения пикселей к наиболее близкому классу. На первом этапе в многомерном пространстве признаков на основе анализа обучающих выборок (наборов пикселей, для которых известны классы) определяются области (кластеры), в которых наиболее часто встречаются пиксели каждого из классов. На втором этапе анализируется близость классифицируемых пикселей к сформированным кластерам. Различные методы классификации отличаются между собой, в первую очередь, способом определения указанной близости.
Для попиксельной классификации широко применяются несколько методов. Кратко опишем их суть.
Метод минимального расстояния (Minimum Distance, MinDist) для оценивания близости классифицируемых пикселей к сформированным классам использует простейшую меру - обычное Евклидово расстояние в многомерном пространстве признаков.
Метод классификации по максимальному правдоподобию (Maximum Likelihood, ML) основан на определении плотности распределения пикселей обучающей выборки в выбранной системе признаков. При этом в качестве меры близости используется евклидово расстояние от классифицируемого пикселя до центра кластера, нормированное на среднеквадратичное отклонение класса в данном направлении. Отсюда следует, что при равных расстояниях от классифицируемого пикселя до двух кластеров результатом классификации определя-
ет именно разброс данных. В реализации программного пакета ENVI в этом методе предполагается нормальный закон распределения классов, причём для каждого класса используется своя матрица ковариации.
Метод опорных векторов (SVM) учитывает только ближайшие к разделяющей границе пиксели и формирует ее таким образом, чтобы максимально увеличить расстояние от границы до классифицируемого объекта. В случае, если построить поверхность, разделяющую пиксели двух классов, не удается, она формируется так, чтобы максимально уменьшить количество пересечений классов (на основе расчета суммы штрафов). В [5] показано, что именно метод SVM целесообразно использовать в условиях недостаточного объёма обучающих данных.
Общим недостатком перечисленных методов является то, что они основываются на абсолютных значениях яркостей пикселей в различных спектральных каналах, тогда как известно, что для классификации реальных изображений более информативными является соотношения яркостей различных каналов. Это свойство в частности широко используется при оценке состояния растительного покрова: нормализованный вегетационный индекс (NDVI), коротковолновый вегетационный индекс (SWVI), индекс стресса (MSI) и т.п. Для обработки муль-ти и гиперспектральных изображений с целью более полного учета различных соотношений поканальных яркостей предложен метод спектрального угла (Spectral Angle Mapper, SAM) [1][6].
Данный метод основан на определении кластера, для которого угол между вектором, направленным из начала координат к центру этого кластера, и вектором, направленным из начала координат к классифицируемому пикселю, минимален. Другими словами, если для каждого из К кластеров-классов обучающей выборки определить средний вектор как
7 = 1
где к = 1, К, Sk - число пикселей -го класса в обучающей выборке, xj - j-й пиксель к-го класса в обучающей выборке, то классифицируемый пиксель х относят к классу
. ( (х,хк) \
с = argmin { arccos I ^^—,, , ,, I }
к 1 Vll*ll*ll*kllyJ
где (*,*) означает скалярное произведение векторов, ||*|| - евклидова норма вектора.
Как ясно из описания SAM, он, подобно методу минимального расстояния, основывается лишь на близости классифицируемого пикселя к центрам кластеров, представляющих различные классы, и не учитывает на их распределении в многомерном пространстве признаков. Однако, как показано в [2], методы,
учитывающие распределение классов, как правило, демонстрируют более высокую точность классификации. По этой причине целесообразно рассмотреть и сравнить между собой различные способы учета параметров кластеров при реализации метода SAM.
Один из таких способов использует классификацию по показателю сопряжённости [3]. При его реализации вместо вычисления угла между классифицируемым пикселем и средним вектором класса вычисляется угол между вектором и подпространством, натянутым на множество векторов из этого класса. Однако, классификация по показателю сопряжённости, так же, как и метод SAM, при вычислении угла и отнесении рассматриваемого пикселя к одному из классов никак не учитывает плотность распределения данных в кластерах. Поэтому возникла идея модифицировать метод SAM таким образом, чтобы при соотнесении классифицируемого пикселя с кластерами классов обучающей выборки учитывались не только углы между пикселем и средними значениями кластеров (или подпространствами), но и разброс углов между классифицируемым пикселем и пикселями обучающей выборки каждого класса.
Вышеописанная идея осуществлялась путём перевода пикселей-векторов исходного изображения в некоторое пространство признаков-углов, после чего проводилась классификация полученных пикселей-углов методом ML. Рассмотрены два варианта перевода исходных пикселей в пространство углов:
1) преобразование пикселей-векторов в N-мерные сферические координаты с последующим отбрасыванием радиальной координаты, показывающей уровень яркости пикселя (N-1 признаков-углов), следующим образом:
Xi
фг = arcctg
ф2 = arcctg
+ xN_ 12 + ••• + х22
_£2_
^xN2 + xN_12 + ••• + х32
XN-2
Фы—2 = arcctg
= 2 * arcctg
V XN2 +*N-12
XN-1 + V XN2 +XN-12 XN
2) вычисление углов между исходным пикселем-вектором и всеми координатными осями исходного К-мерного Евклидова пространства (К признаков-углов) следующим образом:
ф^ = arccos V i = l,N
Jx±2 + х22 + — + XN2
Исходные данные. Исследование эффективности вышеописанных алгоритмов классификации проводилось на двух изображениях.
Первое изображение является фрагментом снимка AVIRIS местности Indian Pines на северо-востоке штата Индиана (США). Данный фрагмент имеет размер 145x145 пикселей, пространственное разрешение ~ 20 метров на пиксель, 220 спектральных каналов в диапазоне 0.4 - 2.5 мкм. Один из каналов этого изображения представлен на рис. 1 слева. Для этого фрагмента имеется карта классов, составленная по наземным наблюдениям и отмечающая 16 классов и неклассифицированную область, представлена на рис. 1 справа.
Рис. 1. Один из 220-ти каналов изображения Indian Pines (слева)
и его карта классов (справа)
Второе изображение также получено с помощью сенсора AVIRIS над Salinas Valley, штат Калифорния (США). Изображение имеет размер 217x512 пикселей и 224 спектральных канала. В отличие от первого изображения, это характеризуется высоким пространственным разрешением - 3.7 метров на пиксель. Один из каналов этого изображения представлен на рис. 2 слева. Карта классов для данного изображения также содержит 16 классов и неклассифицированную область, представлена на рис. 2 справа.
Рис. 2. Один из 224-х каналов изображения Salinas (слева) и его карта классов (справа)
Экспериментальные результаты. В [4] показано, что для того, чтобы метод ML давал приемлемые результаты классификации пикселей в N-мерном мультиспектральном пространстве, необходимо, чтобы в обучающей выборке в каждом классе присутствовало не менее (N+1) пикселей (и это теоретический минимум). В случае первого тестового изображения, имеющего 220 каналов, в обучающую выборку были случайным образом взяты по 221-му пикселю из тех классов, размер которых позволял взять столько пикселей. Четыре класса из 16-ти имеют меньший объём, поэтому в первом тесте эти классы не рассматривались (т.е. не учитывались при подсчёте точности классификации). Во втором тестовом изображении (224-хканальном) все классы имеют достаточно большой объём, поэтому в обучающую выборку были включены по 450 случайных пикселей каждого из 16-ти классов. Тестовая выборка в обоих тестах состояла из всех пикселей каждого изображения, не вошедших в обучающую выборку.
Для оценки эффективности классификации сформированные картосхемы сопоставлялись с подспутниковыми данными. В качестве критерия используется результирующая точность классификации (overall accuracy), определяемая как процент верно классифицированных пикселей изображения, т.е. пикселей, отнесённых к тому классу, которым он помечен на карте классов.
В табл. 1 приведены результаты классификации тестовых изображений методами MinDist и SAM. В табл. 2 представлены результаты классификации изображения Indian Pines методами SVM (с линейным ядром) и ML, в исходном пространстве признаков и двух пространствах признаков-углов: в сферических координатах (n-dim. sphere) и в углах между исходными векторами и координатными осями (coord. angles). Здесь классификация проводилась как по полному набору признаков, так и по 20-ти наиболее информативным компонентам MNF-преобразования [2].
Таблица 1
Проценты точности классификации изображений методами MinDist и SAM
Метод классификации Изображение
Indian Pines Salinas
MinDist 41,13 75,78
SAM 43,68 76,33
Таблица 2
Проценты точности классификации изображения Indian Pines
Метод классификации Пространство признаков Количество признаков
все каналы MNF, 20 компонент
SVM, линейное ядро обычное 82,57 85,99
n-dim. sphere 84,19 86,37
coord. angles 86,38 86,85
ML n-dim. sphere 41,84 88,2
coord. angles 42,35 88,11
В табл. 3 приведены аналогичные результаты для изображения Salinas.
Таблица 3
Проценты точности классификации изображения Salinas
Метод классификации Пространство признаков Количество признаков
все каналы MNF, 20 компонент
SVM, линейное ядро обычное 92,27 92,77
n-dim. sphere 91,36 92,24
coord. angles 92,17 92,6
ML n-dim. sphere 86,21 92,38
coord. angles 86,44 93
Из приведённых таблиц видно, что хоть метод ML при классификации в пространстве углов не всегда приводит к улучшению точности по сравнению с обычной классификацией методом SAM, при дополнительном выделении в пространстве углов между исходными векторами и координатными осями (coord. angles) 20-ти наиболее информативных MNF-компонент и последующей классификации метод ML даёт гораздо лучшие результаты, чем обычный SAM, а также превосходит метод SVM с линейным ядром.
Заключение. Изучены существующие модификации метода SAM. Предложена модификация метода SAM, осуществляющая анализ разброса значений углов в многомерном пространстве признаков. Описанная модификация была реализована путём перевода исходного изображения в угловое пространство двумя способами: преобразованием пикселей-векторов в N-мерные сферические координаты с последующим отбрасыванием радиальной координаты и вычислением углов между исходным пикселем-вектором и всеми координатными осями исходного N-мерного Евклидова пространства. Исходные и полученные изображения классифицировались методами SAM, SVM и ML, после чего сравнивались результаты классификаций этими методами.
Показано, что классификация методом ML по 20-ти наиболее информативным компонентам MNF-преобразования признаков-углов между исходными векторами и координатными осями значительно превосходит по точности классификацию методом SAM в исходном пространстве признаков, а также оказывается лучше, чем классификация методом SVM с линейным ядром по тем же 20-ти признакам.
Исследование выполнено за счет средств субсидии на финансовое обеспечение выполнения государственного задания №АААА-А17-117052410034-6 в ИАиЭ СО РАН.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Kruse, F. A., Lefkoff, A. B., Boardman, J. B., Heidebrecht, K. B., Shapiro, A. T., Barloon, P. J. and Goetz, A. F. H., The Spectral Image Processing System (SIPS) - Interactive Visualization and Analysis of Imaging Spectrometer Data. Remote Sensing of Environment. 1993, 44, pp.145-163.
2. Борзов С.М., Потатуркин А.О., Потатуркин О.И., Федотов А.М. Исследование эффективности классификации гиперспектральных спутниковых изображений природных и антропогенных территорий // Автометрия. 2016. 52, № 1. С.3-14.
3. В. А. Фурсов, С. А. Бибиков, О. А. Байда, Тематическая классификация гиперспектральных изображений по показателю сопряжённости, КО, 2014, том 38, выпуск 1, 154-158
4. Richards, J.A., Remote Sensing Digital Image Analysis. Springer-Verlag, Berlin, 2013, p. 494.
5. Борзов С.М., Потатуркин О.И. Классификация типов растительного покрова по гиперспектральным данным дистанционного зондирования земли // Вестник НГУ: информационные технологии. 2014. №.4. С.13-22.
6. Бучнев А. А., Пяткин В. П. Классификация с обучением гиперспектральных данных дистанционного зондирования земли // Интерэкспо ГЕО-Сибирь-2017. XIII Междунар. науч. конгр. : Междунар. науч. конф. «Дистанционные методы зондирования Земли и фотограмметрия, мониторинг окружающей среды, геоэкология» : сб. материалов в 2 т. (Новосибирск, 17-21 апреля 2017 г.). - Новосибирск : СГУГиТ, 2017. Т. 2. - С. 8-12.
© М. А. Гурьянов, С. М. Борзов, 2018
