CC BY
170
СРАВНЕНИЕ АЛГОРИТМОВ УПРАВЛЯЕМОЙ ПОЭЛЕМЕНТНОЙ КЛАССИФИКАЦИИ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЙ
Кузнецов А.В., Мясников В.В.
Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет) (СГАУ)
Аннотация
Настоящая работа посвящена решению задачи выбора наилучшего алгоритма классификации гиперспектральных изображений (ГСИ). В сравнении участвуют следующие алгоритмы: дерево решений с использованием функционала скользящего контроля, дерево решений С4.5 (С5.0), байесовский классификатор, метод максимального правдоподобия, классификатор, минимизирующий СКО решения, включая частный случай - классификацию по сопряжённости, классификатор по спектральному углу (для эмпирического среднего и ближайшего соседа), а также метод опорных векторов (БУМ). В работе приведены результаты исследований этих алгоритмов на гиперспектральных снимках, полученных со спутника ЛУШ1Б и в рамках проекта БрееИЯ.
Ключевые слова: гиперспектральное изображение, дерево решений, С5.0, Байес, ММП, СКО, классификация по сопряжённости, классификация по спектральному углу, БУМ.
Введение
Гиперспектральные космические снимки всё чаще используются при решении прикладных задач обработки изображений [1-3]. Отличительной особенностью данного вида изображений является большое количество спектральных компонент. Так, к примеру, снимки, полученные с космического спутника EO-1 Hyperion, имеют 220 спектральных каналов, распределённых на частотном диапазоне от 0,4 до 2,5 мкм.
В силу большого объёма данных многие известные методы анализа цифровых изображений не могут быть использованы в их существующей реализации ввиду высокой вычислительной сложности и неспособности выполнить обработку за приемлемое время. Поэтому специалистам в обработке изображений приходится вновь решать классические задачи анализа цифровых изображений, дорабатывать существующие методы, встраивать дополнительные этапы предобработки и снижения размерности признакового пространства.
Наиболее важными задачами анализа цифровых ГСИ являются задачи компрессии [4], сегментации [5], неуправляемой поэлементной классификации [6], управляемой поэлементной классификации (тематического дешифрирования) [7, 8] и спектрального разложения [9]. Последние две задачи для ГСИ чаще всего ставятся и решаются в режиме классификации отдельных отсчётов [7, 9], хотя возможны и другие постановки [8].
Задача тематического дешифрирования решается учёными в направлении разработки новых алгоритмов и сравнения некоторых отдельных подходов к классификации ГСИ. В работе авторов H. Shafri, A. Suhaili, S. Mansor [10] приводится сравнение метода максимального правдоподобия, дерева решений, нейронной сети, классификации по спектральному углу для одного типа ГСИ (AISA) для исследования типов растительности. В работе авторов K. Perumal и R. Bhaskaran [11] также приводится краткий анализ результатов классификации изображений, полученных со спутника IRS-P6, при помощи нейронных се-
тей, метода максимального правдоподобия и дерева решений. Следует отметить, что эти обзоры не предоставляют общей картины результатов анализа методов на различных типах космических снимков, а только описывают результаты в конкретных сферах применения: анализ растительности, состояние лесного фонда. Цель настоящей работы - восполнить указанный пробел, дополнив представленную картину результатами анализа широкого спектра популярных алгоритмов классификации и нескольких типов гиперспектральных изображений.
В первом разделе работы представлена математическая постановка задачи тематического дешифрирования ГСИ. Во втором разделе приводится описание метода главных компонент, предназначенного для снижения размерности ГСИ и применяемого во многих ситуациях до использования конкретных классификаторов. Третий раздел посвящён описанию процедуры оценки результатов классификации. В четвёртом разделе приводится описание анализируемых алгоритмов классификации в рамках терминологии ГСИ. В качестве методов классификации нами были выбраны: дерево решений с использованием функционала скользящего контроля, дерево решений С4.5 (С5.0), байесовский классификатор, метод максимального правдоподобия, классификатор, минимизирующий СКО решения, включая частный случай -классификацию по сопряжённости, классификатор по спектральному углу (для эмпирического среднего и ближайшего соседа), а также метод опорных векторов (БУМ). Этот выбор обусловлен большим числом публикаций, посвящённых доработке и развитию данных подходов [7-9]. В части описания алгоритма на основе дерева решений в статье предлагается доработка, связанная с использованием функционала скользящего контроля [12], что позволяет обеспечить рациональный выбор окончательного решения с точки зрения проблем недообучения и переобучения. В последующих частях работы мы предлагаем результаты
сравнительного анализа выбранных алгоритмов классификации, часть из которых реализована в прикладных программных комплексах (ENVI), а также приводим рекомендации по использованию тех или иных методов для отдельных типов изображений.
1. Постановка задачи классификации
Пусть ГСИ определено как отображение вида:
b
f : N^ х N n2 ® Fb, fk (i, j )e F
где N1, N2 e N - линейные размеры изображения по вертикали и горизонтали соответственно, NN с N, NN с N - целые числа до N1 и N2 соответственно, F - множество значений функции яркости изображения, характеризующее способ получения изображения, в - количество спектральных каналов ГСИ.
Каждый находящийся в позиции (i'J) отсчёт ГСИ будем обозначать следующим образом:
x,, f 0 (i, J), f1 (i, J),.., f(i, J))' .
Для упрощения выражений в последующем изложении индексы, отвечающие за местоположение конкретного отсчёта, будем опускать. При этом на вектор x будем ссылаться так же, как на вектор признаков (соответствующего отсчёта ГСИ).
Пусть определено разбиение множества отсчётов ГСИ О на L непересекающихся подмножеств О,, соответствующих предопределённым классам:
L-1
о = у о,,о,, n оj = 0,i ф j .
l =0
На реальных ГСИ отсчёты, относящиеся к конкретным классам/подмножествам О,, соответствуют некоторым реальным объектам и/или материалам.
Задача классификации заключается в построении решающей функции, которая по конкретному вектору признаков x ставит в соответствие номер класса l, которому он принадлежит.
По причине большого количества спектральных каналов в ГСИ (как правило, от 120 до 400 каналов) в задачах их анализа обычно возникает необходимость снижения размерности. Для решения этой задачи существуют различные подходы [13]: метод главных компонент, факторный анализ, метод случайных проекций, самоорганизующиеся карты Ко-хонена и др. В данной работе мы не ставим задачу выбора наилучшего способа снижения размерности пространства признаков ГСИ, поэтому будем использовать наиболее известный метод главных компонент (PCA - Principle Component Analysis) для достижения этой цели. В качестве наилучшей аппроксимации исходных данных используются коэффициенты представления гиперспектрального отсчёта с использованием ортонормированного набора собственных векторов ковариационной матрицы анализируемого ГСИ, расположенных в порядке убывания их собственных значений.
2. Метод главных компонент
Как известно, метод главных компонент сводится к вычислению собственных значений корреляционной матрицы анализируемого ГСИ. Для построения корреляционной матрицы введём вектор эмпирических средних по всем спектральным компонентам ГСИ:
й = —1— V X .
N
Тогда оценка ковариационной матрицы с размерами рхр будет вычисляться следующим образом:
В :
V S( x-m)( x
NjN2 xeQ
Так как данная матрица, являясь оценкой ковариационной матрицы, симметрична и неотрицательно определённа, будем использовать алгоритм вычисления максимальных собственных значений, который позволит получать упорядоченный по убыванию собственных значений набор собственных векторов. Алгоритм заключается в том, что на каждой следующей итерации из корреляционной матрицы вычитается её проекция на вычисленную главную компоненту на предыдущей итерации:
Б('+1) = Б« -Iм Vм (V«)7 ,
где 1(,), v(') - собственное значение и соответствующий собственный вектор, вычисленные на итерации I. Остановка процесса может быть произведена двумя способами:
• до начала разложения известно число главных компонент К;
• на итерации К выполняется условие
||l(K ]-1K-1)|
< e.
где е - некоторая априорно заданная пороговая величина.
Реализация вычисления ковариационной матрицы производится в режиме построчного чтения изображения, что является эффективным при анализе ГСИ и не требует хранения всего анализируемого изображения в оперативной памяти.
В результате применения метода формируется новое изображение, каждый пиксель которого является вектором признаков размерности К<в и получается в ходе разложения исходного вектора признаков по набору собственных векторов:
§ = А7 х ,
где матрица А имеет размерность [¡хК и сформирована из собственных векторов матрицы В следующим образом:
A = ( v(0)
„(к-1)
3. Оценка результатов классификации
При настройке классификатора разобьём множество отсчётов ГСИ каждого класса I на обучающее О0 (обу-
чающая выборка) и контрольное О) (контрольная выборка) так, чтобы О, = О0 и О) и О0 П О) = 0 , тогда:
i-i i-i
О = О0 иО1, О0 = У О0, О1 = у О) .
1=0 1=0
В основе процедуры классификации лежит методика скользящего контроля. Скользящий контроль (кросс-проверка или кросс-валидация (cross-validation, CV) [16]) - процедура эмпирического оценивания обобщающей способности алгоритмов, обучаемых по прецедентам. Она заключается в С-кратном разбиении исходного множества отсчётов ГСИ на 2 выборки: обучающую и контрольную. Для каждого разбиения производится настройка классификатора на обучающей выборке, а затем вычисляется значение качества классификатора на контрольной выборке. Более подробно эта процедура будет описана далее в разделе «Дерево решений».
В качестве критерия качества будем использовать отношение верно классифицированных отсчётов ГСИ из контрольной выборки к общему количеству элементов контрольной выборки. Данная величина будет введена в части экспериментальных исследований настоящей работы.
4. Алгоритмы поэлементной классификации ГСИ
Классификаторы, использующие оптимальные статистические стратегии классификации
Байесовский классификатор
В качестве решающей функции байесовского классификатора выступает следующая [14]:
"к Ф1
p(x / О,) P(О,)> p(x / Ок)P(Ок) ^ x е О,, где P (О,),P (Ок) - априорные вероятности для классов О, и Ок соответственно, p (x / О,), p (x / Ок) -
плотность распределения вероятности.
Оценки априорных вероятностей могут быть вычислены по следующей формуле:
p (О, ) = L_q..
Оценки плотностей распределения вероятностей (гауссовский случай и оценка методом Парзена) представлены далее.
Метод максимального правдоподобия
Метод максимального правдоподобия [12] осуществляет классификацию конкретного вектора признаков x в класс , в соответствии со следующим правилом [14]:
, = arg max p(x / О,).
к=0,L-i к'
Очевидно, данный классификатор, реализующий решающее правило вида:
"к Ф, p (x / О, )> p (x / Ок) ^ x е О,,
совпадает с байесовским классификатором для случая равных априорных вероятностей.
В работе рассматриваются два способа построения оценки плотности распределения вероятностей: с учётом предположения о нормальном распределении векторов-признаков и с применением непараметрической оценки типа оценки Парзена.
Используемые плотности - гауссовский случай В основе лежит использование плотности распределения вероятностей вида:
p (x / О, ) =
1
-i(x-ц, )T B-1 (x-ц,)
b f—т
(2p)4 |B,|
где , Б, - математическое ожидание и корреляционная матрица класса I, вычисленные на основе множества отсчётов ГСИ обучающей выборки 0°.
Используемые плотности - оценка Парзена
Данный метод позволяет строить оценку плотности распределения путём представления плотности в виде линейной комбинации функций ядра [14]. Для этого вокруг вектора признаков х строится К-мерный гиперкуб с длиной стороны И. Далее введём функцию ядра х-х%), удовлетворяющую следующему условию:
| Х(х)^х = 1.
яК
Тогда выражение для оценки плотности распределения примет вид:
p(z) = i Z TKx
|О° ,:xt00 hK
h
В качестве функции ядра может выступать, например, ядро Гаусса:
x
x - xJ h
1
V2P
exp
r (x - xj )T (x - xj) ^ 2h
Дерево решений Деревом решений [15] называется иерархическая структура, нетерминальные вершины которой определяют разбиение пространства признаков, а терминальные - элементарную функцию классификации (в простейшем случае - номер класса). В процессе построения решающей функции р область определения, представляющая собой К-мерный гиперкуб, последовательно разбивается по осям и порождает древовидную структуру. Существуют различные стратегии построения деревьев решений. В рамках настоящей работы мы исследуем эффективность двух из них.
Синтез дерева решений с использованием полного скользящего контроля
Для получения оценки обобщающей способности обучения в работе используется подход, основанный на
e
x - x
комбинаторной теории надёжности обучения по прецедентам К.В. Воронцова [12, 16]. Основные исследования в комбинаторной теории направлены на то, чтобы показать, как именно следует проводить настройку параметров, чтобы избежать проблемы переобучения.
В основе настройки процедуры обучения в рамках комбинаторного подхода лежит функционал, характеризующий качество обучения на конечной выборке, который инвариантен относительно произвольных перестановок выборки.
Одним из параметров реализованного алгоритма является количество разбиений исходной выборки на обучающую и контрольную - N. Введём частоту ошибок и(р(О0), О1) решающей функции р, построенной на основе выборки О0 и проверяемой по выборке О1. Функционал полного скользящего контроля характеризует качество решающей функции и имеет следующий вид: 1 N
q (()=1 £и(р(о°), о1 ).
n и=1
Пусть далее ^ («1, п2 ) - изображение, представляющее обучающую выборку отсчётов ГСИ О0, а
fp («1,«2 ), п1 е 0, n1 -1,«2 е 0, n2 -1 - изображение,
соответствующее идеальному разбиению анализируемого изображения. Тогда под ошибкой классификации для заданной выборки будем понимать значение следующего выражения:
1 N -1 иг -1
е = V Vi(^ (nl,п2 ), fp (nl,п2 )),
(1)
N1 N2 ,.=0 ;=0
I(а,Ь) =
0, а = Ь
1, а ф Ь
При построении дерева решений возникает задача выбора оптимального порога разбиения по очередному признаку. Оптимальность в этом случае будем понимать как минимизацию суммарной ошибки обработки на обучающей выборке. Порог разбиения для следующей итерации будем вычислять как отклонение среднего значения ошибки классификации по всем терминальным узлам дерева на текущей итерации:
А = е + к о,
где е и о - математическое ожидание и среднеквад-ратическое отклонение значений ошибки классификации для терминальных вершин дерева.
Перед разбиением определяется начальный интервал разбиения:
(уШи, уШах ), У!, УШ„ е fo ( «1, «2 ), к = О^^-1,
в который попадают значения к-го признака с вероятностью 3о , согласно известному «правилу трёх
сигма» [17]:
УШ¡и = Е* - 30, УШ^ = Еу„ + О ,
1 -1 1 N-1 2
где ЕУк = N V Ук(п), О = А N V (Ук(п) - ЕУк) -
N «=0 \ N «=0
оценки математического ожидания и среднеквадра-тического отклонения соответственно для к-го признака ук («). Разбиение производится для тех терминальных вершин, в которых значение ошибки е не превышает заранее заданный порог. После разбиения на очередном шаге значения ошибки пересчитывают-ся для вновь образовавшихся терминальных вершин. Определение признака, оптимального для разбиения, реализуется на основе анализа ошибки классификации (1), вычисленной для контрольной выборки О1. Если эта ошибка на текущей итерации превосходит ошибку на предыдущей, то процесс построения дерева останавливается.
Процедура построения дерева решений производится N раз, а за наилучший способ разбиения дерева принимается тот, для которого значение функционала Q (р) принимает минимальное значение.
Синтез дерева решений с использованием алгоритма С4.5
В работе также проводится классификация при помощи одной из разновидностей дерева решений -С4.5 (С5.0) [18, 19]. Отличительная особенность построения дерева решений при помощи этого алгоритма заключается в том, что выбор признаков осуществляется по критерию минимальной энтропии. Узлы дерева при делении содержат те признаки, которые имеют минимальное значение энтропии относительно обучающей выборки [18].
Классификаторы, основанные на минимизации СКО представления
Классификатор по спектральному рассогласованию
Под спектральным рассогласованием е2 будем понимать ошибку представления неклассифицированного вектора признаков х через вектора признаков обучающей выборки определённого класса I [20]:
е =
V
ах
(2)
где ... - некоторая норма (например, Ь2), а а, - неизвестные коэффициенты представления.
Способ построения классификатора по спектральному рассогласованию заключается в использовании ортогональной проекции X классифицируемого вектора признаков х на линейную оболочку (линейное замыкание), построенную на основе векторов признаков, принадлежащих обучающей выборке класса I [20]. Другими словами, для каждого классифицируемого вектора вычисляется значение спектрального рассогласования:
2 II ||2 |М|2 ^
е = |- х , х, х е О ,
где х = Р±х - проекция вектора признаков из контрольной выборки О1 на множество векторов х е О°.
2
х' еО0
Оператор проектирования P1 получается из условия наименьшей среднеквадратичной ошибки представления вектора-отсчёта х отсчётами из 0° [20]:
p± = V (vtv )-1 VT
(*)
где V - матрица, состоящая из векторов обучающей выборки x eOJ. Исходя из (*), неизвестные коэффициенты представления в (2) вычисляются по следующей формуле a = (VTV ) VT .
В такой постановке решающее правило классификатора заключается в том, что неизвестный вектор будет относиться к тому классу, значение спектральное рассогласования с которым будет минимально.
Модификация данного алгоритма заключается в предварительной нормировке векторов признаков так, чтобы выполнялось условие ||x|| = 1.
В этом случае величина ошибки (2) может быть представлена в виде
e2 = 1 - cos2 (x, X) = sin2 (x, X), x, X e W1,
где синус (или косинус) вычисляется для угла, образованного вектором и его проекцией на линейную оболочку, образованную векторами признаков обучающей выборки W0. В работах авторов [21] такой классификатор, минимизирующий СКО представления в предположении предварительно нормированных векторов, носит название классификатора по сопряжённости.
Классификация по спектральному углу (Spectral Angle Mapper Classification - SAM)
SAM по отношению к среднему вектору в классе
Метод классификации по спектральному углу используется для анализа соответствия спектра неизвестного материала и априорно заданного значения спектра [22]. В терминах ГСИ под спектром понимается вектор признаков, характеризующий отсчёт ГСИ, а априорно заданным спектром является вектор признаков, характеризующий соответствующий класс и вычисляемый по обучающей выборке.
Под спектральным углом 0 будем понимать значение, которое характеризует взаимное расположение вектора признаков x eW1, принадлежащего контрольной выборке, и вектора, описывающего класс l:
( Л
(3)
0,(x) = cos 1
x • x'
x'
где х' - вектор эмпирических средних класса I, построенный по обучающей выборке 0,0 .
Решающее правило данного классификатора заключается в минимизации значения спектрального угла 0' (х). Значение спектрального угла показывает,
насколько направление классифицируемого вектора близко к направлению вектора, описывающего класс '.
SAM по ближайшему соседу
Вторым вариантом построения классификатора является использование вместо вектора эмпирических средних класса , вектора z, выбранного по правилу ближайшего соседа [23] при помощи одной из следующих метрик:
- мера Евклида:
к-1 _
г(x,z) = Z(x(к)-z(к))2 ; к=0
- мера спектрального угла (3);
- мера Танимото:
, x • z
г (x, z) =
|2 I |2
x + z - x • z
Метод опорных векторов (SVM) Метод опорных векторов принадлежит классу линейных классификаторов. В основе алгоритма лежит построение оптимальной разделяющей гиперплоскости между двумя классами [24]. Под оптимальной гиперплоскостью понимается такая, расстояние до которой от ближайших точек двух классов максимально.
Для данного метода каждый вектор признаков x ёО0 характеризуется парой (y, c), где y - нормированный вектор признаков, а c принимает значение -1 или 1 в зависимости от того, к какому классу принадлежит вектор признаков.
Выражение для разделяющей плоскости имеет вид: w • y - b = 0 ,
где w - перпендикуляр к разделяющей плоскости, b -расстояние от гиперплоскости до начала координат. Тогда задача построения оптимальной гиперплоскости сводится к задаче квадратичной оптимизации: ГЦw|| ® min,
1 (4)
[с (w • y - b) > 1,
которая эквивалентна двойственной задаче поиска седловой точки функции Лагранжа (по теореме Куна-Таккера).
Рассмотренный случай соответствует линейной разделяющей функции. Другим вариантом данного алгоритма является использование при решении (4) вместо скалярного произведения нелинейной функции ядра, например, радиальной базисной функции:
h (z1, z2) = exp (-g|| z1 - z2||2), g> 0.
Этот вариант метода опорных векторов является аналогом двухслойной нейронной сети с радиальной базисной функцией (что является причиной отсутствия в исследовании аппарата искусственных нейронных сетей).
Недостатком данного алгоритма является то, что он работает только в случае с двумя классами. Обобщение его на случай L - классов заключается в том, что гиперплоскости строятся между всеми парами классов. Решение об отнесении неизвестного вектора признаков в тот или иной класс принимается по принципу максимального голосования, когда предпоч-
x
тение отдаётся тому классу, в который больше разделяющих границ отнесли этот вектор.
5. Экспериментальные исследования
Для проведения экспериментальных исследований описанных в работе алгоритмов будем использовать ГСИ, полученные со спутника AVIRIS и в рамках проекта SpecTIR. Исследования проводятся на ПК Intel Core i5-3470, 8 Гб ОЗУ.
На изображении, полученном со спутника AVIRIS, представлена тестовая площадка в штате Индиана, США. Изображение имеет размер 145x145 пикселей и состоит из 224 спектральных каналов, расположенных в диапазоне от 0,4 до 2,5 мкм. Сцена содержит сельскохозяйственные поля, лес, а также участок дорожного полотна и железнодорожные пути. Всего на изображении присутствует 16 классов. Исходное изображение (слева) и маска разбиения на классы (справа) представлены на рис. 1.
Рис. 1. Изображение Indian_pines, A VIRIS В качестве другого тестового изображения будем использовать изображение, полученное на территории г. Бэлтсвил, Мэрилэнд, США. ГСИ было сформировано в рамках проекта SpecTIR для проведения мониторинга в сельскохозяйственных целях. Оно имеет размер 600x320 пикселей и содержит 360 спектральных компонент, расположенных в диапазоне от 0,4 до 2,5 мкм. Изображение содержит объекты, принадлежащие четырём классам: лес, трава, обработанная пашня и ранние всходы. На рис. 2 представлены исходное изображение (слева) и его разбиение на классы (справа).
Рис. 2. Изображение Beltsville, SpecTIR
На изображениях масок также присутствует так называемый «исключаемый» класс, который обозначается «0». Пиксели анализируемого изображения, принадлежащие этому классу, при обучении и классификации не учитываются.
Для каждого изображения сначала будет произведено снижение размерности, а затем проведено обучение и классификация шестью описанными выше алгоритмами. Введём обозначения классификаторов:
БК Байесовский классификатор
Дерево решений
ДР(1) С использование функционала скользящего контроля
ДР(2) На основе алгоритма C4.5 (C5.0)
Метод максимального правдоподобия
ММП(1) Гауссовский случай
ММП(2) Оценка Парзена
Классификатор,
минимизирующий СКО представления
СКО(1) Ненормированный вариант
СКО(2) Нормированный вариант
Классификатор на основе спектрального угла
СУ(1) По отношению к среднему вектору
СУ(2 1) По ближайшему соседу (мера Евклида)
СУ(2_2) По ближайшему соседу (мера спектрального угла)
СУ(2 3) По ближайшему соседу (мера Танимото)
Метод опорных векторов
SVM(1) Для линейной разделяющей функции
SVM(2) Для радиальной базисной функции
В качестве критерия качества классификации будем использовать среднее относительное количество верно распознанных пикселей, принадлежащих контрольной выборке О1, среди С запусков процедуры скользящего контроля для каждого алгоритма классификации:
K = 1-
1 с-1 с-о1 60 '
где z - количество всех несовпадении результатов классификации с истинными значениями классов в маске для i-го разбиения изображения на обучающую и тестовую выборки.
В рамках использования методики скользящего контроля будем разбивать обучающую и контрольную выборки в отношении 60:40 при С = 10.
Как было сказано выше, алгоритмы классификации будут применяться для изображений, полученных в результате снижения размерности методом главных компонент. Так, для изображения In-dian_pines выявлено 4 собственных вектора, разложение по которым позволяет сохранить большую часть информации ГСИ, а для изображения Beltsville - 8.
Результаты исследований алгоритмов классификации приведены в табл. 1 и на рис. 3. В случае, если использование конкретного варианта классификации оказывалось численно неустойчивым (например, нереализуемым в среде Matlab ввиду плохой обусловленности промежуточных данных), в соответствующей ячейке таблицы ставится прочерк.
Табл. 1. Результаты классификации
Алгоритм Indian_pines, K Beltsville, K
Без PCA PCA Без PCA PCA
ДР(1) - 0,75 - 0,94
ДР(2) - 0,77 - 0,98
БК - 0,68 - 0,98
ММП(1) - 0,63 - 0,96
ММП(2) - 0,64 - 0,96
СКО(1) 0,52 - 0,75 -
СКО(2) 0,541 - 0,73 -
СУ(1) 0,46 0,56 0,57 0,77
СУ(2 1) 0,45 0,69 0,56 0,89
СУ(2 2) 0,44 0,71 0,57 0,92
СУ(2 3) 0,44 0,7 0,54 0,9
SVM(1) - 0,78 - 0,96
SVM(2) - 0,83 - 0,98
Рис. 3. Результаты классификации алгоритмом ДР
Из результатов, приведённых в таблице, видно, что наилучшее значение показателя качества классификации достигается использованием классификатора на основе метода опорных векторов с применением радиальной базисной функции, а также дерева решений на базе алгоритма С4.5 (С5.0). Следует отметить также ряд алгоритмов, показывающих высокие результаты классификации на обоих типах изображений: дерево решений на основе функционала скользящего контроля, а также классификаторы, минимизирующие СКО представления.
1 Модификация алгоритма СКО(2), предложенная авторами в [21], позволяет достичь значения критерия качества для изображения 1п&ап_рте8 - 0,72. В качестве модификации были использованы:
- вычитание среднего вектора по изображению;
- использование методики иерархического «дробления» классов на максимально разделимые подклассы.
Без указанных модификаций достигнутая в работе [21] оценка качества составила 0,63 (параметры кросс-валидации отличаются от используемых в настоящей работе).
Выводы и рекомендации Результаты проведённых исследований показывают, что наилучшими показателями качества верной классификации обладают алгоритмы SVM и деревья решений при использовании РСА. Использование спектральных сигнатур ГСИ в качестве признаков приводит либо к низкому качеству классификации, либо к невозможности построения некоторых классификаторов. Этот факт также объясняет целесообразность применения методов снижения размерности пространства признаков или использования алгоритмов вычисления новых признаков по исходным данным ГСИ. В дальнейшем планируется применить другие методы снижения размерности (например, нелинейный метод главных компонент) и сравнить результаты с полученными в данной работе.
Благодарности Работа выполнена при частичной финансовой поддержке:
- грантов РФФИ: проекты № 13-07-12103-офи-м, 13-01-12080-офи-м, 12-07-00021-а;
- программы фундаментальных исследований Президиума РАН «Фундаментальные проблемы информатики и информационных технологий»: проект 2.12;
- Министерства образования и науки Российской Федерации в рамках:
- постановления Правительства Российской Федерации от 09.04.2010 г. № 218: договор № 02.Г36.31.0001 от 12.02.2013;
- реализации мероприятий Программы повышения конкурентоспособности СГАУ среди ведущих мировых научно-образовательных центров на 20132020 годы.
Литература
1. Datt, B Preprocessing EO-1 Hyperion hyperspectral data to support the application of agricultural indexes / B. Datt, T.R. McVicar, T.G. Van Niel, [et al.] // IEEE Transactions On Geoscience And Remote Sensing. - 2003. -Vol. 41(6). - P. 1246-1259.
2. Metternicht, G.I. Remote sensing of soil salinity: potentials and constraints / G.I. Metternicht, J.A. Zinck // Remote Sensing of Environment. - 2003. - Vol. 85(1). - P. 1-20.
3. Landgrebe, D. Hyperspectral image data analysis / D. Landgrebe // IEEE Signal Processing Magazine. -2002. - Vol. 19(1). - P. 17-28.
4. Гашников, М.В. Иерархическая сеточная интерполяция при сжатии гиперспектральных изображений / М.В. Гашников, Н.И. Глумов // Компьютерная оптика. -2014. - Т. 38, № 1. - С. 87-93.
5. Li, J. Hyperspectral Image Segmentation Using a New Bayes-ian Approach With Active Learning / J. Li, M.J. Bioucas-Dias, A. Plaza // IEEE Transactions On Geoscience And Remote Sensing. - 2011. - Vol. 49(10). - P. 3947-3960.
6. Tarabalka, Yu. Spectral-Spatial Classification of Hyper-spectral Imagery Based on Partitional Clustering Techniques / Yu. Tarabalka, J.A. Benediktsson, J. Chanussot // IEEE Transactions On Geoscience And Remote Sensing. -2009. - Vol. 47(8). - P. 2973-2987.
7. Melgani, F. Classification of hyperspectral remote sensing images with support vector machines / F. Melgani, L. Bruz-
zone // IEEE Transactions On Geoscience And Remote Sensing. - 2004. - Vol. 42(8). - P. 1778-1790.
8. Camps-Valls, G. Kernel-based methods for hyperspectral image classification / G. Camps-Valls, L. Bruzzone // IEEE Transactions On Geoscience And Remote Sensing. -2005. - Vol. 43(6). - P. 1351-1362.
9. Fauvel, M. Spectral and spatial classification of hyperspec-tral data using SVMs and morphological profiles / M. Fauvel, J.A. Benediktsson, J. Chanussot, J.R. Sveinsson // IEEE Transactions On Geoscience And Remote Sensing. - 2008. - Vol. 46(11). - P. 3804-3814.
10. Shafri, H. The Performance of Maximum Likelihood, Spectral Angle Mapper, Neural Network and Decision Tree Classifiers in Hyperspectral Image Analysis / H. Shafri,
A. Suhaili, S. Mansor // Journal of Computer Science. -2007. - Vol. 3(6). - P. 419-423.
11. Perumal, K. Supervised Classification Performance Of Multispectral Images / K. Perumal, R. Bhaskaran // Journal of Computing. - 2010. - Vol. 2(2). - P. 124-129.
12. Копенков, В.Н. Алгоритм автоматического построения процедуры локальной нелинейной обработки изображений на основе иерархической регрессии /
B.Н. Копенков, В.В. Мясников // Компьютерная оптика. - 2012. - Т. 36, № 2. - С. 257-265.
13. Fodor, I. A Survey of Dimension Reduction Techniques / I. Fodor // Technical Report UCRL-ID-148494, Lawrence Livermore National Laboratory - 2002.
14. фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага; пер. с англ. - М.: Наука, 1979. - 368 с.
15. Quinlan, J.R. Induction of Decision Trees /J.R. Quinlan // Machine Learning. - 1986. - Vol. 1(1). - P. 81-106.
16. Математические методы обучения по прецедентам (теория обучения машин). Курс лекций по машинному обучению [Электронный ресурс] / К.В. Воронцов. -2011. - 141 с.
17. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева, В.А. Фурсов; под ред. В.А. Сойфера. - 2-е изд., испр. - М.: Физ-матлит, 2003. - 784 с.
18. C4.5: Programs for Machine Learning / J.R. Quinlan. -San Mateo: Morgan Kaufmann Publishers Inc., 1993. -302 p.
19. Wang, M. A Novel Hyperspectral Classification Method Based on C5.0 Decision Tree of Multiple Combined Classifiers / M. Wang, K. Gao, L. Wang, X. Miu // Proceedings of the 2012 4-th International Conference on Computational and Information Sciences (ICCIS 2012). - 2012. - P. 373-376.
20. Денисова, А.Ю. Обнаружение аномалий на гиперспектральных изображениях / А.Ю. Денисова, В.В. Мясников // Компьютерная оптика. - 2014. - Т. 38, № 2. - С. 287-296.
21. фурсов, В.А. Тематическая классификация гиперспектральных изображений по показателю сопряжённости / В.А. Фурсов, С.А. Бибиков, О.А. Байда // Компьютерная оптика. - 2014. - Т. 38, № 1. - С. 154-158.
22. Sohn, Y. Supervised and unsupervised spectral angle classifiers / Y. Sohn, N.S. Rebello // Photogrammetric Engineering and Remote Sensing. - 2002. - Vol. 68(12). - P. 12711280.
23. Журавлёв, Ю.И. Распознавание. Математические методы. Программная система. Практические применения / Ю. И. Журавлёв, В. В. Рязанов, О. В. Сенько. - М.: Фазис, 2005. - 159 с.
24. Cortes, C. Support-Vector Networks / C. Cortes, V. Vapnik // Machine Learning. - 1995. - Vol. 20(3). - P. 273-297.
References
1. Datt, B Preprocessing EO-1 Hyperion hyperspectral data to support the application of agricultural indexes / B. Datt, T.R. McVicar, T.G. Van Niel, [et al.] // IEEE Transactions On Geoscience And Remote Sensing. - 2003. - Vol. 41(6). -P. 1246-1259.
2. Metternicht, G.I. Remote sensing of soil salinity: potentials and constraints / G.I. Metternicht, J.A. Zinck // Remote Sensing of Environment. - 2003. - Vol. 85(1). - P. 1-20.
3. Landgrebe, D. Hyperspectral image data analysis / D. Landgrebe // IEEE Signal Processing Magazine. - 2002. -Vol. 19(1). - P. 17-28.
4. Gashnikov, M.V. Hierarchical grid interpolation for hyper-spectral image compression / M.V. Gashnikov, N.I. Glumov // Computer Optics. - 2014. - Vol. 38, № 1. - P. 87-93. - (In Russian).
5. Li, J. Hyperspectral Image Segmentation Using a New Bayesian Approach With Active Learning / J. Li, M.J. Bioucas-Dias, A. Plaza // IEEE Transactions On Geo-science And Remote Sensing. - 2011. - Vol. 49(10). -P. 3947-3960.
6. Tarabalka, Yu. Spectral-Spatial Classification of Hyperspec-tral Imagery Based on Partitional Clustering Techniques / Yu. Tarabalka, J.A. Benediktsson, J. Chanussot // IEEE Transactions On Geoscience And Remote Sensing. - 2009. -Vol. 47(8). - P. 2973-2987.
7. Melgani, F. Classification of hyperspectral remote sensing images with support vector machines / F. Melgani, L. Bruz-zone // IEEE Transactions On Geoscience And Remote Sensing. - 2004. - Vol. 42(8). - P. 1778-1790.
8. Camps-Valls, G. Kernel-based methods for hyperspectral image classification / G. Camps-Valls, L. Bruzzone // IEEE Transactions On Geoscience And Remote Sensing. -2005. - Vol. 43(6). - P. 1351-1362.
9. Fauvel, M. Spectral and spatial classification of hyperspec-tral data using SVMs and morphological profiles / M. Fauvel, J.A. Benediktsson, J. Chanussot, J.R. Sveinsson // IEEE Transactions On Geoscience And Remote Sensing. - 2008. - Vol. 46(11). - P. 3804-3814.
10. Shafri, H. The Performance of Maximum Likelihood, Spectral Angle Mapper, Neural Network and Decision Tree Classifiers in Hyperspectral Image Analysis / H. Shafri, A. Suhaili, S. Mansor // Journal of Computer Science. -2007. - Vol. 3(6). - P. 419-423.
11. Perumal, K. Supervised Classification Performance Of Multispectral Images / K. Perumal, R. Bhaskaran // Journal of Computing. - 2010. - Vol. 2(2). - P. 124-129.
12. Kopenkov, V.N. An algorithm for automatic construction of computational procedure of non-linear local image processing on the basis of hierarchical regression / V.N. Kopenkov, V.V. Myasnikov // Computer Optics. -2012. - Vol. 36, № 2. - P. 257-265. - (In Russian).
13. Fodor I. A Survey Of Dimension Reduction Techniques / I. Fodor // Technical Report UCRL-ID-148494, Lawrence Livermore National Laboratory - 2002.
14. Introduction to Statistical Pattern Recognition / K. Fukunaga. - Academic Press, 1990. - 592 p.
15. Quinlan, J.R. Induction of Decision Trees /J.R. Quinlan // Machine Learning. - 1986. - Vol. 1(1). - P. 81-106.
16. Mathematical methods for machine learning afrom examples (machine learning theory). Lecture course on machine learning [Electronic resource] / K.V. Vorontsov. - 2011. - 141 p. -(In Russian).
17. Computer Image Processing, Part II: Methods and algorithms / A.V. Chernov, V.M. Chernov, M.A. Chicheva, V.A. Fursov, M.V. Gashnikov, N.I. Glumov, N.Yu. Ilyasova, A.G. Khra-mov, A.O. Korepanov, A.V. Kupriyanov, E.V. Myasnikov, V.V. Myasnikov, S.B. Popov, V.V. Sergeyev; ed. by V.A. Soi-fer. - VDM Verlag, 2009. - 584 p.
18. C4.5: Programs for Machine Learning / J.R. Quinlan. - San Mateo: Morgan Kaufmann Publishers Inc., 1993. - 302 p.
19. Wang, M. A Novel Hyperspectral Classification Method Based on C5.0 Decision Tree of Multiple Combined Classifiers / M. Wang, K. Gao, L. Wang, X. Miu // Proceedings of the 2012 4-th International Conference on Computational and Information Sciences (ICCIS 2012). - 2012. - P. 373-376.
20. Denisova, A.Yu. Anomaly detection for hyperspectral imaginary / A.Yu. Denisova, V.V. Myasnikov // Computer Optics. - 2014. - Vol. 38, № 2. -P. 287-296.
21. Fursov, V.A. Thematic classification of hyperspectral images using conjugacy indicator / V.A. Fursov, S.A. Bibikov, O.A. Bajda // Computer Optics. - 2014. - Vol. 38, № 1. -P. 154-158
22. Sohn, Y. Supervised and unsupervised spectral angle classifiers / Y. Sohn, N.S. Rebello // Photogrammetric Engineering and Remote Sensing. - 2002. - Vol. 68(12). -P. 1271-1280.
23. Pattern recognition. Mathematical methods. Program system. Practical use / Ju.I. Juravlev, V.V. Ryazanov, O.V. Senko. -Moscow: "Fazis" Publisher, 2005. - 159 p. - (In Russian).
24. Cortes, C. Support-Vector Networks / C. Cortes, V. Vapnik // Machine Learning. - 1995. - Vol. 20(3). - P. 273-297.
A COMPARISON OF ALGORITHMS FOR SUPERVISED CLASSIFICATION USING HYPERSPECTRAL DATA
A. V. Kuznetsov, V. V. Myasnikov Image Processing Systems Institute, Russian Academy of Sciences, Samara State Aerospace University
Abstract
The present work is concerned with the problem of selecting the best hyperspectral image (HSI) classification algorithm. There are compared the following algorithms in our paper: decision tree using cross-validation function, decision tree C4.5 (C5.0), Bayesian classifier , maximum likelihood classifier, minimizing MSE classifier, including a special case - classification on conjugation, spectral angle mapper classifier(for mean vector and nearest neighbor) and support vector machine (SVM). There are presented experimental results of these algorithms for hyperspectral images received by AVIRIS satellite and during SpecTIR project.
Key words: hyperspectral image, decision tree, C5.0, Bayes, MSE, conjugation classification, spectral angle mapper classification, SVM.
Сведения об авторах
Кузнецов Андрей Владимирович, родился в 1987 году. В 2010 году окончил Самарский государственный аэрокосмический университет (СГАУ) с отличием по специальности «Прикладная математика и информатика». В 2010 поступил в аспирантуру СГАУ, в 2013 г. защитил диссертацию на соискание степени кандидата технических наук. В настоящее время работает младшим научным сотрудником в Институте систем обработки изображений РАН. Круг научных интересов включает обработку и анализ изображений, обнаружение локальных изменений на изображениях, распознавание образов, геоинформатику. Имеет 18 публикаций, в том числе 5 научных статей.
E-mail: киже18о((.апйгеу@ятай.com .
Andrey Vladimirovich Kuznetsov (b. 1987) graduated with honours (2010) from Samara State Aerospace University (SSAU), majoring in Applied Mathematics and Informatics. He studied as a post-graduate student in SSAU from 2010 and received his PhD in Technical Sciences in 2013. Nowadays he is a researcher at the Image Processing Systems Institute of the Russian Academy of Sciences (IPSI RAS). His research interests are currently focused on image processing and analysis, local images changes detection, pattern recognition, geoinformatics. He has 18 publications, including 5 scientific papers.
Сведения об авторе Мясников Владислав Валерьевич - см. стр. 493 этого номера.
Поступила в редакцию 9 июня 2014 г.
