CC BY
116
ТЕМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИИ ПО ПОКАЗАТЕЛЮ СОПРЯЖЁННОСТИ
Фурсов В.А.1,2, Бибиков С.А.1'2, Байда О.А.2 1 Институт систем обработки изображений РАН, 2 Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Аннотация
Исследуется алгоритм тематической классификации гиперспектральных изображений, основанный на применении в качестве меры близости показателя сопряжённости с подпространством, образованным векторами признаков заданного класса. Рассматриваемая мера близости по существу является обобщением метода спектрального угла (Spectral Angle Mapper), реализованного в пакете обработки гиперспектральных данных ENVI. В данном случае, вместо вычисления косинуса угла между двумя векторами, вычисляется косинус угла между распознаваемым вектором и подпространством. В работе описаны различные модификации предлагаемого метода: с разбиением класса на подклассы и с приведением векторов, представляющих все гиперпиксели изображения, к нулевому среднему. Приводятся результаты экспериментов на тестовых гиперспектральных изображениях, иллюстрирующие возможность достижения более высокого качества классификации по сравнению с методом спектрального угла.
Ключевые слова: гиперспектральные изображения, классификация, метод спектрального угла, показатель сопряжённости.
Постановка задачи
В последние годы всё большую актуальность приобретает задача тематической классификации гиперспектральных изображений. Число публикаций по этой тематике быстро нарастает. В качестве примера приведём классическое учебное пособие [1] и одну из работ коллективов Московского государственного университета геодезии и картографии, Московского физико-технического института ЗАО «НПО «Лептон» [2].
Многоспектральные и гиперспектральные изображения, получаемые при дистанционном зондировании земной поверхности, позволяют решать широкий круг тематических задач геологии, климатологии, лесного хозяйства, океанологии, землепользования, контроля водных ресурсов и т. д. При этом для автоматизированной сегментации часто используются алгоритмы пороговой обработки, гиперпараллелепи-педного метода и кластерного анализа. Популярным программным комплексом, в котором реализованы функции кластерного анализа для обработки гиперспектральных изображений, является пакет ENVI [3].
Программный комплекс ENVI включает функции обработки и глубокого анализа гиперспектральных снимков, радиометрической и геометрической коррекции, улучшения качества изображений, дешифрирования и классификации и др. Для решения указанных задач в пакете могут использоваться различные алгоритмы. Одним из таких алгоритмов, который предлагается для решения задач тематической классификации, является алгоритм классификации с помощью метода спектрального угла [4], [5]. При этом задача ставится и решается следующим образом.
Введём в рассмотрение ^1-вектор, характеризующий j-й гиперпиксель изображения:
Xj = [ Х1 (j ) , Х2 ( j ) Xi ( j ) ^ XN ( j ) J , (1)
где xi(j) - значение интенсивности отражения регистрируемого объекта в i-м спектральном диапазоне в j-й
точке гиперспектрального изображения по пространственной координате. Задача контролируемой классификации состоит в конструировании решающей функции f : Rn i{0,1,2,...,k}, которая для каждого вектора Xj вырабатывает решение о его принадлежности к некоторому классу.
Будем полагать, что для каждого типа (класса) задано M обучающих векторов, так, что для каждого k-го класса может быть составлена N^M-матрица:
Xk = [X1(k), x2(k),...,xm(k)], k = 1K . (2)
Реализованный в ENVI алгоритм классификации, основанный на методе спектрального угла, описывается следующим образом. Для каждого класса вычисляется вектор x(k):
1
x (к ) = M S x, ( к ) к = 1 К.
(3)
j=i
который является прототипом к-го класса. Гиперпиксель, характеризующийся вектором признаков х,, относят к к-му классу, если достигается максимум показателя спектрального угла:
(
0 = cos
(
S 5 ( j ) 5 (к) Л ( j )S ^ (к )
-Л
7
(4)
В настоящей работе исследуется алгоритм, который можно рассматривать как его обобщение. В данном случае вместо вычисления угла между классифицируемым вектором и средним вектором класса предлагается вычислять угол между вектором и подпространством, натянутым на множество векторов из этого класса.
Данный метод был впервые описан в работе [6]. Дальнейшее развитие получил в работах [7], [8]. В работах [9], [10], [11] описано применение метода для распознавания лиц. В настоящей работе приводятся результаты экспериментов на тестовых гиперспектральных изображениях, показывающие более высокое качество классификации по сравнению с методом спектрального угла.
1=1
1=1
1=1
Описание алгоритма классификации
Предлагаемый классификатор основан на использовании так называемого показателя сопряжённости с подпространством, натянутым на векторы признаков образов объектов из заданного класса. Пусть Xj - вектор признаков, являющийся образом j-го гиперпикселя, предъявленного для установления близости к k-му классу, а Xk - Ж*М-матрица (2), составленная из обучающих векторов (гиперпикселей) этого класса.
Алгоритм строится на основе следующих соотношений. Для каждого (k-го) класса формируется N*M матрица Qk:
Qk = Xk [xTXk ]-1 Xk, k = . (5)
Решающая функция fx) строится следующим образом. Вектор Xj является образом искомого объекта (гиперпикселя) и принадлежит m-му классу, т.е. f (x ) = m, m = 1,2,...k, если
Rm (j ) = max Rk (j), (6)
где
Rk (j ) = XT QX j
T
XJ X j
(7)
Таким образом, для построения процедуры распознавания необходимо на этапе обучения для каждого предполагаемого типа (класса) с использованием матрицы (2) построить по соотношению (5) -матрицу
Подчеркнём, что для каждого вектора х^ признаков, являющегося образом некоторого гиперпикселя, максимум показателя сопряжённости Як(]) ищется по всем классам гиперспектрального изображения.
Нетрудно заметить, что при использовании описанного алгоритма качество классификации будет существенным образом зависеть от способа задания матриц классов (2). Простейший способ формирования матриц Хк - случайный выбор заданного числа векторов на участке изображения, принадлежащего известному классу. Для полной характеристики класса в этом случае число отбираемых векторов должно быть достаточно большим. Однако это увеличивает вычислительную сложность алгоритма и может приводить к ошибкам классификации вследствие ухудшения обусловленности матрицы Х[Хк.
Снижение вычислительной сложности и повышение качества классификации может быть достигнуто путём разбиения класса на подклассы. Процедура строится следующим образом. На первом шаге из всего множества М векторов выбираются два (обозначим их х1, хм) наиболее «удалённых» вектора, для которых величина
Км = (х1Гхм)/||х1||| |хм|| (8)
минимальна. Затем из оставшегося множества векторов к ним присоединяется по одному вектору (х2, хм-1), для которых величины
К1,2 =( х\х^! ||х1||| |х^|, (9)
/-1хм )/||хм-1||||хм II (10)
R
принимают максимальные значения. Пары векторов х1, х2 и хм-1, хм образуют два подпространства, описываемых матрицами Х12 и Хм-1,м соответственно. Далее определяются следующие два вектора х3, хм-2, ближайшие к этим двум подпространствам по критерию максимальной сопряжённости:
Х3 Х1,2 [Х12Х1,2 ] Х1,2Х3
R1,2,3 = ■
(11)
R.
М-2,М-1,М
XT X
АМ-2ЛМ
[XT X 1 1 XT
-1,М |_ЛМ-1,М М-1,М ] ЛМ-1:
X . (12)
ММ-2 4 у
В результате на шаге с номером М/2 - при чётном или (М-1)/2 - при нечётном М будет образовано два подкласса. Можно продолжить разбиение каждого из этих подклассов по той же схеме и получить четыре подкласса. На этапе классификации вектор, ближайший в смысле решающего правила (6) к одному из образованных описанным способом подклассов, считается принадлежащим исходному классу.
Дальнейшее повышение качества классификации может быть достигнуто предварительным преобразованием, заключающимся в вычитании из всех векторов гиперспектрального изображения так называемого среднего вектора. Средний вектор вычисляется путём вычисления среднего по всем одноимённым компонентам векторов, представляющих все гиперпиксели изображения. Такое преобразование увеличивает взаимные углы между векторами разных классов, что приводит к их большей «различимости».
Заметим, что при реализации описанной технологии векторы признаков должны иметь одинаковые размерности, а их компоненты характеризовать одноимённые спектральные диапазоны. Вместе с тем часто библиотеки спектров отражения различных материалов содержат данные в разных спектральных шкалах. Поэтому в качестве предварительного этапа в данном случае необходимо также решать задачу приведения данных к унифицированной спектральной шкале путём их интерполяции.
Результаты экспериментов
Для проверки эффективности предложенного метода решалась задача классификации с использованием тестового гиперспектрального изображения, предлагаемого в открытом пакете анализа гиперспектральных изображений MultiSpec. Тестовое изображение получено в рамках программы AVIRIS (Airborne Visible/ Infrared Imaging Speсtrometer). Изображение является снимком опытного полигона Индиан Пайнс на северо-западе штата Индиана, США. Размер изображения - 145*145 гиперпикселей. Каждому гиперпикселю снимка соответствует 224 спектральных полосы в диапазоне 0,4-2,5 мкм.
На снимке представлены основная автомагистраль, железнодорожные пути, жилые постройки, различные здания, небольшие дороги, сельскохозяйственные культуры, лес и другая многолетняя растительность. Снимок сделан в июне, поэтому некоторые культуры, такие как
T
X, X
3 ~3
T
ХМ-2 М-2
кукуруза и соя, находятся на раннем этапе и покрывают меньше 5% изображения. Разработчиками тестового изображения предложен сокращённый вариант, включающий 200 спектральных полос изображения с разбиением изображения на 16 классов, притом не все из них являются взаимоисключающими. В частности, на снимке имеется неразмеченная область, которая не отнесена ни к одному из 16 классов. Данная область при проведении эксперимента не использовалась. Тестовое изображение, разбитое на классы, приведено на рис. 1, неразмеченная область показана белым цветом.
Рис. 1. Тестовое изображение с разбиением на классы: а) исходное изображение;
б) классификация по критерию спектрального угла; в) классификация по показателю сопряжённости
В эксперименте исследовалось достижимое качество классификации по показателю сопряжённости в сравнении с методом спектрального угла. В качестве критерия качества использовалось отношение числа правильно распознанных гиперпикселей к общему числу гиперпикселей тестового изображения. Поскольку доступным для экспериментов было только одно тестовое изображение без априорного разбиения на тестовую и обучающую части, для оценки качества алгоритмов распознавания применялась процедура скользящего контроля. Эта процедура позволяет разбить исходные данные N различными способами на две непересекающиеся подвыборки, одна из которых будет обучающей, а другая - тестовой. При этом тестовая выборка имеет долю 1/И векторов, а обучающая - (И-1)/И.
Отметим, что полученное случайное разбиение обладает существенным недостатком - несбалансированностью количества представителей разных классов. В случае отсутствия (или недостаточного количества) представителей одного или нескольких классов в обучающей выборке качество классификации может быть существенно снижено. Для преодоления проблемы несбалансированности использовалась процедура стратифицированного скользящего контроля, разбивающего данные таким образом, что общая доля векторов каждого класса сохраняется как в тестовой, так и в
обучающей выборке. При этом возможна оценка обобщающей способности алгоритма.
В табл. 1 и на рис. 1а и б представлены сравнительные (по показателю сопряжённости и методу спектрального угла) результаты выполнения процедуры стратифицированного скользящего контроля с 5 блоками. На рисунках белыми точками на всех классах отмечены неверно классифицированные гиперпиксели.
Таблица 1. Результаты классификации
№ этапа % верных классификаций
по показателю сопряжённости по методу спектрального угла
1 62,7 50,9
2 64,1 48,7
3 61,0 48,7
4 61,6 49,4
5 65,2 50,1
Средний результат 62,9 49,6
В экспериментах исследовалась также описанная выше процедура разбиения класса на подклассы с использованием соотношений (8)-(12). В табл. 2 и на рис. 2а приведены результаты классификации по показателю сопряжённости с предварительным разбиением каждого класса на 2 подкласса. На рис. 2а, как и ранее, белыми точками на всех классах отмечены неверно классифицированные гиперпиксели.
Таблица 2. Результаты классификации с предварительным разбиением на два подкласса
№ этапа % верных классификаций
1 67,1
2 68,7
3 66,4
4 67,7
5 66,4
Средний результат 67,3
Рис. 2. Результат классификации: а) с разбиением на два подкласса; б) с вычитанием среднего и разбиением на подклассы
Был проведён также эксперимент по проверке степени влияния на качество классификации преобразования, заключающегося в вычитании из всех векторов среднего вектора, вычисленного по всем гиперпикселям тестового изображения. В табл. 3 и на рис. 2б приведены результаты работы классификатора, основанного на показателе сопряжённости, с предварительным вычитанием среднего вектора и разбиением классов на подклассы.
Таблица 3. Результаты с вычитанием среднего и разбиением на подклассы
№ этапа % верных классификаций
1 71,2
2 71,8
3 71,2
4 74,0
5 69,6
Средний результат 71,6
Заключение
Приведённые эксперименты показывают возможность достижения более высокого качества тематической классификации с использованием показателя сопряжённости по сравнению с методом спектрального угла. Подчеркнём, что векторы признаков в данном случае должны иметь одинаковые размерности, а их компоненты - характеризовать одноимённые спектральные диапазоны. Если в качестве обучающих гиперпикселей для классифицируемых областей используются данные из разных библиотек, содержащих данные в разных спектральных шкалах, необходимо решать задачу предварительного приведения данных к унифицированной спектральной шкале путём их интерполяции.
Благодарность
Работа выполнена при поддержке Министерства образования и РФФИ (проекты №13-07-12030 офи_м, № 12-07-00581-а).
Литература
1. Шовенгердт, Р. А. Дистанционное зондирование. Модели и методы обработки изображений / Р.А. Шовенгердт. - М.: Техносфера, 2010. - 560 с. - ISBN 978-5-94836-244-1.
2. Чабан, Л.Н. Моделирование и тематическая обработка изображений, идентичных видеоданным с готовящейся к запуску и разрабатываемой гирперспектральной аппаратурой ДЗЗ / Л.Н. Чабан, Г.В. Вечерук, Т.В. Кондра-нин, С.В. Кудрявцев, А.А. Николенко // Современные проблемы дистанционного зондирования Земли из космоса. - 2012. - Т. 9, № 2. - С. 111-121.
3. ENVI 4.1 User's Guide - Research System Inc., 2004. - 1150 p.
4. De Carvalho, O. A. Spectral correlation mapper (SCM): an improvement on the spectral angle mapper (SAM) / Osmar Abilio de Carvalho Jr., and Paulo Roberto Meneses // Summaries of the 9th JPL Airborne Earth Science Workshop, JPL Publication 0018. - Pasadena, CA: JPL Publication, 2000. - Vol. 9. - 9 p.
5. Shafri, H. Z M. The Performance of Maximum Likelihood, Spectral Angle Mapper, Neural Network and Decision Tree Classifiers in Hyperspectral Image Analysis / Helmi Zulhaidi Mohd Shafri, Suhaili Affendi, and Mansor Shattri // Journal of Computer Science. - 2007. - No. 3(6). - P. 419-423.
6. Fursov, V.A. Training in Pattern Recognition from a Small Number / Vladimir A. Fursov // Proc. 15th International Conference on Pattern recognition (ISPR) 2000, Barcelona, Spain. - 2000. - Vol. 2. - P. 119-121.
7. Fursov, V.A. Building of Classifiers Based on Conjugation Indices / V. A. Fursov, I. A. Kulagina, and N. E. Kozin // Optical Memory and Neural Networks (Information Optics). - 2007. - Vol. 16, No. 3. - P. 136-143.
8. Fursov, V. Building of Classifier Based on Conjugation Indexes / Vladimir Fursov, Irina Kulagina, Nikita Kozin. //
Proceedings of The 5-th International Conference on Machine Learning and Data Mining. Leipzig, Germany, 18 - 20 July, 2007. -2007. - P. 231-235.
9. Козин, Н.Е. Построение классификаторов для распознавания лиц на основе показателей сопряжённости / Н.Е. Козин, В.А. Фурсов // Компьютерная оптика. -2005. - № 28. - C. 160-163.
10. Fursov, V. Constructing of Classifier for Face Recognition on the Basis of the Conjugation Indexes / Vladimir Fursov, Nikita Kozin // Transactions on Engineering Computing and Technology. - 2006. - Vol. 13. - P. 72-74.
11. Fursov, V. Recognition through Constructing the Eigenface Classifiers using Conjugation Indices / Vladimir Fursov, Nikita Kozin // 2007 IEEE International Conference on Advanced Video and Signal based Surveillance London (United Kingdom), 5-7 September 2007. - 2007. - P. 465469. - ISBN 978-1-4244-1696-7.
References
1. Schowengerdt, R.A. Remote Sensing: Models and Methods for Image Processing / R.A. Schowengerdt. - М: Academic Press, 2006. - 560 p. - ISBN 978-0-12-369407-2.
2. Chaban, L.N. Modeling and thematic processing of images identical to the imagery from workable and preparing for the space launch hiperspectral remote sensors / L.N. Chaban, G.V. Vecheruk, T.V. Kondranin, S.V. Kudriavtsev, A.A. Nikolenko // Current Problems in Remote Sensing of the Earth from Space. - 2012. - Vol. 9, No. 2. - P. 111-121. - (In Russian).
3. ENVI 4.1 User's Guide - Research System Inc., 2004. - 1150 p.
4. De Carvalho, O. A. Spectral correlation mapper (SCM): an improvement on the spectral angle mapper (SAM) / Osmar Abilio de Carvalho Jr., and Paulo Roberto Meneses // Summaries of the 9th JPL Airborne Earth Science Workshop, JPL Publication 0018. - Pasadena, CA: JPL Publication, 2000. - Vol. 9. - 9 p.
5. Shafri, H. Z. M. The Performance of Maximum Likelihood, Spectral Angle Mapper, Neural Network and Decision Tree Classifiers in Hyperspectral Image Analysis / Helmi Zulhaidi Mohd Shafri, Suhaili Affendi, and Mansor Shattri // Journal of Computer Science. - 2007. - No. 3(6). - P. 419-423.
6. Fursov, V.A. Training in Pattern Recognition from a Small Number / Vladimir A. Fursov // Proc. 15th International Conference on Pattern recognition (ISPR) 2000, Barcelona, Spain. - 2000. - Vol. 2. - P. 119-121.
7. Fursov, V.A. Building of Classifiers Based on Conjugation Indices / V. A. Fursov, I. A. Kulagina, and N. E. Kozin // Optical Memory and Neural Networks (Information Optics). - 2007. - Vol. 16, No. 3. - P. 136-143.
8. Fursov, V. Building of Classifier Based on Conjugation Indexes / Vladimir Fursov, Irina Kulagina, Nikita Kozin. // Proceedings of The 5-th International Conference on Machine Learning and Data Mining. Leipzig, Germany, 18 - 20 July, 2007. -2007. - P. 231-235.
9. Kozin, N.E. Constructing of classifier for face recognition using conjugation indexes / N.E. Kozin, V.A. Fursov // Computer Optics. - 2005. - № 28. - P. 160-163. - (In Russian).
10. Fursov, V. Constructing of Classifier for Face Recognition on the Basis of the Conjugation Indexes / Vladimir Fursov, Nikita Kozin // Transactions on Engineering Computing and Technology. - 2006. - Vol. 13. - P. 72-74.
11. Fursov, V. Recognition through Constructing the Eigenface Classifiers using Conjugation Indices / Vladimir Fursov, Nikita Kozin // 2007 IEEE International Conference on Advanced Video and Signal based Surveillance London (United Kingdom), 5-7 September 2007. - 2007. - P. 465-469. - ISBN 9781-4244-1696-7.
THEMATIC CLASSIFICATION OF HYPERSPECTRAL IMAGES USING CONJUGACY INDICATOR
V.A. Fursov1,2, S.A. Bibikov1,2, O.A. Bajda2 1 Image Processing Systems Institute of the Russian Academy of Sciences, 2 S.P. Korolyov Samara State Aerospace University (National Research University)
Abstract
We consider an algorithm of hyperspectral images thematic classification using conjugacy indicator as a proximity measure. This measure is a generalized spectral angle mapper (SAM) implemented in hyperspectral imagery processing software ENVI. In this case, we use the cosine of an angle between considered vector and subspace, which is spanned by class vectors, instead of the cosine of an angle between considered vector and the mean vector of the class. Paper describes modification of a method based on partitioning of the class into subclasses and based on reduction of vectors to zero mean value. The results of synthetic experiments show higher classification quality than SAM.
Key words: hyperspecter imagery, classification, specter angle mapper, conjugacy indicator.
Сведения об авторах
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой общей информатики в Самарском государственном аэрокосмическом университете. Область научный интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение параллельный алгоритмов обработки и распознавания изображений, реализуемых с использованием многопроцессорный выиислительнык систем. E-mail: [email protected] .
Vladimir Alekseyevich Fursov is Doctor of Engineering Science, Professor, head of General Informatics sub-department of Samara State Aerospace University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of high-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.
Бибиков Сергей Алексеевич, к.т.н. В 2007 году с отличием окончил Самарский государственный аэрокосмический университет (СГАУ) по специальности «Прикладная математика и информатика». Работает ассистентом кафедры общей информатики СГАУ, м.н.с. в Институте систем обработки изображений РАН. Область научный интересов: обработка изображений, цветовая коррекция, устранение технологических артефактов, параметрическая идентификация.
E-mail: bibikov.sergei@,gmail. com .
Sergey Alekseyevich Bibikov is Candidate of Engineering Science. He graduated from Samara State Aerospace University in 2007, majoring in Applied Mathematics and Informatics. Currently he works as a teaching assistant at SSAU's General Informatics sub-department, and as a junior researcher at Image Processing Systems Institute of the RAS. Research interests are imaging, color correction, technological artifacts removal, identification.
Байда Оксана Александровна, 1991 года рождения. Студентка Самарского государственного аэрокосмического университета им. академика С.П. Королёва направления «Прикладная математика и информатика».
E-mail: [email protected] .
Oksana Aleksandrovna Bayda (b. 1991) is a student of S.P. Korolyov Samara State Aerospace University, majoring in Applied Mathematics and Informatics. Her interests include pattern recognition, optimization theory and hyperspectral imaging.
Поступила в редакцию 29 декабря 2013 г.
Дизайн: Я.Е. Тахтаров. Оформление и верстка: М.А. Вахе, С.В. Смагин и Я.Е. Тахтаров.
Подписано в печать 10.3.2014 г. Усл. печ. л. 18,25. Отпечатано в типографии ООО «Предприятие «Новая техника». Заказ № 11/1. Тираж 318 экз. Печать офсетная. Формат 62х84 1/8.
