CC BY
38
РАСПОЗНАВАНИЕ РАСТИТЕЛЬНОГО ПОКРОВА НА ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЯХ ПО ПОКАЗАТЕЛЮ СОПРЯЖЁННОСТИ
С.А. Бибиков1,2, Н.Л. Казанский1,2, В.А. Фурсов12 1ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151, 2 Самарский национальный исследовательский университет имени академика С.П. Королева, 443086, Россия, г. Самара, Московское шоссе, д. 34
Аннотация
Исследуется алгоритм распознавания растительных культур на гиперспектральных изображениях, основанный на применении в качестве меры близости показателя сопряжённости с подпространством, образованным сигнатурами заданного класса. Цель работы - показать, что этот метод при проведении предварительной обработки данных, заключающейся во взвешивании компонент векторов признаков и разбиении классов на подклассы, обеспечивает более высокое качество распознавания по сравнению с наиболее популярным методом опорных векторов (8УМ). При проведении экспериментов для сравнения с методом 8УМ использовалась реализация из пакета Ма1ЬаЪ. Эта программа обеспечивает высокие результаты метода 8УМ на достаточно сложном тесте для распознавания близких типов растительности «Индиан Пайнс», на котором размечены 16 классов растительных культур. Тест является достаточно сложным, т.к. сигнатуры классов сильно коррелированы. Полученные результаты показывают возможность распознавания большого количества растительных культур, в т.ч. и наркосодержащих.
Ключевые слова: гиперспектральные изображения, тематическая классификация, метод опорных векторов, показатель сопряжённости.
Цитирование: Бибиков, С.А. Распознавание растительного покрова на гиперспектральных изображениях по показателю сопряжённости / С.А. Бибиков, Н.Л. Казанский, В.А. Фурсов // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 846-854. - DOI: 10.18287/2412-61792018-42-5-846-854.
Введение
По мере развития систем дистанционного зондирования Земли (ДЗЗ) и приборов гиперспектральной съёмки все шире в практику внедряются системы наблюдения и анализа растительных покровов с целью оценки ареалов распространения дикорастущих растений, оценки степени созревания различных культур, обнаружения плантаций наркосодержащих растений и др. [1- 2]. При этом важное значение имеет возможность оперативного получения достоверных результатов, в т.ч. в ситуации, когда число обучающих примеров (прецедентов) распознаваемых типов растительности невелико. Эти требования особенно актуальны при решении задач обнаружения плантаций наркосодержащих растений по гиперспектральным изображениям, регистрируемым с помощью беспилотных летательных аппаратов.
В настоящее время общепризнано, что высокая вероятность распознавания достигается с использованием искусственных нейронных сетей [3- 4]. Однако для обучения нейронной сети требуется большое число образцов - прецедентов, а само обучение занимает много времени. В частности, в работе [4] для обучения нейронной сети авторами было использовано 90 % от объёма аннотированных данных и только 10 % для тестирования. Поэтому для оперативного обнаружения наркосодержащих растений этот аппарат не вполне подходит. Наиболее популярным для решения указанных задач является метод опорных векторов (8УМ), который обеспечивает высокое ка-
чество распознавания. Вместе с тем качество распознавания методом 8УМ существенно снижается при увеличении числа распознаваемых классов. Например, в работе [5] высокое качество распознавания было показано при уменьшении числа распознаваемых классов с 16 до 9.
Следует также заметить, что наиболее высокое качество метода 8УМ достигается при использовании различных ядер, расширяющих признаковое пространство. Подбор этих ядер является самостоятельной проблемой. В исследованиях многих авторов приводятся примеры сравнения качества распознавания при решении тестовых задач с использованием различных ядер [6]. Однако остаётся неясным, как выбрать конкретный тип ядра в случае, когда решается реальная задача. Кроме того, метод опорных векторов все-таки является достаточно сложным в вычислительном отношении, и различение большого числа классов требует значительного времени и больших вычислительных ресурсов.
Таким образом, актуальна задача построения метода для оперативного распознавания наркосодержащих растений по гиперспектральным изображениям, обеспечивающего высокое качество распознавания и обладающего простотой вычислительной реализации. Первая попытка построения такого метода, основанного на использовании в качестве меры близости показателя сопряжённости распознаваемого вектора с заданным классом, была предпринята в работе [7]. В этой работе было показано: метод, основанный на показателе сопряжённости, даёт суще-
ственно лучший результат, чем метод спектрального угла [8 -9], однако не удалось достигнуть качества распознавания, превосходящего метод 8УМ.
В настоящей работе исследуется тот же алгоритм распознавания растительных культур на гиперспектральных изображениях, основанный на применении в качестве меры близости показателя сопряжённости с подпространством, образованным сигнатурами заданного класса. Цель работы - показать, что этот метод при проведении предварительной обработки данных, заключающейся во взвешивании компонент векторов признаков и разбиении классов на подклассы, обеспечивает более высокое качество распознавания по сравнению с 8УМ.
При проведении сравнительных экспериментов в настоящей работе используется реализация алгоритмов из пакета Ма1ЬаЪ, обеспечивающих высокие результаты методом 8УМ на наиболее сложном доступном тесте для распознавания близких типов растительности «Индиан Пайнс». Тест является достаточно сложным, т.к. сигнатуры классов сильно кор-релированы. Поэтому полученные результаты показывают возможность надёжного различения любых типов растительных культур, в т.ч. наркосодержащих растений.
1. Постановка задачи
Рассматриваемая в настоящей статье задача по существу является задачей тематической классификации гиперспектральных изображений по прецедентам [7]. Предполагается, что обучающие множества могут быть взяты либо из библиотек спектров отражения в виде векторов признаков, компонентами которых являются спектры отражения заданных растений, либо в виде векторов гиперпикселей зарегистрированного изображения, принадлежность которых к распознаваемому классу выявлена путём предварительных измерений спектров и координат на местности в предшествующих экспериментах. Это может быть также малый участок текущего изображения, который по предположению является образцом данного класса.
В известных методах по сформированному набору обучающих векторов либо строится некоторая конструкция, являющаяся представителем класса (например, средний вектор при сравнении с эталоном), либо осуществляется обучение некоторого решающего правила (8УМ, нейронная сеть). В настоящей статье в качестве представителя класса используется некоторое подмножество векторов из обучающей выборки, а решение о принадлежности к классу принимается с использованием в качестве меры близости показателя сопряжённости распознаваемого вектора с подпространством, образованным этим подмножеством.
Введём в рассмотрение N^-1 -вектор, характеризующий }-й гиперпиксель изображения:
х} = [ Х1 СО, х2 (Л ..., х, (Д..., хы (/) ]Т , (1)
где xi (j) - значение интенсивности отражения регистрируемого объекта в i-м спектральном диапазоне в j-й точке гиперспектрального изображения по пространственной координате. Пусть также Xk, k = 1, K -NxM-матрицы, составленные из M обучающих векторов (гиперпикселей) распознаваемых классов.
Задача классификации состоит в конструировании
решающей функции f: RN^{0, 1, 2, ..., k}, которая для
каждого вектора Xj вырабатывает решение о его принадлежности к некоторому классу. Решающая функция f(xj) строится следующим образом. Для каждого (k-го) класса формируется N^N-матрица Qk:
Qk = Xk [XTkXk]-1 XTk, k = \K . (2)
Вектор Xj является образом искомого объекта (гиперпикселя) и принадлежит m-му классу, т.е.
f (xj) = m, m = 1,2,...,k , если
Rm (j) = maxRk (j), (3)
Vk
где
Rk (j) = xTj Qkxj (xj xj )-1. (4)
Таким образом, обучение классификатора сводится к формированию N^M-матриц классов - Xk, k = 1, K, M< N из некоторого набора заданных гиперпикселей из каждого класса, например, взятых на участках изображения с известным типом растительности. Далее подпространства, образованные множествами векторов-столбцов матриц Xk, k = 1, K, мы будем называть опорными подпространствами.
При распознавании с использованием описанного подхода возникают следующие трудности. Во-первых, некоторые обучающие векторы класса могут быть «похожими» в такой степени, что матрица Xk может оказаться плохо обусловленной настолько, что приведёт к невозможности операции обращения в (2). Во-вторых, сигнатуры некоторых гиперпикселей могут значительно отличаться от сигнатур задаваемого класса, что, наоборот, приведёт к большим ошибкам распознавания. Таким образом, для обеспечения высокой эффективности метода необходима предварительная обработка обучающих множеств векторов классов, заключающаяся в формировании так называемых опорных подпространств путём удаления из исходного обучающего набора данных гиперпикселей, которые приводят к снижению качества распознавания.
2. Технология обучения и распознавания 2.1. Этапы технологии
В процессе обучения предлагается выполнение следующей последовательности процедур.
1. Удаление почти линейно-зависимых векторов.
2. Удаление «выделяющихся» векторов.
3. Разбиение классов на подклассы.
4. Выбор весов спектральных компонент.
Первые три этапа, по существу, реализуют последовательность процедур формирования опорных подпространств. Эффективность использования этих процедур в отдельности исследовалась в предыдущих работах авторов [7, 10-11]. В настоящей статье впервые представляется технология, в которой все эти процедуры применяются совместно с процедурой взвешивания. В экспериментальной части будет подтверждён связанный с этим синергетический эффект.
Приведённые этапы реализуются на обучающем множестве векторов в указанной последовательности. Результатом реализации этапов 1- 3 являются опорные подпространства классов, образованные векторами-столбцами матриц Xk, k = 1, K, которые используются для построения решающих матриц Qk, k = 1, K в (2). Обучение в данном случае сводится к выбору размерности и отбору конкретных векторов этих подпространств. Решающие матрицы Qk, k = 1, K фиксируются на этапе обучения и на этапе распознавания не изменяются.
Процедура взвешивания спектральных компонент, которая применяется на этапе 4 к обучающим векторам, должна применяться по тем же алгоритмам на этапе распознавания для предварительной обработки текущих векторов, предъявляемых для распознавания. При настройке параметров этих алгоритмов может потребоваться повторение этапов настройки алгоритмов взвешивания и формирования опорных подпространств. Рассмотрим описание этих процедур в указанной выше последовательности.
2.2. Удаление линейно-зависимых векторов
Удаление линейно-зависимых и/или почти линейно-зависимых векторов осуществляется с целью обеспечения допустимой обусловленности матрицы
XTk Xk в (2), чтобы избежать проблем обращения при
вычислении матрицы Qk. Удаление таких векторов не приводит к потере информации, поскольку в обучающем множестве остается вектор, практически совпадающий с удалённым.
Процедура строится в виде последовательного удаления наиболее сопряжённых векторов. На каждом шаге среди векторов-столбцов матрицы Xk определяется пара векторов, для которой
R* j = max Ri j, (5)
Vij=1,M
где Ri; j = ^xTXj 1| ||х/1|, i, j = 1,M.
Далее либо один из этих векторов (i, j) удаляется из множества, либо эти два вектора заменяются одним, являющимся средним значением этих векторов. Процедура повторяется либо на оставшемся после удаления, либо на включающем вновь сформированный средний вектор взамен векторов i,j множестве. Процесс останавливается, если величина парной сопряжённости достигает допустимой величины:
Я*] ^ КмН . (6)
Если необходимо обеспечить заданную размерность опорного подпространства, то условие (6) не проверяется, а процесс останавливается, когда достигнута заданная размерность (заданное число столбцов М) матрицы Хк. Описанная процедура выполняется для всех опорных подпространств.
2.3. Удаление «выделяющихся» векторов
Эта операция выполняется с целью обеспечения лучшей разделимости классов. Векторы опорных подпространств, показатель сопряжённости которых со «своим» опорным подпространством меньше, чем показатель сопряжённости с опорными подпространствами других классов, могут вносить ошибки распознавания. Поэтому одним из этапов предварительной обработки является удаление таких векторов из опорного подпространства.
Процедура строится также в виде последовательного удаления векторов. На каждом шаге вектор-столбец Хг удаляется из Ж*М-матрицы Хк, образованной векторами опорного подпространства к-го класса, если
Як (хг, Хк,г) = шш Як (х], Хк,] ), ] = 1М , (7)
где Як(х], Хк,]) = хТ Ок,]х] (х] х]) 1,
Ок,] = Хк,} [Хк,] Хк,] ]-1 Х1], к=^ ]=Ш,
а Хк г Хк ] - матрицы к-го класса, из которых исключены векторы хг и х] - соответственно. Для построения процедуры последовательного удаления векторов необходимо установить порядок «обхода» опорных подпространств и правило останова для каждого опорного подпространства и алгоритма в целом. Прежде чем сформулировать эти правила, сделаем следующие замечания.
Замечание 1. Поскольку для принятия решения об удалении вектора необходимо вычислять показатель сопряженности, этапу исключения наиболее удаленных векторов должна всегда предшествовать процедура удаления линейно зависимых и почти линейно зависимых векторов.
Замечание 2. Вероятность ошибок распознавания возрастает, если размерности опорных подпространств сильно различаются. В частности, опорные подпространства, образованные большим количеством обучающих векторов (столбцов матрицы Хк), обычно чаще «притягивают» распознаваемые векторы из других классов. Поэтому целесообразно формировать опорные подпространства одинаковых размерностей.
Замечание 3. Удаление большого числа «выделяющихся» векторов может приводить к потере информации и снижению качества распознавания в целом. Дело в том, что «разнесенность» векторов в смысле показателя сопряженности часто является свойством объекта. Поэтому целесообразно исключать лишь
небольшое число сильно удаленных векторов, обычно являющихся сбойными точками в признаковом пространстве.
В соответствии с этими замечаниями процедуры исключения векторов из опорных подпространств реализуются следующим образом. Сначала осуществляется исключение линейно-зависимых и почти линейно-зависимых векторов так, как описано в п. 2.3. Правило останова этой процедуры строится таким образом, чтобы размерности опорных подпространств были близкими или совпадали. Обычно существо дела сводится к тому, чтобы приблизить размерность, насколько это возможно, к размерности подпространств, для которых число доступных обучающих векторов изначально мало.
На втором этапе алгоритм исключения строится как итерационная обучающая процедура. На каждом шаге этой процедуры в каждом опорном подпространстве определяется вектор, для которого выполняется условие (6). Далее эти векторы исключаются из опорных подпространств и определяется число правильно распознаваемых векторов из обучающего множества по всем классам. Если это число возрастает, опорные подпространства фиксируются и процедура исключения повторяется. Если на очередном этапе алгоритма число правильно распознаваемых векторов уменьшается, результат игнорируется и фиксируются опорные подпространства, сформированные на предыдущем шаге.
2.4. Разбиение классов на подклассы
Путем разбиения классов на подклассы достигается одновременно снижение вычислительной сложности и повышение качества распознавания. Процедура строится следующим образом. На первом шаге из всего множества М векторов выбираются два (обозначим их х1, хМ) наиболее «удаленных» вектора, для которых величина
ЪМ =(х[хм)/||х1||| |хм|| (8)
минимальна. Затем из оставшегося множества векторов к ним присоединяется по одному вектору (х2, хм- 1), для которых величины
=( хТх2 У И|| |х^|, (9)
ЪМ-1,М =( хМ-1хМ^||хМ-1Ц |хм|| (10)
принимают максимальные значения. Пары векторов х1, х2 и хм-1, хм образуют два подпространства, описываемые матрицами X и Хк соответственно. Далее определяются следующие два вектора х1, х2 и хм-1, хм, ближайшие к этим двум подпространствам по критерию максимальной сопряженности:
х3 Х1,2 [Х^Х1,2 ]-1 X3
Ъ1,2,3 =-'~Т-!-,
х3 х3
х3Х1,2 [Х^Х1,2 ]-1 ХТ12хз
Ъ 1,2,3 =-'~Т-!-•
х3 х3
В результате на шаге с номером М/ 2 - при четном или (М-1) / 2 - при нечётном М будет образовано два подкласса. Можно продолжить разбиение каждого из этих подклассов по той же схеме и получить четыре подкласса. На этапе классификации вектор, ближайший в смысле решающего правила (7) к одному из образованных описанным способом подклассов, считается принадлежащим исходному классу.
Заметим, что при реализации описанной технологии векторы признаков должны иметь одинаковые размерности, а их компоненты характеризовать одноименные спектральные диапазоны. Вместе с тем часто библиотеки спектров отражения различных материалов содержат данные в разных спектральных шкалах. Поэтому в качестве предварительного этапа в данном случае необходимо также решать задачу приведения данных к унифицированной спектральной шкале путем их интерполяции.
2.5. Взвешивание спектральных компонентов
Широко известна мера близости - «взвешенное» евклидово расстояние. Оно применяется в тех случаях, когда компонентам вектора наблюдений можно приписать некоторые веса, пропорциональные степени важности признака в задаче распознавания. По аналогии введем в рассмотрение меру близости -«взвешенный» показатель сопряженности, определяемый как
Як (О, ] ) = хТТ О к (О) х ] ( хТТ х} )-1, (8)
О к (О ) = ОХ к [ Хк О2 Хк ]-1 Хк О, к = \К ,
где О - диагональная Ж*Ж-матрица положительных чисел (весовых коэффициентов), удовлетворяющих условию нормировки:
Ж
X ё> = Ж . (9)
1=1
В данном случае идея процедуры взвешивания состоит в том, чтобы придать больший вес компонентам векторов признаков в спектральных диапазонах, где векторы признаков менее коррелированы. Эта задача в общем виде может быть сформулирована как оптимизационная задача выбора некоторой диагональной положительно определенной Ж^Ж-матрицы, умножение на которую слева всех Ж^М-матриц классов - Хк, к = 1, К, обеспечивает максимум вероятности распознавания. Решение такой задачи для общего случая (8) потребует огромных вычислительных затрат.
Задача существенно упрощается, если матрицу О задавать в виде:
G =
gill
g2I 2
gq1 q
(10)
где Ii, i = 1, q - единичные матрицы такие, что
]Г dim (I,- ) = N ,
i=i
а gi, i = 1, q , q « N - заданные весовые коэффициенты. Если число различных весовых коэффициентов невелико, задача оптимизации становится разрешимой за приемлемое время. Размерности единичных матриц могут быть определены путем установления размерности подвекторов векторов признаков всех классов в (10), которые приводят к повышению качества распознавания. В общем случае, когда неизвестны как число таких подвекторов, так и их размерности, задача остается чрезвычайно сложной в вычислительном отношении. Существенное сокращение вычислительной сложности достигается путем задания фиксированного числа весовых подматриц. При этом задача сводится к определению граничных спектральных значений, обеспечивающих повышение качества распознавания.
В частности, в простейшем случае разбиения спектра на два интервала алгоритм может быть реализован следующим образом.
Шаг 1. Задание начального значения весового коэффициента g0 > 1, начальной вероятности p0 = 0 и шагов по спектральной области Aq и по диапазону весовых коэффициентов Ag.
Шаг 2. Определение весового коэффициента для текущего значения диапазона gk=gk-1 + Ak.
Шаг 3. Задание начального значения спектрального диапазона q0.
Шаг 4. Определение граничного значения диапазона qk = qk-i + Aq.
Шаг 5. Решение задачи распознавания для текущих gk, qk и определение вероятности pk.
Шаг 6 Если pk >pk-1, полученные значения gk, qk сохраняем.
Шаг 7. Если qk > q0 / 2, переходим к шагу 4, иначе переходим к шагу 2.
Приведенный алгоритм реализуется для первой половины спектрального диапазона [q0 = 1, q0/2]. Аналогичный алгоритм реализуется для второй половины диапазона. При этом на шаге 3 вместо q0 задается qN, а в соотношениях на шагах 2 и 4 вместо плюса берется минус. Из двух реализаций принимается лучший результат в смысле вероятности распознавания.
Ясно, что для решения этой задачи с использованием в качестве меры близости показателя сопряженности вначале должны быть реализованы этапы 1 - 3 технологии.
Повышение качества классификации может быть достигнуто также предварительным преобразованием, заключающимся в вычитании из всех векторов гипер-
спектрального изображения так называемого среднего вектора. Средний вектор вычисляется путем вычисления среднего по всем одноименным компонентам векторов, представляющих все гиперпиксели изображения. Такое преобразование увеличивает взаимные углы между векторами разных классов, что приводит к их большей «различимости». Такое преобразование целесообразно выполнять для всех векторов до операции взвешивания спектральных компонент.
3. Результаты экспериментов
Проверка эффективности описанной технологии осуществлялась с использованием тестового гиперспектрального изображения, предлагаемого в открытом пакете анализа гиперспектральных изображений MultiSpec. Тестовое изображение получено в рамках программы А'УШ.К (А1гЬогпеУ181Ь1е/1п/гаге^та§1п§-Speсtrometer). Изображение является снимком опытного полигона Индиан Пайнс на северо-западе штата Индиана, США. Размер изображения - 145x145 гиперпикселей. Каждому гиперпикселю снимка соответствует 224 спектральных полосы в диапазоне 0,4- 2,5 мкм.
На снимке представлены: основная автомагистраль, железнодорожные пути, жилые постройки, различные здания, небольшие дороги, сельскохозяйственные культуры, лес и другая многолетняя растительность. Снимок сделан в июне, поэтому некоторые культуры, такие как кукуруза и соя, находятся на раннем этапе созревания и покрывают меньше 5 % изображения. Разработчиками тестового изображения предложен сокращённый вариант, включающий 200 спектральных полос изображения с разбиением изображения на 16 классов, притом не все из них являются взаимоисключающими. В частности, на снимке имеется неразмеченная область, которая не отнесена ни к одному из 16 классов. Данная область при проведении эксперимента не использовалась. Тестовое изображение, разбитое на классы, приведено на рис. 1, неразмеченная область показана белым цветом.
Рис. 1. Тестовое изображение с разбиением на классы
Для оценки эффективности алгоритмов распознавания исходные тестовые изображения случайным образом разбивались на два множества: обучающее и контрольное с одинаковым числом обучающих и контрольных векторов в каждом классе. В табл. 1 приведены данные о количестве векторов (гиперпикселей)
на исходном изображении, а также в обучающем и контрольном множествах.
Все данные подвергались предварительной обработке алгоритмом взвешивания спектральных компонент. Весь спектральный диапазон разбивался на два интервала. Компоненты векторов признаков с номерами от 1 до 129 брались с весом 0,461, а компоненты с номерами от 130 до 200 - с весовым коэффициентом 2 так, чтобы выполнялось условие нормировки (9).
Таблица 1. Размерности классов
Из сравнения результатов в табл. 2 видно, что метод 8УМ дает значительно более высокие результаты при увеличении размеров обучающих подмножеств (эксперименты 2 и 3). Вероятность распознавания с 0,6566 возрастает до 0,7359. Однако следует заметить, что при этом затраты времени на решение задачи существенно возрастают. Попытка улучшить результат
Цель эксперимента состояла в сравнении предложенной технологии с методом опорных векторов (8УМ), программная реализация которого имеется в открытом доступе в программном пакете Ма1ЬаЪ. Использовалась версия 2017(а).
Для иллюстрации возможностей указанной версии 8УМ было проведено 3 эксперимента, по 100 реализаций в каждом.
Эксперимент 1. В обучающие подмножества классов из обучающих множеств классов, содержащих более 50 векторов, случайным образом отбиралось по 50 векторов, а в остальные обучающие подмножества -по 15 векторов. Такая процедура формирования обучающих подмножеств классов использовалась также в работе [6], что дает нам возможность сравнивать с результатами из указанной работы.
Эксперимент 2. В обучающие подмножества классов случайным образом выбирались 200 векторов из обучающих множеств классов, содержащих более 200 векторов. Из классов размером от 200 до 250 векторов отбиралось по 50 векторов. Остальные обучающие подмножества формировались так же, как и в предыдущем эксперименте.
Эксперимент 3. Исследовалась возможность улучшения качества распознавания методом 8УМ путём разбиения класса на подклассы.
Результаты трёх указанных экспериментов приведены в табл. 2.
путем разбиения классов на подклассы (табл. 2, эксперимент 3) при использовании 8УМ, как и следовало ожидать, не привела к заметному успеху (вероятность распознавания 0,7371).
В табл. 2 (эксперимент 4) приведены результаты, достигнутые с использованием описанной в параграфе 2 технологии. В экспериментах использовались сле-
Количество векторов
# Класс Всего Обучающая выборка экспериментов
1 2 - 4
1 Hay-windrowed 478 50 200
2 Woods 1265 50 200
3 Grass-trees 730 50 200
4 Wheat 205 50 50
5 Grass-pasture 483 50 200
6 Buildings-Grass-Trees-Drives 386 50 200
7 Soybean-notill 972 50 200
8 Soybean-clean 593 50 200
9 Corn-notill 1428 50 200
10 Soybean-mintill 2455 50 200
11 Stone-Steel-Towers 93 15 15
12 Corn-mintill 830 50 200
13 Corn 237 50 50
14 Alfalfa 46 15 15
15 Grass-pasture-mowed 28 15 15
16 Oats 20 15 15
Таблица 2. Результаты эксперимента 1
Экспе] жмент
1 2 3 4
Размер тестовой выборки Верно распознано (среднее значение) Точность по классам Размер тестовой выборки Верно распознано (среднее значение) Точность по классам Размер тестовой выборки Верно распознано (среднее значение) Точность по классам Размер тестовой выборки Верно распознано (среднее значение) Точность по классам
1 428 380,8 89,0 278 256,8 92,4 278 265,7 95,6 239 235,3 98,5
2 1215 844,6 69,5 1065 897,0 84,2 1065 865,2 81,2 633 583,1 92,3
3 680 623,4 91,7 530 503,9 95,1 530 497,0 93,8 365 333,8 91,4
4 155 139,7 90,2 155 141,1 91,0 155 144,3 93,1 103 92,7 90,9
5 433 371,2 85,7 283 246,3 87,0 283 245,4 86,7 242 208,9 86,7
6 336 224,5 66,8 186 149,3 80,3 186 154,2 82,9 193 132,0 68,4
7 922 624,4 67,7 772 598,6 77,5 772 600,5 77,8 486 332,9 68,5
8 543 281,5 51,8 393 275,3 70,1 393 310,8 79,1 297 207,0 69,9
9 1378 821,5 59,6 1228 859,8 70,0 1228 787,6 64,1 714 472,2 66,1
10 2405 1371,5 57,0 2255 1378,4 61,1 2255 1478,6 65,6 1228 850,2 69,3
11 78 61,2 78,4 78 57,2 73,3 78 53,7 68,8 47 34,6 75,2
12 780 383,8 49,2 630 446,7 70,9 630 434,2 68,9 415 277,3 66,8
13 187 128,3 68,6 187 104,6 55,9 187 89,6 47,9 119 60,5 51,3
14 31 23,6 76,1 31 23,4 75,6 31 22,9 74,0 23 10,6 46,0
15 13 12,0 92,6 13 11,5 88,7 13 10,9 83,8 14 8,6 61,4
16 5 3,7 74,7 5 3,2 64,7 5 2,0 40,7 10 3,0 29,9
Общая точность 65,7 73,6 73,7 75,0
дующие характеристики. Выборка для этого эксперимента совпадала по количеству с выборками экспериментов 2 и 3 и формировалась путём исключения почти линейнозависимых векторов. Взвешивание компонентов векторов признаков осуществлялось путем разбиения на два спектральных диапазона, в соответствии с приведенным алгоритмом. В результате работы алгоритма компонентам в диапазоне 130-200 весовой коэффициент, равный 2. Весовой коэффициент для компонентов с номерами 1-129 рассчитывался в соответствии с условием нормировки (9) и был равен 0,538.
Для проведения эксперимента 4 с использованием описанных в подпараграфах 2.3- 2.4 алгоритмов исключения векторов из исходных обучающих множеств были отобраны подмножества, содержащие половину векторов в каждом классе. Для выравнивания размерностей подпространств эти подмножества векторов в каждом классе были подвергнуты разбиению на четыре подкласса равного размера, лишние вектора удалялись. Классы с числом векторов менее 52 разбиению на подклассы не подвергались.
В результате применения технологии при указанных параметрах предварительной обработки и размерностях опорных подпространств достигнута вероятность распознавания по всем классам 0,7503.
Заметим, что в этом эксперименте наиболее низкая вероятность распознавания получена на классах 16 (меньше 30 %) и 13, 14 (51,3 % и 46 % соответственно). Связано это с тем, что общее число распознаваемых классов велико (16), а на указанных классах число заданных обучающих и тестовых примеров на несколько порядков меньше по сравнению с другими классами.
Эти результаты могут быть существенно улучшены, если решать задачу только для этих трёх классов. Такой пример можно найти в работе [5], где на тесте «Индиан Пайнс» решалась задача распознавания 9 классов, заданных большим числом обучающих примеров. При уменьшении числа распознаваемых культур до 3-4 есть основания ожидать достижения весьма высокой вероятности распознавания даже при сравнительно небольшом числе обучающих примеров в классах.
Заключение
Приведённые эксперименты показывают возможность достижения более высокого качества распознавания растительных покровов с использованием показателя сопряжённости по сравнению с использованной реализацией 8УМ. Необходимо заметить также, что основной проблемой при применении метода 8УМ часто является отсутствие линейной разделимости классов. Эта проблема обычно преодолевается введением ядерных функций. Однако задание этих функций является самостоятельной проблемой, поскольку связано с априорной неопределенностью характера распределения образов в признаковом пространстве.
В случае использования в качестве меры близости показателя сопряженности разделимость обеспечивается за счет включения в опорные подпространства векторов признаков, имеющих малые значения показа-
теля сопряженности со своим классом. Такие векторы содержат в себе детальную информацию о характере распределения образов в признаковом пространстве. Поэтому результат распознавания может оказаться лучше в ситуации, когда по евклидовой метрике эти векторы могли быть отнесены к другому классу.
Указанные особенности технологии могут иметь важное значение при создании систем оперативного контроля растительных покровов с использованием беспилотных летательных аппаратов, в частности, для определения степени созревания культур, оценки засоренности посевов, выявления участков посевов наркосодержащих растений и др.
Благодарности Работа выполнена при поддержке Министерства образования и науки РФ (госзадание), РФФИ (проекты №16-07-00729 а, № 18-07-01390-А, № 16-47630721 р_а, № 16-29-09528-офи_м) и гранта Президента Российской Федерации МД-2531.2017.9
Литература
1. Шовенгердт, Р.А Дистанционное зондирование. Модели и методы обработки изображений / Р.А. Шовенгердт. - М.: Техносфера, 2010. - 560 с. - ISBN: 978-5-94836-244-1.
2. Чабан, Л.Н. Моделирование и тематическая обработка изображений, идентичных видеоданным с готовящейся к запуску и разрабатываемой гиперспектральной аппаратурой ДЗЗ / Л.Н. Чабан, Г.В. Вечерук, Т.В. Кондра-нин, С.В. Кудрявцев, А.А. Николенко // Современные проблемы дистанционного зондирования Земли из космоса. - 2012. - Т. 9, № 2. - С. 111-121.
3. Schuler, C.J. Learning to deblur / C.J. Schuler, M. Hirsch, S. Harmeling, B. Scholkopf // IEEE Transactions on Pattern Analysis and Machine Intelligence. -2016. - Vol. 38, Issue 7. - P. 1439-1451. - DOI: 10.1109/TPAML2015.2481418.
4. Makantasis, K. Deep supervised learning for hyperspectral data classification through convolutional neural networks / K. Makantasis, K. Karantzalos, A. Doulamis, N. Doulamis // 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). - 2015. - P. 4959-4962. - DOI: 10.1109/IGARSS.2015.7326945.
5. He, Z. Spectral-spatial hyperspectral image classification via SVM and superpixel segmentation / Z. He, Y. Shen, M. Zhang, Q. Wang, Y. Wang, R. Yu // 2014 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). - 2014. - P. 422-427. - DOI: 10.1109/I2MTC.2014.6860780.
6. Fauvel, M. Advances in spectral-spatial classification of hyperspectral images / M. Fauvel, Y. Tarabalka, J.A. Bene-diktsson, J. Chanussot, J.C. Tilton // Proceedings of the IEEE. - 2013.- Vol. 101, Issue 3. - P. 652-675. - DOI: 10.1109/JPR0C.2012.2197589.
7. Фурсов, В.А. Тематическая классификация гиперспектральных изображений по показателю сопряжённости / В.А. Фурсов, С.А. Бибиков, О.А. Байда // Компьютерная оптика. - 2014. - Т. 38, № 1. - С. 154-158.
8. De Carvalho, O.A. Spectral correlation mapper (SCM): an improvement on the spectral angle mapper (SAM) / O.A. de Carvalho Jr., P.R. Meneses // Summaries of the 9th JPL Airborne Earth Science Workshop, JPL Publication 00-18. -Pasadena, CA: JPL Publication, 2000. - Vol. 9. - 9 p.
9. Shafri, H.Z.M. The performance of maximum likelihood, spectral angle mapper, neural network and decision tree classifiers in hyperspectral image analysis / H.Z.M. Shafri, S. Affendi, Sh. Mansor // Journal of Computer Science. - 2007. - Vol. 3, Issue 6. - P. 419-423. - DOI: 10.3844/jcssp.2007.419.423.
10. Fursov, V.A. Recognition through constructing the eigen-face classifiers using conjugation indices / V.A. Fursov, N.E. Kozin // 2007 IEEE Conference on Advanced Video
and Signal Based Surveillance. - 2007. - P. 465-469. -DOI: 10.1109/AVSS.2007.4425355.
11. Fursov, V.A. Support subspaces method for recognition of the synthetic aperture radar images using fractal compression / V.A. Fursov, E.Yu. Minaev, D.A. Zherdev, N.L. Kazanskiy // International Journal of Advanced Robotic Systems. - 2017. - Vol. 14, Issue 5. - P. 1-8. - DOI: 10.1177/1729881417733952.
Сведения об авторах
Бибиков Сергей Алексеевич, родился в 1984 году. В 2007 году с отличием окончил Самарский государственный аэрокосмический университет (СГАУ) по специальности «Прикладная математика и информатика». Кандидат технических наук, работает доцентом кафедры суперкомпьютеров и общей информатики Самарского университета. Область научных интересов: обработка изображений, цветовая коррекция, устранение технологических артефактов, параметрическая идентификация. E-mail: bibikov. sergei@gmail. com .
Казанский Николай Львович, 1958 года рождения. В 1981 году с отличием окончил Куйбышевский авиационный институт (КуАИ, ныне - Самарский национальный исследовательский университет имени академика С.П. Королёва) по специальности «Прикладная математика». Доктор физико-математических наук (1996 год), профессор, работает руководителем Института систем обработки изображений РАН - филиала Федерального научно-исследовательского центра «Кристаллография и фотоника» Российской академии наук (ИСОИ РАН), профессором кафедры технической кибернетики Самарского университета. Заведующий базовой (Самарского университета в ИСОИ РАН) кафедрой высокопроизводительных вычислений. Является членом международных научных обществ OSA, SPIE и IAPR. Н.Л. Казанский - специалист в области дифракционной оптики, математического моделирования, обработки изображений и нанофотоники. В списке научных работ Н.Л. Казанского 290 статей, 12 монографий, 53 авторских свидетельства и патента. Страница в интернете: http://www.ipsi.smr.ru/staff/kazanskiy.htm . E-mail: [email protected] .
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой суперкомпьютеров и общей информатики в Самарском университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, в т. ч. с использованием многопроцессорных вычислительных систем. E-mail: _ [email protected] .
ГРНТИ: 28.23.15.
Поступила в редакцию 7 августа 2018 г. Окончательный вариант - 17 сентября 2018 г.
VEGETATION TYPE RECOGNITION IN HYPERSPECTRAL IMAGES USING A CONJUGACY INDICATOR
S.A. Bibikov1'2, N.L. Kazanskiy1-2, V.A. Fursov1-2
1 IPSI RAS - Branch of the FSRC "Crystallography and Photonics " RAS, Molodogvardeyskaya 151, 443001, Samara, Russia
2 Samara National Research University, Moskovskoye shosse 34, 443086, Samara, Russia
Abstract
This paper considers a vegetation type recognition algorithm in which the conjugacy indicator with a subspace spanned by endmember vectors is taken as a proximity measure. We show that with proper data preprocessing, including vector components weighting and class partitioning into subclasses, the proposed method offers a higher recognition quality when compared to a support vector machine (SVM) method implemented in MatLab software. This implementation provides good results with the SVM method for a fairly difficult classification test using the Indian Pines dataset with 16 classes containing similar vegetation types. The difficulty of the test is caused by high correlation between the classes. Thus, the results show a possibility for the recognition of a large variety of vegetation types, including the narcotic plants.
Keywords: hyperspecter images, thematic classification, support vector machine, conjugacy indicator.
Citation: Bibikov SA, Kazanskiy NL, Fursov VA. Vegetation type recognition in hyperspectral images using a conjugacy indicator. Computer Optics 2018; 42(5): 846-854. DOI: 10.18287/24126179-2018-42-5-846-854.
Acknowledgements: This work was partially supported by the Ministry of Science and Higher Education within the State assignment FSRC «Crystallography and Photonics» RAS, Russian Science Foundation (Project No. №16-07-00729 а, № 18-07-01390-А, № 16-47-630721 р_а, № 16-29-09528-офи_м ), and Presidential Grant of Russian Federation МД-2531.2017.9.
References
[1] Schowengerdt RA. Remote sensing: models and methods for image processing. Burlington, San Diego, London: Academic Press, 2006. ISBN: 978-0-08-048058-9.
[2] Chaban LN, Vecheruk GV, Kondranin TV, Kudriavtsev SV, Nikolenko AA. Modeling and thematic processing of images identical to the imagery from workable and preparing for the space launch hyperspectral remote sensors [In Russian]. Sovremennye Problemy Distantsionnogo Zondi-rovaniya Zemli iz Kosmosa 2012; 9(2): 111-121.
[3] Schuler CJ, Hirsch M, Harmeling S, Scholkopf B. Learning to deblur. IEEE Trans Pattern Anal Mach Intell 2016; 38(7): 1439-1451. DOI: 10.1109/TPAMI.2015.2481418.
[4] Makantasis K, Karantzalos K, Doulamis A, Doulamis N. Deep supervised learning for hyperspectral data classification through convolutional neural networks. Geoscience and Remote Sensing Symposium (IGARSS) 2015: 49594962. DOI: 10.1109/IGARSS.2015.7326945.
[5] He Z, Shen Y, Zhang M, Wang Q, Wang Y, Yu R. Spectral-spatial hyperspectral image classification via SVM and superpixel segmentation. Instrumentation and Measurement Technology Conference (I2MTC) 2014: 422-427. DOI: 10.1109/I2MTC.2014.6860780.
[6] Fauvel M, Tarabalka Y, Benediktsson JA, Chanussot J, Tilton JC. Advances in spectral-spatial classification of hyperspectral images. Proc IEEE 2013; 101(3): 652-675. DOI: 10.1109/JPR0C.2012.2197589.
[7] Fursov VA, Bibikov SA, Bayda OA. Thematic classification of hyperspectral images using conjugacy indicator. Computer Optics 2014; 38(1): 154-158.
[8] De Carvalho Jr OA, Meneses PR. Spectral correlation mapper (SCM): an improvement on the spectral angle mapper (SAM). Summaries of the 9th JPL Airborne Earth Science Workshop 2000.
[9] Shafri HZM, Affendi S, Shattri M. The performance of maximum likelihood, spectral angle mapper, neural network and decision tree classifiers in hyperspectral image analysis. J Comp Sci 2007; 3(6): 419-423. DOI: 10.3844/jcssp.2007.419.423.
[10] Fursov VA, Kozin NE. Recognition through constructing the eigenface classifiers using conjugation indices. IEEE Conference on Advanced Video and Signal Based Surveillance 2007: 465-469. DOI: 10.1109/AVSS.2007.4425355.
[11] Fursov VA, MinaevEYu, Zherdev DA, Kazanskiy NL. Support subspaces method for recognition of the synthetic aperture radar images using fractal compression. Int J Adv Robotic Syst 2017; 14(5): 1-8. DOI: 10.1177/1729881417733952.
Authors' Information
Sergey Alekseyevich Bibikov (b. 1984) is Candidate of Engineering Science. He graduated from Samara State Aerospace University in 2007, majoring in Applied Mathematics and Informatics. Currently he works as a associate professor at Supercomputing and Computyer Sciense sub-department of Samara University. Research interests are imaging, color correction, technological artifacts removal, and system identification. E-mail: bibikov.sergei@gmail. com .
Nikolay Lvovich Kazanskiy (b. 1958), graduated with honors (1981) from S.P. Korolyov Kuibyshev Aviation Institute (presently, S.P. Korolyov Samara National Research University), majoring in Applied Mathematics. He received his Candidate in Physics & Maths (1988) and Doctor in Physics & Maths (1996) degrees from Samara University. He is the director of Image Processing Systems Institute of the Russian Academy of Sciences (IPSI RAS), also holding a parttime position of a professor at Technical Cybernetics sub-department of Samara University, holding the chair at the subdepartment of High-Performance Computing at IPSI RAS. He is an OSA-, SPIE and IAPR-member. He is co-author of 290 scientific papers, 12 monographs, 53 inventions and patents. His current research interests include diffractive optics, mathematical modeling, image processing, and nanophotonics.
Website: http://www.ipsi.smr.ru/staff/kazanskiy.htm . E-mail: [email protected] .
Vladimir Alekseyevich Fursov is Doctor of Engineering Science, Professor, head of Supercomputers and General Informatics sub-department of Samara National Research University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of high-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems. E-mail: _ [email protected] .
Received August 7, 2018. The final version - September 17, 2018.
