CC BY
328
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
РАСПОЗНАВАНИЕ ОБЪЕКТОВ НА РАДИОЛОКАЦИОННЫХ ИЗОБРАЖЕНИЯХ С ИСПОЛЬЗОВАНИЕМ ПОКАЗАТЕЛЕЙ СОПРЯЖЁННОСТИ И ОПОРНЫХ ПОДПРОСТРАНСТВ
Жердев ДА, Казанский Н.Л., Фурсов В А.
Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет) (СГАУ)
Аннотация
В работе предлагается метод распознавания объектов по изображениям радиолокатора с синтезированной апертурой (РСА). В качестве меры близости используется так называемый показатель сопряжённости распознаваемого вектора с подпространством, образованным векторами класса из обучающего множества. Процедура распознавания при разбиении классов на подклассы строится на основе опорных подпространств. Рассматриваются различные процедуры «прореживания» обучающих классов путём исключения из них малоинформативных векторов с использованием показателя сопряжённости. Исследуется зависимость качества распознавания от размерности опорных подпространств. Приводятся результаты экспериментов, показывающие, что предлагаемый метод обеспечивает более высокое качество распознавания объектов по сравнению с методом опорных векторов.
Ключевые слова: цифровая обработка изображений, радиолокационное изображение, МБТАЯ, распознавание, БУМ.
Введение
В задачах определения типа объекта по отражённому им радиолокационному сигналу часто применяются изображения, полученные с использованием радиолокатора с синтезированной апертурой (РСА). Известным примером является база данных изображений наземных целей, которые были получены в ходе экспериментов DARPA [1]. В этой базе данных содержатся радиолокационные изображения под разными ракурсами наблюдения.
Для решения задачи распознавания объектов по радиолокационным изображениям базы данных Moving and Stationary Target Acquisition and Recognition (MSTAR) в большинстве работ используется двухэтап-ная схема. Вначале путём предварительной обработки выделяются признаки изображения, затем формируются обучающие и тестовые выборки данных.
В статьях широко используются два способа извлечения характерных признаков из изображений: нахождение относительных углов съёмки по изображению [2] и поиск центров рассеяния объекта на изображении [3]. Кроме того, в качестве признаков широко используются инвариантные к ракурсу эллиптические Фурье-дескрипторы [4], описывающие форму объекта на основе множества эллипсов разных размеров, и моменты Зернике [5]. В большом числе статей используется метод главных компонент для определения собственных компонент векторов признаков [2], [11]. В качестве методов распознавания наиболее широко используются такие методы, как SVM, нейронные сети, сравнение изображений с эталоном с использованием в качестве метрики наименьшей квадратической ошибки.
В статье [6] исследуется возможность улучшения качества распознавания с помощью предварительной обработки радиолокационного векторного изображения высокого разрешения (HDVI). В качестве исход-
ных данных авторы используют изображение SAR местности (поля, леса и т.п.) с наземными объектами (передвижная техника).
На промежуточном этапе используют систему SAIP DARPA [7], с использованием которой решаются задачи нахождения наземных целей на изображениях высокого разрешения. Детектор константного уровня ложной тревоги (CFAR) анализирует обнаруженные на изображении объекты по уровню радиолокационного контраста. Затем малые фрагменты изображений с целями «вырезаются» из изображения местности, подвергаются предварительной обработке и распознаются системой. В качестве метода распознавания авторы используют поиск подходящего шаблона, описывающего класс, с помощью метода наименьших квадратов.
В статьях [8 - 10] исследуется распознавание методом вычисления среднеквадратической оценки текущего изображения с заданным эталоном. В частности, в работах [9], [10] рассматривается влияние различных факторов на качество распознавания объектов по радиолокационным изображениям. В числе важнейших факторов авторы исследуют чувствительность радиолокационных характеристик к варьированию ракурса наблюдения. Кроме указанного фактора, авторы рассматривают и другие специфичные особенности распознавания объектов по радиолокационным изображениям [10].
В работе [11] приведены результаты исследования качества распознавания объектов по SAR-изображениям с использованием метода радиальных базисных функций. Показано, что качество распознавания выше, чем при использовании метода SVM и алгоритма нейронных сетей в среднем на 5 - 10 %. В указанной статье утверждается, что метод радиальных базисных функций в сочетании с AdaBoost может успешно решать задачу распознавания без предвари-
тельного определения позиций объекта. Это является преимуществом для работы системы распознавания объектов в реальном времени. Тем не менее, в целях улучшения эффективности авторы добавляют в свою систему алгоритм оценки позиций объекта.
Для компенсации ошибок при оценке позиции объекта выделяют два набора признаков. Первым набором признаков являются значения пикселей необработанного изображения. Вторым набором признаков являются коэффициенты БПФ радиолокационного изображения. Признаковое пространство из отсчётов пикселей размера 80 80 = 6400 авторы сокращают до размера в 150 отсчётов с помощью метода главных компонент. Авторами показано, что при обучении классификатора на семи моделях объектов трёх типов достигается процент распознавания 99,63 %. При распознавании всех семи моделей после обучения только на трёх моделях (по одной модели каждого типа) объектов процент верных распознаваний 96,12 %.
Анализ известных работ показывает, что основная проблема при распознавании по радиолокационным сигналам заключается в априорной неопределённости, связанной с высокой чувствительностью к изменениям ракурса наблюдения, формы объекта, характеристикам подстилающей поверхности и др. При этом центральной является задача построения методов и алгоритмов, малочувствительных к изменениям ракурса наблюдения объекта. В настоящей работе предлагается и исследуется такой метод, основанный на использовании в качестве меры близости показателей сопряжённости и так называемых опорных подпространств.
1. Постановка задачи
Изображение РСА наземного объекта, являющееся объектом исследования в данной работе, формируется путём радиолокационного наблюдения с пролетающего в пределах радиолокационной видимости объекта воздушного носителя и последующей обработки зафиксированных значений отражённых радиолокационных сигналов. В базе данных МБТАЯ группы БАИРА приведены радиолокационные изображения, полученные путём синтезирования апертуры радара в прожекторном режиме. Радиолокационное изображение в целом представляется в виде множества точек, заданных с некоторым шагом на изображении. На рис. 1а, б, в приведены примеры объектов из базы МБТАЯ: танка, БМП и БТР, а на рис. 1г, д, е - соответствующие им радиолокационные изображения на фоне подстилающей поверхности.
Каждому 7'-му радиолокационному изображению путём развёртки по строкам или столбцам может быть поставлен в соответствие № 1 -вектор признаков
= [*1, х2,-., X,..., %] , (1)
компонентами которого являются числовые значения яркости в М= ШхН точках, где Ш, Н - размеры изображений. Предполагается, что получено некоторое число таких изображений и сформировано М соответствующих им векторов, которые могут использоваться в качестве обучающих для настройки алгоритмов распознавания.
Для решения задач обучения и распознавания используется подход, применявшийся авторами в работе [12]. Мерой близости служит показатель сопряжённости с подпространством, образованным векторами признаков распознаваемого класса:
К* ( X; ) = -
* = 1К,
X.Х ,
(2)
(3)
(4)
где К - число распознаваемых классов,
д* = х* [х[х*]-1 х[, * = 1К,
- Nх N матрица к -го класса, а
X* = [х (*), Х2 (*),..., х, (*),..., Хм (*)], * = 1К,
NхM - матрицы всех возможных (К) классов, каждая из которых составлена из М векторов признаков х> сформированных из изображений, полученных при схожих (но отличающихся вследствие неизбежных ошибок позиционирования характеристик среды и др.) условиях регистрации.
Решение о принадлежности вектора Xj к т-му классу принимается, если
^ К ) = 53* ** ). (5)
Использование в (3) при вычислении матриц О*, * = 1, К большого количества векторов в качестве представителей классов приводит к возрастанию потребных вычислительных ресурсов как на этапе обучения, так и на этапе распознавания. В работе [13] предложен метод опорных подпространств, позволяющий
снизить размерность матриц х* , * = 1, К , без заметной потери качества распознавания. Рассмотрим процедуру построения опорных подпространств в задаче бинарной классификации.
Предположим, что для каждого из двух классов -к, 1 - сформированы исходные обучающие наборы данных и соответствующие им матрицы X*, Х1. Задача состоит в нахождении пары матриц меньшей размерности, для которой качество распознавания остаётся высоким. Полагаем, что матрицы х*, х1 включают одинаковое число Мвекторов признаков вида (1), т.е. могут быть представлены NхM-матрицами. С учётом этого будем обозначать их X*(М), Х1(М).
Если по предположению в каждом классе (пространстве) содержится М-векторов, множество, включающее все возможные размерности подпространств, содержит М-2 целых чисел: 1 = 2, М-1. Будем допускать, что подмножество Б разрешённых размерностей может включать не все возможные размерности:
Б = {1: 2 < 1 < М -1} . (6)
Задача поиска пар ^(-матриц Х/и), Х(1) сводится к определению следующего критерия для текущих пар матриц:
0 (X* (1), Х1 (1 )) = тах п. j (1),
X* .(1),Х^(1), 1 е Б, 1, j = 1,2,...,СМ
(7)
матрицы, составленные из векторов ЛХ1-матриц (14), а пц - общее число правильно распознаваемых векторов из обучающего множества с использованием этих матриц. Алгоритм поиска опорных подпространств, удовлетворяющих критерию (7), реализуется так же, как описано в работе [13].
Результатом применения этого алгоритма может быть несколько опорных подпространств, для которых значения критерия (7) одинаковы. Поэтому далее реализуется алгоритм выбора «наилучшей» в заданном смысле пары опорных подпространств для фиксированного 1. В настоящей работе для решения этой задачи мы используем более сильный критерий, чем использовался в работе [13].
Для определённости положим, что на предшествующем этапе для двух классов, характеризуемых Л£<М-матрицами Хк, Х;, получено Р пар эталонных подпространств Хкр, Х1р, р = 1, Р, размерности 1 с одинаковыми значениями критерия (7). Пусть Ху X (у = 1, М) - векторы, из которых составлены матрицы
классов Хк, X] соответственно.
Пусть
Я,р (Хк,у), Р = 1Р, у = 1М,
Яр(Х;,у), р = 1Р, у = 1,М, показатели сопряжённости указанных выше эталонных подпространств с векторами Ху Ху из соответствующих им классов к, 1. С учётом этих обозначений функционал качества для определения наилучшей пары Х* р, Х*р эталонных подпространств запишется как
Х* Х* = Хк, р,Хр =
тах
р=1,р
тМ ( Як■ р (Хк.у) " Яр (Хк,у) ) +
т=ш(Яр(Х],у) - Я,р(Х]^у))
+ тш
у-
при условии
(Я,р (Хк,у) - Я, р (Хк,у) )> 0,
(Я;, р (Х;, у) - Як р р (Х;, у ))> 0.
(8)
(9)
р\~!,у; ~ k,pv
Поскольку метод построения опорных подпространств сформулирован применительно к задаче бинарной классификации, алгоритм распознавания строится по схеме каждый против каждого [16]. Решение о принадлежности классу принимается по числу голосов, полученных классом в результате применения решающего правила (5) для всех возможных сочетаний пар (бинарная классификация) распознаваемых классов, представленных матрицами Хк, к = 1, К.
Классу добавляется голос, если в некотором эпизоде бинарной классификации показатель сопряжённости очередного заданного вектора с подпространством, представляющим этот класс, оказался больше, чем с подпространством другого класса. В результате такой процедуры над всеми С2К парами классов формируется некоторое распределение голосов по классам. Текущий вектор считается принадлежащим классу, набравшему наибольшее количество голосов.
В настоящей работе, являющейся развитием работы [13], исследуется эффективность применения показателя сопряжённости и метода опорных подпространств для распознавания радиолокационных изображений, полученных с использованием РСА. В частности, здесь исследуются следующие вопросы:
- какова чувствительность описанного выше метода распознавания, использующего в качестве меры близости показатель сопряжённости, к изменениям ракурса наблюдения;
- на каких наборах обучающих данных качество распознавания выше и как следует формировать обучающие наборы данных минимального объёма, обеспечивающие сохранение высокого качества распознавания.
Ответы на эти вопросы, кроме прочего, связаны со способом предварительного преобразования изображений к виду, обеспечивающему возможность их сопоставления. Поэтому далее последовательно будут рассмотрены следующие составные части общей технологии:
- приведение изображений к общему «центру»;
- разбиение классов на подклассы и сокращение числа обучающих векторов.
В заключительном разделе с использованием соответствующих этим этапам алгоритмов будут проведены эксперименты, по результатам которых мы попытаемся ответить на поставленные выше вопросы.
2. Предварительная обработка изображений
Процедуры предварительной обработки изображений для приведения к виду, обеспечивающему возможность их сопоставления, играют важную роль в технологиях распознавания. В частности, для надёжного выявления отличительных характеристик объектов эти процедуры должны обеспечивать слабую чувствительность к позиции объекта на изображении, средней яркости изображения и др. Вместе с тем в изображении отражённого сигнала должна подчёркиваться информация о форме объекта.
В настоящей работе качество предлагаемых технологий будет сравниваться с результатами, полученными в работе [11]. Поэтому процедуры препарирования изображений будут осуществляться на изображениях из базы, сформированной в ходе экспериментов БАЯРА, с использованием РСА. На рис. 1г, д, е приведены заимствованные из этой базы примеры радиолокационных изображений трёх объектов: танк, БМП и БТР.
В базе для танка и БМП имеются изображения для трёх разных моделей. В табл. 1 приведены данные о количестве изображений РСА для различных моделей объектов, полученных при съёмке с платформы, расположенной на летательном аппарате, при двух углах места (15° и 17°). Для каждого из этих углов места угол азимута (ракурс) изменялся в диапазоне от 0° до 360°. В соответствии с таблицей общее число изображений, которые могут использоваться для обучения и контроля качества алгоритмов распознавания, составляет 2987.
~ ■ II ш ■ ипиипи ддш тшмшнтпт ед
Рис. 1. Используемые объекты: танк (а); БМП (б);БТР (в) и соответствующие изображения РСА (г, д, е)
Табл. 1. Размер базы данных изображений МБТАЯ
Объект Обозначение модели Углы места съёмки
15° 17°
БТР SN-c71 196 233
БМП SN-9563 195 233
SN-9566 196 232
SN-c21 196 233
Танк SN-132 196 232
SN-812 195 231
SN-s7 191 228
Для сопоставления изображений при обучении и классификации в работе [11] все изображения предварительно приводятся к одинаковому ракурсу. При этом для всех изображений определяются описанные прямоугольники, охватывающие яркую область соответствующего образу объекта на радиолокационном изображении. Затем осуществляется поворот всех изображений так, чтобы ориентация всех описанных прямоугольников совпадала с ориентацией прямоугольника, выбранного в качестве образца. Этот метод хорошо работает на протяжённых изображениях с чёткими границами. Если протяжённость и форма отражённого сигнала зависят от ракурса, этот приём может вносить значительные ошибки как на этапе обучения, так и на этапе распознавания.
Мы используем другой путь сопоставления изображений, полученных при различных ракурсах. Мы разбиваем изображения одной модели в пределах класса на подклассы, внутри которых обеспечивается высокая близость в смысле заданного критерия. Однако при этом необходимо обеспечить условия сопоставления изображений разных классов и подклассов. Эти условия состоят в том, чтобы, с одной стороны, уменьшить влияние на качество обучения и распознавания сдвигов изображений. С другой стороны, необходимо обеспечить высокую чувствительность к различиям формы изображений объектов.
Для обеспечения указанных условий мы приводим области изображений, характеризующиеся наиболее высокой интенсивностью (яркостью) сигнала к общему «центру тяжести». Для того чтобы исключить влияние на положение центра тяжести вариаций яркости в различных эпизодах регистрации, осуществляется их бинаризация. Заметим, что с точки зрения различения объектов форма радиолокационной тени на изображении также является информативной. Однако тень сильно зависит от ракурса съёмки, поэтому при центрировании изображений является помехой. В связи с этим
на этапе бинаризации мы отдельно выделяем яркие участки, которые используются для центрирования изображений, и участки тени, которые присоединяются только на этапе обучения и распознавания.
Для этого реализуется процедура нахождения двух порогов: одного для тени и другого для самого объекта. Для снижения влияния шумов на изображениях (рельеф, тепловые шумы радара и др.) перед пороговой обработкой выполняется размытие изображения. Размытие осуществляется в два этапа: сначала разрешение уменьшается в 4 раза, а затем изображение увеличивается до первоначального размера с использованием линейной интерполяции отсчётов [14]. На рис. 2а в качестве примера приведена гистограмма радиолокационного изображения БМП. На рис. 2б приведена гистограмма того же изображения после процедуры размытия.
Количество пикселей
260
240 220 200 180 160 140 120 100 80 60 40 20
=t 1
—и L
Щ ч-
i- JL JL- 1
7-. k-
i-1 -----1
40
80
Количество пикселей 400
120 160 200 240 Яркость пикселей изображения
120 160 200 240 Яркость пикселей изображения Рис. 2. Гистограмма исходного радиолокационного изображения БМП (а), выделение порогов для яркого сигнала и тени после размытия (б)
Для определения порогов по гистограмме размытого изображения (рис. 2 б) используется метод «triangular threshold» [15]. В данном методе вначале определяется точка, соответствующая максимальному значению гистограммы отсчётов яркости. Далее определяется порог для яркой области изображения на участке справа от этой точки так, как показано на рис. 2б, с поиском максимально удалённой точки гистограммы от прямой AB. Порог для выделения тени
определяется аналогичным образом на участке гистограммы слева от точки её максимума.
На рис. 3 приведён пример результатов описанной двухпороговой обработки изображения, показанного на рис. 2б с предварительным размытием. Изображения на рис. 3б и 3в приведены с инвертированными цветами. Далее в тексте статьи будем называть цвета областей, как в первоначальном представлении. На рис. 3б (светлым) показана выделенная яркая область отражённого сигнала, а на рис. 3в - светлым показана выделенная область тени. Чёрным цветом на обоих рисунках обозначена область фона (подстилающей поверхности). На ней, к сожалению, остаются светлые пятна, источником которых являются различные помехи и артефакты.
Рис. 3. Результаты предварительной обработки: размытое изображение (а); объект (б); тень (в)
Описанная предварительная обработка выполняется для всех изображений базы. Затем для ярких областей на изображениях (рис. 3б), соответствующих образу объекта на радиолокационном изображении, подсчитываются координаты «центра тяжести». Далее все изображения, содержащие бинарные маски образов объекта и тени, совмещаются таким образом, чтобы их центры тяжести совпадали. В результате усреднения бинарных изображений образов объекта и тени мы получаем некоторую маску, за пределами которой не могут находиться участки ярких областей и теней любого изображения из базы.
Усреднение изображений позволяет также в значительной степени удалить шумы и артефакты. После усреднения центрированных изображений области, содержащие шум, оказываются значительно менее яркими, чем на исходном изображении. Задавая некоторый (небольшой) порог, можно удалить все шумы и артефакты на изображении в окрестности отражённого сигнала объекта и тени. Останется лишь небольшая часть шумов в непосредственной близости, поскольку на усреднённом изображении область тени и объекта будет больше, чем на каждом из изображений в отдельности. Примеры изображений с усреднёнными областями объекта и тени приведены на рис. 4а и б.
Для бинарной маски усреднённого изображения определяется описывающий прямоугольник, центр которого совпадает с центрами всех изображений базы. Далее у всех центрированных изображений базы устраняются области за пределами этого прямоугольника. Таким образом, формируется преобразованная база изображений минимального размера, на которых полностью присутствуют области сигнала, отражённого от объекта и тени. Пример такого изображения приведён на рис. 4в.
а)
Рис. 4. Усреднённые области: объекта (а); тени (б) и пример «вырезанного» изображения (в)
3. Разбиение на подклассы и сокращение обучающего множества
Процедуры разбиения классов на подклассы и сокращения множества обучающих векторов по существу являются завершающим этапом предварительной обработки изображений. Этот этап не является обязательным и выполняется при необходимости. Здесь мы рассматриваем эти алгоритмы, поскольку они далее используются при проведении экспериментов.
Для разбиения классов на подклассы мы используем процедуру, которую применяли в работе [12] для тематической классификации гиперспектральных изображений. На первом шаге описанной в указанной работе процедуры из всего множества, например М векторов, выбираются два (обозначим их х1, хМ) наиболее «удалённых» вектора, для которых величина коэффициента корреляции минимальна.
В данном случае для выбора начальных векторов х1, хМ можно использовать априорную информацию о ракурсах, при которых зарегистрированы объекты. В частности, поскольку угол азимута (ракурс) на изображениях обучающей выборки изменяется в диапазоне от 0° до 360°, в качестве начальных векторов можно взять любые два вектора, соответствующие сильно различающимся углам азимута.
Далее алгоритм реализуется так же, как и в работе [12]. Из оставшегося множества векторов к ним присоединяется по одному вектору (х2, хМ-1), для которых величины
^1,2 = (ХЧУЫН Х21|, (10)
ЦХМ-Л |хм|| (11)
принимают максимальные значения. Пары векторов хь х2 и хм, хМ-1 образуют два подпространства, описываемых матрицами Х12 и ХМЧ,М соответственно. Далее из оставшегося множества векторов к образованным подпространствам присоединяются два вектора х3, хМ-2, ближайшие к этим двум подпространствам по критерию максимальной сопряжённости (5). Процесс продолжается до исчерпания неприсоединённых векторов в классе.
В результате будут образованы две Мх(М/2)-мат-рицы Хк и X] (для простоты мы полагаем М чётным), соответствующие двум подклассам. Можно продолжить разбиение каждого из этих подклассов по той же схеме и получить четыре и более подклассов. На этапе распознавания вектор, ближайший в смысле решающего правила (5) к одному из образованных описанным способом подклассов, считается принадлежащим исходному классу.
ВМ-1,М хМ-1х
Если число исходных векторов, доступных для обучения, остаётся большим даже после разбиения классов на подклассы, может возникнуть потребность в их сокращении (уменьшении размерностей матриц Хк, X) Обычно это связано с ограничениями вычислительных ресурсов. Например, при реализации рассматриваемого в следующем разделе метода для построения опорных подпространств необходимо осуществлять перебор всех возможных комбинаций обучающих векторов в классе. При этом требуются значительные вычислительные ресурсы.
Для уменьшения размерности матриц классов или подклассов можно использовать процедуру, похожую на описанную выше. Разница будет состоять лишь в том, что вместо определения присоединяемого вектора определяется исключаемый вектор. Процедура строится следующим образом.
Пусть 5 - число обучающих векторов в исходном множестве к-го класса. Вычисляются 5 показателей сопряжённости всех векторов х, 7 = 1,5 к -го класса с подпространством, образованным остальными векторами этого же класса:
( X 7 ) =
х] Хк
Хк Хк
' —Т
Х] х 7
Т
Х7 Х 7
к = 1, К,
(12)
где Хк - Nх(5-1) -матрица, составленная из векторов к -го класса с исключённым вектором х7. Вектор х7, для которого
Вк (хJ )= вхТЯк (х7), (13)
исключается из к -го класса. Какое конкретно значение показателя сопряжённости (максимальное или минимальное) следует использовать, зависит от конкретной задачи. Например, как будет показано далее в эксперименте, потери качества распознавания меньше при исключении векторов, имеющих максимальный показатель сопряжённости с подпространством, образованным векторами «своего» класса.
Для одной итерации описанная процедура повторяется для всех классов к = 1, К. Далее осуществляется очередная итерация исключения по одному вектору из каждого класса в соответствии с правилом (13). Таким образом, на каждой итерации размерность обучающих подпространств всех классов снижается на единицу. Правило останова итераций задаётся таким образом, чтобы обеспечивалось снижение размерности обучающего подпространства векторов при допустимом снижении качества распознавания.
4. Результаты экспериментов
В ходе экспериментов решалась задача распознавания изображений трёх объектов: танк, БМП и БТР из базы, сформированной в ходе экспериментов БАИРА, количественные данные по которой приведены выше в табл. 1. Следуя работе [11], обучение проводилось на изображениях моделей Б№с71, Б№с21, Б№132, заре-
гистрированных под углом 17°. На этапе распознавания использовались изображения семи различных моделей указанных объектов, полученные при съёмке под углом места 15°. Подчеркнём, что мы намеренно проводили эксперимент при тех же условиях, которые использовались в статье [11]. Поэтому результаты, которые приводятся в этом разделе, сопоставимы с результатами, полученными в указанной работе.
При проведении экспериментов изображения представлялись в виде векторов, составленных из значений отсчётов двухмерного изображения, развёрнутого по строкам. Во всех экспериментах предварительная обработка изображений осуществлялась в соответствии с технологией, описанной в разделе 2. В частности, все изображения центрировались, а классы, соответствующие множеству векторов одной модели, для обеспечения большей «похожести» векторов разбивались на подклассы.
Опорные подпространства на этапе обучения строились для всех К( К -1) / 2 пар классов, где К -
общее число классов с учётом разбиения классов на подклассы. Алгоритм множественной классификации реализован по схеме каждый против каждого. С применением описанной схемы обучения и распознавания были выполнены две серии экспериментов. В первой серии экспериментов исследовалась чувствительность основанного на показателе сопряжённости алгоритма распознавания к изменениям ракурса.
В табл. 2 приведены сравнительные результаты качества распознавания с использованием показателя сопряжённости и БУМ. В этом эксперименте решение о принадлежности классу принималось по всем обучающим векторам классов, без использования опорных подпространств. Из таблицы видно, что предлагаемый метод существенно менее чувствителен к изменениям ракурса наблюдения по сравнению с БУМ. При этом, хотя в методе БУМ качество распознавания повышается при увеличении числа подклассов, всё же оно остаётся более низким по сравнению с предлагаемым методом С1М (показателей сопряжённости).
Табл. 2. Результаты распознавания
с использованием показателя сопряжённости и 5УЫ
Число подклассов разбиения
0 2 4 8 16
С1М 96,19 97,50 97,51 97,51 97,36
8УМ 92,89 94,72 95,09 95,90 95,16
В табл. 3-6 приведены более детальные результаты распознавания объектов с различным разбиением на подклассы. В этих таблицах по строкам расположены значения количества распознанных изображений объекта, тип которого указан в колонке.
Мы получили более хорошие результаты по сравнению с данными, приведёнными в работе [2], несмотря на то, что в указанной работе из контрольной выборки удалялись до 10 % «плохих» изображений.
Табл. 3. Результаты распознавания без разбиения на подклассы
БМП БТР Танк
БМП 538 6 43
БТР 0 196 0
Танк 2 1 579
Табл. 4. Результаты распознавания с разбиением на 2 подкласса
БМП БТР Танк
БМП 556 9 22
БТР 0 196 0
Танк 2 1 579
Табл. 5. Результаты распознавания с разбиением на 4 подкласса
БМП БТР Танк
БМП 555 9 23
БТР 1 195 0
Танк 0 1 581
Табл. 6. Результаты распознавания с разбиением на 8 подклассов
БМП БТР Танк
БМП 559 6 22
БТР 2 194 0
Танк 4 0 578
Табл. 7. Результаты распознавания с разбиением на 16 подклассов
БМП БТР Танк
БМП 559 7 21
БТР 2 194 0
Танк 6 0 576
Выявленный эффект слабой чувствительности метода С1М к изменениям ракурса проявляется в меньшей степени при уменьшении числа обучающих векторов. На рис. 5 приведены графики изменения процента распознавания при изменении числа обучающих векторов в классе. Качество распознавания, % 99
97 95 93 91 89 87 85 83 81
/
, Л г
л г
я
/ -0- 2
Л
/ и )
/
(
/
/
/
Т
1 3 5 7 9 11 13
Размер подпространства
Рис. 5. Зависимость качества распознавания от числа обучающих векторов
В этом эксперименте в качестве исходных множеств обучающих векторов использовались те же, при которых получены результаты, приведённые в табл. 2. Обучающие множества последовательно уменьшались путём исключения векторов с использованием
правила (12). Кривая 1 соответствует случаю, когда в формуле (13) ищется максимум, а кривая 2 - минимум. Заметим, что качество распознавания оказывается более высоким (кривая 1) при исключении векторов, имеющих более высокий показатель сопряжённости со «своим» классом, т.е. когда в формуле (13) ищется максимум.
Этот результат, кроме прочего, объясняет эффект малой чувствительности метода С1М к изменениям ракурса при использовании всех обучающих векторов. Исключая «хорошие» по показателю сопряжённости векторы, мы сохраняем информацию о наиболее удалённых от «своего» класса векторах. Это и приводит к более высокому качеству различения классов.
Вторая серия экспериментов проводилась с целью ответить на второй вопрос: возможно ли формирование обучающих наборов данных небольшого размера без существенной потери качества распознавания. В частности, проверялась эффективность использования опорных подпространств разной размерности.
Как и следовало ожидать, при использовании опорных подпространств небольшой размерности качество распознавания падает при уменьшении числа подклассов разбиения. В частности, процент распознавания при использовании опорных плоскостей (подпространств размерности с! = 2), качество распознавания сравнительно невысокое (от 81,39 при отсутствии разбиения на подклассы до 95,68 при разбиении на 16 подклассов). Поэтому дальнейшие эксперименты ставились для случая разбиения на 16 подклассов с использованием алгоритма, описанного в разделе 3 формулами (7) - (11). Поскольку обучение осуществлялось на трёх моделях, зарегистрированных под углом 170, общее число обучающих классов составило 48, в каждом по 14 изображений.
На рис. 6 представлены результаты распознавания, полученные с использованием опорных подпространств различной размерности.
Качество распознавания, %
99-
98 97 96 95 94 93 92 91 90 89
1—
А гг ¿—..ь
/ / ..*.....>1 ¡5.....*•'
I / г'
< г
1=
< /
: 1} 2 3 4 1
/
V
;
--1—
1 3 5 7 „ 9 11 13
Размер подпространства
Рис. 6. Зависимость качества распознавания от размерности опорных подпространств
Здесь же для сравнения приведён результат распознавания с помощью метода SVM (точечная линия 4). Алгоритм SVM обучался на той же исходной обучающей выборке, включающей 48 классов (подклассов), построенных описанным выше способом. Заметим, что результаты SVM оказались близкими к опубликованным в работе [11]. Для сопоставления зависимостей от числа обучающих векторов и от размерностей опорных подпространств кривая, фигурирующая на рис. 5 под номером 1, продублирована на рис. 6 под номером 3.
Кривые 1 (сплошная) и 2 (пунктирная) показывают изменение качества распознавания при использовании опорных подпространств различной размерности. Кривая 1 получена при формировании опорных подпространств из исходного множества обучающих векторов. Кривая 2 - при предварительном исключении из всех классов по четыре обучающих вектора, притом так, что в формуле (13) брался максимум.
Сравнение этих кривых ещё раз подтверждает, что удаление из обучающей выборки векторов, имеющих максимальный показатель сопряжённости, приводит к меньшим потерям информативности выборки. Этот эффект проявляется также в том, что при уменьшении размерности опорных подпространств качество распознавания в целом падает, а чувствительность к изменениям ракурса растёт.
Представляет интерес сравнение с другими результатами, полученными на той же базе данных с обучением и распознаванием на тех же моделях, что и в данной работе. В статье [11] приведены результаты распознавания с использованием различных методов: SVM показывает результат распознавания в 94,87 %, нейронная сеть - 94,07 %, шаблонное сравнение «Template Matcher» - 89,70 %. Самое высокое качество распознавания, как изложено в статье [11], получено с помощью AdaBoost в методе радиальных базисных функций - 96,12 %.
В настоящей работе удалось достичь результата в 97,80 % при использовании метода опорных подпространств с размером подпространства, равным 9 (см. кривая 1 на рис. 6), и обучающих данных, распределённых на 16 подклассов.
Заключение
Метод показателей сопряжённости при использовании в качестве представителей классов достаточно большого числа векторов оказывается малочувствительным к изменениям ракурса наблюдения объекта и обеспечивает более высокое качество распознавания, чем метод SVM.
Можно заметно снизить размерности матриц, представляющих классы, без существенного снижения качества распознавания путём использования в качестве представителей классов так называемых опорных подпространств.
Потеря информативности при уменьшении размерности опорных подпространств меньше при удалении из обучающего множества в первую очередь
векторов, имеющих более высокий показатель сопряжённости с подпространством «своего» класса.
При уменьшении размерности опорных подпространств чувствительность алгоритма распознавания к изменениям ракурса растёт, а качество распознавания, сравнимое с качеством, получаемым при использовании исходного обучающего множества, достигается путём разбиения классов на, возможно, большее число подклассов.
В идейном плане предложенный метод опорных подпространств сходен с методом опорных векторов (SVM). Он состоит в построении наилучших в смысле качества распознавания подпространств небольшой размерности, содержащих обучающие вектора «на границах» класса, т. е. наиболее удалённые от своего класса.
Полученные результаты вселяют оптимизм для дальнейших исследований, поскольку удалось превзойти метод опорных векторов, который в настоящее время большинством авторов признаётся одним из лучших.
Благодарности
Работа выполнена при поддержке Министерства образования и науки РФ (проект № 2.2335.2014/K).
Литература
1. Moving and Stationary Target Acquisition and Recognition (MSTAR) Public Dataset [Электронный ресурс]. - URL: https://www.sdms.afrl.af.mil/index.php?collection=mstar (дата обращения 01.03.2015).
2. Zhao, Q. Synthetic aperture radar automatic target recognition with three strategies of learning and representation / Q. Zhao, J.C. Principe, V.L. Brennan, D. Xu, Zh. Wang // Optical Engineering. - 2000. - Vol. 39(5). - P. 1230-1244.
3. Diemunsch, J.R. MSTAR model-based automatic target recognition: search technology for a robust ATR / J.R. Diemunsch, J. Wissinger // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. -1998. - P. 481-492.
4. Gallant, J.F. Automatic Target Recognition for Synthetic Aperture Radar / J.F. Gallant // The Royal Canadian Air Force Journal. - 2013. - Vol. 2. - P. 8-18.
5. Amoon, M. Automatic target recognition of synthetic aperture radar (SAR) images based on optimal selection of Zernike moments features / M. Amoon, G. Rezairad // IET Computer Vision. - 2013. - Vol. 8(2). - P. 77-85.
6. Novak, L.M. The Automatic Target-Recognition System in SAIP / L.M. Novak, G.J. Owirka, W.S. Brower, A.L. Weaver // Lincoln Laboratory Journal. - 1997. - Vol. 10(2). -P. 187-202.
7. Fulgham, D.A. DARPA Looks Anew at Hidden Targets / D.A. Fulgham // Aviation Week and Space Technology. -1997. - Vol. 146(1). - P. 56-57.
8. Ross, T.D. Standard SAR ATR Evaluation Experiments using the MSTAR Public Release Data Set / T.D. Ross, S.W. Worrell, V.J. Velten, J.C. Mossing, M.L. Bryant // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. - 1998. - P. 566-573.
9. Mossing, J.C. An Evaluation of SAR ATR Algorithm Performance Sensitivity to MSTAR Extended Operating Conditions / J.C. Mossing, T.D. Ross // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. - 1998. -P. 554-565.
10. Keydel, E.R. MSTAR Extended Operating Conditions a Tutorial / E.R. Keydel, S.W. Lee, J.T. Moore // Proceedings of SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III. - 1996. - P. 228-242.
11. Sun, Y. Adaptive Boosting for Synthetic Aperture Radar Automatic Target Recognition / Y. Sun, Z. Liu, S. Todorovic, J. Li // Aerospace and Electronic Systems, IEEE Transactions on. -2007. - Vol. 43(1). - P. 112-125.
12. Фурсов В.А. Тематическая классификация гиперспектральных изображений по показателю сопряжённости / В.А. Фурсов, С.А. Бибиков, О.А. Байда // Компьютерная оптика. - 2014. - Т. 38, № 1. - С. 154-158. - ISSN 0134-2452.
13. Жердев, Д. А. Распознавание объектов по диаграммам рассеяния электромагнитного излучения на основе метода опорных подпространств / Д.А. Жердев, Н.Л. Казанский, В.А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 3. - С. 503-510. - ISSN 0134-2452.
14. Kottke, D.P. A Design for HMM-Based SAR ATR / D.P. Kottke, P.D. Fiore, K.L. Brown, J.K. Fwu // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. - 1998. - P. 541-551.
15. Rosin, P.L. Unimodal thresholding / P.L. Rosin // Pattern Recognition. - 2001. - Vol. 34(11). - P. 2083-2096.
16. Bishop, Ch.M. Pattern Recognition and Machine Learning / Ch.M. Bishop. - New York: Springer, 2006. - 738 p.
References
1. Moving and Stationary Target Acquisition and Recognition (MSTAR) Public Dataset [Electronic resource]. - URL: https://www.sdms.afrl.af.mil/index.php?collection=mstar (request date 01.03.2015).
2. Zhao, Qu. Synthetic aperture radar automatic target recognition with three strategies of learning and representation / Qu. Zhao, J. C. Principe, V.L. Brennan, D. Xu, Zh. Wang // Optical Engineering. - 2000. - Vol. 39(5). - P. 1230-1244.
3. Diemunsch, J.R. MSTAR model-based automatic target recognition: search technology for a robust ATR / J.R. Diemunsch, J. Wissinger // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. -1998. - P. 481-492.
4. Gallant, J.F. Automatic Target Recognition for Synthetic Aperture Radar / J.F. Gallant // The Royal Canadian Air Force Journal. - 2013. - Vol. 2. - P. 8-18.
5. Amoon, M. Automatic target recognition of synthetic aperture radar (SAR) images based on optimal selection of Zernike moments features / M. Amoon, G. Rezairad // IET Computer Vision. - 2013. - Vol. 8(2). - P. 77-85.
6. Novak, L.M. The Automatic Target-Recognition System in SAIP / L.M. Novak, G.J. Owirka, W.S. Brower, A.L Weaver // Lincoln Laboratory Journal. - 1997. - Vol. 10(2). - P. 187-202.
7. Fulgham, D.A. DARPA Looks Anew at Hidden Targets / D.A. Fulgham // Aviation Week and Space Technol. - 1997.
- Vol. 146(1). - P. 56-57.
8. Ross, T.D. Standard SAR ATR Evaluation Experiments using the MSTAR Public Release Data Set / T.D. Ross, S.W. Worrell, V.J. Velten, J.C. Mossing, M.L. Bryant // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. - 1998. - P. 566-573.
9. Mossing, J.C. An Evaluation of SAR ATR Algorithm Performance Sensitivity to MSTAR Extended Operating Conditions / J.C. Mossing, T.D. Ross // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. - 1998. -P. 554-565.
10. Keydel, E.R. MSTAR Extended Operating Conditions a Tutorial / E.R. Keydel, S.W. Lee, J.T. Moore // Proceedings of SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III. - 1996. - P. 228-242.
11. Sun, Y. Adaptive Boosting for Synthetic Aperture Radar Automatic Target Recognition / Y. Sun, Z. Liu, S. Todorovic, J. Li // Aerospace and Electronic Systems, IEEE Transactions on. -2007. - Vol. 43(1). - P. 112-125.
12. Fursov, V.A. Thematic classification of hyperspectral images using conjugacy indicator / V.A. Fursov, S.A. Bibikov, O.A. Bajda // Computer Optics. - 2014. - Vol. 38(1). -P. 154-158. - ISSN 0134-2452.
13. Zherdev, D.A. Object recognition by the radar signatures of electromagnetic field scattering on base of support subspaces method / D.A. Zherdev, N.L. Kazanskiy, V.A. Fursov // Computer Optics.
- 2014. - Vol. 38(3). - P. 503-510. - ISSN 0134-2452.
14. Kottke, D.P. A Design for HMM-Based SAR ATR / D.P. Kottke, P.D. Fiore, K.L. Brown, J.K. Fwu // Proceedings of SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V. - 1998. - P. 541-551.
15. Rosin, P.L. Unimodal thresholding / P.L. Rosin // Pattern Recognition. - 2001. - V. 34(11). - P. 2083-2096.
16. Bishop, Ch.M. Pattern Recognition and Machine Learning / Ch.M. Bishop. - New York: Springer, 2006. - 738 p.
OBJECT RECOGNITION IN RADAR IMAGES USING CONJUGATION INDICES AND SUPPORT SUBSPACES
D.A. Zherdev, N.L. Kazanskiy, V.A. Fursov Image Processing Systems Institute,
Russian Academy of Sciences Samara State Aerospace University,
Abstract
We suggest an object recognition method based on synthetic aperture radar images. The so-called conjugation index between the vector under recognition and a subspace composed of vectors of a training set has been used as a distance function. The processes of clustering have been constructed using support subspaces. Different processes of the training set resampling through the exclusion of vague vectors from the set using the conjugation index have been discussed. The dependence of the recognition quality on the support subspace dimension has been analyzed. The results of experiments demonstrate that the proposed method provides a higher recognition quality than that offered by the support vector method (SVM).
Keywords: digital image processing, synthetic aperture radar (SAR) image, MSTAR, recognition, conjugation index, support vector method (SVM).
Сведения об авторах
Жердев Денис Алексеевич, магистр прикладной математики и физики, по совместительству инженер ИСОИ РАН лаборатории дифракционной оптики, аспирант Самарского государственного аэрокосмического университета на кафедре суперкомпьютеров и общей информатики. Область научных интересов: дифракционная оптика, численное моделирование, обработка изображений, распознавание.
E-mail: denis.zherdev.91 @mail.ru .
Denis Alekseevich Zherdev, Master of Applied Mathematics and Physics, part-time engineer IPSI RAS Diffraction Optics laboratory, is a postgraduate student at Supercomputer and General Informatics department in Samara State Aerospace University. Research interests: diffractive optics, numerical modeling, image processing, recognition.
Сведения об авторе Казанский Николай Львович - см.стр. 162этого номера.
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой суперкомпьютеров и общей информатики в Самарском государственном аэрокосмическом университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение параллельных алгоритмов обработки и распознавания изображений, реализуемых с использованием многопроцессорных вычислительных систем.
E-mail: fursov@ssau.ru .
Vladimir Alekseevich Fursov, is Doctor of Engineering Science, Professor, head of Supercomputers and General Informatics sub-department of Samara State Aerospace University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of high-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.
Поступила в редакцию 20марта 2015 г. Окончательный вариант - 15апреля 2015г.
