CC BY
152
НАУКАиОБРАЗОВАН И Е
Эл № ФС77 - 48211. Государственная регистрация №0421200025. ISSN 1994-0408
Описание изображений сложных наземных объектов в задаче
распознавания образов
# 11, ноябрь 2012
DOI: 10.7463/1112.0500490
Гулевич С. П., Веселов Ю. Г., Прядкин С. П.
УДК 778.35:629.7
Россия, МГТУ имени Н.Э. Баумана Россия, ОАО «Камов»
Россия, ВУНЦ ВВС «Военно-воздушная академия имени профессора Н.Е. Жуковского и
Ю.А. Гагарина» vesel [email protected]
Введение
Эффективность применения современных беспилотных летательных аппаратов (БЛА) против террористических, контрабандных, наркотических и других угроз, связанных с несанкционированным проникновением на охраняемые территории во многом зависит от качества систем наблюдения, сбора и обработки информации, управления и контроля, а также систем принятия решений. В качестве одной из основных систем сбора и обработки информации на борту БЛА используется оптико-электронная система (ОЭС). Проектирование ОЭС БЛА должно исходить из требований, предъявляемых условиями применения БЛА, комплексом алгоритмов, подлежащих реализации на борту БЛА, точностью представления входной и выходной информации, а также динамикой управления БЛА. Задача распознавания изображений наземных объектов в БЛА является ключевой для приближения БЛА к возможностям пилотируемой авиации. Эффективное решение указанной задачи повышает вероятность обнаружения наземных объектов с использованием ОЭС.
Успешность выполнения задачи распознавания сложных трехмерных объектов по их двумерному изображению, формируемому ОЭС,
характеризуется показателями эффективности. В большинстве систем технического зрения в качестве показателей используются вероятность правильного распознавания (классификации) или достоверность распознавания. Очевидно, что показатели эффективности зависят от дальности, маскировки, метеоусловий и целого ряда случайных факторов. Поскольку при измерениях сигнала от регистрирующего датчика (тепловизора, телекамеры или фотокамеры) возникают шумы, измеряемые величины носят случайный характер. Случайные факторы можно в зависимости от причин их возникновения разделить на группы. Первая группа факторов определяется самим излучающим или отражающим объектом: характером отражения и рассеивания сигнала от его поверхности. Ввиду структурной сложности изображений наземного объекта, многовариантности его ракурсов, окрасок, наконец, внешнего оборудования и средств маскировки эта группа имеет детерминированную и случайную составляющие. Вторая группа связана с воздействием среды на формирование изображения и описывается характером рассеивания (поглощения) оптического излучения в атмосфере. Оно зависит от метеоусловий, наличия турбулентности и тепловых потоков в атмосфере на участке луча "БЛА - объект". Третья группа случайных факторов связана с приемником изображения ОЭС. Здесь происходит оцифровка изображения -квантование по уровню яркости сигнала и квантование в пространстве. В процессе квантования вносятся погрешности, обусловленные чувствительностью элементов матрицы приемника оптического излучения и конечными размерами каждого элемента. К этой же группе относятся помехи: естественные (ракурс солнца, зеленые насаждения, блики от водных поверхностей, стекла, крыш и других поверхностей) и искусственные (ослепление лазерами и другими мощными источниками).
Особенностями ОЭС БЛА, отличающими их от других систем технического зрения, являются: устойчивость к высокому уровню помех, обусловленных нестационарными условиями экспозиции сцены; работа в условиях реального времени; ограничения на вычислительные ресурсы и 10.7463/1112.0500490 240
ресурсы энергоснабжения. Особо следует выделить возможность адаптации ОЭС к новым объектам, хотя обычно ОЭС работают по образцу. В этой связи, работу системы технического зрения можно рассматривать на 2 этапах:
- проектирование и первичное обучение,
- эксплуатация и дообучение с целью распознавания новых объектов. Рассмотрим некоторые принципы построения систем технического зрения
БЛА, которые закладываются на первом этапе и определяют потенциальные возможности по распознаванию наземных объектов. Общая схема решения задачи распознавания приведена на рисунке 1.
Рисунок 1 - Схема решения задачи распознавания
Изображение цели, сформированное в фокальной плоскости оптическим каналом и оцифрованное матричным приемником ОЭС, будем обозначать Z. По-существу, Ъ представляет собой двумерную матрицу размером КхМ (размер фотоприемника в пикселях). Последовательно считывая строки матрицы Z, преобразуем её в вектор 2 размерности МхМ Вектор 2 будем называть образом наблюдаемого объекта Ъ. Будем считать, что образ объекта может принадлежать к классу множества классов целей в=1...К}.
Множество Л счетно. Каждый класс определяется конкретной моделью объекта. Алгоритм соотнесения образа объекта к одному из классов ю8 будем называть классификатором. Образу 2 в Ь-мерном метрическом пространстве
признаков соответствует вектор X. Из рисунка 1 видно, что выбор информационных признаков перед первичным обучением системы технического зрения, после обучения имеет определяющее влияние на эффективность процесса распознавания наземного объекта.
В качестве признаков, как правило, выбирают следующие признаки изображения:
- геометрические (отрезки прямых, дуги - обобщенный метод Хафа, детекторы углов -Харриса, Томаши, контуры и другие особенности изображения);
- спектральные (спектральные характеристики на основе Фурье или вейвлет преобразования);
- структурные (на основе морфологического анализа и других методов);
- энергетические или яркостные;
- статистические (на основе анализа распределений и статистик).
Без ограничения общности могут быть использованы любые признаки и их комбинации для обучения системы технического зрения. Будем предполагать, что при фиксированном выборе векторного пространства признаков классификатор обеспечивает оптимальное решение по распознаванию. Постановка задачи. Выбор наиболее информативных признаков, описывающих множество классов объектов п=(щ, j=1...K}, является ключевым моментом в задаче распознавания сложных по форме, спектру и другими признакам объектов. Требуется сформулировать принципы отбора информационных признаков образов, обеспечивающих решение задачи распознавания образов из K классов
по критерию максимума вероятности распознавания Ррасп х заданным набором
—♦
Л' любого объекта из K классов. Классы cOj и c являются не пересекающимися:
если X Е G>j и X Е с&1, то следует X Е 0.
Допущения:
1 в кадре присутствует информация только об одном нормализованном образе;
—»
2 векторы признаков X для всех классов имеют одинаковый закон распределения.
Разделимость классов с точки зрения теории информации
Для оценки информативности признаков воспользуемся положениями теории информации - используем понятия объем информации 1(2) и энтропия Н(2). Ральф Хартли в работе [1] предложил объем информации 1(2),
содержащийся в образе и связанный с реализацией события 2 = т.к с вероятностью pk, определять как логарифмическую функцию:
где основание логарифма, как правило, равно 2 (единица информации - bit) или e (единица информации - nat). Для определенности в работе выбрана единица е. Ввиду того, что разрешение приемника ОЭС определено - MxN, тогда
множество реализаций события 2 = zk - счетно и ограничивается условием:
Здесь предполагается, что минимальный объем информации соответствует достоверному событию (рк = 1), а максимальный соответствует событию с наибольшей неопределенностью - реализация образа в виде 1 точки рк = 1/МЫ).
В работе Клода Шеннона [2] введено среднее значение объема информации I (гк) при всех возможных реализациях образа называемое
энтропией Н(2):
(1)
.
Считая, что 0-log0=0 для энтропии H( Z) получим диапазон:
.
(2)
Прежде чем приступить к решению задачи по выбору наиболее информативных признаков ответим на вопрос: какой из двух наборов признаков и Оу с распределениями fx(x), gY(y) несет больший объем информации об образе? Здесь fx(x) - гауссово Ь-мерное распределение
случайного вектора признаков X, gY(y) - отличное от гауссового Ь-мерное
распределение случайного вектора признаков Y. Распределения (х), gY(y) имеют одинаковые значения первого и второго статистических моментов.
В работе [3] был сформулирован принцип максимальной энтропии: "Если выводы основываются на неполной информации, она должна выбираться из распределения вероятности, максимизирующего энтропию при заданных ограничениях на распределение". В [4] доказано, что принцип максимальной энтропии корректен и существует только одно распределение, обеспечивающее максимум энтропии, которое можно выбрать с помощью "аксиом согласованности":
- уникальность (результат должен быть единственным);
- инвариантность (выбор системы координат не должен влиять на результат);
- независимость системы (не должно иметь значения, будет ли независимая информация о независимых системах браться в расчет как в терминах различных плотностей раздельно, так и вместе, в терминах совместной плотности);
- независимость подмножеств (не должно иметь значения, будет ли независимое множество состояний системы рассматриваться в терминах условной плотности или полной плотности системы).
Для случая многомерного гауссового распределения 1:х(Х)
центрированного вектора признаков X известно выражение [7]:
Тогда доопределим энтропию для непрерывного вектора признаков X следующим выражением [7]:
Н(Х)=1^(Х)^ГК;(Х))с1Х. (2б)
Последняя величина получается из (2) как предельный переход по количеству состояний для вектора признаков X и в литературе носит название дифференциальной энтропии. Поскольку на практике, как правило, используется квантованная оценка признаков и выборочные оценки вектора математического ожидания и матрицы ковариации, то нас будет интересовать только вывод некоторых выражений для оценки энтропии с переходом к дискретному представлению. Подставляя выражение (2а) в интеграл (2б), для многомерного гауссового распределения fx(x) получено выражение для
энтропии Н(х)[4]:
Н(х) = ^[Ь — Ь ■ 1ог(2тт) — 1оа с!е1:(1) , (3)
где Ь - размерность вектора признаков X, 2 - матрица ковариации
случайного вектора признаков X, с1е1:(Е}- определитель матрицы 2. Из (3) вытекает 2 вывода.
1. Если вектор признаков X описывается гауссовой статистикой, то
энтропия ее имеет наибольшее значение среди прочих векторов признаков У , описываемых иной статистикой с таким же вектором средних значений, при этом выполняется неравенство: н(х) > н(у ), причем равенство достигается
только при совпадении распределений X и У .
2. Энтропия Н(Х) гауссового случайного вектора признаков X однозначно
определяется его ковариационной матрицей 2 и не зависит от среднего
—»
значения вектора признаков X.
На основании сделанных выводов может быть сформулирован первый
принцип, в соответствии с принципом максимальной энтропии считаем, что
вектор признаков X описывается гауссовой статистикой.
Поскольку энтропия Я(Л') для наиболее информативного набора
—♦
признаков X образа определяется его ковариационной матрицей 2, то учитывая ее симметричный характер можно использовать разложение Карунена-Лоева
£ = 1рТ . д . гр (4)
где Л - диагональная матрица состоящая из собственных значений Л|, а¥ -матрица составленная из столбцов - собственных векторов, соответствующих А|. Заметим что ранг матрицы 2 т.е. ¡1 =гапк(Х) ^ Ь определяет количество
линейно независимых векторов признаков, отвечающих за классификацию X. Выполняя процедуру нормализации для собственных значений и собственных векторов Е, получим нормализованные собственные значения
Учитывая тот факт, что ¥ соответствует ортогональному преобразованию, т.е. чрт т = 1, для с1е1(Е) получим:
Подставляя выражение (5) в (3), получим:
В работе [5] показано, что максимальная погрешность разложения (4) определяется выражением:
В (7) предполагается, что все собственные значения и их собственные вектора упорядочены в порядке убывания, так как значимость каждого
компонента вектора признаков X определяется его собственным значением:
> > - > № • (7а)
Сформулируем второй принцип: собственные значения разложения Карунена-Лоева (7а), упорядоченные в порядке убывания, определяют информационную значимость соответствующей компоненты вектора
признаков X.
Рассмотрим ортогональное преобразование исходного вектора признаков X:
У = Ч*т ■ X, Т ■ Тт ■ X = Т ■ У, X = Т -У, (8)
т.е. матрица V состоит из // линейно независимых векторов-столбцов (|Ч*| Ф О) и эти столбцы ортонормировании:
■ ^ (0, 1 = Г Тогда для матрицы ковариации Ех получим: Ех = Е[(Х - Е{Х}) -(X - Е|х})т]= Е[(Ч* ■ У - £{4* ■ У}) -(Т- У — Е{4* ■ У})т]=
На основании выражения (9) и с учетом (4) получим:
<М(1Х) = с!е1(Ч,Ч,т) ■ с1е1:Г1у) = йе^Ху). (10)
Можно сделать вывод о том, что ортогональное преобразование пространства признаков не меняет энтропии (3) для вектора У. Из свойств http://technomag.edu.ru/doc/500490.html 247
ортогонального преобразования вытекает, что оно не изменяет расстояний в пространстве признаков и эквивалентно повороту относительно центра рассеивания. Рассеивание, в нашем случае, описывается матрицей ковариации вектора признаков Ех. Для многомерного гауссового распределения fx(X) из (2а) видно, что поверхность постоянной плотности вероятности вектора признаков X является поверхность второго порядка. Учитывая симметричный
характер гауссового распределения относительно вектора математического
_, _+ т
ожидания Мх = BIX } = (шх1, шх2,--, mxLi) , установлено, что эта
поверхность - L-мерный эллипсоид рассеивания [7]. Поскольку в результате выполнения ортогонального преобразования матрица ковариации вектора признаков Ey приведена к диагональному виду (4), то это означает, что полуоси эллипсоида указывают направления максимального рассеивания в L-мерном пространстве признаков. Смысл ортогонального преобразования У = Ч*т ■ X заключается в повороте системы координат относительно центра рассеивания Мх до совмещения координатных осей О Y с главными полуосями рассеивания в L-мерном пространстве признаков. Так как каждый с^-й класс образов имеет свой эллипсоид рассеивания, то задача выбора набора признаков, обеспечивающих решение задачи распознавания с максимальным уровнем вероятности распознавания Ррасп ^ сводится к рассмотрению геометрической
задаче с K эллипсоидами постоянной плотности вероятности.
Геометрический подход к задаче разделимости классов
Для определенности будем рассматривать эллипсоиды постоянной плотности вероятности с полуосями равными 3<т£ = 3 Д/Л^, где -
собственные значения выборочной ковариационной матрицы (4). Заметим, что эту цифру (3) далее в статье мы уточним! Тогда при условии независимости
компонент вектора признаков У (соответствует диагональному виду на основании правила «3-х СКО» для гауссового закона распределения 99,7% всех реализаций вектора признаков для соответствующего класса образов будет
находиться внутри эллипсоида рассеивания. При этом правильность выбора
—»
вектора признаков X будет интерпретироваться как отсутствие пересечений эллипсоидов рассеивания различных классов.
На основании приведенных выше рассуждений сформулируем третий
принцип: описание каждого класса в Ь-мерном пространстве признаков
определяется его эллипсоидом рассеивания с центром Мх и полуосями
равными 3 Д/Л, где Хь - собственные значения выборочной ковариационной
матрицы вектора признаков по обучающей выборке класса. В работе [8] приведена теорема.
__—» гр —• —* гр —> Т
Теорема 1. Пусть X А±Х = 1 и X А2Х =1 - квадрики в к, причем первая является эллипсоидом. Квадрики не пересекаются тогда и только тогда, когда матрица А1 — Л2 является знакоопределенной.
Данная теорема может быть использована для матриц Л1 = Е1~1 и
_-1 _<1 _1
А2 = • Применяя критерий Сильвестра[9] для матрицы Д12 = — 22 ,
необходимо проверить, что все главные миноры матрицы Д12 положительны, либо все главные миноры отрицательны.
Непересечение эллипсоидов рассеивания различных классов является необходимым условием при выборе эффективного набора признаков классификатора образов. В случае зашумления вектора признаков среднеквадратические отклонения ошибок (СКО) компонент вектора признаков, а, следовательно, и главные оси эллипсоидов рассевания будут расти, что, в конце концов, приведет к их пересечению и возникновению состояния неопределенности. Для контроля выполнения необходимого критерия выбора признаков и оценки устойчивости классификатора к шумам
можно использовать расстояние между близкими классами (эллипсоидами рассеивания). Для этого воспользуемся следующей теоремой [8].
Теорема 2. Если выполняется условие теоремы 1, то квадрат расстояния
между эллипсоидом Х'А±Х=1 и квадрикой X1А2Х = 1 совпадает с минимальным положительным корнем полинома
в предположении, что этот корень не является кратным. Здесь Ор— дискриминант полинома, рассматриваемого относительно переменной р.
Таким образом, для каждой пары близких эллипсоидов рассеивания с матрицами А1 = Ец-1 и Л2 = Е2 1 необходимо составить матрицу размерности ЬхЬ: = рАх + (г — р)А2 - р(г — р)А1А2 . Далее, разложив
детерминант в виде характеристического многочлена по степеням
р, получим полином порядка п = Ь+2:
= р)] = + ¿хр1 Н-----Ь^р^, где = ¿¿(г). Отметим, что
дискриминант полинома равен нулю тогда и только тогда, когда полином имеет кратные корни. Поскольку машинное определение выборочной оценки ковариационных матриц выполняется с точностью до погрешностей округления, то событие получения кратных корней практически является маловероятным. Выражение для дискриминанта имеет вид:
где К йр) - результант полинома с1(г) и его производной с1'р (г)
.
Результант сГр) равен определителю следующей (2п-1) -(2п-1) матрицы:
<п <п-1 <п-2 <0 0 0
0 <п <п-1 <п-2 <0 0 0
0 0 0 0 0 <п <п -1 <п-2 <0
п<п (п-1)<п-1 (п-2)<п-2 <1 0 0 0
0 п<п (п-1)<п-1 (п-2)<п-2 <1 0 0 0
0 0 п<п (п-1)<п-1 (п-2)<п-2 <1 0 0
0 0 0 0 0 0 п<п-1 (п-1)<п-2 (п-2)<п-2 <1
Тогда, выбирая минимальный положительный корень - ъ полинома с1(г), получим евклидово расстояние между двумя эллипсоидами в Ь-мерном пространстве признаков:
Отметим, что указанная процедура оценки расстояний может быть рассчитана на этапе проектирования классификатора. Выполняя пропорциональное расширение (^-коэффициент пропорциональности) главных полуосей эллипсоида рассеивания
получим таблицу соответствий к кау1 -* расстояний между классами у и
Максимальное значение к при котором 0}5 > 0, определит запас
устойчивости выбранного набора Ь признаков к воздействию шума.
На основании утверждений теоремы 1 и 2 сформулируем четвертый принцип, расстояния между классами у и ^ для обучающих выборок этих
классов определяет запас устойчивости у = + <Ту3 выбранной пары
классов к воздействию шума.
При некотором упрощении задачи может быть получена оценка вероятности распознавания. Выполняя процедуру нормализации и
ранжирования (7а) собственных значений для выборочной ковариационной матрицы каждого класса, можно оставить только три значимых компоненты вектора признака:
."1 > У-2 > гз-
В работе [7] найдено аналитическое выражение для вероятности попадания случайного трехмерного вектора признаков с гауссовой плотностью вероятности в эллипсоид рассеивания:
7 7 7
х у* и* , о ^ + ^ + к -
<ТХ (Ту стг
Здесь, как и при составлении таблицы расстояний между классами, полуоси эллипсоида (а,Ь,с) пропорциональны СКО компонент вектора признаков:
В соответствии с выражением (2а) при Ь=3, выполняя замену
7 7 7
Т
получим выражение для вероятности попадания вектора признаков Л' (х,у,~) в эллипсоид Бк:
2
р(х с= вк)
. . £_ -ч Л „2 )
■111, е : " " 4 ахауаг.
(2тт)У2 пх<ту<т2 -}-}-}Вк
Переходя к сферическим координатам и интегрируя по частям, получим:
(12)
1 гк
где Ф(к) = — ■/0 е 2 сИ - функция Лапласа[7].
В [5] показано, что уровень значимости признаков, как правило, резко падает с увеличением ранжированного номера собственного значения выборочной матрицы ковариации и на основании (7) относительная ошибка представления вектора признаков для размерности Ь>3 составит единицы
т
процента. Реализация вектора признаков X (х,у,~) позволяет выразить
отклонение от центра эллипсоида рассеивания Мх = (тХ1ту1тг)Т через расстояние, выраженное в среднеквадратических отклонениях, аналогично (11):
Значения СКО здесь получены на этапе первичного обучения, поэтому для
гр
вектора признака X (х,у,~) могут быть найдены такие значения к = ку, которые для заданного класса (с вектором МХ} матрицей 2^) определяют расстояние до центра эллипсоида, выраженное в СКО. Подставляя к} в (12), получим вероятность попадания в эллипсоид Р(|с В^). На рисунке 2 представлены 3 зависимости вероятности попадания р(х а в^, при этом Ву представляет собой двухмерный эллипс, трехмерный эллипсоид и трехмерный куб. Для трехмерного эллипсоида при р(х с Я■) = 0.997 в соответствии с (12)
вычислено к=3.9, что превышает оценку для трехмерного куба к=3.4 (обобщенное «правило трех сигм» на пространство Я). Это факт свидетельствует о том, что не правомерно использовать аппроксимацию многомерного эллипсоида соответствующей размерности параллелепипедом, так как в этом случае получается завышенная оценка вероятности, а доверительные интервалы имеют заниженную оценку. Для эллипсоида рассеивания доверительный интервал составил ±3,9 СКО, что на 15 % больше, чем у куба.
Рисунок 2 - Зависимость р(х а ) от СКО, где Я, - эллипсоид, куб и эллипс
Сформулируем пятый принцип селекции информационных признаков образов: эллипсоиды рассеивания для всех К классов строятся на основе обучающих выборок этих классов, полуоси эллипсоидов определяются в соответствии с выражением (11), где к=3,9. При этом корректный набор признаков должен обеспечить высокий запас устойчивости:
у = 1ШП Уjs » 1.
Оценка вероятность распознавания образа каждого класса
Найдем теперь вероятность того, что реализация вектора признаков X принадлежит классу из множества классов П = {ц, / 1...К}. Эта
вероятность является апостериорной, поскольку вычисляется на основе
реализации вектора признаков X = (х1, х2, , . Тогда в соответствии с формулой Байеса [5] получим:
Вероятность того, что реализация вектора признаков X принадлежит классу «у, определяется выражением:
где Р{х а шу} - априорная вероятность принадлежности вектора X классу о^, р(| с В] |со,) -условная вероятность события X с В; при условии, что произошло событие I с Если классификатор распознает 100 классов (К=100) и все события X с равновероятны, то Р(х с <ну) =0,01 и (13) упрощается:
Из постановки задачи следует, что совместная вероятность независимых событий определяется произведением их вероятностей. Тогда вероятность
распознавания класса определяется принадлежностью X к эллипсоиду В, (свероятностью Р(Х а и непринадлежностью к другим эллипсоидам
с вероятностью (1 — Р(Х а В^ |й^-)):
Подчеркнем тот факт, что выражение (15) позволяет оценивать максимальную вероятность распознавания объекта на множестве классов П, так как на этапе разработки (при обучении) системы учитываются СКО, обусловленные лишь ошибками квантования (оцифровки) сигнала изображения. В действительности СКО компонент вектора признаков всегда будет больше на реальном сигнале.
Таким образом, получена оценка вероятности распознавания для каждого класса . Найдем вероятность распознавания образа Ррасп х для заданного
набора признаков X, как минимальное значение вероятности РрасП0} для всех К классов:
В результате сформулированы ряд принципов и определен критерий выбора набора признаков по максимуму вероятности распознавания образов г , обеспечивающих решение задачи распознавания с определенным
уровнем вероятности распознавания (16). Это значение Ррасп ^ соответствует минимальному искажению входного сигнала, так как учитывается только дискретная форма представления сигнала X. При увеличении отношения сигнал/шум эллипсоид рассеивания расширяется (рост СКО). Последнее обстоятельство в соответствии с (12) приводит к увеличению к и снижению вероятностей Ррасп ш. В случае аномального роста погрешностей признаков
эллипсоиды рассеивания разных классов пересекаются и это еще более резко снижает Ррасп и..
Существенная размерность пространства признаков классов
Сформулируем еще один принцип по выбору размерности набора признаков 1т;п, обеспечивающих решение задачи распознавания с соответствующим ему максимальным уровнем вероятности распознавания.
С одной стороны в соответствии с методом величина £?Ш;Т1 = I1 определяется максимальным рангом матриц ковариаций Е^,} = 1 ... К то есть
Заметим, что выражение (17) скорее является верхней границей для выбора размерности пространства признаков. Как правило, назначая уровень значимости признаков, удается существенно понизить размерность этого пространства, например, используя упорядоченный набор собственных значений разложения Карунена-Лоева для ковариационной матрицы класса. Именно в этой связи был введен термин "существенная размерность" и на основании (15), (16) получим значение Iй.
С другой стороны, минимальное возможное число признаков описывается степенями свободы физической системы. Например, движение твердого тела в пространстве описывается 6 фазовыми координатами (3- линейных , 3-угловых). Считая, что вдоль каждой фазовой координаты необходимо иметь хотя бы 1 координату вектора признаков, получим 6 компонент. Если движения объекта можно считать плоским, то получим 5 компонент (одно уравнение связи координат движения объекта, например у=0). Обобщая, приходим к выводу: если на движение объекта наложено т уравнений связи, то получим 6-т компонент вектора признаков. Тогда получим I? = 6 — т степеней свободы системы, значение определяет "истинную размерность" системы.
Тогда для размерности пространства признаков можно записать:
<^<{¿,/7'}. (18)
В этой связи может быть сформулирован принцип 6-существенной размерности пространства признаков: размерностью пространства признаков классификатора определяется выражением (18).
В заключении сформулируем выводы по работе.
1 Рассмотренные принципы построения классификаторов основываются на самых общих положениях статистической теории оценивания и теории информации и не используют конкретных методов и схем построения классификаторов.
2 Изложенные в статье принципы могут лечь в основу научно-обоснованного подхода к методике выбора наиболее информативных признаков классификаторов.
Работа поддержана Российским фондом фундаментальных исследований. Проект № 11-08-00292.
Список литературы
1. Hartley R.V.L. Transmission of Information // Bell System Technical Journal. July 1928. Vol. 7, no. 3. Р. 535-563.
2. Шеннон К. Работы по теории информации и кибернетике: пер. с англ. М.: Издательство иностранной литературы, 1963. 832 с.
3. Shore J.E., Johnson R.W. Axiomatic derivation of the principle of maximum entropy and the principle of minimum cross-entropy // IEEE Transactions on Information Theory. 1980. Vol. IT-26. Р. 26-37.
4. Jaynes E.T. On the rationale of maximum-entropy methods // Proceedings of the IEEE. 1982. Vol. 70. Р. 939-952.
5. Фукунага К. Введение в статистическую теорию распознавания образов : пер. с англ. М.: Наука, 1979. 366 с.
6. Хайкин С. Нейронные сети: полный курс: пер. с англ. 2-е изд. М.: Издательский дом "Вильямc", 2006. 1104 с.
7. Вентцель Е.С. Теория вероятностей : учебн. для вузов. 5-е изд., стер. М.: Высшая школа, 1998. 576 с.
8. Uteshev A.Yu., Yashina M.V. Distance computation from an ellipsoid to a linear or a Quadric Surface in Rn // Computer Algebra in Scientific Computing, Springer Berlin Heidelberg, 2007, pp. 392-401. (Lecture Notes in Computer Science, vol. 4770). DOI: 10.1007/978-3-540-75187-8_31
9. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1966. 576 с.
SCIENTIFIC PERIODICAL OF THE RAIJMAN MS TU
SCIENCE and EDUCATION
EL № FS77 - 48211. №0421200025. ISSN 1994-040S
electronic scientific and technical journal
Description of complex images of ground objects in the problem
of pattern recognition
# 11, November 2012
DOI: 10.7463/1112.0500490
Gulevitch S., P., Veselov Yu., G., Pryadkin S.P.
Russia, Bauman Moscow State Technical University
Russia, JSC «Kamov»
Russia, VUNTS Air Force «Air Force Academy named after Professor NE Zhukovsky
and Y. Gagarin» [email protected]
The article describes principles of selecting informative features for classification of optical images of complex surface facilities. The authors justify the selection of classes of objects using ellipsoidal estimation. They developed criteria for qualitative selection of the classifier attribute vector answering questions of resistance of classes to noise impact, of compact description of classes using ellipsoids of dispersion, of an essential dimension of the feature vector. The authors propose a science-based approach to selection of informative features of the signal classifier based on the concept of entropy of information theory and ellipsoidal estimation.
Publications with keywords: pattern recognition, selection of characteristics, systems of machine vision, information theory
Publications with words: pattern recognition, selection of characteristics, systems of machine vision, information theory
References
1. Hartley R.V.L. Transmission of Information. Bell System Technical Journal, July 1928, vol. 7, no. 3, pp. 535-563.
2. Shennon K. Raboty po teorii informatsii i kibernetike. [Work on information theory and cybernetics]. Collection of articles. Transl. from English. Moscow, Izdatel'stvo inostrannoi literatury, 1963. 832 p.
3. Shore J.E., Johnson R.W. Axiomatic derivation of the principle of maximum entropy and the principle of minimum cross-entropy. IEEE Transactions on Information Theory, 1980, vol. IT-26, pp. 26-37.
4. Jaynes E.T. On the rationale of maximum-entropy methods. Proceedings of the IEEE, 1982, vol. 70, pp. 939-952.
5. Fukunaga K. Introduction to Statistical Pattern Recognition. Academic Press, New York, 1972. (Russ. ed.: Fukunaga K. Vvedenie v statisticheskuiu teoriiu raspoznavaniia obrazov. Moscow, Nauka, 1979. 366 p).
6. Haykin S. Neural Networks: A Comprehensive Foundation. 2nd edition. Prentice-Hall, 1998. (Russ. ed.: Khaikin S. Neironnye seti : Polnyi kurs. 2th ed. Moscow, Izdatel'skii dom "Vil'iamc", 2008. 1104 p.).
7. Venttsel' E.S. Teoriia veroiatnostei [Probability theory]. Moscow, Vysshaia shkola, 1998. 576 p.
8. Uteshev A.Yu., Yashina M.V. Distance computation from an ellipsoid to a linear or a Quadric Surface in Rn. Computer Algebra in Scientific Computing, Springer Berlin Heidelberg, 2007, pp. 392-401. (Lecture Notes in Computer Science, vol. 4770). DOI: 10.1007/978-3-540-75187-8_31
9. Gantmakher F.R. Teoriia matrits [Theory of matrices]. Moscow, Nauka, 1966. 576 p.
