Снижение размерности векторов признаков по критериям мультиколлинеарности Текст научной статьи по специальности «Компьютерные и информационные науки»

СНИЖЕНИЕ РАЗМЕРНОСТИ ВЕКТОРОВ ПРИЗНАКОВ ПО КРИТЕРИЯМ МУЛЬТИКОЛЛИНЕАРНОСТИ

Н.Е. Козин г, В.А. Фурсов 2 1 Самарский государственный аэрокосмический университет имени академика С.П. Королева, 2 Институт систем обработки изображений РАН

Аннотация

В работе рассматривается возможность снижения размерности векторов признаков для задачи распознавания образов. Снижение размерности производится за счет отбрасывания менее информативных признаков. В качестве такого критерия информативности предлагается показатель диагонально преобладания. Обсуждается эффективность данного показателя по сравнению с другими мерами мультиколлинеарности с вычислительной точки зрения. Предлагаются алгоритмы, реализующие предложенную идею при решении задачи распознавания изображений.

Ключевые слова: мультиколлинеарность, показатель диагонального преобладания, снижение пространства признаков.

Введение

При построении классификаторов одним из важнейших этапов является выбор системы признаков [1]. Удачный выбор признаков обеспечивает высокое качество распознавания. Обычно признаки стараются выбрать таким образом, чтобы высокое качество распознавания обеспечивалось при минимальной размерности признакового пространства. Это особенно актуально, если задача распознавания должна решаться с высокой оперативностью, возможно, в реальном времени.

Для обеспечения этого требования в число признаков должны отбираться наиболее информативные. Известно два подхода к решению задачи отбора информативных признаков: наращивание числа признаков и редукция (сокращение) числа признаков [2]. В последнем случае задается некоторая, заведомо избыточная система признаков, а затем осуществляется исключение из нее малоинформативных.

При решении задачи распознавания изображений в качестве признаков часто используются отсчеты (значения яркостей точек) самого изображения, а образом является вектор, составленный из отсчетов изображения распознаваемого объекта. В этом случае анализ информативности признаков заключается в выявлении информативных областей (зон семантической значимости) на изображениях.

Интуитивно ясно, что наиболее информативными будут те области на изображениях, в которых имеют место существенные различия, связанные с принадлежностью образов разным классам [3]. Следовательно, алгоритм отбора информативных признаков (пикселей изображения) может состоять в формировании векторов образов, обладающих слабой мультиколлинеарностью (сопряженностью).

В настоящей работе предлагается и исследуется алгоритм сокращения размерности признакового пространства в задаче распознавания изображений. Идея алгоритма заключается в выделении наиболее информативных областей на изображениях путем

вычисления простых достаточных оценок мультиколлинеарности векторов образов.

1. Постановка задачи

Пусть все изображения обучающей выборки имеют одинаковые размеры N х Ы2, так что каждое изображение представляется N Ы2 х 1 -вектором, компонентами которого являются отсчеты изображений, «развернутые» по строкам или столбцам [4],

[5]. Предположим также, что число изображений в обучающей выборке равно Ы. Обозначим N = N х Ы2 и составим информационную Ы х Ы -матрицу Грама

С = иг и , (1)

где и N х Ы -матрица, столбцами которой являются N х 1 -векторы образов и,, i = 1,Ы обучающих объектов.

Поставим задачу из матрицы U построить матрицу X меньшей размерности п х Ы (п < N), содержащую Ы п х1-векторов xi , = 1, Ы , полученных путем исключения из векторов ц. , = 1,Ы од-

ноименных малоинформативных компонентов. Технически эта задача сводится к исключению из матрицы U некоторого (возможно значительного) числа строк, являющихся источником сильной мультиколлинеарности, что по существу означает исключение из всех обучающих изображений неинформативных областей. Заметим, что соответствующая информационная матрица

A = X7 X (2)

также будет иметь размерность Ы х Ы .

Наиболее полной характеристикой мультиколлинеарности векторов являются меры, связанные с собственными значениями определенной в (2) матрицы A - Л (A), , = 1, Ы . В частности, известны следующие меры мультиколлинеарности.

1. Определитель: det(A) = Пл .

,=1

2. Спектральное число обусловленности:

К ^) = ^.

Лшп

3. Минимальное собственное значение: АшП (A).

4. Показатель диагонального преоблада-

Ь.2 А ( Ы Л2 Ы (и Л2 Ы

”“:ф=^=(5 * )/ ,5 « =(5Л )/512.

Наиболее простым в вычислительном отношении является мера 4 - показатель диагонального преобладания. Однако его использование связано с существенными ограничениями. В работе [6] показано, что гарантированные оценки снизу для собственных значений в функции этого показателя существуют лишь в диапазоне:

Ы -1 < ф < Ы .

(3)

Ставится задача построить процедуру, которая бы позволяла с использованием любого из указанных показателей мультиколлинеарности выявлять наиболее информативные области на изображениях с целью формирования (редукции) признакового пространства сравнительно невысокой размерности без существенной потери качества распознавания.

2. Алгоритм определения информативных областей

По предположению (раздел 1), каждое из исходных изображений обучающей выборки имеет размеры N х Ы2, т.е. представляется N х 1 -вектором u (N = N хЫ2), а число изображений в обучающей

выборке равно Ы (^ , = 1,Ы). Предлагается сле-

дующий итерационный алгоритм сокращения размерности этих векторов.

1-й шаг. Работа алгоритма начинается с присваивания переменным пк и тк начальных значений (при k = 1) размеров исходных изображений: пк = п = Ж1, тк = т1 = Ы2. Далее алгоритм реализуется в виде итерационной схемы, включающей следующую последовательность шагов.

2-й шаг. Значение k увеличивается на единицу. Исходные изображения обучающей выборки разбиваются на k2 одинаковых прямоугольных фрагментов путем деления каждой стороны на k частей, и вычисляется размерность соответствующего фрагменту изображения вектора:

К = Щ х тк , (4)

где пк = пк-1/к , тк = т-1/к .

В случае наличия остатков от деления, результат округляется до ближайшего целого.

3-й шаг. Осуществляется проверка условия

К > Ы . (5)

Если неравенство выполняется, переход к шагу 4, если нет -к шагу 6.

4-й шаг. Для каждого фрагмента, например, q -

го, (q = 1,Ы) изображения обучающей выборки, сформированного на шаге 2, составляется К х Ы -матрица Xq к, с использованием которой формируется соответствующая информационная матрица

Ak * = XTkq Xk ^ . (6)

5-й шаг. По информационной матрице вычисляется одна из указанных в разделе 2 мер мультиколлинеарности (1-4). Полученное значение присваивается всем отсчетам «своего» фрагмента на поле анализируемого изображения.

6-й шаг. Задается или определяется пороговое

значение показателя (мультиколлинеарности). Все отсчеты (пиксели) изображения с равным ему или более высоким, чем заданный порог, значением включаются в число компонент всех векторов xi. , = 1, Ы обучающих объектов.

Заметим, что схема формирования векторов образов из оставшихся отсчетов изображений не имеет значения. Важно, чтобы эта схема была одинаковой для всех Ы векторов. В результате реализации описанного выше алгоритма в зависимости от выбранного порога может быть достигнуто существенное снижение размерности признакового пространства.

3. Связь мер мультиколлинеарности, обоснование выбора

Важным, с точки зрения технологии распознавания, является ответ на следующий вопрос: какая мера мультиколлинеарности является предпочтительной. Для этого проведем сравнительные исследования указанных выше 4-х мер мультиколлинеарности. Для того, чтобы они были сравнимы, а результаты сравнения были наглядными, сделаем следующие дополнения.

1. Нормируем информационную матрицу A таким образом, чтобы все ее диагональные элементы были равны единице. При этом trA = Ы .

2. Вместо указанного выше спектрального числа обусловленности К ^) =Лшах/АШп введем в рассмотрение так называемое обратное число обусловленности:

Л

Л

(7)

3. Вместо показателя диагонального преобладания ф, учитывая ограничения (3), будем использовать приведенное (к интервалу [0,1]) значение показателя

ф = ф - Ы +1.

(8)

С учетом указанных дополнений все четыре рассматриваемые меры мультиколлинеарности оказываются в интервале [0,1]. При этом стремление всех мер к единице соответствует уменьшению степени

мультиколлинеарности векторов образов. Это означает, что по мере сокращения размерности векторов признаков следует ожидать увеличения всех (в т.ч. модифицированных) показателей.

Для сравнения эффективности показателей в соответствии с приведенным в разделе 2 алгоритмом проводился эксперимент по снижению размерности векторов признаков. На рисунке 1 приведены графики изменения показателей мультиколлинеарности в зависимости от размерности векторов образов (пороговых значений для отбора информативных данных).

Рис. 1. Зависимость показателей ае^) (а), К

(б) Лшп (A) (г), Ф (в)

от размерности векторов x^

Из рисунков видно, что характер изменения всех указанных показателей мультиколлинеарности при уменьшении размерности векторов образов xi. примерно одинаков. На рисунке 2 для сравнения приведены также бинарные изображения полей информативности, полученные с использованием указанных

4-х показателей при достижении одинаковой размерности матрицы X. Области, соответствующие наиболее информативным признакам, имеют большие суммарные значения показателей диагонального преобладания и выделены более светлыми тонами. Как и следовало ожидать, зоны фона, точки которых имеют высокую взаимную корреляцию (на большинстве фотографий фон имеет один цвет), являются наиболее темными, что свидетельствует об их малой информативности. Нетрудно заметить, что вид этих полей отличается также незначительно.

Рис. 2. Поля информативности, полученные с юльзованием показателей мультиколлинеарносг

(а), К~1(А_) (б), ЛшШ (А-) (в), ф (г)

Приведенные результаты исследований показывают, что все четыре показателя мультиколлинеарности дают сходные результаты и близки по эффек-

тивности, с точки зрения индикации информативных областей изображений. Поэтому в информационных технологиях распознавания изображений предпочтительно использовать простой в вычислительном отношении приведенный показатель диагонального преобладания. При этом важным, с точки зрения качества распознавания, является выбор порогового значения этого показателя.

В следующем разделе приводятся оценки для границ приведенного показателя диагонального преобладания, а в заключительном разделе - результаты исследования качества распознавания при снижении размеров векторов образов.

4. Границы для приведенного показателя диагонального преобладания

Построим оценку сверху для суммарного значения показателя диагонального преобладания на поле изображения, которое может быть достигнуто в ходе реализации описанного алгоритма.

Максимальное значение приведенного показателя диагонального преобладания для любой нормированной информационной матрицы равно единице. Следовательно, в результате реализации описанного выше алгоритма максимально возможное значение суммарного показателя информативности на поле фшах (A) может достигнуть следующего предельного значения:

ф^) < кшх, (9)

где кшах - максимальное число шагов разбиения изображения на фрагменты, определяемое условием (5). Получим соотношение для оценки кшах .

В соответствии со схемой разбиения имеем п1 = N т = N2

щ = N. /2 т2 = Ж, / 2 21 22 (10)

пк = N1 / к тк = N2 / к Размерность вектора, описывающего фрагмент на к -м шаге в соответствии с (5), (10),

К = п, х т, =

NN

к к к2

При к = кшах в соответствии с (5) должно выполняться условие

К = > Ы

кшах

или

м

(11)

Откуда, с учетом (9), окончательно имеем

Полученные оценки верхней границы для информативности по показателю диагонального преобладания могут быть полезны при сравнительной оценке информативности обучающих выборок.

5. Связь с качеством распознавания

Центральной задачей в общей проблеме распознавания является снижение размерности векторов образов без существенного снижения качества распознавания. В настоящем разделе приводятся эксперименты, иллюстрирующие эти возможности при использовании в качестве меры информативности данных приведенный показатель диагонального преобладания.

Эксперимент

В качестве объектов для распознавания были использованы изображения базы данных лиц FERET

[7]. В обучающей выборке для каждого человека имелось одно изображение. Число изображений людей Ы варьировалось от 2 до 100. Каждое изображение имело размер 384x256 точек. Таким образом, исходное пространство признаков имело размерность N = 98304. В соответствии с описанным алгоритмом изображения разбивались на равные части. Для каждой части строилась информационная матрица и вычислялось значение показателя диагонального преобладания. На рисунке 3 показано исходное изображение и первые две итерации его разбиения на четыре и девять равных частей.

а)

б)

в)

Рис. 3. а) исходное изображение; б) разбиение на 4 части; в) разбиение на 9 частей.

Для снижения размерности исходного пространства признаков из полученной матрицы X были удалены строки, соответствующие наименьшим значениям информативности. На рисунке 4 представлены зависимости процента распознавания от процента удаленных отсчетов исходного пространства признаков для различных случаев числа изображений M в обучающей выборке.

Из графика видно, что ухудшение качества распознавания при увеличении обучающей выборки (соответственно и числа классов) происходит достаточно медленно. В частности, даже в случае 200 изображений различных людей размерность может быть снижена до 80% без существенных потерь качества классификации.

Был проведен также эксперимент по распознаванию трехмерных изображений лиц с использованием базы данных Face Recognition Grand Challenge

(FRGC) [8]. Трехмерные данные представлены для 275 человек с общим числом обучающих изображений равным 943 (для каждого человека число изображений варьируется от одного до восьми). В целом, тестовая база данных содержит 4007 изображений. Трехмерный образ имеет разрешение 640x480 точек и содержит как 2D данные текстуры, так и 3D данные формы. В данном эксперименте были использованы только трехмерные данные формы лица, фактически представляющие собой расстояния каждой точки лица от фиксированный позиции сенсора трехмерного сканера. Пример формы трехмерного лица приведен на рисунке 5.

70

60

50Н

40

30-

20-

10-

1 8 15 22 29 36 43 50 57 64 71 78 85 92 °/

Рис. 4. Зависимость относительного числа правильных распознаваний на контрольной выборке от доли (в %)

удаленных (по показателю ф ) строк

Рис. 5. Трехмерное изображение лица базы данных FRGC

Приведенное изображение с определенной точки зрения, можно считать псевдотрехмерным. Если рассматривать значение z-координаты, отвечающей за глубину формы лица, яркость изображения в соответствующей точке с координатами х и у, то мы имеем аналог двумерного изображения. Таким образом, аналогично эксперименту по распознаванию двухмерных изображений лиц, трехмерная модель лица итерационно разбивалась на равные регионы в плоскости ху. На рисунке 6 представлены результаты распознавания, соответствующие трем различным объемам тестовой выборки. Обучающая выборка в каждом случае была одна и та же и содержала 275 изображений.

Рис. 6. Зависимость относительного числа правильных распознаваний трехмерных лиц от доли (в %) исходной размерности векторов образов (порога для показателя ф )

Как видно из графиков, в отличие от случая распознавания двумерных изображений лиц, при применении трехмерных моделей возможно удаление не более трети исходной области без значительных потерь качества. Это свидетельствует о том, что форма лицевой части головы человека содержит более равномерно распределенную информацию.

Заключение

Подведем итог. Определитель, число обусловленности и минимальное собственное значение являются достаточно полными характеристиками мультиколлинеарности, но их использование связано со значительными вычислительными трудностями. Наиболее подходящим для оценки информативности данных в вычислительном отношении является показатель диагонального преобладания. В силу ограничений (3) он не всегда дает гарантированные оценки. Однако в данном случае это несущественно, поскольку задача заключается в отборе наиболее информативных данных, для которых область его существования достигается.

Заметим также, что точность вычисления показателя диагонального преобладания (в отличие от других мер) не зависит от степени мультиколлинеарности векторов образов.

Благодарности

Работа выполнена при поддержке российско-американской программы «Фундаментальные исследования и высшее образование» и РФФИ (грант № 06-08-01024) и гранта Президента РФ по поддержке ведущих научных школ (НШ-3086.2008.9).

Литература

1. Ватанабе, С. Разложение Карунена-Лоэва и факторный анализ. Теория и приложения, в сборнике переводов «Автоматизированный анализ сложных изображений» / С. Ватанабе: - М.: Мир, 1969.- С.254-275

2. Брайан, Д. The generalized discriminant function: mathematical foundation and computational routina / Д. Брайан // Harvard Educ. Rev., 21, 1951.- С.90-95

3. Theodoridis, S. Pattern Recognition / S. Theodoridis, K. Konstantinos // Academic Press, 2006.

4. Ту, Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес: -М.:Мир, 1978- С.416

5. Дуда, Р. Распознавания образов и анализ сцен / Р. Дуда, П. Харт, -М.: Мир, 1976.- 512 с.

6. Фурсов, В.А. Идентификация моделей систем формирования изображений по малому числу наблюдений / В.А. Фурсов: -Самарский государственный аэрокосмический университет, 1998.- С.220

7. FERET Face Database // http://www.itl.nist.gov/iad/hu-manid/colorferet/

8. Phillips, Р. Overview of face recognition grand challenge / P. Phillips [et. al.] // Proceedings of CVPR 2005.- 947- P.54