О точности и быстродействии метода синтеза главных компонент Текст научной статьи по специальности «Математика»

МАТЕМАТИЧЕСКИЕ МЕТОДЫ И АЛГОРИТМЫ РЕШЕНИЯ ЗАДАЧ БИЗНЕС-ИНФОРМАТИКИ

О ТОЧНОСТИ И БЫСТРОДЕЙСТВИИ МЕТОДА СИНТЕЗА ГЛАВНЫХ КОМПОНЕНТ

А.В. Мокеев,

аспирант Южно-Уральского государственного университета, e-mail: [email protected].

Адрес: г. Челябинск, пр. Ленина, д. 76, кафедра «Информационные системы».

В статье рассматривается задача анализа изображений с помощью метода главных компонент. Предлагаются новый метод нахождения главных компонент — метод синтеза главных компонент, основная идея которого состоит в обработке пространства изображений по частям. Полное решение получается путем синтеза частных решений. Точность и быстродействие метода демонстрируется на примере обработки изображений из базы данных FERET.

Ключевые слова: анализ изображений, метод главных компонент, точность, быстродействие, синтез главных компонент.

1. Введение

В настоящее время активно развиваются биометрические технологии, направленные на получение и использование биометрических данных человека в целях его идентификации. Система, использующие такие технологии, могут применяться в различных областях: системах паспортного контроля в аэропортах и других крупных транспортных узлах, системах электронной торговли, системах наблюдения для снижения террористических угроз и розыска людей [1, 2]. Существенным преимуществом распознавания человека по лицу перед другими биометрическими методами является возможность идентификации на расстоянии.

Эффективными методами анализа изображений является линейный дискриминантный анализ, метод главных компонент и нейронные сети. Метод

главных компонент является одним из мощных и универсальных средств анализа, который, не отбрасывая конкретные признаки, позволяет учитывать лишь наиболее значимые комбинации их значений [1, 3]. При его использовании в задаче распознавания изображений, каждое изображение разлагается на линейную комбинацию собственных векторов, которые называются главными компонентами. В этом случае главные компоненты могут быть представлены в виде изображений. Например, если изображения представляют лица, то метод главных компонент часто называют методом собственных лиц (eigenface). Сумма главных компонент, умноженных на соответствующие им главные факторы, представляет собой реконструкцию изображения. Таким образом, с помощью анализа главных компонент удаётся выявить основные изменчивости в наборе изображений, что дает возможность доста-

64

БИЗНЕС-ИНФОРМАТИКА №3(13)-2010 г

МА ТЕМА ТИЧЕСКИЕ МЕТОДЫ И АЛГОРИТМЫ РЕШЕНИЯ ЗАДА Ч БИЗНЕС-ИНФОРМА ТИКИ

точно точно описать изображения небольшим числом главных факторов.

Эффективность метода главных компонент в задачах распознавания лиц исследовалась в различных работах [4-6]. В работе [6] проведено исследование метода главных компонент на базе 2500 фотографий 16-ти человек. Степень распознавания изображений составила от 95 до 64%. Скорость работы системы, реализованной на рабочей станции SUN 3/160, приближалась к режиму реального времени. В работе [5] исследована эффективность метода главных компонент на базе 7562 изображений, принадлежащих почти 3000 человек. Главные компоненты определялись на выборке из 128 изображений. Наряду с графическим изображением использовалось и словесное описание. Эксперименты, проведённые с базой, были ограниченными, так как проверялась лишь возможность интерактивного поиска по всей базе данных. Учитывая тот факт, что выбранное изображение сначала раскладывалось на главные компоненты, а поиск производился в пространстве главных факторов, ошибка распознавания существенно зависела от точности описания изображения главными компонентами. В работе [6] были получены хорошие результаты на наборе из 150 изображений, полученных из базы данных FERET. На основе вышесказанного можно отметить, что хотя анализ изображений, представленных комбинацией главных компонент, и является относительно быстрым, при его работе с большими базами данных появляются проблемы с точностью.

Вычисление главных компонент для большого числа изображений представляет существенные трудности. Это связано с тем, что матрица изображений (ковариационная матрица) может иметь большой ранг а существующие методы нахождения собственных векторов в этом случае оказываются малоэффективными. Решение данной проблемы обычно сводится к тому, что обработка всех изображений заменяются анализом лишь небольшого их числа (обучающей выборки). При этом в качестве главных компонент используется набор собственных векторов, полученный на основе обучающей выборки. Однако, учитывая тот факт, что выбранное изображение сначала раскладывалось по главным компонентам, а затем по ним производился поиск, ошибка распознавания прямо зависит от погрешности разложения как выбранного, так и хранящихся в базе изображений. На основе вышесказанного можно отметить, что хотя алгоритмы

распознавания изображений является относительно быстрым и практичным, но при его работе с большими базами данных могут появиться проблемы с качеством распознавания. Поэтому остается актуальной задача построения алгоритмов в которых в обучающую выборку включают все изображения, что требует в свою очередь наличие эффективных методов вычисления собственных значений и векторов для матриц большого порядка.

Среди методов решения проблемы собственных значений можно выделить следующие группы методов: итерационные и преобразования подобия [5]. Методы преобразований подобия применяется с целью получить из исходной матрицы новую с теми же собственными значениями, но более простого вида. Наиболее известными являются методы Якоби, Гивенса, Хаусхолдера, конденсации. Метод Хаусхолдера позволяет получить требуемый результат быстрее, чем метод Гивенса, так как связан с выполнением меньшего числа, хотя и более сложных преобразований. Методы конденсации используют понижение порядка матриц, что позволяет быстро находить собственные значений лежащие в заданном диапазоне [8,9]. Среди итерационных методов эффективным средством определения небольшого числа наибольших собственные значения является степенной метод или метод прямых итераций. Однако, на быстроту сходимости решения влияет отношение величины искомого собственного значения к ближайшему собственному значению. Если это отношение близко к единице, то сходимость оказывается медленной. Также скорость сходимости итерационного процесса зависит от того насколько удачно выбран начальный вектор.

В данном работе рассматривается новый метод нахождения собственных векторов больших матриц, базирующийся на решении задачи собственных значений по частям. Предлагаются разбивать матрицу отцентрированных изображений на подматрицы, каждая из которых имеет небольшой ранг. Это позволяет быстро находить частные решения. Полное решение получается путем синтеза частных решений.

2. Анализ изображения методом главных компонент

Пуст имеется набор образов, каждый из которых описывается вектором х. , где i — номер образа (i = 1, 2, 3,..., m ). Размерность вектора х. равняется числу пикселей образа (и). Таким образом, все образы можно представить в виде матрицы X,

БИЗНЕС-ИНФОРМАТИКА №3(13)-2010 г

65

МА ТЕМА ТИЧЕСКИЕ МЕТОДЫ И АЛГОРИТМЫ РЕШЕНИЯ ЗАДА Ч БИЗНЕС-ИНФОРМА ТИКИ

строками которого являются векторы x . Размерность пространства образов определяется произведением n x m . Основная проблема анализа такого пространства заключается в его высокой размерности для реальных задач. Например, для набора из 10 000 черно-белых образов, каждый из которых 100 х 100 пикселей, размерность пространства равна 10 000 х 10000.

Пространство образов центрируется относительно среднеарифметического вектора, который вычисляется по формуле:

_ 1 M

x =-V Xi

МГ

(1)

При этом приходим к новому пространству векторов X0, строками которого являются векторы

X0 = xt - x.

Основная формулировка метода главных компонент предполагает вычисление ковариационной матрицы A = 1X0 (X0 )T и нахождение собственных значений и собственных векторов уравнения

(A - XI) v0 = 0 (2)

ровки собственных значений формируется матрица собственных векторов, которым соответствуют r первых наибольших собственных значения.

U~\U01U02 ■■■ U0r\ (5)

Известно, что матрицу X0 можно представить в виде сингулярного разложения

X° = UTVT (6)

где V — матрица собственных векторов уравнения (2), столбцы которой ортонормированны, т.е. VTV=I;

U — матрица собственных векторов уравнения (4) с ортонормированными столбцами; т.е.

UTU=I;

T — диагональная матрица порядка r x r , диагональные элементы которой r)i,П2,...,П называются сингулярными числами матрицы X0. Здесь r — ранг матрицы X0. Чаще всего r x m, но приводимый ниже результат охватывает общий случай, он справедлив и при условии r < m . Собственные значения матрицы X0 связаны с собственными значениями матрицы A соотношением

где I — единичная матрица, v0i — собственный вектор, X. — собственное значение, индекс « T» означает транспонирование матрицы. Матрица A имеет порядок n x n. Матрица собственных векторов формируется из r собственных векторов, которым соответствуют наибольшие собственные значения

V=[V01V02-V0r\ (3)

В связи с тем, что порядок матрицы A имеет высокий порядок, его решение представляет существенные трудности. Поэтому, как правило, используется дуальная формулировка метода главных компонент, в соответствии с которой вычисляется матрица Грамма A*=ym(X0)TX . Матрица A* имеет порядок m x m, при этом m существенно меньше n. Для вычисления главных компонент необходимо найти собственные значения и соответствующие им собственные векторы матричного уравнения

(A’-XI)u0 = 0 (4)

где ua — собственный вектор, X. — собственное значение. Следует отметить, что собственные значения уравнений (2) и (4) совпадают. После сорти-

П = (mXyI/2.

Вычисляем матрицу собственных векторов V. Для этого выражение (6) умножим справа на транспонированную матрицу U и матрицу Т~1. Далее используя свойство ортогональности матрицы U получим

VT=Tn -IUT X0 (7)

Каждый вектор пространства X0 теперь может быть представлен в редуцированном пространстве, т.е.

x?=Vz, (8)

где Zj — вектора главных факторов образа xi в новом редуцированном пространстве состояний. Векторы Zj образуют матрицу Z , которая может быть вычислена по следующей формуле

Z =X0V (9)

где Z — матрица главных факторов пространства

X0 .

66'

БИЗНЕС-ИНФОРМАТИКА №3(13)-2010 г

МА ТЕМА ТИЧЕСКИЕ МЕТОДЫ И АЛГОРИТМЫ РЕШЕНИЯ ЗАДА Ч БИЗНЕС-ИНФОРМА ТИКИ

3. Метод синтеза главных компонент

Пусть ставится задача найти l наибольших собственных значений и соответствующих им собственных векторов уравнения (2). Полагается что l < m. Для решения этой задачи предлагается матрицу X0 представить в виде набора подматриц, каждая из которых имеет ранг s << m. Таким образом

X0 =

X0

X0

X0

(10)

Для каждой из подматриц вычисляем ковариационную матрицу A*i = I/m(X°)TX.. Далее вычисляем собственные значения и собственные векторы матричного уравнения

(А]гЛ1)и,=0

(11)

где ut — собственный вектор. Формируется матрица из собственных векторов, которым соответствуют l первых наибольших собственных значений.

ровано на тестовой выборке 100 изображений из международной базы данных по распознаванию лиц FERET. На сегодняшний день FERET является самой крупной базой данных (более 3000 изображений), содержащей высококачественные, полноцветные фотографии лиц. Точность метода исследуется для задачи нахождения первых восьми собственных значений и собственных векторов. Рассматривается четыре варианта синтеза главных компонент, отличающихся друг от друга количеством собственных векторов частных решений. В первом варианте вычисляются собственные векторы, сумма собственных значений которых составляет 75% суммы всех собственных значений, во втором варианте — 85%, в третьем варианте — 90%, в четвертом варианте — 95%. В качестве эталонного решения используется собственные значения и собственные векторы, полученные методом Хаус-холдера.

Погрешность собственных значений, вычисленных методом синтеза, вычисляется по формуле

е,=\ЛгЛ,\ /Л,

Ui=[uaua...ua] (12)

Далее выполняется процедура синтез главных компонент. Она может выполняться в одношаговом и многошаговом варианте. Ниже представлена одношаговая процедура синтеза главных компонент.

Вычисляем матрицу собственных векторов Vi

ViT = Ti"IUlTX° (13)

Формируется матрица v=[y. V2...Vp~\. Затем вычисляется приведенная матрица Ат = V*TA V* и определяются собственные значения и собственные векторы уравнения

(Ar-AIr)q=0 (14)

Получается матрица синтезированных главных компонент

V = V*Qr (15)

4. Численные исследования точности и быстродействия метода

Важным критерием любого численного метода является точность получаемых с его помощью результатов. Исследование точности продемонстри-

где А* — собственные значения, вычисленные методом синтеза, As — собственные значения, полученные методом Хаусхолдера [3]. В табл. 1 представлена погрешность восьми наибольших собственных значений, вычисленных для четырех вариантов синтеза главных компонент. Как видно из таблицы, чем больше собственных векторов частных решений используется в процедуре синтеза, тем выше точность решения.

Таблица I.

Погрешность собственных значений (%)

Номер собственного значения

12 3/ 15 6' 8

1 0.013 0.073 1.273 7.943 7.711 12.86 16.72 15.75

2 0.005 0.013 0.261 0.609 1.163 1.648 2.17 4.407

3 0.004 0.010 0.132 0.281 0.566 1.145 0.897 2.442

4 0.002 0.002 0.018 0.076 0.299 0.099 0.243 0.825

В среднем погрешность составляет менее 1%, что является хорошим показателем точности метода. На рис. I наглядно представлена погрешность собственных значений для первого варианта.

БИЗНЕС-ИНФОРМАТИКА №3(13)-2010 г

67

МА ТЕМА ТИЧЕСКИЕ МЕТОДЫ И АЛГОРИТМЫ РЕШЕНИЯ ЗАДА Ч БИЗНЕС-ИНФОРМА ТИКИ

Рис. 1. Погрешность собственных значений.

Быстрота исполнения является одним из традиционных критериев сравнения двух методов, каждый из которых надежен. Анализ быстродействия метода чаще всего осуществляется путем сравнения времени решения конкретных задач, полученного различными методами.

На рис. 2 представлены результаты быстродействия степенного метода и метода синтеза (анализ быстродействия был проведён для ковариационных матриц размерностью 9216 х 9216).

2,5

15 19 2 3 26

Рис. 2. Время решения задачи собственных значений.

Как видно из рис. 2 время решения степенным методом в среднем в 1,5 — 2 раза больше времени вычисления методом синтеза.

5. Заключение

Рассмотрена проблема распознавания изображений лиц на базе метода главных компонент, в которой выделена ключевая задача вычисления главных компонент для матриц содержащих большое число изображений. Предложен новый метод нахождения главных компонент, базирующийся

на делении исходной задачи на части, получение частных решений и синтезе полного решения. Разработана программная система, предназначенная для анализа изображений. Исследована точность получаемых решений методом синтеза. Показано, что метод позволяет получать решения с хорошей точностью за сравнительно небольшое время. Сопоставление времени вычислений собственных значений с трудоемкостью получения решения степенным методом показывает высокое быстродействие метода. Достоинство метода синтеза главных компонент также связано с тем, что он позволяет распараллелировать вычисления. ■

Литература

1. Кухарев Г.А. Биометрические системы: Методы и средства идентификации личности человека. // СПб.: Политехника. — 2001. — 240 с.

2. Zhao W., Chellappa R., Rosenfeld A. and Phillips PJ. Face recognition: a literature survey// National Institute of Standards and Technology, Technical Report #7478. - USA - 2001. P 66.

3. Ту Дж., Гонсалес Р. Принципы распознавания образов. // М.: Мир.-1978 — 411 c.

4. Turk M. and Pentland A. Eigenfaces for recognition// Journal of Cognitive Neuroscience. 1991. № 3. P. 71-86.

5. Pentland A., Moghaddam B. and Starner T. View-based and modular eigenspaces for face recognition// M.I.T. Media Laboratory, Perceptual Computing Section, Technical Report # 245. 1994. P 84-91.

6. Moghaddam B. and Pentland A. Face recognition using view based and modular eigenspaces// Automatic Systems for the identification and inspection of humans. SPIE. 1994. Vol. 2257. P.1868—1876.

7. Парлетт В. Симметричная проблема собственных значений. // Численные методы. М.: Мир.— 1983.—384 с.

8. Мокеев В.В. (1992): О задачах нахождения собственных значений и векторов больших матричных систем // Журнал вычислит. математики и мат. физики. Т. 32. № 10.

9. Мокеев В.В. О решении большой проблемы собственных значений при использовании метода главных компонент в задачах экономического анализа и прогнозирования. //Известия Челябинского научного центра. Выпуск 3 (24), 2004 — C. 135—139.

68'

БИЗНЕС-ИНФОРМАТИКА №3(13)-2010 г