CC BY-NC-ND
165
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
ОБ ЭФФЕКТИВНОСТИ РАСПОЗНАВАНИИ ЛИЦ С ПОМОЩЬЮ ЛИНЕЙНОГО ДИСКРИМИНАНТНОГО АНАЛИЗА И МЕТОДА ГЛАВНЫХ КОМПОНЕНТ
A. В. МОКЕЕВ
старший преподаватель кафедры информационных систем, факультет экономики и предпринимательства,
Южно-Уральский государственный университет Адрес: 454080, г. Челябинск, пр. Ленина, д. 76 E-mail: [email protected]
B. В. МОКЕЕВ
доктор технических наук, заведующий кафедрой информационных систем, факультет экономики и предпринимательства,
Южно-Уральский государственный университет Адрес: 454080, г. Челябинск, пр. Ленина, д. 76 E-mail: [email protected]
Рассматривается решение задачи распознавания лиц с помощью метода главных компонент (МГК) и линейного дискриминантного анализа (ЛДА). Главная идея подхода МГК+ЛДА состоит в том, что, во-первых, изображение лица проецируется из исходного векторного пространства в подпространства лица главных компонент, во-вторых, для получения линейного классификатора используется линейный дискриминантный анализ. В работе исследуется эффективность подхода МГК+ЛДА для случая, когда изображения лиц не проходят предварительную обработку (масштабирование, поворот, центрирование, выравнивание яркости). Эффективность подхода МГК и ЛДА исследуется на изображениях лиц базы ORL. Показывается, что при увеличении числа изображений в классе учебной выборки, повышается точность распознавания лиц. При небольшом числе изображений для повышения качества распознавания лиц предлагается расширять учебную выборку изображениями, полученными путем масштабирования и поворота исходных изображений. При обработке больших наборов изображений для вычисления главных компонент предлагается использовать методы линейной конденсации и синтеза главных компонент. Метод синтеза главных компонент базируется на разбиении исходного множества изображений на небольшие наборы изображений, получении собственных векторов этих наборов (частных решений) и вычислении собственных векторов исходного набора на основе частных решений. Метод линейной конденсации использует понижение порядка матриц, позволяющее достаточно точно вычислять собственные векторы, собственные значения которых находятся в заданном интервале. Показано, что методы линейной конденсации и синтеза главных компонент позволяют существенно снизить трудоемкость построения классификатора при использовании подхода на МГК+ЛДА, не снижая точности распознавания лиц.
Ключевые слова: распознавание изображений, анализ главных компонент, линейный дискриминантный анализ, метод линейной конденсации, база данных ORL, синтез главных компонент.
Цитирование: Мокеев А.В., Мокеев В.В. Об эффективности распознавании лиц с помощью линейного дискриминантного анализа и метода главных компонент // Бизнес-информатика. 2015. № 3 (33). С. 44—54.
44
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Введение
В настоящее время методы анализа данных активно развиваются в направлении обработки больших объемов данных. Источниками возникновения больших данных являются непрерывно поступающие данные с измерительных устройств (аудио и видео-регистрации и т.п.). Обработка изображений сегодня широко используется в системах безопасности для идентификации людей по изображениям лиц, мониторинга состояния технических объектов.
Существует большое количество методов и подходов, использующихся в системах распознавания лиц [1]. Среди них можно выделить метод главных компонент (МГК), линейный дискриминантный анализ (ЛДА), скрытые марковские модели (СММ), вейвлеты Габора. При использовании скрытых марковских моделей [2] для решения задачи распознавания лиц для каждого класса лиц вычисляется своя скрытая марковская модель. Далее для неизвестного образа запускаются все имеющиеся модели, и среди них ищется та, которая выдаёт самый близкий результат. Недостатком такого подхода является то, что скрытые марковские модели не обладают хорошей различающей способностью, т.к. алгоритм обучения максимизирует отклик на свои классы, но не минимизирует отклик на другие классы. Методы распознавания, основанные на использовании вейвлетов Габора [3,4], показывают высокую эффективность. Фильтры Габора используются на стадии предобработки для формирования вектора Габор-особенностей изображения лица. Метод вейвлетов Габора устойчив к изменениям в освещении, поскольку не использует напрямую значения оттенков серого каждого пикселя, а извлекает особенности.
Метод главных компонент является одним из наиболее популярных при решении задач распознавании лиц. Реконструкция лиц с помощью МГК впервые была сделана в работе [5]. Метод распознавания, известный как метод собственных лиц, определяет пространство признаков, которое уменьшает размерность оригинального пространства данных. Однако, методы распознавания, основанные на МГК, страдают от двух ограничений, а именно: слабой дискриминационной силы и больших вычислительных затрат. Недостатки могут быть преодолены путем добавления ЛДА [6]. ЛДА ищет такое преобразование изображений, которое бы минимизировало внутриклассовые и максимизировало межклассовые различия набора изображений. Суть совместного применения МГК и ЛДА заключается в том, что сна-
чала с помощью МГК сокращается размерность изображений, а затем в рамках ЛДА выполняется преобразование, которые лучше всего отличают один класс изображений от другого [7].
Как правило, процесс распознавания лиц начинается с процедуры нормализации (масштабирование, центрирование, отсечение фона, выравнивание яркости). Нормализация изображений требует дополнительных вычислений, что не играет существенной роли при построении классификатора, но на этапе распознавания новых изображений в режиме реального времени может оказать негативное воздействие, так как нормализация каждого нового изображения приводит к временным затратам.
В данной работе рассматривается решение задачи распознавания лиц на основе МГК и ЛДА без использования процедуры нормализации лиц. Распознавание изображений на основе МГК и ЛДА начинается с построения классификатора, который затем используется при распознавании неизвестных изображений. При построении классификатора используется учебная выборка ненормализованных изображений. Однако в этом случае хорошее качество распознавания лиц может быть достигнуто при увеличении числа изображений в классе лиц, что приводит к росту вычислительных затрат на создание классификатора. Трудоемкость расчета главных компонент с увеличением числа изображений растет по кубическому закону. Поэтому необходимы методы, снижающие трудоемкость построения классификаторов при большом числе изображений. В работах [8, 9] предлагаются новые подходы (метод линейной конденсации и метод синтеза главных компонент), снижающие трудоемкость вычисления главных компонент больших наборов изображений. Одним из способов снижения трудоемкости построения классификатора при большом числе изображений (>> 1000) в учебной выборке является двумерный метод главных компонент (2ДМГК) [10], в котором главные компоненты ищутся по строкам и столбцам. Основная идея 2ДМГК заключается в том, чтобы найти оптимальные проекции строк без преобразования изображения в вектор. Недостатком двумерного метода главных компонент является то, что он требует больше главных компонент для описания изображения, чем одномерный метод главных компонент. Таким образом, двумерному методу главных компонент необходимо больше памяти для хранения изображений и больше затрат времени при их классификации. В случае, когда число изображений намного больше числа строк/столбцов изображения использование
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
45
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
2ДМГК может приводить к снижению трудоемкости вычисления главных компонент.
В данной работе рассматривается технология построения классификаторов с использованием методов МГК и ЛДА без нормализации изображений. Использование таких классификаторов может снизить затраты на этапе распознавания неизвестных изображений, что особенно важно при работе системы распознавания лиц в реальном времени. Для снижения трудоемкости построения классификаторов в случае, когда учебная выборка содержит большое число изображений, предлагается использовать методы линейной конденсации и синтеза главных компонент.
1. Теоретический базис: МГК плюс ЛДА
Пусть имеется набор изображений, каждый из которых описывается вектором xf, где i — номер изображений (i = 1, 2, 3, ..., Mk, k = 1, 2, ..., K). Размерность вектора xf равняется числу пикселей изображения (N). Таким образом, весь набор изображений можно представить в виде матрицы X, столбцами которой являются векторы xf. Размерность пространства изображений определяется произведением N х M.
Обозначим матрицу отцентрированных изображений как X0. Столбцами X0 являются векторы
Xi =х. -т , где
1
к Mt
m = —yyXf
среднеарифметический вектор изображений,
M = j^Mk.
k=1
Подход МГК+ЛДА состоит из двух этапов: на первом этапе применяется МГК для уменьшения размерности от N до p и получения матрицы Vpca, которая формируется из собственных векторов уравнения:
(A-AI)vfa=0, (1)
где А* = Х° (Х° )Т — ковариационная матрица размерностью NxN, индекс «Т» означает транспонирование матрицы, I — единичная матрица, vpca — собственный вектор, 1 — собственное значение.
В связи с тем, что матрица А* имеет высокий порядок, вычисление собственных векторов представляет существенные трудности. Поэтому более
эффективно вычислять главные компоненты V
т т pca
по матрице собственных векторов Upca [9], которые определяются путем решения уравнения:
(А-Я1)<а=0, (2)
где А = (Х°)ГХ° — матрица Грамма размерностью Му M, — собственный вектор.
Следует отметить, что собственные значения уравнений (1) и (2) совпадают. В связи с тем, что M существенно меньше N, можно значительно снизить трудоемкость вычисления матрицы Vpca.
На втором этапе, применяется ЛДА с целью нахождения таких линейных комбинаций признаков, которые наилучшим образом разделяют классы изображений лиц. Целью ЛДА является получение матрицы преобразования Wlda, которая минимизирует внутриклассовое и максимизирует межклассовое расстояние в пространстве признаков
= argmax w
|wrvJcAyw|
|wrV;aAfflY^W
= argmax w
|WrA'W| |WrA'W|
. (3)
Здесь Ab — ковариационная матрица межклассовых различий, Affl — ковариационная матрица внутриклассовых различий [6].
Столбцами матрицы Wlda являются собственные
Ida
векторы w0i, которые получаются в результате решения уравнения:
(а;-аа;Х°=о. (4)
Задача (4) является обобщенной задачей собственных значений. Для решения этой задачи предлагается использовать обобщенный метод Якоби, который не требует обращений матрицы Affl [11]. В результате решения (4) определяется матрица дискриминантных компонент, столбцами которой являются собственные векторы уравнения (4) с наибольшими собственными значениями.
2. Распознавание ненормализованных изображений лиц
Экспериментальное исследование эффективности подхода МГК + ЛДА проводится с использованием изображений лиц, собранных в базе данных ORL. База ORL содержит изображения 40 человек, каждый из которых описывается 10 различными изображениями. На рис. 1 приведены примеры изображений лиц из базы данных ORL.
Для исследования качества распознавания используется процедура кросс-валидации, усред-
46
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Рис. 1. Примеры лиц, выделенных из изображений базы данных ORL
няющая коэффициенты распознавания, полученные при различном делении базы изображений на учебные и тестовые наборы. Эксперименты проводятся для учебных наборов, содержащих L (2, 4, 8) изображений в каждом классе базы ORL, которые выбираются случайно. Все оставшиеся изображения составляют тестовую выборку. Таким образом, учебные наборы состоят из ^х40) изображений, а тестовые наборы — из (400-Lx40) изображений. Не существует перекрытия между тестовым и учебным наборами. Для повышения точности оценки выполняются десять различных делений изображений на учебные и тестовые наборы, а полученные в ходе экспериментов коэффициенты распознавания изображений лиц усредняются. На рис. 2 показаны усредненные коэффициенты распознавания людей по изображениям лиц тестовой выборки в зависимости от числа главных компонент для случаев,
Рис. 2. Усредненные коэффициенты распознавания изображений тестовой выборки базы ORL в зависимости от числа главных компонент:
L = 8 (сплошная линия); L = 4 (штриховая линия);
L =2(пунктирная линия)
когда учебная выборка содержит 2 изображения в классе (штрих-пунктирная линия), 4 изображения в классе (штриховая линия) и 8 изображений в классе (сплошная линия) соответственно. Отметим, что коэффициенты распознавания, показанные на рис. 2, получены для ненормализованных изображений лиц.
В работе [12] представлены результаты распознавания лиц базы ORL различными методами для случаев, когда число изображений в классе меняется от 2 до 9. Изображения лиц предварительно масштабируются, центрируются и поворачиваются так, чтобы центры глаз были на горизонтальной линии. Усредненные коэффициенты распознавания, полученные методами МГК, ЛДА, DLA (Discriminative Locality Alignment [13]), NDLPP (Null space Discriminant Locality Preserving Projections[14]), RLPDA (Regularized Locality Preserving Discriminant Analysis [12]) представляются в табл. 1. Сравнение коэффициентов распознавания, представленных на рис. 2, с результатами, полученными другими методами, показывают хорошую точность распознавания подхода МГК плюс ЛДА даже для ненормализованных изображений, когда число изображений в классе достаточно большое. Если число изображений невелико, то можно увеличить число изображений в классах учебной выборки путем масштабирования и поворота исходных изображений.
Таблица 1.
Результаты сравнения точности распознавания различных алгоритмов
Метод Число изображений в классе
2 83,6 8
МГК 69,6 94,5
ЛДА 80,1 91,5 96,3
DLA 73,3 92,6 98,8
NDLPP 83,0 94,7 98,3
RLPDA 80,7 94,8 98,6
МГК+ЛДА 82,2 94,2 98,2
В табл. 2 представлены коэффициенты распознавания, полученные с помощью классификаторов, построенных на расширенных учебных выборках. Исходные выборки с 2, 4 и 8 изображениями в классе расширяются путем добавления изображений, полученных из исходных путем масштабирования и поворота. В скобках указано число изображений
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
47
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
в классе, полученное в результате расширения выборки. Дополнительные изображения получаются путем уменьшения/увеличения исходных изображений на 5% и/или поворота изображений по часовой или против часовой стрелки на 4.
Как видно из таблицы, расширение учебной выборки дает наибольший эффект в случае, когда число изображений в классе небольшое. Это означает, что расширение учебной выборки оригинальными, а не производными изображениями представляет более эффективный путь повышения качества классификаторов.
Таблица 2.
Коэффициенты распознавания различных алгоритмов
Число исходных изображений Способ расширения в классе
учебной выборки 2 95,8 (12) 8
Масштабирование 85,6 (6) 98,6 (24)
Поворот 85,4 (6) 94,6 (12) 98, 7 (24)
Масштабирование и поворот 85,4 (18) 96,5 (36) 98,3 (72)
На рис. 3 показаны усредненные коэффициенты распознавания лиц тестовой выборки для вариантов:
а) учебная выборка содержит 2 изображения в классе (L = 2) (пунктирная линия);
б) учебная выборка (L = 2), дополненная изображениями, полученными путем масштабирования (увеличения или уменьшения) исходных изображений на 5% (штриховая линия);
в) учебная выборка (L = 2), дополненная изображениями, полученными путем поворота исходных изображений по часовой или против часовой стрелки на 4 (штрих-пунктирная линия);
Рис. 3. Усредненные коэффициенты распознавания изображений тестовой выборки базы ORL при расширении учебной выборки
г) учебная выборка (L = 2), дополненная изображениями, полученными путем масштабирования (увеличения или уменьшения) исходных изображений на 5% и поворота по часовой или против часовой стрелки на 4 (сплошная линия).
Как видно из рисунка, увеличение числа изображений в классе приводит к росту качества распознавания, при этом в случае двух изображений в классе максимальные значения коэффициентов распознавания получаются для 30 главных компонент, а в случае, когда число изображений в классе расширяется до 18, коэффициенты распознавания достигают своих максимальных значений уже при 55 главных компонент. Таким образом, чем больше изображений в классе, тем больше главных компонент потребуется для построения качественного классификатора.
Проведенные исследования показывают, что при построении классификатора на основе учебной выборки из ненормализованных изображений качество распознавания лиц увеличивается с ростом числа изображений в классе. Если число изображений в классе невелико, то учебная выборка может быть дополнена изображениями, полученными путем поворота и масштабирования исходных изображений. Таким образом, даже для распознавания сравнительно небольшого числа людей, размер учебной выборки может быть достаточно большим, и вычисление главных компонент может потребовать существенных вычислительных ресурсов.
3. Вычисление главных компонент больших наборов изображений
Время вычисления главных компонент зависит в основном от трудоемкости решения уравнения (2), которая существенно растет с увеличением порядка матриц. В случае если число изображений в наборе велико, то порядок матриц становится большим и определение главных компонент требует значительных вычислительных затрат. Обзор методов решения задачи собственных значений можно найти в работе [9]. Из существующих методов можно выделить метод Хаусхолдера, который позволяет выполнять требуемые преобразования быстрее, чем метод Гивенса или метод Якоби, так как требует выполнения меньшего числа, хотя и более трудоемких операций. Однако, с помощью метода Хаусхолдера вычисляются все собственные значения и соответствующие им собственные векторы, в то время как при вычислении главных компонент требуется срав-
48
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
нительно небольшое число собственных векторов с наибольшими собственными значениями.
Для решения неполной задачи собственных значений больших матриц предлагаются метод синтеза главных компонент [8] и метод линейной конденсации [9]. Метод синтеза главных компонент базируется на разбиении исходного множества изображений на небольшие наборы изображений, получении собственных векторов этих наборов (частных решений) и вычислении собственных векторов исходного набора на основе частных решений. Точность метода зависит от размера наборов изображений (mk) и числа собственных векторов, образующих частное решение lk (lk<mk). При уменьшении lk размеры результирующей матрицы, которая используется для вычисления собственных векторов, уменьшаются, однако при этом растут погрешности собственных векторов.
Метод линейной конденсации реализуется в виде алгоритма блочно-ортогональной конденсации. В работе [9] описывается алгоритм многоуровневой линейной конденсации для вычисления собственных значений в интервале от 0 до и соответствующих им собственных векторов. Алгоритм включает пять шагов. Первый шаг представляет процедуру многоуровневого понижения порядка матриц, которая начинается с того, что все признаки сортируются в порядке убывания диагональных коэффициентов ковариационной матрицы A. На каждом уровне процедуры понижения порядка матриц выбирается группа признаков с минимальными диагональными коэффициентами. Решение об исключении выбранных признаков принимается при выполнении условия:
Vmin > KVi- (5)
Здесь и . =1/1„ — наименьшее собственное значение блока удаляемых переменных А*, кс — параметр отсечения, fi2 — верхняя граница диапазона вычисляемых собственных значений (диапазона конденсации).
Если условие (5) выполняется, то осуществляется понижение порядка матрицы. Условие (5) может быть переписано в виде <к2/кс . Как известно, сумма диагональных коэффициентов матрицы равна сумме собственных значений. Поэтому набор удаляемых признаков формируется из признаков, которым соответствуют наименьшие диагональные коэффициенты матрицы A. По сути, делается предположение о том, что чем меньше сумма собственных значений Я, тем меньше максимальное
собственное значение анализируемой матрицы. В процессе понижения порядка матрицы A последовательно получаются матрицы Ap A^ ..., Ak, где к — уровень понижения порядка матрицы A. С увеличением к уменьшается порядок матрицы Ak.
Эффективность алгоритма многоуровневой линейной конденсации зависит от того, насколько сильно понижается порядок матриц, однако, степень понижения не всегда оказывается достаточно высокой. В работе [9] демонстрируется быстродействие алгоритма многоуровневой линейной конденсации на примере вычисления 67 главных компонент наборов различной размерности (от 500 до 5000). Однако дальнейшие исследования показали, что при расчете большого числа главных компонент (несколько сотен) не удается существенно снизить порядок матриц. Это обусловлено тем, что собственные значения в районе верхней границы /j.2 лежат очень плотно и не удается выбрать исключаемые признаки, не нарушая условия (5).
Для преодоления этих трудностей предлагается использовать алгоритм блочно-ортогональной конденсации, который также представляет собой многоуровневый процесс понижения порядка матрицы. Матрица также делится на блоки, однако, при выборе удаляемых признаков блок признаков (кандидатов на удаление) приводится к диагональной форме с помощью ортогонального преобразования.
Пусть уравнение (2) на k-ом уровне понижения порядка матриц имеет вид:
(1*-М*)«П = о, (6)
где ц = \1 К, uj^ представляет вектор и^“ на к-1 уровне понижения порядка матриц. Представим матрицу Ak и вектор иП в форме:
Здесь индекс b относится к удерживаемым признакам, и индекс s — к удаляемым признакам.
Диагонализация матрицы удаляемых признаков осуществляется с помощью ортогонального преобразования:
Р,ХР,=!И. (7)
Матрица Ps является ортогональной матрицей и состоит из собственных векторов матрицы А*, полученных при решении уравнения:
(Is-M^)A=0. (8)
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
49
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Таким образом,
Отметим, что Ps является ортогональной матрицей, поэтому справедливо следующее соотношение:
(10)
Подставляем соотношение (9) в уравнение (6) и далее, умножая справа на матрицу Рг, с учетом выражения (10) получаем:
(1*-М>Г = о, (11)
где А* = РГА*Р.
С учетом блочного деления и соотношения (9) матрица Ak может быть представлена в виде:
X 0' Т 'AU*' X 0' ' АЧъ ALp;
.0 Р,_ А*А*. _ор,_ IfA* Ея _
Если диагональные коэффициенты матрицы упорядочены по убыванию, то обратная величина первого диагонального коэффициента матрицы будет равна наименьшему собственному значению блока удаляемых признаков (^тй1). Проверка условия (5) позволяет определить, можно ли удалять признаки, входящие в блок удаляемых признаков. Если удалять признаки нельзя, то условие (5) проверяется для второго диагонального коэффициента. По сути это означает, что мы уменьшаем блок удаляемых признаков на единицу и принимаем решение об удалении уменьшенного блока признаков. Если условие (5) не выполняется, то мы снова уменьшаем блок удаляемых признаков на единицу, т.е. условие (5) проверяется для третьего диагонального коэффициента матрицы и т.д. Если условие (5) выполняется, то это означает, что мы определили блок признаков, которые можно удалять. Если условие (5) не выполняется и число удаляемых признаков равно нулю, то это означает, что процесс понижения порядка закончен.
Метод линейной конденсации и метод синтеза главных компонент дают приближенное решение задачи собственных значений. Главные компоненты могут формироваться как на основе приближенного, так и точного решения задачи собственных значений. При этом формируются подпространства для описания изображений, которые отличаются друг от друга. Различие между подпространствами можно оценить через расстояние между подпространствами. Пусть v^,. — собственные векторы, вычисленные методом линейной конденсации
или методом синтеза главных компонент,^0 — собственные векторы, полученные методом Хаусхол-дера. Все собственные векторы имеют единичную длину. Расстояние между подпространствами одинаковой размерности определяется через синус наибольшего главного угла между ними. Наибольший главный угол между подпространствами L{v£“ } и L{v*0i } определяется следующим образом:
cos в = max тах(у^“)т v„ .
Расстояние между подпространствами равно dist (vf“, Vq ) = \/l - cos29 = sin 0.
В методе линейной конденсации точность вычисления собственных векторов регулируется с помощью параметра отсечения. Исследование влияния величины параметра отсечения на расстояние между подпространствами L{v£“ } и L{Vg,. выполняется на наборе из 320 изображений базы ORL. Собственные векторы вычисляются с использования алгоритма блочно-ортогональной конденсации с различными значениями параметра отсечения и методом Хаусхолдера.
В табл. 3 представлено изменение синуса наибольшего угла между подпространствами, образованными 40 главными компонентами, полученными методом Хаусхолдера и алгоритмом блочно-ортогональной конденсации при различных значениях параметра отсечения.
Таблица 3.
Расстояние между подпространствами главных компонент, вычисленных алгоритмом блочно-ортогональной конденсации и методом Хаусхолдера
Размер Параметр отсечения
блока 1,1 1,5 2 2,5
20 0,00237 0,00111 0,00012 0,00024
40 0,00198 0,00070 0,00029 0,00012
60 0,00318 0,00140 0,00042 0,00018
Как видно из таблицы, расстояние между подпространствами, образованными точным и приближенным решением задачи собственных значений, сокращается с увеличением параметра отсечения. Однако, и при малых значениях параметра отсечения расстояние между подпространствами небольшое.
Точность вычисления собственных векторов методом синтеза главных компонент зависит от раз-
50
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
мера частного набора (блока) изображений (тк) и количества собственных векторов блоков (lk). Вместо числа собственных векторов блока lk будем использовать его относительное значение lk = l / mk. Исследования точности выполняются с использованием набора из 320 изображений базы ORL. Методом синтеза главных компонент вычисляются 40 собственных векторов для различных значений тк и 1к. В табл. 4представлены значения расстояния (синуса наибольшего угла) между подпространствами, которые образованы собственными векторами, полученными методом Хаусхолдера и методом синтеза главных компонент.
Таблица 4.
Расстояние между подпространствами главных компонент, вычисленных методом синтеза главных компонент и методом Хаусхолдера
20 0,0337 0,0232 0,0184 0,0125 0,0097 0,0068
40 0,0345 0,0254 0,0183 0,0131 0,0099 0,0073
80 0,0326 0,0266 0,0206 0,0159 0,012 0,0076
Из таблицы видно, что метод синтеза главных компонент позволяет вычислять собственные векторы, которые образуют подпространства, которые отличаются от подпространства, полученного с помощью метода Хаусхолдера, на незначительное расстояние.
Исследование влияния точности вычисления главных компонент на качество распознавания лиц выполняется на базе данных ORL. Собственные векторы вычисляются с использованием метода линейной конденсации, метода синтеза главных компонент и метода Хаусхолдера. При этом изображения, хранящиеся в базе данных, делятся на обучающую и тестовую выборки. Для исследования точности распознавания лиц используется процедура кросс-валидации, усредняющая коэффициенты распознавания, полученные по различным учебным выборкам. Обучающая выборка формируется из 8 изображений каждого класса базы данных ORL, которые выбираются случайно. Все оставшиеся изображения составляют тестовую выборку. Были проведены по 10 экспериментов с главными компонентами, полученными методом Хаусхол-дера, методом линейной конденсации и методом синтеза главных компонент. Качество распознавания в каждом эксперименте оценивается по коэф-
фициенту распознавания лиц тестовой выборки. В результате обработки результатов экспериментов получаются средние значения коэффициентов распознавания тестовой выборки, которые представлены в табл. 5.
Таблица 5.
Коэффициенты распознавания
Число Синтез Метод
главных компонент конденсация главных компонент Хаусхолдера
30 94,9 94,5 95,1
35 94,9 94,3 94,6
40 95,8 95,8 95,4
45 96,3 96,5 96,4
50 96,3 95,8 96,0
55 95,6 96,0 95,8
60 96,1 96,4 96,4
65 96,1 96,1 96,3
70 96,4 96,6 96,3
75 96,1 96,8 96,4
Из таблицы видно, что при использовании метода линейной конденсации коэффициент распознавания достигает величины 96,4, что соответствует точности распознавания для случая, когда главные компоненты вычисляются методом Хаусхолдера. В случае применения метода синтеза главных компонент точность распознавания немного выше. Таким образом, вычисление собственных векторов с использованием методов линейной конденсации и синтеза главных компонент хотя и дает приближенное решение, но не снижает качество распознавания изображений лиц. В ряде экспериментов главные компоненты, вычисленные методами линейной конденсации и синтеза главных компонент, обеспечивают более высокое качество распознавания.
Для демонстрации быстродействия методов линейной конденсации и синтеза главных компонент проводятся эксперименты, в ходе которых вычисляются 290 главных компонент наборов изображений. Затраты на вычисление главных компонент сравниваются со временем вычислений методом Хаусхолдера. Исследования выполняются на изображениях лиц базы данных FERET. В табл. 6 показывается зависимость относительного времени вычисления 290 главных компонент методом синтеза главных компонент и методом линейной конденсации для наборов с разным числом изображений.
Размер
блока
Относительное число собственных векторов блока 4 (%) 12,5 25 37,5 50 62,5 75
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
51
АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
Относительное время рассчитывается как отношение времени вычисления главных компонент методом линейной конденсации или методом синтеза главных компонент ко времени, затраченным методом Ха-усхолдера при нахождении собственных векторов. В таблице использованы следующие обозначения: TK - время вычисления главных компонент методом линейной конденсации, TC - время вычисления главных компонент методом синтеза главных компонент, TX - время вычисления главных компонент методом Хаусхолдера. Как видно из таблицы, оба метода превосходят по скорости вычислений метод Ха-усхолдера, однако метод синтеза главных компонент демонстрирует более высокое быстродействие.
Таблица 6.
Относительное время вычисления главных компонент
Число изображений Tc/TK Tk/Tx
1089 0,63 0,92
2059 0,36 0,6
4080 0,13 0,29
5793 0,1 0,26
Заключение
Рассмотрено решение задачи распознавания изображений лиц с помощью линейного дискриминантного анализа и метода главных компонент. Построение классификаторов предлагается выполнять с использованием учебной выборки ненормализованных изображений. Проведено исследование точности распознавания изображений ненормализованных лиц, выделенных из изображений базе данных ORL. Показано, что подход МГК плюс ЛДА дает хорошую точность распознавания даже для изображений лиц не прошедших процедуру нормализации. При этом увеличение числа изображений в классе учебной выборки повышает точность распознавания лиц. Если число изображений в классе невелико, то предлагается расширять учебную выборку изображениями, полученными путем масштабирования и поворота исходных изображений. Для снижения трудоемкости вычисления главных компонент наборов с большим числом изображений предлагается использовать метод линейной конденсации и метод синтеза главных компонент. Показано, что эти методы позволяют существенно снизить трудоемкость расчетов, не снижая точности распознавания лиц. ■
Литература
1. Vijayakumari V. Face recognition techniques: A survey // World Journal of Computer Application and Technology. 2013. No. 1 (2). P. 41-50.
2. Nefian A.V., Hayes M.H. Hidden Markov models for face detection and recognition // IEEE Transcations on Pattern Analysis and Machine Intelligence. 1999. No. 1. P. 141-145.
3. Serrano A., de Diego I.M., Conde C., Cabello E. Recent advances in face biometrics with Gabor wavelets: A review // Pattern Recognition Letters. 2010. No. 31 (5). P 372-381.
4. Shen L., Bai L. A review on Gabor wavelets for face recognition // Pattern Analysis and Applications. 2006. No. 9 (2-3). P. 273-292.
5. Kirby M., Sirovich L. Application of the KL procedure for the characterization of human faces // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1990. Vol. 12, No. 1. P 103-108.
6. Etemad K. Chellappa R. Discriminant analysis for recognition of human face images // Journal of the Optical Society of America. 1997. Vol. 14, No. 8. P 1724-1733.
7. Belhumeur PN., Hespanha J.P, Kriegman D.J. Eigenfaces vs fisherfaces: Recognition using class specific linear projection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. Vol 19, No. 7. P 711-720.
8. Мокеев А.В. О точности и быстродействии метода синтеза главных компонент // Бизнес-информатика. 2010. № 3 (13). С. 65-68.
9. Мокеев В.В. О повышение эффективности вычислений главных компонент в задачах анализа изображений // Цифровая обработка сигналов. 2011. №4. С. 29-36
10. Щеголева Н.Л., Кухарев Г.А. Применение алгоритмов двумерного анализа главных компонент для задач распознавания изображений лиц // Бизнес информатика. 2011. № 4 (18). С. 31-38.
11. Мокеев В.В., Томилов С.В. О решении проблемы выборки малого размера при использовании линейного дискриминантного анализа в задачах распознавания лиц // Бизнес информатика. 2013. № 1 (23). С 37-43.
52
БИЗНЕС-ИНФОРМАТИКА №3(33)-2015 г
DATA ANALYSIS AND INTELLIGENCE SYSTEMS
12. Gu X., Gong W., Yang L. Regularized locality preserving discriminant analysis for face recognition // Neurocomputing. 2011. No. 74 (17). P. 3036—3042.
13. Zhang, T., D. Tao, X. Li, et al. Patch alignment for dimensionality reduction // IEEE Transaction on Knowledge and Data Engineering. 2009. No. 21 (9). P. 1299—1313.
14. Yang L., Gong Wj., Gu X., et al. Null space discriminant locality preserving projections for face recognition // Neurocomputing. 2008. No. 71 (16). P. 3644—3649.
ON EFFICIENCY OF FACE RECOGNITION USING LINEAR DISCRIMINANT ANALYSIS AND PRINCIPAL COMPONENT ANALYSIS
Andrey V. MOKEYEV
Senior Lecturer, Department of Information Systems,
Faculty of Economics and Entrepreneurship, South Ural State University Address: 76, Lenina prospect, Chelyabinsk, 454080, Russian Federation E-mail: [email protected]
Vladimir V MOKEYEV
Head of Department of Information Systems,
Faculty of Economics and Entrepreneurship, South Ural State University Address: 76, Lenina prospect, Chelyabinsk, 454080, Russian Federation E-mail: [email protected]
The solution of the face recognition problem by means of principal component analysis (PCA) and linear discriminant analysis (LDA) is being considered. The main idea of this approach is that firstly, we project the face image from the original vector space to a face subspace via PCA, secondly, we use LDA to obtain a linear classifier. In the paper, the efficiency of the PCA+LDA approach to face recognition without preliminary processing (scaling, rotation, translating) is investigated. Research shows that the higher the number of images in a class of teach sample, the higher the face recognition rate. When the number ofimages is small, face recognition performance can be improved by expanding the training set using the images received by scaling and rotating of initial images. The efficiency of PCA+LDA approach is investigated on the images of ORL database. When processing large sets ofimages, methods of linear condensation and principal component synthesis are suggested to calculate the main components. The principal component synthesis method is based on splitting an initial image set into small sets ofimages, obtaining eigenvectors of these sets (particular solutions) and calculation of eigenvectors of an initial image based on particular solutions. The linear condensation method is based on the decrease of an order of matrix allowing to calculate pretty exactly eigenvectors whose eigenvalues are located in the preset interval. It is shown that linear condensation and principal component synthesis methods allow to decrease significantly the processing time of building a classifier by PCA+LDA approach, without reducing face recognition rate.
Key words: face recognition, principal component analysis, linear discriminant analysis, linear condensation method, database ORL, principal component synthesis.
Citation: Mokeyev A.V., Mokeyev V.V. (2015) Ob jeffektivnosti raspoznavanii lic s pomoshh’ju linejnogo diskriminantnogo analiza i metoda glavnyh komponent [On efficiency of face recognition using linear discriminant analysis and principal component analysis]. Business Informatics, no. 3 (33), pp. 44—54 (in Russian).
BUSINESS INFORMATICS №3(33)-2015
53
DATA ANALYSIS AND INTELLIGENCE SYSTEMS
References
1. Vijayakumari V. (2013) Face recognition techniques: A survey. World Journal of Computer Application and Technology, no. 1 (2), pp. 41—50.
2. Nefian A.V., Hayes M.H. (1999) Hidden Markov models for face detection and recognition. IEEE Transcations on Pattern Analysis and Machine Intelligence, no. 1, pp. 141—145.
3. Serrano A., de Diego I.M., Conde C., Cabello E. (2010) Recent advances in face biometrics with Gabor wavelets: A review. Pattern Recognition Letters, no. 31 (5), pp. 372—381.
4. Shen L., Bai L. (2006) A review on Gabor wavelets for face recognition. Pattern Analysis and Applications, no. 9 (2—3), pp. 273—292.
5. Kirby M., Sirovich L. (1990) Application of the KL procedure for the characterization of human faces. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103—108.
6. Etemad K. Chellappa R. (1997) Discriminant analysis for recognition of human face images // Journal of the Optical Society of America, vol. 14, no. 8, pp. 1724-1733.
7. Belhumeur P.N., Hespanha J.P., Kriegman D.J. (1997) Eigenfaces vs fisherfaces: Recognition using class specific linear projection. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 711-720.
8. Mokeev A.V. (2010) O tochnosti i bystrodejstvii metoda sinteza glavnyh komponent [On accuracy and performance principal component synthesis method]. Business Informatics, no. 3 (13), pp. 65-68 (in Russian).
9. Mokeev V.V. (2011) O povyshenie jeffektivnosti vychislenij glavnyh komponent v zadachah analiza izobrazhenij [On high performance of novel method of principal components computation for image analysis problem]. Cifrovaja obrabotka signalov, no. 4, pp. 29-36 (in Russian).
10. Shhegoleva N.L., Kuharev G.A. (2011) Primenenie algoritmov dvumernogo analiza glavnyh komponent dlja zadach raspoznavanija izobrazhenij lic [Algorithms 2DPCA for face recognition]. Business Informatics, no. 4 (18), pp. 31-38 (in Russian).
11. Mokeev V.V., Tomilov S.V. (2013) O reshenii problemy vyborki malogo razmera pri ispol’zovanii linejnogo diskriminantnogo analiza v zadachah raspoznavanija lic [On solution of small sample size problem with linear discriminant analysis in face recognition]. Business Informatics, no. 1, pp. 37-43 (in Russian).
12. Gu X., Gong W., Yang L. (2011) Regularized locality preserving discriminant analysis for face recognition. Neurocomputing, no. 74 (17), pp. 3036-3042.
13. Zhang, T., D. Tao, X. Li, et al (2009) Patch alignment for dimensionality reduction. IEEE Transaction on Knowledge and Data Engineering, no. 21 (9), pp. 1299-1313.
14. Yang L., Gong Wj., Gu X., et al (2008) Null space discriminant locality preserving projections for face recognition. Neurocomputing, no. 71 (16), pp. 3644-3649.
54
BUSINESS INFORMATICS №3(33)-2015
