Оценка эффективности предварительной обработки изображений для метода распознавания лиц с применением анализа главных компонентов Текст научной статьи по специальности «Компьютерные и информационные науки»

5. Huebschman M., Munjuluri B., Garner H. Digital micromirrors enable holographic video display // Laser focus world. 2004. Vol. 40, № 5. P. 111-116.

M. M. Koltsov, S. V. Kuznetsov

Saint-Petersburg state electrotechnical university "LETI"

Developing system of syntheses and visualization of volumetric images

Technologies for coding stereo frames into 2D-frames with addition of information about the depth of pixels location and rendering of the video stream consisting of such frames with using of laser diffraction at acoustic holograms with resulting field visualization by microlenses raster are presented.

3D images reconstruction algorithm, 3D scene isometric view, volumetric video forming system, 3D camcorder, microlens raster, acousto-optic deflector, diffractive lens, reference ray, light point hologram, 3D laser display, volumetric hologram viewing system, micromirror modulator, hologram synthesis

Статья поступила в редакцию 17 сентября 2009 г.

УДК 621.397.43:004.932.72'1

Я. В. Рыбак

Санкт-Петербургский государственный университет телекоммуникаций

им. проф. М. А. Бонч-Бруевича

Оценка эффективности предварительной обработки изображений для метода распознавания лиц с применением анализа главных компонентов

Проанализировано влияние различных методов предварительной обработки изображений, основанных на анализе главных компонентов, в системах детектирования и распознавания лиц. Показана чувствительность методов к изменениям яркостной составляющей изображения. Приведены результаты тестирования на распространенных базах изображений лиц, позволяющие сделать вывод о перспективности предложенных методов предварительной обработки.

Обнаружение лиц, распознавание лиц, анализ главных компонентов, вероятность ошибочного решения, вероятность пропуска

В последние годы в цифровых системах охранного телевидения все чаще применяется программное обеспечение, дополненное различными интеллектуальными детекторами, например модулем распознавания лиц. Одним из наиболее эффективных способов распознавания лиц является анализ главных компонентов (principal component analysis -PCA) лица. Однако существенный недостаток указанного метода состоит в необходимости соблюдения одинаковых условий получения изображений, применяемых затем для выделения особенностей лиц и получения "собственных изображений" - собственных векторов пространства векторов учебного набора изображений лиц [1].

Известны эксперименты по улучшению характеристик изображений, применяемых для PCA, однако их результаты имеют противоречивый характер [2], при этом отсутствует единая методика оценки методов. В связи с этим возникла необходимость анализа различных методов предварительной обработки для выявления эффективности таких характери-

© Рыбак Я. В., 2010

55

Известия вузов России. Радиоэлектроника. 2010. Вып. 2======================================

стик распознавания, как вероятность ошибочного принятия решения (false accepting rate -FAR) и вероятность ошибочного отказа (false rejecting rate - FRR). Результаты сравнивались по равной вероятности ошибки (Equal error rate - EER), которая определяется как FAR при равной ей FRR.

В настоящей статье представлен обзор методов предварительной обработки изображений для улучшения характеристик работы алгоритма PCA в области распознавания лиц и уменьшения влияния внешних факторов как в обучающих, так и в испытательных данных.

Проблема, присущая многим тренировочным наборам данных, состоит в том, что в них могут присутствовать главные компоненты, полученные при изменяющихся сопутствующих факторах. Для изображений к таким факторам можно отнести направленность источника света, его интенсивность и спектральный состав, ориентацию головы, качество изображения и выражение лица. Например, если в тренировочном наборе имеются изображения, полученные при освещении лица человека только с одной стороны, наличие более освещенной части лица может быть принято за главный компонент и, следовательно, использовано при идентификации разных людей. Подобные обстоятельства необходимо исключить или скомпенсировать.

Проблемы, вызванные изменениями условий освещения, исследованы в работе [3], авторы которой предположили, что различия между изображениями одного лица при разных условиях освещения больше, чем различия между изображениями различных лиц при одинаковом освещении [4]. Это обстоятельство с переменным успехом использовалось для идентификации в различных системах распознавания лиц с целью компенсации условий освещенности. В работе [5] для компенсации влияния параметров источника света и его расположения использована трехмерная компьютерная модель поверхности лица с переменным коэффициентом отражения в соответствии с физической моделью Lambetian, а затем применена система идентификации, основанная на линейном дискриминантном анализе.

В своем исследовании* Катлер показал, что PCA может успешно применяться к инфракрасному изображению, приводящему к уменьшению ошибки распознавания. Он доказал, что искусственный источник инфракрасного освещения может уменьшить эффект влияния внешних источников света и повысить коэффициент успешного распознавания на особо важных охраняемых объектах. Однако использование таких источников не всегда практично, особенно если объект распознавания находится далеко от видеокамеры.

Исходные данные. В эксперименте использовались 960 изображений 120 людей (60 мужчин, 60 женщин), полученных из базы данных**. Изображения разделялись на два непересекающихся набора:

• учебный набор, содержащий 60 изображений лиц различных людей разного пола, расы и возраста с нейтральным выражением лица, полученных при естественных условиях освещения;

* Cutler R. Face recognition using infrared images and eigenfaces // URL // http://citeseerx.ist.psu.edu/viewdoc/download;-

jsessionid=A22CD1EE57FBB3EC54DCDC62FB5A6C87?doi=10.1.1.21.3051&rep=rep1&type=pdf

** http ://cobweb. ecn.purdue. edu/~aleix/aleix_face_DB. html

======================================Известия вузов России. Радиоэлектроника. 2010. Вып. 2

• испытательный набор, содержащий 900 изображений (по 15 изображений 60 человек различного пола, расы и возраста).

Изображения испытательного набора снимались при условиях, указанных в табл. 1, в течение двух дней. Примеры тестовых портретов одного человека (снятых при разных выражениях лица и различном освещении) приведены на рис. 1. Все изображения сохранены в виде битовых массивов и преобразованы в векторы для анализа главных компонентов.

В результате предварительных исследований определено, что при уменьшении расстояния между глазами вплоть до 15 пикселей существенного изменения в значении EER не

Таблица 1

Выражение лица Освещение

Естественное С левой стороны С правой стороны Слева и справа

Время съемки

Нейтральное Первый день, второй день Первый день, второй день Первый день, второй день Первый день, второй день

Счастливое Первый день, второй день - - -

Сердитое Первый день, второй день - - -

Закрытая нижняя часть лица Первый день Первый день, второй день - -

происходит. Как компромисс между временными затратами на эксперимент и незначительным количеством методов предварительной обработки, потенциально дающих лучшие результаты при повышении разрешения, все изображения были масштабированы таким образом, чтобы расстояние между зрачками равнялось 25 пикселям. Масштабирование выполнено с помощью алгоритма детектирования зрачков, описанного в работе [6]. Кроме того, все изображения ограничены 75 пикселями по ширине и 112 пикселями по высоте.

Определение положения лица. Рассмотрим изображения учебного набора с размерами 75^112 пикселей (рис. 1) как векторы Г„ в пространстве яркостей размерности 75 х112 = 8400, где каждому пикселю сопоставлено свое измерение. Каждый вектор сопоставляется точке в указанном пространстве. Можно допустить, что нормализованные, как описано ранее, изображения одного и того же лица составляют в этом пространстве достаточно плотную группу [7], причем расстояния между точками в группе существенно меньше, чем расстояния между группами, представляющими изображения различных лиц. В рамках этого допущения задача распознавания состоит в кластеризации пространства на области, соответствующие различным лицам. Применяемая обработка должна снижать размерность пространства и увеличивать расстояния между кластерами. Упоминавшийся

ранее РСА является одним из методов решения этой задачи.

Используем набор из М тренировочных изображений {Г^ Г2, Г3, ..., Тм } (в рас-

м

сматриваемом случае М = 60 ) и вычислим вектор среднего изображения ¥ = — ^ Гп и

Мп=1

векторы отличия каждого изображения от среднего Фп = Гп - ¥. Далее определим мат-

символ транспонирования.

1 М т „т ,,

рицу ковариации: С = — ^ ФпФп , где

Мп=1

Собственные векторы и собственные значения матрицы ковариации вычисляем, используя алгоритм сингулярного разложения. Для набора изображений собственные векторы интерпретируются как некоторые изображения в пространстве изображений. В этом смысле назовем собственные векторы собственными изображениями (СИ). Из полученных собственных значений отбираем некоторое количество (в эксперименте М' = 30) наибольших. Соответствующие им СИ обеспечивают наилучшее из всех возможных наборов из М' СИ представление учебного набора изображений лиц. На рис 2, а представлено среднее по учебному набору изображение, а на рис. 2, б - несколько СИ этого набора (предварительная обработка изображений учебного набора не производилась).

Верификация изображений лица. В сформированном пространстве яркостей лиц размерностью М' любое изображение лица Г характеризуется набором весов Шк = и к (Г - ¥) (к = 1, ..., М'), где и^ - к-е СИ. Вес ш^ представляет собой вклад к-го СИ и^ в построение анализируемого изображения. Масштабирующий коэффициент (Г - ¥) учитывает отличие анализируемого изображения от среднего по набору.

Совокупность весов рассматривалась как вектор Пт =[ш1, Ш2, Ш3, ..., Шм' ]. Тогда близость двух изображений оценивалась разницей векторов в евклидовой метрике:

II 1|2

в = - . Изображения считались изображениями одного и того же лица, если разница не превосходила некоторого порога. В противном случае принималось решение о том, что сравниваемые изображения принадлежат разным лицам.

Для оценки FRR обрабатывался контрольный набор, содержавший по п = 15 изображений лица каждого из пл = 60 персон. Каждое из изображений контрольного набора однократно сравнивалось со всеми остальными изображениями набора. Таким образом, полная процедура включала пср = 0.5пр (п2 - п ) = = 6300 сравнений.

о

Рис. 2

б

а

Оценка FAR требует больших затрат, так как подразумевает сравнение каждого изображения со всеми изображениями набора, кроме изображений, относящихся к данному лицу. Для сокращения затрат указанная оценка найдена, используя изображения, полученные в первый и второй дни только при нейтральном выражении лица и естественном освещении. Это дало четыре сравнения на каждую пару лиц*. Таким образом, в общей сложности проводилось

= 2 (П2 - пл ) = 7080 сравнений между

FRR, %

50 Рис. 3

FAR, %

n

ср

изображениями лиц различных людей.

Одна пара оценок FRR и FAR требует 13 380 актов сравнения. Оценка EER состоит в получении указанных пар оценок при изменении порога до достижения их равенства (рис. 3). Схема процедуры расчета EER представлена на рис. 4. Для используемого набора изображений лиц получена EER = 34 %.

Предварительная обработка изображений. Из различных литературных источников известны методы обработки изображений. Представляет интерес исследование влияния предварительной обработки на получаемое значение EER.

Сгруппируем методы предварительной обработки изображений в четыре категории: методы нормализации цвета, статистические методы, пространственная фильтрация и комбинация этих методов. Методы используются для расчета параметров каждого пикселя.

Методы нормализации цвета. Так как у пикселей получающегося изображения равная яркость, применение этого метода ко всем цветовым координатам не позволяет перейти к единственной характеристике каждого пикселя, что необходимо для перехода в пространство СИ. Поэтому метод обычно применяется к одному цветовому каналу.

Учебный

набор -►

Тестируемое изображение A

Тестируемое изображение B

CS

w

н о ю

CS ft ю

о «

CS

к

Л

ч

(U

н я

Л CS

m

<u ft С

Вычисление

среднего изображения

¥

Расчет отличий изображений от среднего

Фп

Расчет матрицы ковариации

C

Расчет СИ и собственных коэффициентов

■Щ, 1, M

К

о

« я о m н

я о

W К

(U CS

о ft

ft н

С о о

ft

и

m

п

A

Л

ft Я

<u и

о

н о

ID F О trt я ч ю

uk, 1, M'

Сортировка и отбор СИ

1

Расчет FRR и FAR Изменение порога

EER

Рис. 4

Каждая пара изображений сравнивается один раз.

е

Всесторонняя нормализация цветного изображения. Использован алгоритм, предложенный в работе [8], который нормализует изображения, полученные в условиях изменения геометрии и цветовых параметров освещения. Метод предполагает повторение процедуры нормализации интенсивности до тех пор, пока изображение не достигнет устойчивого состояния, т. е. пока изменение в значениях пикселя от цикла к циклу не станет минимальным.

Стандартное определение оттенка. Для определения оттенка каждого пикселя изображения в соответствии с колориметрической моделью Ж! [9] использована формула

Оттенок, инвариантный к нелинейности яркостной характеристики. Финлэйсон и Шафер ввели [10] определение оттенка, инвариантное к яркости (масштабирование каждого цветного канала с постоянным коэффициентом) и гамме:

Статистические методы применяются для преобразования значений интенсивности пикселей с целью сделать яркость и контрастность постоянными для всего изображения. В этих целях, как правило, изменяется область изображения, анализируемая для получения оценки конкретного пикселя.

Для этих методов необходимо выполнить требование постоянства условий освещения всех точек лица (например, наличие тени). Для компенсации изменений условий освещения обработка применяется к отдельным областям. Тем самым компенсируются различия в условиях освещения как между различными областями одного и того же лица, так и для различных изображений.

Пространственная фильтрация. Фильтры могут быть конфигурированы таким образом, чтобы увеличить или подавить некоторые особенности, уменьшить искажения и выделить границы изображения. В исследовании применялись фильтры, реализующие следующие операции над изображениями:

• низкочастотную фильтрацию с использованием окна 3 х 3 пикселя (smooth);

• низкочастотную фильтрацию с использованием окна 5 х 5 пикселей (smooth more);

• размывание экстремальных значений (blur);

• выделение перепадов (edge);

• сегментацию по перепадам (find edges);

• сегментацию по перепадам с повышенной чувствительностью к изменению контрастности (contour);

• повышение контрастности (detail);

• повышение резкости (sharpen);

• выделение перепадов и теней (emboss).

Комбинация методов. В целях улучшения результатов исследовались некоторые комбинации методов, потенциально улучшающие EER:

H = tg

1 log r - log g _ log r + log g - 2 log b

• выделение контуров после сглаживания (contour after smooth);

• сглаживание после выделения контуров (smooth after contour);

• локальные преобразования яркости после сглаживания (local brightness after smooth);

• выделение контуров после локального преобразования яркости (contour after local brightness);

• суммирование изображения с контурами, выделенными после преобразования яркости (contour after local brightness with image);

• оконтуривание суммы сглаженного изображения и изображения с преобразованием яркости (contour smooth image and local brightness image);

• оконтуривание изображения, сглаженного после локального преобразования яркости (contour smooth image after local brightness image).

Результаты исследования. Оценки EER при применении к изображениям лиц различных методов предварительной обработки даны в табл. 2. Результаты обработки левого изображения на рис. 1 некоторыми фильтрами приведены на рис. 5 (ссылки на эти изображения даны в правом столбце табл. 2). Учебный и тестовый наборы обрабатывались одними и теми же фильтрами. Оценка EER, полученная без предварительной обработки, выделена жирным шрифтом.

Большинство методов предварительной обработки изображений улучшают результаты распознавания на базе СИ. Однако некоторые фильтры вызывают увеличение ошибки распознавания вследствие потери информативности во время предварительной обработки изображений: искажения перепадов при их выделении, потери части теней из-за изменения геометрической структуры. Напротив, повышение эффективности распознавания зафиксировано при применении фильтров размывания, а также фильтров выделения границ изображения.

Таблица 2

Метод обработки EER, % Изображение (рис. 5)

Размывание экстремального значения 35.1 б

Низкочастотная фильтрация с использованием окна 5 х 5 пикселей 34.3 в

Низкочастотная фильтрация с использованием окна 3 х 3 пикселя 34.1 г

Отсутствие обработки 34.0 а

Повышение контрастности 33.8 д

Повышение резкости изображения 33.7 е

Выделение перепадов 33.1 ж

Выделение перепадов и теней 32.9 з

Сглаживание, затем фильтрация контура 30.2 и

Сегментация по перепадам 29.3 к

Суммирование полученных изображений с отфильтрованным контуром и локальным преобразованием яркости 29.2 л

Оконтуривание и суммирование сглаженного изображения и изображения с преобразованной яркостью 29.2 м

Фильтрация контура после сглаживания 28.8 н

Сегментация по перепадам с повышенной чувствительностью к изменению контраста 27.9 о

Локальные преобразования яркости после сглаживания 27.4 п

Локальные преобразования яркости с последующей фильтрацией контура 24.0 р

Рис. 5

По результатам сравнений EER наиболее эффективной оказалась нормализация интенсивности яркости в областях лица с последующим выделением контура. В этом случае EER составила 22.4 %, что на 10 % меньше чем EER без какой-либо предварительной обработки. Этот метод можно использовать совместно с РСА в прикладных задачах, таких, как безопасность, видеонаблюдение, сжатие данных и поиск в архиве. Метод распознавания лиц на основе СИ можно значительно улучшить предварительной обработкой изображений без внесений изменений в метод главных компонентов.

Список литературы

1. Прикладная статистика. Классификация и снижение размерности: Справ. изд. / под ред. С. А. Айвазяна. М.: Финансы и статистика, 1989. 507 с.

2. Самаль Д. И., Старовойтов В. В. Методика автоматизированного распознавания людей по фотопортретам // Цифровая обработка изображений. Минск: ИТК, 1999. С. 81-85.

3. Adini Y., Moses Y., Ullman S. Face recognition: the problem of compensating for changes in illumination direction // IEEE Trans. on pat. anal. and mach. intel. 1997. Vol. PAMI-19, № 7. P. 721-732.

4. Zhao W., Chellappa R. 3D model enhanced face recognition // IEEE 2000 Int. conf. on image processing (ICIP'2000), 10-13 sept. 2000, Vancouver, Canada. New York: IEEE, 2000. Vol. 3. P. 50-53.

5. Martinez A. M., Kak A. C. PCA versus LDA // IEEE Trans. on pat. anal. and mach. intel. 2001. Vol. PAMI-23, № 2. P. 228-233.

6. Belhumeur P., Hespanha J., Kriegman D. Eigenfaces vs. Fisherfaces: recognition using class specific linear projection // IEEE Transactions on pat. anal. and mach. intel. 1997. Vol. PAMI-19, № 7. P. 711-720.

7. Pentland A., Moghaddom B., Starner T. View-based and modular eigenfaces for face recognition // J. of virtual reality and broadcasting. 1994. June. P. 995-999.

8. Finlayson G. D., Schiele B., Crowley J. L. Comprehensive colour image normalisation // Proc. 5th Europ. conf. on comp. vision (ECCV'98), Freiburg, Germany, 2-6 June 1998. Berlin: Springer-Verlag, 1998. P. 475-490. (Lec. notes in comp. science. Vol. 1406).

9. Alshamasin M., Al-kasasbeh К., Khraiwish A. Acceleration of image processing using new color model // American J. of applied sciences. 2009. Vol. 6, № 5. P. 1015-1020.

10. Finlayson G. D., Schiele B., Crowley J. L. Comprehensive colour image normalization // Proc. 5th Europ. conf. on comp. vision (ECCV'98), Freiburg, Germany, 2-6 June 1998. Berlin: Springer-Verlag, 1998. P. 475-490. (Lec. notes in comp. science. Vol. 1406.)

и

к

л

м

н

о

п

Y. V. Rybak

Saint-Petersburg state university of telecommunication n. a. prof. M. A. Bonch-Bruevich

Estimation of methods of preliminary processing of images for recognition of the person with application of PCA method

Results of research of influence of various methods of preliminary processing of the images applied in systems of detecting and recognition of persons of the main things based on the analysis a component are resulted. Dependence of methods to changes of brightness of the image is shown. Results of testing on widespread bases of images of the persons are resulted, allowing to draw a conclusion on perspectivity of the offered methods of preliminary processing.

Face detection, face recognition, principal components analysis, false accepting rate, false rejecting rate Статья поступила в редакцию 28 сентября 2009 г.