CC BY
200
УДК 004.931
АЛГОРИТМЫ ВЫДЕЛЕНИЯ ЛИЦ НА СТАТИЧЕСКИХ RGB ИЗОБРАЖЕНИЯХ И В ВИДЕОПОТОКЕ
А.А. Друки
Томский политехнический университет E-mail: [email protected]
Разработаны алгоритмы выделения лиц на статических изображениях и в видеопотоке: алгоритм обнаружения лица с помощью цветовой сегментации, алгоритм выделения лиц на статических RGB изображениях с помощью деформируемых эллиптических моделей, метод статических моментов для выделения лиц в видеопотоке.
Ключевые слова:
Обработка изображений, выделение лиц, метод деформируемых эталонов, метод статических моментов.
Key words:
Image recognition, selection of person, method of deformable standards, method of static moments.
Введение
Многие направления науки, техники и производства в значительной степени ориентируются на развитие систем, в которых информация носит характер поля (изображения). При обработке такой информации возникает ряд сложных научных, технических и технологических проблем. Одной из самых сложных задач является обработка и распознавание изображений. О важности этой проблемы говорит тот факт, что исследования по распознаванию образов, анализу изображений и речи включены в перечень приоритетных направлений развития науки и техники и критических технологий федерального уровня [1].
Распознавание изображений находит широкое применение в различных приложениях - это может быть контроль топологии печатных плат, текстуры ткани, контроль доступа к информации по идентификации личности (биометрическая идентификация), доступ к объектам ограниченного доступа, оперативный поиск в картотеке изображений, дактилоскопия и др. [2].
Широкое распространение получают биометрические системы идентификации человека. Традиционные системы идентификации требуют знания пароля, наличия ключа, идентификационной карточки, либо иного идентифицирующего предмета, который можно забыть или потерять. В отличие от них биометрические системы основываются на уникальных биологических характеристиках человека, которые трудно подделать и которые однозначно определяют конкретного человека. К таким характеристикам относятся отпечатки пальцев, форма ладони, узор радужной оболочки, изображение сетчатки глаза, индивидуальные характеристики лица [3].
Лицо человека является важным источником информации при общении между людьми. Выражение лица, мимика, артикуляция при разговоре, движения головой являются удобным, естественным и, что важно, необременительным способом передачи информации. Неспособность компьютера воспринять и распознать столь естественные для человека способы общения затрудняет передачу и восприятие информации при работе с ПЭВМ.
Для того, чтобы научить компьютер распознавать объекты и реагировать на их движения, требуются устойчивые алгоритмы анализа и распознавания изображения лица человека [4].
Цель работы является разработка алгоритмов обнаружения и выделения лица на статических и динамических изображениях низкого разрешения (порядка 320x240 пикселей) при наличии высокого уровня шума, характерного для бытовых фото- и видеокамер.
Разработка алгоритма обнаружения лица с помощью цветовой сегментации
Существующие алгоритмы обнаружения лица можно разбить на две категории: методы эмпирического распознавания и методы моделирования изображения лица.
Среди эмпирических методов обнаружения лица получили широкое распространение методы, использующие цветовую сегментацию областей кожи [5]. Причина этой популярности состоит в том, что использование цвета кожи как признака для обнаружения лица сочетает в себе несколько важных преимуществ:
• малая вычислительная сложность и, как следствие, высокая скорость обработки;
• устойчивость к изменению ориентации и масштаба лица;
• устойчивость к изменению освещения;
• устойчивость к изменению выражения лица и частичного перекрытия лица другим объектом сцены.
К недостаткам этого метода относятся:
• потенциальная возможность ложного обнаружения предметов с цветом, близким к цвету кожи;
• зависимость результата от цветового баланса камеры и цвета освещения [6, 7]. Вышеперечисленные достоинства обнаружения
лиц по цвету делают использование характерного цвета кожи как признака для распознавания весьма привлекательным, даже несмотря на имеющиеся недостатки.
Обнаружение лиц по цвету кожи производится в два этапа:
1. Выделение пикселей, близких по цвету к коже.
2. Поиск лиц на изображении с использованием априорного знания о структуре человеческого лица.
Для выделения пикселей с цветом кожи используется модель распределения оттенка кожи в цветовом пространстве. На основании сравнения существующих методов цветовой сегментации кожи оптимальным представляется метод моделирования распределения с помощью Байесовской карты вероятностей.
Этот метод заключается в вычислении отношения
P (skin / с)
—----------— (соотношение вероятностей принад-
P( - skin / с)
лежности цвета с координатами с к оттенку «кожи» или «не-кожи») для каждой точки дискретизированного цветового пространства по формуле
р о Y1 Pskin (x)
Pout 2 ’
reQ 2 S
На рис. 1 представлен пример желаемого выделения эллиптической области из неидеальных исходных данных.
P (skin / с)
и последующего сравнения —------------— с некото-
P( - skin / с)
рым выбранным порогом в. P(c/skin) и P(c/-skin) напрямую высчитываются из набора тренировочных изображений, с областями кожи, сегментированными вручную. Априорные вероятности P(skin) и P(-skin) также можно вычислить, исходя из тренировочного набора. Однако, как легко показать, их можно принять равными 0,5, поскольку изменение априорных вероятностей влияет лишь на величину порога, используемого для обнаружения кожи, не изменяя соотношения процента ложных обнаружений и ложных промахов. Данная модель обладает высокими показателями вероятности успешного распознавания, малой вероятностью ложного обнаружения, и является инвариантной по отношению к выбору цветового пространства, в котором проводится сегментация.
Результатом цветовой сегментации кожи является информация о степени близости цвета каждого пикселя к цвету кожи. На основе этой информации формируется полутоновое изображение, где интенсивности пикселей установлены равными характеристике близости пикселя к цвету кожи.
Разработка алгоритма выделения лиц
с помощью деформируемых эллиптических моделей
К сожалению, цветовая информация не может дать достаточно данных для устойчивого обнаружения лица. Неизбежные ошибки цветовой сегментации и области, близкие по оттенку к коже, не являющиеся лицами, создают помехи для распознавания [8]. Поэтому для повышения устойчивости обнаружения лиц был разработан дополнительный метод. Метод заключается в выделении эллиптических областей максимального размера, внутри которых плотность количества пикселей цвета кожи максимальна, в то время как на границе количество пикселей минимально.
Рис. 1. Пример выделения эллиптической области из неидеальных исходных данных: 1) выделенная эллиптическая область; 2) область цвета кожи
Представляется естественным сформулировать эту проблему, как задачу оптимизации в пространстве параметров эллипса (х,у,в,а,Ь). Чтобы избежать трудностей, связанных с поиском явного задания целевой функции и разработки метода оптимизации, не подверженного проблеме локальных экстремумов, было разработано два алгоритма, использующих последовательные приближения с помощью деформируемой эллиптической модели лица, жестко фиксирующие возможные формы областей лиц.
| Внешняя окрестность сенсорной области
-| Внутренняя окрестность сенсорной области
Пиксели цвета кожи
Движение сенсорных областей
Рис. 2. Деформируемая эллиптическая модель для выделения области лица
Вдоль границы модели расположены сканируемые области, в которых происходит оценка плотности пикселей, близких по цвету к коже. Модель инициализируется в близи ожидаемого положения лица на изображении (например, в центре масс связной компоненты пикселей кожи). Деформация
модели производится по шагам. Для каждой сканируемой области производится расчёт плотности пикселей во внутренней и внешней окрестности границы модели. В зависимости от полученных плотностей сканируемая область перемещается перпендикулярно границе модели.
РШп (х)
Р = 2 V
т
геП 1
п
Р = 2 V
Р оиг 2 V
5
РИп (х)
где П1 и 02 - внутренняя и внешняя части сканирующей области; £ - площадь сканирующей области; РЛк(х) - вероятность принадлежности цвета пикселя х к цвету кожи. Исходя из рассчитанных величин, вычисляется вектор перемещения сканирующей области:
-Кп>> если Р‘п < Т1,
^=<Ки,п‘> есёи р .п > Т1 и рш < Т2,
0, иначе.
где I - номер сканирующей области; п! - единичная нормаль к границе модели в точке центра сканирующей области, направленная от центра модели; Р\„ и Р‘ай - плотности пикселей кожи во внутренней и внешней частях сканирующей области; Т1 и Т2 — пороговые величины плотности пикселей. Коэффициенты Кп и (>0) управляют скоростью
и характером перемещения сканирующих областей.
Полный цикл обнаружения потенциального региона лица модели задается следующим алгоритмом:
1) инициализация модели;
2) количество итераций к=0;
3) пока к<п:
4) для каждой сканирующей области /=1,п:
5) подсчитать Р\п, Р‘х;
6) еслиР 1,<Тпперемещение сканирующей области:
V(X У) е 5 (х -Нх У( У - Ну)1 1(X У)
Нд = ^ч от, ч , иначе:
V (х, у) е Б1 (х, у)
7) если Р‘ои>Тт1 перемещение сканирующей области: и=-п ит, иначе:
8) 6=в;
9) пересчитать координаты центров сканирующих областей хк+1=х1к+ и;
10) аппроксимировать центры сканирующих областей х,к+\ 1=1,п эллипсом;
11) новые параметры формы модели=параметры полученного эллипса;
12) к=к+1, перейти на 2.
Для приближения центров сканирующих областей эллипсом был использован метод наименьших квадратов, обладающий высоким быстродействием и точностью.
Поведение модели можно варьировать и настраивать, модифицируя следующие параметры:
• количество, расположение и размер сканирующих областей;
• пороговые величины Тп и Тш;
• коэффициенты длины векторов перемещения сканирующих областей кп и коШ;
• дополнительные ограничения на форму, размер, ориентацию и положение эллипса.
Путем модификации перечисленных параметров можно добиться тонкой настройки функционирования модели.
Модификация алгоритма
Для увеличения устойчивости метода в случае присутствия на изображении регионов кожных пикселей, значительно отличающихся из-за шума по форме от эллиптических, введены несколько усовершенствований базового метода:
• малое случайное перемещение сканирующих областей вдоль границы модели на каждом шаге;
• предобработка изображения кожи - заполнение дефектов в связных компонентах кожи заведомо меньшего размера, чем ожидаемый размер лица.
Для того, чтобы увеличить влияние сканирующих областей, находящихся на границе области, введена третья модификация метода. Пересчет параметров эллипса производится методом наименьших квадратов по набору координат центров сканирующих областей х;к+1, /=1,п. Особенность метода наименьших квадратов заключается в том, что ошибочное перемещение одной сканирующей области на большое расстояние может значительно сказаться на форме модели и привести к смещению модели с границы области кожи. Чтобы избежать такой ситуации и увеличить влияние стационарных сканирующих областей (в предположении, что они остановились на границе интересующей нас области), их центры участвуют несколько раз при пересчете параметров эллипса. Координаты центров стационарных сканирующих областей х1 дублируются I раз в массиве, передаваемом процедуре аппроксимации центром сканирующих областей эллипсом. Эксперименты показали, что 1=5 дает хороший компромисс между устойчивостью к несвязностям внутри областей и точностью выделения границ регионов.
Метод статических моментов для отслеживания перемещения лица
Задача отслеживания перемещения лица в видеопотоке обладает определенным особенностями но сравнению с обнаружением лица на статическом изображении. Во-первых, мы можем отталкиваться от положения лица на предыдущем кадре, во-вторых мы можем рассчитывать на то, что изменения в размере и, главное, пропорциях лица между кадрами будут невелики. С другой стороны, требуется значительно более высокое быстродействие и сходимость метода. Также, частым отличием при обработке видеопотока является заметно меньшее разрешение и худшее качество изображения по сравнению со статикой [9, 10].
геП 2
Учитывая перечисленные особенности, был разработан метод отслеживания перемещения лица, также основанный на методе последовательных приближений и использующий жесткое ограничение на возможную форму выделяемых областей, но использующий всю информацию внутри области, а не только на ее границе.
Ну =-
X ( X, у) Е (X, у)
где 1(х,у) - вероятность принадлежности пикселя (х,у) к цвету кожи.
Инициализация модели производится либо положением лица на предыдущем кадре (в случае обработки видео), либо в центре масс связной компоненты пикселей кожи (как в случае с предыдущим методом). На каждом шаге деформации производится пересчет новых параметров эллипса. Пусть ик - вектор параметров эллипса на п шаге (х,у,0,а,Ь). Здесь 0 - угол наклона главной оси эллипса; а, Ь - длины осей эллипса.
Полный цикл обнаружения области лица указанным методом описан в следующем алгоритме:
0. Инициализация модели.
1. Количество итераций к=0.
2.
3.
4.
Пока к<п.
Рассмотреть эллипс увеличенного размера (хк,уь0к,аак,аЬк), а>1.
Подсчитать центр масс (нх, цу) и центральные моменты второго порядка н20, Но2, Ни и множества пикселей, попавших в рассматриваемую область.
Подсчитать новые параметры эллипса по полученным статистикам
=
Нх, Ну,а*ап
Н20 Н02 + V(Н20 Н02 ) + 4Н 11
У
6. к=к+1, перейти на 2.
Новые длины осей эллипса аш, Ьк+1 вычисляются как
1
а^, =-
1 + в
1 + в
(а + а в),
(Ьк + 4А в),
Рис. 3. Метод статистических моментов для выделения области лица: 1) текущее положение модели; 2) новое положение модели; 3) область для вычисления моментов
Метод основан на вычислении статистических моментов множества пикселей цвета кожи, попадающих в текущую обрабатываемую область:
= X(х> >’) Е БУ! (х> >’)
Н X(х> У) Е 81 (х> У) ’
= X (х, У) е Ях1 (х, у)
X(х У) Е Ы(х У) ’
X(х У) Е 8 (х -Нх У( У - Ну) 11 (х У)
где йк - среднее расстояние Махаланобиса от центра эллипса лица до точек цвета кожи, находящихся внутри эллипса увеличенного размера; в - коэффициент, регулирующий скорость адаптации (по результатам экспериментов принятый равным 0,19).
Обычно двух-трех итераций пересчета параметров эллипса достаточно для вычисления нового положения лица, даже при достаточно больших перемещениях между кадрами.
Сравнение предложенных методов с существующими показало, что предлагаемые методы обладают заметно более высокой устойчивостью к зашумленным исходным данным и ошибкам цветовой сегментации, сохраняя простоту программной реализации и высокую скорость работы, позволяющую использовать разработанные алгоритмы в режимах реального времени.
Простые схемы алгоритмов гарантируют возможность получения быстрой программной реализации. Несмотря на простоту, они обладают высокой устойчивостью к шумным и неточным исходным картам вероятности кожи. Предложенные методы также обладают важным свойством устойчивости к выбору начального приближения, что выгодно отличает их от многих методов распознавания, основанных на деформируемых моделях. Описанная схема обладает большой гибкостью и позволяет с легкостью встраивать дополнительные условия и ограничения на возможную форму выделяемых областей (пропорции, положение, ориентации эллипса).
Учитывая устойчивость алгоритмов к точности начального приближения на основе описанной схемы, строится следующий порядок обнаружения лиц на изображениях:
1) провести сегментацию кожи, создать карту вероятности кожи;
2) выделить связные компоненты пикселей с высокой кожной вероятностью или подсчитать интегральные проекции карты кожи;
3) инициализировать модель в центрах масс связных компонент или пиках интегральных проекций;
4) произвести обнаружение эллиптических областей пикселей кожи;
5) оцепить их размеры, пропорции, форму и зафиксировать их как потенциальные лица, если проверка дает положительный результат;
6) убрать обнаруженные области из карты вероятностей;
7) повторять процедуру с шага 2, пока обнаруживаются новые области.
СПИСОК ЛИТЕРАТУРЫ
1. Визильтер Ю.В., Желтов С.Ю., Ососков М.В. Система распознавания и визуализации характерных черт человеческого лица в реальном времени на персональной ЭВМ с использованием web-камеры // Графикон: Труды конф. - Н. Новгород, 2002. -С. 251-254.
2. Rabiner L.R. A Tutorial on hidden Markov models and selected applications in speech recognition // IEEE scientific works compilation. - 1989. - V. 77. - № 2. - P. 257-285.
3. Jordao L., Perrone M., Costeira L., Santos L. Active face and feature tracking // Proc. Inter. Conf. on linage analysis and processing. -Lisbon, 1999. - V. 9. - P. 572-576.
4. Albiol A., Torres L., Delp E.J. Optimum color spaces for skin detection // Proc. Inter. Conf. on image processing. - Valencia, 2001. -V. 1. - P. 122-124.
5. Baskan S., Bulut M.A., Atalay V. Projection based method for segmentation of human face and evaluation // Pattern Recognition Letters. -2002. - V. 20. - P. 1623-1629.
Выводы
Предложены алгоритмы выделения лиц на статических RGB изображениях и в видеопотоке, работающие в реальном времени и удовлетворяющие следующим критериям:
• работа с изображениями низкого разрешения (порядка 320x240 пикселей) и высокого уровня шума, характерного для бытовых фото- и видеокамер;
• устойчивость к ошибкам и неточностям цветовой сегментации;
• быстрая работа методов;
• возможность гибкой настройки и задания ограничений на форму эллиптических моделей.
6. Brand J., Mason J. A comparative assessment of three approaches to pixellevel human skin - detection // Proc. Inter. Conf. on pattern recognition. - Swansea, 2002. - V. 1. - P. 1056-1059.
7. Craw I., Ellis H., Ashman J. Automatic extraction of face features // Pattern recognition letters. - 1987. - V. 5. - P. 183-187.
8. Edwards G., Taylor C., Cootes T. Interpreting face images using active appearance models // Proc. Conf. on automatic face and gesture recognition. - Manchester, 1998. - V. 7. - P. 300-305.
9. Hansen D.W., Hansen J.P., Nielsen M. Eye typing using Markov and active appearance models // Workshop on applications of computer vision. - 2002. - V. 12. - P. 132-136.
10. Feraud R., Bernier O., Viallet J., Collobert M. A fast and accurate face detector based on neural networks // Transactions on pattern analysis and machine intelligence. - 2001. - V. 34. - P. 42-53.
Поступила 10.12.2011 г.
