CC BY
117
УДК 004.9342 А.А. Петрашко
Сегментация в контексте задачи обнаружения лиц на изображениях
Дается описание метода сегментации изображений с помощью цветовой информации, обсуждается выбор способа цветовой классификации, метод, позволяющий учитывать геометрическую форму лица. Приводятся выражения для расчета параметров эллипса рассеяния. Предложенная модификация позволяет повысить устойчивость к ошибкам цветовой сегментации.
Введение
Исследования по обнаружению пространственных объектов отличаются большим разнообразием в постановке задач и выборе средств их решения (методов обработки соответствующих изображений), что является следствием разнообразия областей их практического применения. Большое количество работ посвящено разработке устойчивого алгоритма обнаружения лица человека [1-4]. Поиск лиц на цифровых изображениях может использоваться для решения широкого круга практических задач, начиная от автоматической коррекции эффекта красных глаз на фотографиях людей и заканчивая сложнейшими системами слежения и идентификации человека по его фотографии в системах безопасности.
Большая изменчивость объекта распознавания, зависимость вида лица на изображении от условий съемки и освещения позволяют отнести эту проблему к задачам высокой сложности. Основой процесса обнаружения объектов являются алгоритмы сегментации.
Постановка задачи
Конечный результат компьютерных процедур анализа изображений во многом определяется точностью сегментации, по этой причине значительное внимание должно быть уделено повышению ее надежности. Сегментация делит изображение на области или объекты [5, 6]. Степень детализации, до которой доводится такое разделение, зависит от решаемой задачи.
Алгоритмы сегментации изображений основываются на одном из двух базовых свойств яркости сигнала: разрывности и однородности. В первом случае подход состоит в разбиении изображения на основании резких изменений сигнала — перепадов яркости на изображении. Во втором случае используется разбиение изображения на однородные области по заранее выбранным критериям. Примерами таких методов могут служить: пороговая обработка, выращивание, слияние и разбиение областей [7].
Однако конечной целью процесса сегментации является разбиение изображения на отдельные однородные области. Эти области должны удовлетворять определенным требованиям [7].
Пусть D обозначает всю область изображения. Сегментацию можно рассматривать как процесс разбиения D на k подобластей Dl,D2,Dz ...Dk таких что:
1)
¡=1
2) Dt является связной областью, i = 1,2,3... А;
3) Di ClDj = 0 для всех i,j - 1,2,3...ft; i * j;
4) P(Dl) = TRUE для г = 1,2,3...A;
5) p[Dl U Dj)= FALSE для г Ф j.
Здесь P — некоторый логический предикат, определенный на точках множества Dt.
Первое условие означает, что сегментация должна быть полной. То есть, каждый пиксел должен быть включен в какую-нибудь область. Второе условие требует, чтобы точки области были связными. Третье условие показывает, что области не должны пересекаться. Четвертое условие касается свойств, которые должны соблюдаться для всех пикселей в пределах одного сегмента. Наконец, пятое условие означает, любые две смежные области Dt и Dj должны быть различными в смысле предиката Р .
Алгоритмы цветовой сегментации
Среди существующих методов решения задачи разбиения изображения на отдельные однородные области (кандидаты на лица), наиболее рациональными являются методы, базирующиеся на цветовых свойствах кожи.
Работа с цветом является одним из распространенных методов обнаружения лица, основанных на выделении областей изображения, цвет которых близок к цвету человеческой кожи, с последующим анализом формы и взаимного расположения этих областей. Человеческая кожа имеет характерный оттенок, позволяющий успешно сегментировать кожу на цветных изображениях. Цвет кожи разных людей отличается в основном интенсивностью. Независимость оттеночной (chrominance) компоненты цвета кожи от ориентации лица, а также его небольшая зависимость от яркости освещения, делают цвет устойчивым признаком кожи. Другим бесспорным преимуществом метода локализации лица, основанного на цветовой сегментации, является высокая вычислительная эффективность анализа цветовой информации.
Первым шагом в обработке изображения является выделение областей кожи. Суть метода такова, что каждый пиксел изображения переводится в выбранную цветовую систему, а затем, используя правило распознавания, выясняется, может ли он относиться к коже. При этом каждый пиксел рассматривается независимо от остальных, что обеспечивает высокую скорость работы. Выбор цветового пространства, в котором производится классификация, во многом определяет точность и устойчивость выделения областей кожи [4].
В качестве цветовых систем нами были выбраны системы RGB и TSL. Такой выбор объясняется тем, что для большинства изображений используется система RGB, поэтому при ее использовании не возникает необходимости преобразования в другую цветовую систему, за счет чего при обработке экономится время. Однако в системе RGB имеется существенный недостаток, затрудняющий ее использование для цветовой сегментации, — в ней не разделены яркостная (luminance) и оттеночная (chrominance) компоненты цвета. В связи с этим предлагается дополнительно использовать систему TSL, которая позволяет их разделять.
Правило-классификатор для системы RGB имеет следующий вид:
PRGB (skin) = R > 95 and G > 40 and В > 20 and
R > G and R> В and |Д - G\ > 15 and max (R, G, B) - min (R, G, B)> 15.
Это означает, что если для пикселя, заданного координатами (R, G, В), выполняются указанные ограничения, то его с высокой долей вероятности можно определить как относящийся к коже. В основе этой формулы лежит эмпирическое наблюдение, что для кожи человека красная компонента (й) является преобладающей над зеленой (G) и синей (В). Также они не должны быть расположены слишком близко друг к другу (иначе образуется серый оттенок) и должны превышать указанные пороговые значения, чтобы иметь достаточную яркость.
В цветовой системе TSL распознающее правило вычисляется по формуле
PTSL (skin) = \Т- 0,578| < 0,059 and |S - 0,157| < 0,118 , (2)
где параметры Т я S определяются из формул (3) и (4):
№ 1
arctan — /2п + g' > 0,
гл/ 4
arctan (— I / 2п + —, g' < 0, (3)
U )! 4 0, g' = 0,
Г
R 1
R + G + B 3'
G 1 R + G + B 3'
(4)
Параметры в выражении (2) получены экспериментальным путем на тренировочном наборе из 3 тысяч изображений лиц. В ходе экспериментов было установлено, что коже человека соответствует узкий диапазон значений Т (оттенок) и S (насыщенность). На рис. 1,6,в приводятся результаты сегментации в цветовых системах RGB и TSL соответственно.
Исходное изображение
Выделенные пиксели кожи в системе TSL
Выделенные пиксели кожи в системе RGB
г Выделенные пиксели кожи в системе RGB and TSL
Рис. 1. Работа классификатора пикселей кожи в различных цветовых схемах
Применяя эти классификаторы вместе и по отдельности к различным изображениям, был сделан вывод, что эффективные результаты достигаются при их совместном использовании (рис. 1,г). То есть формула универсального скин-детектора имеет вид
P(skin) = PRGB (skin) and PTSL (skin) . (5)
Алгоритмы анализа формы областей интереса
Большая часть существующих методов выделения лица по цвету сталкивается с проблемами присутствия на изображении значительного количества объектов, близких к цвету лица [4]. Причина заключается в том, что объединение пикселей цвета кожи на первом шаге алгоритмов обнаружения лиц в сегменты производится без учета формы, размеров и взаимного расположения выделенных областей. У подобного подхода есть существенный недостаток — методы группировки пикселей кожи, не учитывающие ограничения на форму лиц, можно ошибочно сгруппировать в одну область пиксели, реально относящиеся к разным областям. В связи с этим только одной цветовой информации недостаточно для устойчивого выделения лиц, поэтому требуется расширить набор признаков дополнительными свойствами изображения лица.
Среди всех особенностей лица были выбраны геометрические характеристики. Так как лицо близко по форме к эллипсу, имеющему ограниченные пропорции (отношение ширина/
Рис. 2. Параметры эллипса
высота), то, вычисляя эти параметры, можно определить насколько они соответствуют лицу.
Для описания эллипса используется пять параметров [9, 10]: координаты (х,у) центра эллипса, размеры большой и малой осей а и Ь , а также угол наклона 0 (рис. 2).
Обозначим за в связное множество пикселей изображения, принадлежащих сегменту, и)х,у~ интенсивность пикселя с координатами (х,у). Координаты (х,у) центра эллипса вычисляются по формулам (6), (7):
х ■ ю
X = -—
IV,
*>У
X Уш*,у (х,у)ев
IV
*.У
(хфО
Оси эллипса вычисляются согласно формулам (8), (9):
(6)
(7)
(8)
Ь = Д- »В™
I Л
где I и /т1п — наибольший и наименьший моменты инерции,
Лпах = X у]{х-х)з1пв-(у-у) СОЙ 0, (хфв
/ш!п = X л/(ж-ж)совв-(у-у)в1п9.
Угол наклона в определяется как
9 = — аг^ап I
2 \Р-20 ~~ М-02_
Здесь (1Х1 — смешанный момент относительно центра эллипса:
Мп = X {х-ХНУ-У)-
IV.
%у '
(9)
(10)
(И)
(12)
М-20 и М-02
{хфС
смешанные моменты второго порядка относительно осей у и х •.
—\2
М20 = X (у -у)
(хфО
М-02 ~ X (Х-Х)2и>х,у
(х,у)ев
(13)
Модель эллипса инициализируется вблизи ожидаемого положения лица на изображении, алгоритм деформации сегментов производиться по шагам. Для каждой итерации осуществляется расчет параметров эллипса в окрестности границы объектов. В зависимости от полученных результатов в сегмент добавляются или исключаются пиксели, относящиеся к коже. В завершении полученные границы объекта аппроксимируются эллипсом.
Данная модель обладает большой гибкостью и позволяет встраивать дополнительные условия и ограничения на возможную форму выделяемых областей (пропорции, положения, ориентации эллипса).
Заключение
Решение задачи сегментации является ключевым этапом в общем процессе обнаружения объектов на изображениях. Подавляющее большинство известных на сегодняшний день публикаций в данном направлении посвящено так называемой частичной сегментации, состоящей в разбиении на связные области, однородные в смысле некоторого предиката свойств пикселей изображения.
Разработанный алгоритм позволяет получать в процессе сегментации области изображения, которые не только соответствуют по цвету коже человека, а одновременно с этим выделяемые области уже принимают нужную форму — в нашем случае форму эллипса. Это позволяет дальнейший процесс распознавания сделать более точным, настроить под решение различных задач.
Работа выполнена при финансовой поддержке РФФИ, проект № 06-08-00751.
Автор выражает благодарность д-ру техн. наук Владимиру Тимофеевичу Калайде за конструктивные замечания в процессе подготовки статьи.
Литература
1. Jesorsky О. Robust face detection using the Hausdorff distance / О. Jesorsky, К. Kirchberg, R. Frischholz // Lecture Notes in Computer Science. - Vol. 2091. - Springer. - 2001. - 108 p.
2. Raducanu B.A. Face localization based on the morphological multiscale fingerprints / B. Raducanu, M. Grana, F. Albizuri // Pattern Recognition Letters. - 2001. Vol. 22. - №. 4. -P. 209-220.
3. Белоцерковский O.M. Компьютерное распознавание человеческих лиц / О.М. Бело-церковский, A.C. Глазунов, В.В. Щенников // Зарубежная радиоэлектроника. - 1997. -№ 4. - С. 28-35.
4. Вежневец В.П. Локализация человеческого лица на цветном растровом изображении / В.П. Вежневец // Математические методы распознавания образов (ММРО-10) : тр. конф. - 2001. - С. 71-82.
5. Красильников H.H. Цифровая обработка изображений / H.H. Красильников. - М. : Вузовская книга, 2001. - 320 с.
6. Методы компьютерной обработки изображений / под. ред. В.А. Сойфера. - М. : ФИЗ-МАТЛИТ, 2003. - 784 с.
7. Шапиро Л. Компьютерное зрение / Л. Шапиро, Дж. Стокман ; пер. с англ. - М. : БИНОМ. Лаборатория знаний, 2006. - 752 с.
8. Миано Дж. Форматы и алгоритмы сжатия изображений в действии / Дж. Миано. -М. : Триумф, 2003. - 336 с.
9. Калайда В.Т. Некоторые проблемы представления и поиска в электронной форме фи-лиграней (водяных знаков) на бумаге книжных памятников / А. И. Елизаров, В.А. Есипова, В.Т. Калайда // Охрана и реставрация культурного наследия Сибири. - Томск : Курсив, 2002. - С. 110-119.
10. Корн Г. Справочник по математике (для научных работников и инженеров) / Г. Корн, Т. Корн. - М. : Наука, 1974. - 832 с.
Петрашко Андрей Анатольевич
Аспирант каф. автоматизированных систем управления ТУСУРа Тел.: (3822) 98 88 95, 49 22 42 Эл. почта: petrashko@mail.ru
А.А. Petrashko
Segmentation in context of faces detection in images
In this paper we describe image segmentation method based on color information, consider choice of color classification. We consider method, which takes into account geometric form of the face. Formulas for parameters of dispersion ellipse calculation were given. Proposed modification allows to increase tolerance to color segmentation errors.
