CC BY
169
4. E. Ukkonen. Approximate String Matching over Suffix-Trees. In Proceedings of the Fourth Annual Symposium on Combinatorial Pattern Matching, Padova, Italy, June. 1993.
- P. 229-242,
5. D.R. Morrison. PATRICIA - practical algorithm to retrieve information coded in alphanumeric. Journal of the ACM, 15(4):514-o34 (1968).
6. Kahveci, T.M. Proceedings of the 27th International Conferenc on Very Large Databases // T. Kahveci, Ambuj K. Singh // An Efficient Index Structure for String Databases. 2001.
- P. 351-360..
7. Resnikoff, H.L. The Nature of Affixing in Written English. Part 1, in Mechanical Translation, 8, No. 3 (1965), Part 11 in Mechanical Translation 9, No. 2 (1966).
8. Shang, H.G. Tries for Approximate String Matching - H. Shang T.H. Merret - In IEEE Transactions on Knowledge and Data Engineering, volume 8(4). 1996. - P. 540 - 547,
Злыгоетев Илья Сергеевич
Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, пер. Некрасовский, 44.
.: 8(8634)371-606.
Кафедра высшей математики; аспирант.
Zlygostev Iliya Sergeevich
Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: 8(8634)371-606.
The Department of Higher Mathematics; post-graduate student.
УДК 004.932.72
А.Ю. Антипова, B.B. Губарев
ПРИМЕНЕНИЕ МЕТОДА МОМЕНТОВ В ЗАДАЧЕ ГЕОМЕТРИЧЕСКОГО ВЫРАВНИВАНИЯ ЛИЦ НА ИЗОБРАЖЕНИЯХ*
Данная работа посвящена методу улучшения алгоритмов обработки цифровых изображений лиц. Для определения угла наклона лица в плоскости изображения предлагается модель, основанная на понятии эллипса рассеяния и вычислении моментов изображения. Проанализирована применимость этого метода для различных цветовых пространств и . .
Изображения; детекция лиц; метод моментов; геометрическое выравнивание; цветовые пространства; фильтрация.
A.Y. Antipova, V.V. Gubarev
APPLICATION OF METHOD OF MOMENTS IN PROBLEM OF GEOMETRICAL ALIGNMENT OF FACES IN IMAGES
This work focuses on methods of improving algorithms of processing digital images of individuals. To determine the angle of inclination of face in image’s plane a model based on the notion of concentration ellipse and computation of image moments is proposed. Application of this
* Работа выполнена при финансовой поддержке РФФИ, проект №08-07-00129, 07-07-00067.
method for different color spaces and methods of filtering is analyzed. The results of computational experiments are given.
Images; face detection; method of moments; geometrical alignment; color spaces; filtering.
Автоматическая обработка изображений является одной из важных и востребованных информационных технологий. Методы и алгоритмы автоматического обнаружения и распознавания лиц используются в широком спектре современных систем компьютерного зрения: биометрической идентификации, распознавании эмоций, зрении роботов, компьютерной анимации, видеоконференции. Область применения технологий распознавания изображений во многом определяет специфику разработанных алгоритмов.
Обнаружение лиц на изображении является одной из наиболее востребованных задач анализа изображений. Важно, чтобы система автоматической обра-- . -числительной нагрузки алгоритмов можно применять методы предварительной обработки изображений. К таким методам можно отнести: фильтрацию, сегментацию, переход в другое цветовое пространство и т.п.
Геометрическое выравнивание лиц в алгоритмах детекции
Большинство методов обнаружения лиц работают по следующей схеме [1]:
♦ изображение последовательно сканируется окном определенного размера (рис. 1);
♦ сканирование происходит на разли чных уровнях масштаба изображения;
♦ для каждого положения окна в изо бражении оценивается вероятность того, что содержимое данного окна является лицом.
Рис. 1. Детекция лиц
Такой алгоритм детекции эффективен лишь при фронтальном расположении лица на изображении. Существует огромное количество разнообразных методов детекции лиц. На сегодняшний день одним из лучших является детектор фронтальных лиц Виола/Джонса (Viola/Jones) [2]. Этот алгоритм состоит из каскада легковесных» классификаторов. Каждый классификатор определяет некоторый признак рассматриваемого объекта. Данный детектор реализован в библиотеке OpenCV и является открытым [3].
В случае сильно повернутого лица поиск не даст положительных результатов. Один из способов улучшения такого алгоритма заключается в сканировании изображения не только для различных масштабов, но и для различных углов поворота .
.
(Rowley) [4]. Роули описывает работу двухслойной нейронной сети, первый слой которой получает часть изображения заданного размера, подвергает предваритель-
ной обработке, определяет угол наклона лица и выравнивает его. При этом точно неизвестно, на самом ли деле это лицо. Затем повернутое изображение передается на вход нейронной сети обычного детектора. Существенными недостатками детектора Роули являются затраты на обучение и организацию нейронной сети, а также высокая вычислительная сложность алгоритма, что является крайне важным при , .
Данная работа посвящена методам геометрического выравнивания лиц на .
поворот лица (рис. 2), при котором лицо, представленное на изображении, достигает наиболее «естественного» положения с точки зрения человеческого воспри-.
Рис. 2. Выравнивание лица
Рассмотренные в работе методы позволяют повысить точность и скорость работы алгоритмов детекции и распознавания лиц.
Геометрическое выравнивание лиц методом моментов
Метод моментов точечной оценки неизвестных параметров, заданного рас,
эмпирическим моментам того же порядка. Для решения задачи геометрического выравнивания лиц на изображениях разработан алгоритм вычисления угла поворо-, .
Рассмотрим некоторую двумерную случайную величину ((,П = с Дискретным распределением, задаваемым таблицей:
Р( = а,п = Ъ,) = р.., I = 0,1,..., , = 0,1,....
Двумерный начальный момент порядка I + к данного распределения имеет вид
а = е (П )=Ш •
., 3
,
:
а00 = Е (У ) = Е Рз =1 а10 = Е (( = т( а01 = Е (п) = (1)
где т(, тп - математические ожидания одномерных частных распределений ( и
П соответственно.
Начальные моменты второго порядка имеют вид [5]:
«20 = Е ) = Е ^ Рг = Р2 + т] ,
г
а02 = Е (П2) = ЕПРз = Р + тП (2)
3
а11 = Е (п) = Е&зРц ,
г , 3
где - стандартные отклонения.
С физической точки зрения начальные моменты нулевого, первого и второго порядков можно интерпретировать как «массу», «центр масс» и «момент инерции» .
Эллипс рассеяния служит геометрической характеристикой разброса значений случайного вектора. Если средние значения и дисперсии двумерного случайного вектора (Х,У) равны т^,тп,С^,0'^ соответственно, а коэффициент корреляции равен , то эллипс рассеяния можно записать в виде
(х-т;)2 2Ах-т)(-тП Ау-тП = ( р2)
_2 1рп + _2 - 4( рп\
0рп
Центр эллипса находится в точке (п§,тп)’ а ег0 оси образуют с осью Ох углы р и П2 + р, где р определяется из условия [6]:
!82?=ррп. (3)
Для вычисления угла наклона головы будем подсчитывать моменты нулевого,
(1), (2) , -
.
В соответствии с формулой (3), угол р наклона оси эллипса рассеяния определяется следующей формулой [7]:
/ \
1
р =—агС£
2 (и аіоаоі)
(20 — а10 ) — (а02 — а )
(4)
V'
где а10,а10 - координаты центра эллипса рассеяния. Таким образом, угол р и является искомым углом наклона головы.
Модельная задача
В качестве объекта рассмотрим круг, состоящий из двух областей, каждая из которых отличается оттенком. Изображение объекта считается одноканальным.
(4)
объекта (рис. 3).
Рис. 3. Выравнивание неоднородного круга. Слева - исходное изображение, справа - выровненное изображение
Из рисунка видно, что для данной модельной задачи метод показал адекватный результат: объект принял «естественное» положение, при котором изображение стало симметричным относительно вертикальной оси.
Инвариантность к освещенности метода геометрического выравнивания лиц
Цветные изображения. Как отмечалось выше, в рамках данной задачи метод моментов следует применять к одноканальному изображению.
Цветное изображение состоит из нескольких каналов. Наиболее очевидным способом получения одноканального изображения является преобразование цветного изображения в полутоновое. Однако такой подход не является эффективным, так как левая и правая половины лица могут иметь различный уровень освещения. Как следствие, центр масс объекта, рассчитанный по формулам (1), будет смещенным, расчет угла - нестабильным. Таким образом, возникает вопрос о получении некоторого одноканального изображения, инвариантного относительно направления и уровня освещения.
Цветовое пространство предоставляет возможность описания цветов некоторым стандартным образом. По существу, цветовое пространство определяет некоторую систему координат, в котором каждый цвет представляется единственной точкой. Рассмотрим наиболее популярные цветовые пространства.
RGB - это аппаратно-ориентированное цветовое пространство, которое опи-
( , , ). одно из наиболее часто используемых цветовых пространств для обработки и хра-.
цветовой характеристики объекта с его освещенностью делает это пространство не таким привлекательным для решения некоторых задач.
Существуют такие цветовые пространства, переход в которые позволяет отделить информацию об освещении от других компонент [8, 9].
HSV - (от англ. hue, saturation, value - тон, насыщенность, значение) - цвето-, :
♦ Hue - тон. Варьируется в пределах 0 - 360, однако иногда приводится к диапазону 0 -100 или 0 -1.
♦ Saturation - насыщенность. Варьируется в пределах 0 -100 или 0 -1. Чем больше этот параметр, тем «чище» цвет, а чем ближе к нулю - тем ближе цвет к нейтральному серому.
♦ Value - значение цвета. Имеет смысл освещенности. Варьируется в пределах 0 -100 или 0 -1.
Переход из RGB в HSV осуществляется с помощью нелинейного преобразования:
Í0, если MAX = MIN,
G - B
H =
60 X 60 X 60 X 60 X
если MAX = R, G > B, + 360, еслuMAX = R,G < B, +120, есл uMAX = G,
+ 240, есл и MAX = B,
MAX - MIN ’
G - B MAX - MIN B - R MAX - MIN R - G MAX - MIN
0, MAX = 0
MIN
S =
1 --
MAX V = MAX
, есл uMAX > 0,
где
MAX = max (R, G, B), MIN = min R, G, B).
Интуитивная понятность компонент этого цветового пространства и невысокая степень корреляции между цветовым признаком и освещенностью сделали данное пространство достаточно популярным в задачах сегментации по цвету. Для решения поставленной задачи целесообразно использовать цветовые каналы, наименее коррелированные с уровнем освещения: Hue, Saturation.
TSL - (от англ. tint, saturation, lightness - тон, насыщенность, освещенность) -цветовое пространство, основанное на нелинейном переходе из пространства RGB [10]. Данное пространство содержательно достаточно близко к пространству HSV. Переход в TSL осуществляется по формулам:
T =
arctgRr/g )/2п +14, g > 0, arctgRr/g )/2k + 3/4, g < 0, 0, , g = 0,
L = 0.299R + 0.587G + 0.114 B. где r = r -1/3, g = g -1/3.
Значения r, g, b и определяются формулами:
R
G
, b =
B
r =-------------- g
R + G + B’
R + G + B
R + G + B
Эти значения называют нормализованным пространством rgb.
В рамках поставленной задачи интерес представляют каналы Tint и Saturation, так как информация об уровне освещения содержится в компоненте Lightness.
YCbCr представляет собой цветовое пространство, переход в которое из пространства RGB осуществляется следующим способом:
компоненты, полученные из синего и красного каналов соответственно, путем вычитания из них значения освещенности. Аналогично предыдущим цветовым про-
Данное цветовое пространство является основным рабочим пространством телевизионных студий в Европе, а также применяется в некоторых алгоритмах сжатия изображений [11].
Если исходное изображение является полутоновым, то переход в некоторое цветовое пространство является невозможным. В этом случае можно применить различные методы фильтрации изображений с целью уменьшения влияния неод-.
Фильтрация изображения представляет собой пример локальных методов улучшения изображений [12]. Объектом локального преобразования является не все изображение в целом, а его отдельная область, являющаяся окрестностью не. -зуется некоторая матрица тех же размеров. Эту матрицу называют маской, шабло-, .
.
центрального пикселя - отклик.
Обработка осуществляется путем перемещения маски по всему изображению и вычислению отклика для всех пикселей. Операция вычисления отклика может
быть как линейной, так и нелинейной. В линейном случае отклик d . в точке ^ . изображения S вычисляется по следующей формуле:
, , можно получить с помощью выделения границ. Маски фильтров методов выделения границ называются градиентными.
В данной работе были использованы следующие методы: фильтрация оператором Собеля, фильтрация Лапласианом, алгоритм выделения краев Кэнни [13].
странствам, компонента Y не подходит для решения данной задачи.
Полутоновые изображения
n П
Вычислительный эксперимент
В работе [14] предлагается подобный метод обнаружения овала лица с помощью моментов: определяется центр и направляющий вектор главной оси эллипса рассеяния в нормализованном пространстве rgb. В статье [7] локализация лица осуществляется в пространстве HSV, а конкретно - в канале Hue.
Целью вычислительного эксперимента является определение наилучшего цветового пространства (и соответственно некоторой его компоненты), а также наилучшего преобразования для одноканальных изображений, позволяющего наиболее эффективно и точно вычислять угол наклона головы и осуществлять детек.
В реализованных вычислительных экспериментах в качестве выборки изображений была взята база лиц AR [15], состоящая из цветных фронтальных изо-
( . 4).
изображений в базе - 370.
Рис. 4. Примеры изображений из базы AR
На основе координат центров зрачков позиционируется квадратная рамка. Эта рамка соответствует результату работы стандартного детектора лиц (например детектор Виола/Джонса [2]). Кроме того, все изображения базы были искусственно повернуты на заданные углы: -30°, -20°, -10°, 0°, 10°, 20°, 30° (рис. 5). Поворот осуществлялся относительно центра лица. Таким образом, была сформирована выборка размером 370 X 7 = 2590 изображений.
Рис. 5. Повернутые изображения
Для каждого изображения оценивался угол поворота лица с помощью описанного выше алгоритма. Оценка производилась для каждого варианта одноканального представления изображения (рис. 6).
Рис. 6. Одноканальные представления изображения лица, повернутого на угол 30°
В результате работы программы вычислялся угол поворота лица. Рис. 7 демонстрирует результаты поворота лица на углы, рассчитанные по данным, представленным на рис. 6.
Рис. 7. Автоматическое выравнивание лица
Для оценки точности работы, предложенного алгоритма, результаты работы программы сравнивались с заданными на этапе формирования выборки значениями углов, которые представлены в табл. 1.
Таблица 1
Средняя ошибка
HSV: Hue HSV: Sat YCbCr: Cb YCbCr: Cr TSL: Tint TSL: Sat О ^5 Sb Lapla- cian Canny
Средняя ошибка 9,13° 4,59° 5,26° 4,22° 17,74° 4,28° ° 2 10,56° 11,80°
При этом под средней ошибкой понимается значение следующего выражения:
*=N х и -4 ■
где И - истинное значение угла поворота лица на i -м изображении,
/
И - оценка угла предлагаемым методом,
N - размер выборки (количество изображений).
Из таблицы видно, что наилучшие результаты работы программы получены при использовании канала Cr из цветового пространства YCbCr и канала Saturation из пространства TSL. Для полутоновых изображений наименьшая средняя ошибка наблюдается при фильтрации методом Собеля. Для полученных таким образом выровненных изображений можно применять стандартные детекторы лиц.
Выводы
Метод вычисления угла наклона лица на изображении, предложенный в дан,
.
фильтрации, при которых предлагаемый алгоритм достаточно устойчив. Погреш-, , качестве метода предобработки при детекции и распознавании лиц.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Hjelmas, E. Face detection: A survey / E. Hjelmas, B. Low // Computer Vision and Image Understanding. 2001. - P. 236-274.
2. Viola, P. Rapid object detection using a boosted cascade of simple features / P. Viola, M. Jones // Computer Vision and Pattern Recognition Conference.
3. Bradski G. The OpenCV Library // Dr Dobb’s Journal of Software Tools. - 2000.
4. Rowley, H. Rotation Invariant Neural Network-Based Face Detection / H. Rowley, S. Baluja, T. Kanade // CMU CS Technical Report. 1997.
5. Крамер Г. Математические методы статистики: Пер. с англ. - М.: Мир, 1975. - 648 с.
6. Кремер Н.Ш. Теория вероятностей и математическая статистика: учеб. для вузов. - М.:
- , 2003. - 543 .
7. Bradski G. Computer Vision Face Tracking as a Component of a Perceptual User Interface // In Proc. of the IEEE Workshop on Applications of Comp. Vision. 1998. - P. 214-219.
8. Vezhnevets, V.A survey on pixel-based skin color detection techniques / V. Vezhnevets, V. Sazonov, A. Andreeva // Proc. Graphicon 2003. - September, 2003. - P. 85-92.
9. . . -
// : докл. Всерос. конф. (Томск, 26-28 февр., 2008 г.). - Томск, 2008. - С. 231-232.
10. Tomaz, F. Improved automatic skin detection in color images / F. Tomaz, T. Candeias, H. Shahbazkia // Proc. VIIth Digital Image Computing: Techniques and Applications. 2003.
- P. 419-427.
11. Zuo F. Embedded Face Recognition Using Cascaded Structures // Technische Universiteit Eindhoven. 2006. - P. 213.
12. Gonzalez, R. Digital Image Processing / R. Gonzalez, R. Woods // Prentice Hall. 2008.
- 954 p.
13. Canny J.A Computational Approach To Edge Detection // IEEE Trans. Pattern Analysis and Machine Intelligence. - 1986. Vol.8. - P. 679-714.
14. Vezhnevets V. Face and Facial Feature Tracking for Natural Human-Computer Interface.
- Режим доступа: http://graphics.cs.msu.su/en/publications/text/gc2002vvezh.ps.gz (дата обращения 08.02.2009).
15. Martinez, A.M. The AR face database / A.M. Martinez, R. Benavente // CVC Technical Report №24. - 1998.
Антипова Агата Юрьевна
Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, пер. Некрасовский, 44.
.: 8(8634)371-606.
Кафедра высшей математики; аспирантка.
Antipova Agatha Yurievna
Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: 8(8634)371-606.
The Department of Higher Mathematics; post-graduate student.
Губарев Владислав Вячеславович
Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, пер. Некрасовский, 44.
.: 8(8634)371-606.
Лаборатория математических методов искусственного интеллекта; инженер.
Gubarev Vladialav Vyacheslavovich
Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: 8(8634)371-606.
Laboratory of mathematical methods of artificial intelligence; engineer.
