CC BY
317
УДК [004.9:004.4] :[621.397.6:611.77]
Е. А. Эрман, Мамдух Мохаммед Гомаа Мохаммед
МЕТОД ОБНАРУЖЕНИЯ ЛИЦ НА ИЗОБРАЖЕНИИ С ИСПОЛЬЗОВАНИЕМ КОМБИНАЦИИ МЕТОДА ВИОЛЫ - ДЖОНСА И АЛГОРИТМОВ ОПРЕДЕЛЕНИЯ ЦВЕТА КОЖИ
За последние несколько лет было предложено множество алгоритмов обнаружения лиц на изображениях на основе различных подходов. Алгоритмы обнаружения лиц находят применение в системах технического зрения, робототехнике, системах видеонаблюдения и контроля доступа, в интерфейсах взаимодействия человек-компьютер. Решение задачи обнаружения лиц имеет серьезную практическую перспективу и вызывает большой исследовательский интерес. Часто она является «первым шагом» в процессе решения задачи более высокого уровня (например, узнавания лица или распознавания выражения). Для успешного функционирования системы обнаружения лиц необходимы алгоритмы, обеспечивающие высокую скорость работы и минимально возможное количество ложных обнаружений. Одним из лучших по соотношению показателей эффективность распознавания/скорость работы является метод Виолы - Джонса. Однако в ряде случаев этот метод дает достаточно большое количество ложных обнаружений. Одним из признаков для определения лица может являться цвет человеческой кожи. Предложено решение задачи по выделению области лица с помощью метода обнаружения лиц, представляющего собой комбинацию метода Виолы - Джонса и способ обнаружения кожи с использованием метода кодирования цветовых пространств (Log opponent и YIQ). Для выявления лиц на изображениях предлагается использовать на исходном изображении сначала метод Виолы - Джонса. Затем для каждой полученной выходной области дополнительно предлагается проводить классификацию на принадлежность оцениваемой области коже человека. Результаты экспериментов показали, с помощью комбинированного метода обнаруживается приблизительно 95,75 % лиц, представленных на тестовом наборе изображений, при существенном снижении вероятности ложного обнаружения.
Ключевые слова: обнаружение лиц, обнаружение кожи, метод Виолы - Джонса, цветовое пространство Log opponent, цветовое пространство YIQ.
Введение
Обнаружение человеческих лиц на изображениях является одной из актуальных задач в области автоматической обработки визуальной информации. Задача обнаружения лица на изображении является ключевой при решении задач распознавания человеческих эмоций и автоматического слежения за передвигающимся в поле зрения камеры человеком. Для успешного функционирования системы обнаружения лиц необходимы алгоритмы, обеспечивающие высокую скорость работы и минимально возможное количество ложных обнаружений.
Метод Виолы - Джонса
Метод Виолы - Джонса [1] основан на следующих принципах.
Интегральное представление изображения. Изображение представляется в интегральном виде, что позволяет быстро вычислять необходимые объекты [2].
Интегральное представление изображения представляет собой матрицу, совпадающую по размерам с исходным изображением. В каждом ее элементе хранится сумма яркостей пикселей, находящихся левее и выше данного элемента. Элементы матрицы рассчитываются по формуле
i<x, j< y
Zi^X, y
«jo 1 (i, j)
где Ь (х, у) - интегральное изображение; I (г,]) - исходное изображение. Пример расчета интегрального изображения представлен на рис. 1.
0 1 1 1
1 2 2 3
1 2 1 1
1 3 1 0
0 1 2 3
1 4 7 11
2 7 11 16
3 11 16 21
Исходное изображение I (г, ]) Интегральное изображение Ь (х, у)
Рис. 1. Пример интегрального изображения
Пусть в изображении есть прямоугольник АБВГ (рис. 2). Тогда сумму пикселей внутри прямоугольника можно выразить через разность смежных прямоугольников по формуле
5 (АБВГ)=Ь (Б) + Ь (Г) - Ь (А) - Ь (В).
*Х
Б ,в
А .г
Рис. 2. Расчет суммы яркостей пикселей в произвольном прямоугольнике
Признаки Хаара. На основании признаков Хаара [3] происходит поиск нужного объекта (в данном контексте - лица и его черт).
Признак - отображение области изображения на множество допустимых значений, т. е. / : X => О {, где X - область изображения для вычисления признака; Df - множество допустимых значений признака.
В стандартном методе Виолы - Джонса используются прямоугольные признаки, представленные на рис. 3.
Рис. 3. Примеры признаков Хаара
Бустинг. Для выбора наиболее подходящих признаков для искомого объекта на части изображения применяется бустинг [2].
Бустинг - комплекс методов, способствующих повышению точности аналитических моделей. Бустинг (от англ. boosting - повышение, усиление, улучшение) означает дословно «усиление» «слабых» моделей - это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов.
Метод комбинирования классификаторов в каскадную структуру. Для быстрого отбрасывания окон, где не найдено лицо, применяются каскады признаков. Метод повышает скорость обнаружения, фокусируя свою работу на наиболее информативных областях изображения. Структура каскадного детектора приведена на рис. 4. Каскад состоит из слоев, которые представляют собой классификаторы, обученные с помощью процедуры бустинга.
Поступающее
Рис. 4 . Структура каскадного детектора
Метод Захры
Метод Захры [4] является гибридным методом обнаружения лица: сначала на входном изображении осуществляется поиск областей, содержащих изображение кожи человека, затем применяется метод Виолы - Джонса.
Предлагаемый подход
Классификатор Виолы - Джонса является наиболее быстрым и точным из существующих методов, его эффективность доказана многочисленными исследованиями. Однако при работе на сложных изображениях этот метод характеризуется большим количеством ложных обнаружений. Для минимизации количества ложных обнаружений проведем дополнительную обработку изображения на базе алгоритма обнаружения кожи, т. е. предлагаемый метод обнаружения лиц на изображении будет состоять из следующих шагов: применение алгоритма Виолы - Джонса;
применение алгоритма обнаружения кожи с использованием методов кодирования цветовых пространств (Log opponent и YIQ).
Цветовое пространство. YIQ - основная цветовая схема, принятая Национальным комитетом по телевизионным стандартам США для широковещательной передачи цветного телевещания. Сигнал I называется синфазным, Q - квадратурным. Конверсия в RGB и обратно осуществляется по следующим формулам [5]:
Y 0,2990 0,5870 0,1140
I = 0,5957 - 0,2745 - 0,3213
Q_ 0,2115 -0,5226 0,3111
R G B
В [6] показано, что пиксель классифицируется как кожа, когда выполняется условие
20 < I < 90. (1)
Цветовое пространство Log opponent для обнаружения кожи было предложено в [7, 8]:
L(x) = 105 log10 (x + 1 + n),
I = L(G),
Rg = L(R) - L(G),
By = L(B) - (L(G) + L(R)) / 2.
Значения RGB преобразуются в Log opponent I, Rg и By следующими уравнениями [7]:
I = log ( G),
Rg = log (R ) - log ( G),
log (G) + log (R)
By = log(B)
2
Тогда оттенок (hue H) и насыщенность (saturation S) можно вычислить, используя следующие уравнения [7]:
H = arctan (Rg, By),
S =J R2 + B2.
Цвет кожи (лица) человека находится в диапазоне
100 < hue < 150 и I < 6
(2)
g У
Учитывая вышеизложенное, будем считать, что пиксель классифицируется как кожа при выполнении условий
(100 < hue < 150) и (20 < I < 90), (3)
полученных из уравнений (1) и (2). Общая схема предлагаемого алгоритма показана на рис. 5.
Рис. 5. Функциональная схема комбинированного метода обнаружения лиц
Таким образом, для выявления лиц на изображениях сначала предлагается использовать на исходном изображении метод Виолы - Джонса. Затем дополнительно проводим классификацию на принадлежность оцениваемой области коже человека на основе уравнения (3). Экспериментально установлено, что наименьшее число ошибок первого и второго рода обеспечивается, если выполняется следующее условие для каждой из оцениваемых областей - 15 < кожа, % < 110.
Результаты экспериментов
Для оценки предлагаемого алгоритма использовалась выборка из 60 цветных изображений от BioDatabase [9], суммарно содержащих 317 лиц. Оценка проводилась по следующим параметрам:
1. ТР (true positive - верные обнаружения) - число объектов, присутствующих на изображении и обнаруженных алгоритмом.
2. FP (false positive - ложноположительные обнаружения) - число объектов, обнаруженных алгоритмом при их отсутствии на изображении.
3. FN (false negative - ложноотрицательные обнаружения) - число объектов, присутствующих на изображении и не обнаруженных алгоритмом.
Из [10] мы можем использовать:
ТР
Точность обнаружения =-,
ТР + FN
FP
AFP—FP—, ТР + FN
FN
AFN———. ТР + FN
Итоговую оценку работы алгоритма можно провести по формуле
Точность = (1 - (A FP + A FN)) 100 % .
Пример работы алгоритмов на одном из изображений тестовой базы представлен на рис. 6. Итоговые результаты сравнения работы алгоритмов представлены в таблице.
а б
Ложноотрицательные обнаружения
Рис. 6. Пример результатов, полученных разными методами: а - исходное изображение; б - метод Виолы - Джонса; в - метод Захры; г - предложенный метод
Результаты сравнения работы алгоритмов
Метод Точность обнаружения Обнаружения Точность, %
Ложноположительные (AFP) Ложноотрицательные (AFN)
Виолы - Джонса 0,97 0,1354 0,225 84,21
Захры 0,84 0,05 0,1784 77,16
Предложенный 0,97 0,02 0,225 95,75
Таким образом, предлагаемый подход обеспечивает более высокую точность обнаружения лиц (меньшее число ложноположительных и ложноотрицательных обнаружений) по сравнению с методами Виолы - Джонса и Захры.
Заключение
Экспериментальные результаты показывают, что предложенный метод более точен, чем методы Виолы - Джонса и Захры. Предложенный метод обнаруживает приблизительно 95,75 % лиц, представленных на тестовом наборе изображений. Кроме того, тесты показали, что предлагаемый подход существенно снижает вероятность ложного обнаружения.
СПИСОК ЛИТЕРА ТУРЫ
1. Viola P. Robust real_time face detection / P. Viola, M. J. Jones // International Journal of Computer Vision. 2004. Vol. 57, no. 2, pp. 137-154.
2. Bradski G. Learning OpenCV / G. Bradski, A. Kaebler // Published by O'Reilly Media, 2008. P. 495-512.
3. Гонсалес P. Цифровая обработка изображений / P. Гонсалес, Р. Вудс. М.: Техносфера, 2005. С. 1072.
4. Zahra S. T. A Hybrid Face Detection System using combination of Appearance-based and Feature-based methods / S. T. Zahra, R. W. Rahmat, N. B. Udzir, E. Kheirkhah // International Journal of Computer Science and Network Security. 2009. Vol. 9, no. 5. P. 181-185.
5. Gururaj P. An Analysis of Skin Pixel Detection using Different Skin Color Extraction Techniques / P. Gu-ruraj, J. Dayanand, M. Dhananjay // International Journal of Computer Applications. 2012. Vol. 54, no. 17. P. 1-5.
6. Duan L. Adult image detection method base-on skin color model and support vector machine / L. Duan, G. Cui, W. Gao, H. Zhang // In Asian Conference on computer Vision. Melbourne, Australia, 2002. P. 797-800.
7. Tarek Abd El-Hafeez A new system for extracting and detecting skin color regions from pdf documents / Tarek Abd El-Hafeez // International Journal on Computer Science and Engineering. 2010. Vol. 2 (9). P. 2838-2846.
8. Fleck M. Finding Naked People / M. Fleck, D. Forsyth, C. Bregler // In Proc. of the ECCV. 1996. Vol. 2. P. 592-602.
9. BaoDataBase // URL: http://www.facedetection.com/facedetection/datasets.htm.
10. Omaima N. A. Review of face detection systems based artificial neural networks algorithms / N. A. Omaima // The International Journal of Multimedia & Its Applications. 2014. Vol. 6. P. 448-455.
Статья поступила в редакцию 1.11.2014, в окончательном варианте - 5.12.2014
ИНФОРМАЦИЯ ОБ АВТОРАХ
Эрман Евгений Анатольевич - Россия, 414056, Астрахань; Астраханский государственный университет; канд. техн. наук; доцент кафедры «Информационные технологии и безопасность»; [email protected].
Мамдух Мохаммед Гомаа Мохаммед — Россия, 414056; Астрахань; Астраханский государственный университет; аспирант кафедры «Информационные технологии и безопасность»; [email protected].
E. A. Erman, Mamdouh Mokhammed Gomaa Mokhammed
FACE DETECTION IN IMAGE BY USING A COMBINATION OF VIOLA - JONES METHOD AND SKIN DETECTION ALGORITHMS
Abstract. In the past few years, there have been proposed many algorithms for face detection, using different approaches. Algorithms for detecting faces are used in the vision systems, robotics, video surveillance and access control systems. The problem of face detection has serious practical perspective and interest for a great research. Often, it is the "first step" in the process of solving the problems of a higher level (for example, recognition of faces, facial expression recognition). For the successful system, face detection algorithms are necessary to provide high-speed operation and minimal number of false detection. The method of Viola - Jones is one of the best indicators for the effectiveness of recognition ratio/performance. However, this method in many cases gives a large number of false detection. The color of human skin is one of the features that helps make detection of face. This paper solved the problem of detection of face area by using the proposed method, which based on the combination of Viola & Jones method with skin detection method by using Log opponent and YIQ color spaces. To identify faces in the images, it is proposed to use, firstly, the Viola - Jones method for the original image. Then for each output region, the skin detection method is used to classify the evaluated area of the human skin. The experimental results show that the proposed method detected 95.75 % of the faces presented on a set of test images, and substantially reducing the probability of the false detection.
Key words: face detection, skin detection, Viola - Jones method, Log opponent color space, YIQ color space.
REFERENCES
1. Viola P., Jones M. J. Robust real_time face detection. International Journal of Computer Vision, 2004, vol. 57, no. 2, pp. 137-154.
2. Bradski G., Kaebler A. Learning OpenCV. Published by O'Reilly Media, 2008. P. 495-512.
3. Gonsales P., Vuds R. Tsifrovaia obrabotka izobrazhenii [Digital processing of the image]. Moscow, Tekhnosfera Publ., 2005. P. 1072.
4. Zahra S. T., Rahmat R. W., Udzir N. B., Kheirkhah E. A. Hybrid Face Detection System using combination of Appearance-based and Feature-based methods. International Journal of Computer Science and Network Security, 2009, vol. 9, no. 5, pp. 181-185.
5. Gururaj P., Dayanand J., M. Dhananjay. An Analysis of Skin Pixel Detection using Different Skin Color Extraction Techniques. J. International Journal of Computer Applications, 2012, vol. 54, no. 17, pp. 1-5.
6. Duan L., Cui G., Gao W., Zhang H. Adult image detection method base-on skin color model and support vector machine. In Asian Conference on computer Vision. Melbourne, Australia, 2002. P. 797-800.
7. Tarek Abd El-Hafeez. A new system for extracting and detecting skin color regions from pdf documents. International Journal on Computer Science and Engineering, 2010, vol. 2 (9), pp. 2838-2846.
8. Fleck M., Forsyth D., Bregler C. Finding Naked People. In Proc. of the ECCV, 1996, vol. 2, pp. 592-602.
9. BaoDataBase. Available at: http://www.facedetection.com/facedetection/datasets.htm.
10. Omaima N. A. Review of face detection systems based artificial neural networks algorithms. International Journal of Multimedia & Its Applications, 2014, vol. 6, pp. 448-455.
The article submitted to the editors 1.11.2014, in the final version - 5.12.2014
INFORMATION ABOUT THE AUTHORS
Erman Evgeniy Anatolievich — Russia, 414056, Astrakhan; Astrakhan State University; Candidate of Technical Sciences; Assistant Professor of the Department "Information Technologies and Security"; [email protected].
Mamdouh Mokhammed Gomaa Mokhammed — Russia, 414056, Astrakhan; Astrakhan State University; Postgraduate Student of the Department "Information Technologies and Security"; d oha_gomaa @yahoo.c om.
