CC BY
16
Ваганова П. А. студент
Московский институт радиотехники, электроники и автоматики Россия, Москва
РАЗРАБОТКА И ОПИСАНИЕ АЛГОРИТМА СЕГМЕНТАЦИИ
ЛЮДЕЙ В ВИДЕОПОТОКЕ
Аннотация: в данной статье дано краткое описание алгоритма Виолы-Джонса, предложена его модификация на основе трекинга и цветовой сегментации, а так же приведен анализ результатов тестирования готового алгоритма.
Ключевые слова: сегментация, трекинг, детекция, компьютерное зрение.
Vaganova P.A. student
Moscow Institute of Radio Engineering, Electronics and Automation
Russia, Moscow
DEVELOPMENT AND DESCRIPTION OF AN ALGORITHM FOR SEGMENTING PEOPLE IN A VIDEO STREAM
Abstract: this article gives a brief description of the Viola-Jones algorithm, suggests its modification based on tracking and color segmentation, as well as an analysis of the test results of the finished algorithm.
Keywords: segmentation, tracking, detection, computer vision.
ВЕДЕНИЕ
Современный и сложный мир открывает перед потребителями новые возможности в области индивидуального предоставления товаров, услуг и впечатлений. Эта тенденция не проявляет признаков замедления, а заодно ставит перед государственными деятелями и руководителями служб безопасности задачу обеспечения стабильности без ущерба для граждан и бизнеса.
Искусственный интеллект уже предлагает решения многих современных проблем промышленности и общества, в частности, благодаря разработке технологии компьютерного зрения. Этот тип технологии использует цифровое изображение пользователя для создания профиля, который хранится в частной базе данных.
В технически развитых городах-миллионниках благодаря камерам общественного видеонаблюдения, эффективность выполнения задач общественной безопасности возросла на порядок.
Различные телефоны используют технологию распознавания лиц для разблокировки устройств. Эта технология обеспечивает мощный способ защиты личных данных и гарантирует недоступность конфиденциальных данных в случае кражи телефона.
Медиа-компании также используют технологию распознавания лиц для проверки реакции аудитории на трейлеры к фильмам и оптимального размещения рекламы на телевидении.
Задача обнаружения лица на изображении является первым шагом в процессе решения задачи более высокого уровня — распознавания лица, деталей лица или его мимики.
ДЕТЕКЦИЯ
Алгоритм обнаружения объектов на изображениях в реальном времени был разработан Полом Виолой и Майклом Джонсом. Несмотря на то, что главной задачей при разработке этого метода было нахождение лиц, этот метод используется и для распознавания других различных предметов.
В методе Виолы-Джонса для того, чтобы за определенное время посчитать суммарное значение внутри прямоугольной области изображения, применяется оптимизация, которая называется «Интегральное преобразование изображения». Благодаря ключевой особенности интегрального представления можно ускорить время подсчетов суммированного значения пикселей в области фигуры, являющейся прямоугольником, либо которую можно разбить на более мелкие прямоугольники.
Понятие интегрального изображения используется для вычисления признаков Хаара. Каждый признак представляет собой двоичную маску, то есть черно-белое изображение. Простейший прямоугольный признак Хаара изображен на Рисунке 1. Его значение можно получить, путем вычисления разности суммированных значений пикселей двух соседних областей.
Рисунок 1 Простейший признак Хаара
По отдельности признаки Хаара могут классифицировать подобласть изображения как лицо или не лицо лишь немного лучше, чем случайное
угадывание. Алгоритм AdaBoost позволяет комбинировать признаки, объединяя их в один сильный классификатор.
Для выбора признаков, лучше всего классифицирующих изображения используется алгоритм AdaBoost (adaptive boosting). Понятие бустинга можно определить как набор методов, уменьшающих ошибки классификаторов и аналитических моделей. В бустинге различают два типа моделей. Слабая модель не отличается высокой точностью, и не способна самостоятельно выполнять анализ без большого количества ошибок. Сильная модель отличается достаточно малым количеством ложных предсказаний.
Можно сказать, что с помощью алгоритма бустинга можно определенным образом объединить слабые модели и получить одну сильную. При этом каждый следующий набор моделей будет компенсировать недостатки композиции всех предыдущих наборов.
Алгоритм хорошо находит и распознает черты лица при наклоне головы до 45 градусов. При угле поворота больше 45 градусов процент верно обнаруженных лиц падает.
СЕГМЕНТАЦИЯ
Результатом цветовой сегментации кожи является информация о степени близости цвета каждого пикселя к цвету кожи.
В ранних работах по автоматическому обнаружения областей кожи было замечено, что цвет кожи занимает достаточно компактную область в ряде цветовых пространств, и что простым набором неравенств можно отделить область цвета кожи от остального пространства достаточно эффективно.
Пространство HSV отделяет оттенок H от насыщенности S и яркости V. Используя этот метод, можно представить цвет лучше, чем в модели RGB, поскольку дескриптор объекта может быть представлен в виде одной гистограммы, содержащей 360 значений.
Оттенок — это цветовая часть цветовой модели, которая выражается в виде числа от 0 до 360 градусов. Насыщенность — это количество серого в цвете от 0 до 100 процентов. Яркость работает в сочетании с насыщенностью и описывает интенсивность цвета в диапазоне от 0 до 100 процентов.
Для определения принадлежности пикселя к диапазону, определяющему цвет кожи, необходимо составить двоичную маску (Рисунок 2).
Рисунок 2 Двоичная маска
Эта маска представляет собой матрицу, имеющую ту же ширину и высоту, что и кадр. Белые пиксели, закодированные значением 1, в маске представляют области кадра, которые являются кожей. Черные пиксели, закодированные значением 0, в маске представляют области, которые не являются кожей.
На изображении присутствует множество небольших ложноположительных участков кожи. Чтобы удалить эти области, произведем сглаживание двоичной маски, посредством функции Гаусса.
Путем наложения двоичной маски на входной кадр, получим изображение, которое содержит только пиксели, соответствующие цветовому диапазону лица. На основе полученного изображения строится гистограмма оттенка, где по оси ОХ располагается каждое из 360 значений параметра Н, а по оси ОУ количество пикселей конкретного параметра Н.
Для того чтобы получить вероятностные значения каждого оттенка, необходимо провести нормирование значений гистограммы от 0 до 1.
ТРЕКИНГ
Основная задача в трекинге состоит в сопоставлении положений целевого объекта на последовательности кадров. В случае слежения за положением лица предполагается, что объекты в следующем кадре меняют свою позицию незначительно.
Необходимо найти область максимальной плотности пикселей распределения вероятностей. Для этого нужно ввести понятие момента изображения.
В обработке изображений, компьютерном зрении и смежных областях момент изображения представляет собой определенное средневзвешенное среднее значение (момент) интенсивности пикселей изображения. Моменты изображения и инварианты момента полезны для описания основных признаков при обработке изображений, таких как площадь искомого объекта, его центр и информации о его ориентации.
Рассчитав значения нулевого и первых моментов входного кадра, мы смогли получить новые координаты расположения лица.
РЕЗУЛЬТАТЫ
Для тестирования алгоритма обнаружения лица, была написана программа на языке Python.
Программа способна обрабатывать видеопоток как стандартным методом Виолы-Джонса, так и дополнительным, с использованием трекинга на основе цветовой сегментации.
Результат работы алгоритма Виолы-Джонса представлен на Рисунке
3.
Рисунок 3 — Результат работы алгоритма Виолы-Джонса Результат работы получившейся программы представлен на Рисунке 4.
Рисунок 4 — Результат работы созданной программы
Как видно из результатов, при повороте головы больше определенного угла, алгоритм Виолы-Джонса перестает обнаруживать лицо в видеопотоке.
В созданной программе, благодаря алгоритму трекинга лицо остается в фокусе, даже при больших углах поворота головы.
Использованные источники:
1. Jones, M., Viola, P. Robust Real-Time Face Detection // International Journal of Computer Vision, 2004. 57(2). С. 137-154.
2. Robert E. Shapire. A Brief Introduction to Boosting // IJCAI'99 Proceedings of the 16th international joint conference on Artificial intelligence, Volume 2, August 1999. С. 1401-1406.
3. Chandrappa, Dr. D N. Face Detection in Color Images using Skin Color Model Algorithm based on Skin Color Information. /ICECTECH.2011.
4. Небаба С. Г. Тестирование технологии подготовки изображений лиц к распознаванию личности в видеопотоке в режиме реального времени //
Современная наука: актуальные проблемы теории и практики. Серия «Естественные и технические науки», 2017. №3-4. С. 73-77.
5. Gary R. Bradski. Computer Vision Face Tracking For Use in a Perceptual User Interface [Электронный ресурс]. URL: http://opencv.jp/opencv-1.0.0_org/docs/papers/camshift.pdf (Дата обращения 17.05.2022)
6. Documentation OpenCV [Электронный ресурс]. URL: https://docs.opencv.org/2.4/index.html (Дата обращения 17.05.2022)
