CC BY
195
структуры и моделирование 2014. №4(32). С. 83-88
УДК 519.711.3
МЕТОД УЛУЧШЕНИЯ АЛГОРИТМА ВИОЛЫ-ДЖОНСА
А.Р. Нургатин
аспирант, e-mail: [email protected]
Челябинский государственный университет
Аннотация. На данный момент существует множество методов обнаружения объектов на изображении, к примеру, метод Виолы-Джонса. Однако практически все эти методы основаны на вычислении свёртки с определённым паттерном. Такой подход ведет к существенному возрастанию объёма вычислений при увеличении размеров исходной сцены, что делает его малоприменимым в системах реального времени и ограниченных вычислительных мощностях. В статье предлагается метод улучшения алгоритма Виолы-Джонса, позволяющий снизить вычислительные нагрузки без ущерба точности. Для данного метода также показаны результаты тестирования, демонстрирующие его применимость.
Ключевые слова: алгоритм Виолы-Джонса, распознавание образов, обнаружение лиц, системы реального времени.
Введение
Метод Виолы-Джонса, являющийся на данный момент одним из самых популярных алгоритмов обнаружения объектов на изображениях, основан на принципе сканирующего окна. Это ведёт к увеличению объёма требуемых вычислений с увеличением размера обрабатываемого изображения, что нехорошо при обработке в реальном времени. В данной статье предлагается эффективный подход решения данной проблемы без потери точности.
1. Описание метода Виолы-Джонса
Основные принципы, на которых основан метод, таковы:
• используются изображения в интегральном представлении [1], что позволяет вычислять быстро необходимые объекты;
• используются признаки Хаара [2], с помощью которых происходит поиск нужного объекта (в данном контексте - лица и его черт);
• используется бустинг [3] для выбора наиболее подходящих признаков для искомого объекта на данной части изображения;
• все признаки поступают на вход классификатора [2], который даёт результат «верно» либо «ложь»;
• используются каскады признаков для быстрого отбрасывания окон [4], где не найдено лицо.
2. Обзор существующих решений
На данный момент имеется несколько оптимизаций алгоритма Виолы-Джонса [5, 6, 7], но данные решения требуют значительных инженерных усилий, во многом оптимизация сводится к более оптимальной реализации алгоритма на заданной платформе.
Другой способ добиться работы алгоритма в реальном времени — реализация на GPU [4]. Однако это решение непрактично для применения во встраиваемых системах
В работе [8] авторы предлагают решение на основе реализации из OpenCV, оптимизированное для встраиваемых систем, но сама реализация остаётся неизменной. Предлагаемая в статье оптимизация улучшает скорость работы алгоритма за счёт снижения объёма вычислений с сохранением точности.
В работе [9] авторы рассматривают метод, основанный на модели визуального поиска для быстрого обнаружения объектов. Сравнив свою работу с детектором Виолы-Джонса в OpenCV, они получили ускорение в среднем в 2 раза за счёт небольшого снижения точности. Подход предлагается для использования с изображениями, содержащими только одно лицо, и не ясно как применять такой подход к изображениям с несколькими лицами.
3. Адаптивный метод сканирования для алгоритма Виолы-Джонса
В методе Виолы-Джонса окно двигается по изображению с шагом сканирования Д. Предлагается использовать различные размеры шага по оси x и у: Дх, Ду. В случае Дх = Ду будем по-прежнему использовать обозначение Д. Шаг сканирования влияет как на точность обнаружение, так и на пропускную способность. С увеличением шага уменьшается вероятность ложного срабатывания в однородных областях. Также возможно увеличение скорости работы алгоритма за счёт увеличения шага сканирования в тех областях, где объект отсутствует. В существующих реализациях размер шага, как правило, выбирается Д = 1 или Д = 2.
Назовём ступенью выхода номер классификатора в каскаде, на котором данное окно отвергается. В представленном анализе выявляется взаимосвязь наличия лица в области изображения и ступени выхода.
На рисунке 1 каждый пиксель имеет яркость обратно пропорциональную ступени выхода.
Данный подход позволяет увеличивать размер шага при малых значениях ступени выхода и увеличивать его при приближении к объекту поиска. Также данный подход позволяет избежать дополнительных расходов на нормализацию подокна. Данная нормализация необходима для минимизации влияния различных условий освещения в методе Виолы-Джонса [2, 8].
На рисунке 2 рассмотрен постоянный шаг Дх = 2 или Дх = 3, видно, что детектор не в состоянии разместить окно в локальном максимуме, в отличие от адаптивного шага Д.
*
. *
ь - <г - 7Г ■ —
Ш в
„Л + F - ш '
Рис. 1. Окно сканирования отвергается на равномерных областях, не содержащих искомый паттерн, раньше. При приближении же к лицу ступень выхода начинает возрастать
Рис. 2. Различные Д. Серые блоки — увеличенные пиксели от 204 до 213 (ось x) и от 144 до 122 (ось у). Чёрный пиксель в позиции (209,117) соответствует правому нижнему лицу на
рисунке 1
4. Результаты
Эксперименты проводились на Intel Core i7 с тактовой частотой 2.2 ГГц. Использовалась база лиц CMU+MIT [10]. Реализованы следующие подходы:
1. (I) статическая: Дх и Ду постоянны и равны 1, 2 или 3;
2. (II) OpenCV 1: Дх = 2 для всего изображения. В случае не обнаружения лица Дх уменьшается на 1, Ду = 1;
3. (III) OpenCV 2: Д = 1, если соотношение размеров оригинального изображения и уменьшенного более чем 2, иначе Д = 2.
В тестах также использовались коэффициент масштабирования
(scalingfactor) s и порог слияния (merging threshold) y такие, что s е {1.1,1.2,1.3,1.4,1.5} и y е {1, 2, 3, 4,5}.
Для сравнения получаемых результатов используются следующие метрики:
TP TP
recall = тр + EN 5 precision = тр+EP,
где TP — число правильно определённых объектов, EN — число пропущенных объектов, FP — количество ложных срабатываний.
Полученные результаты сравниваются в Паретовском смысле.
Рис. 3. Результаты тестирования: метрики — отзыв и точность
Для удобства введём метрику F1 [11]:
„ precision х recall
F 1 = 2 х -—--.
precision + recall
По сути F1 — средневзвешенное отзыва и точности.
5. Заключение
В данной статье предлагается использовать адаптивное сканирующее окно для улучшения процесса обнаружения объекта алгоритмом Виолы-Джонса. Представлены результаты для реализации детектора лиц Виолы-Джонса, но данная оптимизация может быть применена для любого алгоритма обнаружения объектов, в котором используются сканирующее окно и каскадный классификатор. По сравнению с существующими подходами, адаптивный обеспечивает лучшие показатели в пространстве recall/precision, что особенно важно
0.3
0.25
0.2
Tt
0.15
0.1
0.05
+ Adapt + Static OpenCV 1 • Design point example
..........£
\ §
1...... § ч
«L
i +
0 1 0.2 0.3 0 4 0.5
1-(Fl-score)
0.6
0.7
Рис. 4. Результаты тестирования. Метрика: F1
для систем реального времени. При захвате изображения с видео может быть принята во внимание также и временная неоднородность для ещё большего снижения объёма вычислений.
Литература
1. Phan Th., Sohon S., Chandler D.M. Performance-Analysis-Based Acceleration of Image Quality Assessment.
2. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features. CVPR, 2001.
3. Hefenbrock D., Oberg J., Thanh N., Kastner R., BadenS. Accelerating Viola-Jones face detection to FPGA-level using GPUs. FCCM, 2010.
4. Oro D., Fern'andez C., Saeta J.R., Martorell X., Hernando J. Real-time GPU-based face detection in HD video sequences. ICCV Workshops, 2011.
5. Cho J., Benson B., Mirzaei S., Kastner R. Parallelized architecture of multiple classifiers for face detection. ASAP, 2009.
6. Hiromoto M., Sugano H., Miyamoto R. Partially parallel architecture for Adaboost-based detection with haar-like features. IEEE Trans. Circuits Syst. Video Technol, 2009. T. 19.
7. Brousseau B., Rose J. An energy-efficient, fast FPGA hardware architecture for OpenCV-compatible object detection. FPT, 2012.
8. Acasandrei L., Barriga A. Accelerating Viola-Jones face detection for embedded and SoC environments. ICDSC, 2011.
9. Butko N.J., Movellan J.R. Optimal scanning for faster objectdetection. CVPR, 2009.
10. Rowley H., Baluja S., Kanade T. Neural network-based face detection. IEEE Trans. Pattern Anal. Mach. Intell, 1999.
11. Goutte C., Gaussier E. A probabilistic interpretation of precision, recall and f-score, with implication for evaluation. ECIR, 2005.
12. Zhang C., Zhang Z. A survey of recent advances in face detection. Technical report MSR-TR-2010-66, 2010.
13. Tek S.C., Gokmen M. GPU accelerated real-time object detection on high resolution videos using modified census transform. VISAPP, 2012.
14. Lampert C., Blaschko M., Hofmann T. Beyond sliding windows: object localization by efficient subwindow search. CVPR, 2008.
ADAPTATION FOR VIOLA-JONES METHOD
A.R. Nurgatin
Graduate Student, e-mail: [email protected]
Chelyabinsk State University
Abstract. In recent years, there has been developed many algorithms to identify objects in images, including the scheme offered by Viola and Jones. However, as in all of the algorithms based on a scanning window, if the size of screen grows the amount of computation increases too. The paper proposes a method of increasing the speed without sacrificing accuracy. This paper also demonstrates the effectiveness of the proposed algorithm.
Keywords: Violla-Jones method, object recognition, adaptation, pattern recognition, face detection, window-scaning, real-time system.
