CC BY
15!т!
Телевидение и обработка изображений
УДК 681.5(05); 004(05)
В. В. Бутенко
Государственный морской университет им. адмирала Ф. Ф. Ушакова
Поиск границы радужки на изображении
Предложен алгоритм поиска границы радужки для использования ее в качестве точки интереса при слежении за направлением взгляда в видеопотоке. Статья открывает цикл публикаций, иллюстрирующих создание системы управления взглядом средствами доступной видеоаппаратуры.
Поиск границы радужки, преобразование Хафа, детектор Кенни, метод Лукаса-Канаде
Взаимодействие с устройствами посредством взгляда - один из самых предпочтительных и естественных способов управления, позволяющий задействовать преимущественно глазодвигательный аппарат, что удобно для людей с ограниченными физическими возможностями и людей, находящихся в условиях, когда другие виды управления использовать непрактично или невозможно. Этот вид взаимодействия быстро развивается и, несомненно, будет одним из самых предпочтительных в будущем.
Задача управления взглядом заключается в определении точки пересечения оптической оси глазного яблока и плоскости экрана, на котором представлен некоторый зрительный раздражитель. Она содержит в себе ряд таких подзадач, как покадровый анализ видеосъемки, изучение движения глаз, определение направления взгляда. Каждая из этих подзадач является актуальным направлением научных исследований, и решение одной повлияет на другие.
При использовании видеопотока, полученного в естественных условиях - в произвольное время суток и без дополнительной подсветки, - реализация управления представляет дополнительные сложности в связи с существенно изменяющимися контрастностью, средней яркостью и резкостью.
Само по себе распознавание объекта в видеопотоке не дает достаточной информации для определения направления взгляда, поэтому включение в алгоритм управления возможности слежения за отмеченным объектом (характерной точкой или точкой интереса) - важный пункт при покадровом анализе.
Точкой интереса в рассматриваемом случае является точка на изображении области глаза, 36
характеризующаяся хорошо обнаруживаемыми параметрами: локальным максимумом или минимумом интенсивности, характерной геометрической формой и т. п. Подобными характерными точками могут выступить точки на границе радужки со склерой. Граница зрачка с радужной оболочкой не подходит в силу низкого контраста.
Характерные точки определяются на первом кадре видеопотока, на котором выделяются область лица и область глаз. На последующих кадрах отслеживается передвижение этих точек. При обнаружении запоминается их положение в момент калибровки при направлении взгляда в верхние и нижние углы экрана и строится таблица соответствия полученных данных точкам на плоскости экрана. На рис. 1 представлены координаты точек интереса при направлении взгляда в левый верхний угол рассматриваемой сцены (рис. 1, а) и в правый нижний угол (рис. 1, б).
Для поиска лица и глаз в видеопотоке рассмотрен ряд методов: метод Виолы-Джонса [1], метод построения гистограмм [2] и метод группировки признаков [3]. Последние 2 метода подходят для
Рис. 1
© Бутенко В. В., 2016
б
а
поиска лиц, но плохо справляются с задачей поиска области глаз. Метод Виолы-Джонса является лучшим по соотношению показателей "эффективность распознавания/скорость работы". Он позволяет выделить лица с высокой точностью и низким количеством ложных срабатываний.
Метод Виолы-Джонса позволяет распознавать объекты на изображениях в реальном времени, применяя каскадные классификаторы Хаара для поиска, алгоритм адаптивного усиления при выборе наиболее подходящих признаков для искомого объекта и метод комбинирования классификаторов в каскадную структуру.
Метод Виолы-Джонса реализован программным методом detectMultiScale из библиотеки ОрепСУ [4]. Кадры видеоряда передаются этому методу до тех пор, пока область лица не будет найдена. В каждой найденной области лица этим же методом отыскивается область глаз.
Так как движения одного глаза независимо от другого у здорового человека невозможны (оба глаза всегда двигаются одновременно) для сокращения времени вычислений и удобства расчетов используются данные только по одному глазу, причем обработке подвергается только область кадра видеоряда, содержащая выделенную область с изображением глаза.
На полученном изображении детектором Кенни [5] выделяются границы. Этот детектор был выбран в результате сравнения с результатами, даваемыми пороговой бинаризацией и выделением по цвету [6], однако последними не была достигнута устойчивость к изменению освещенности, а также оказалось невозможно отделить радужку от ресниц и теней около глаза.
Детектор Кенни [7] предусматривает последовательное применение к двумерному набору пикселей, выделенных на изображении окном заданного размера, следующих операций:
• Сглаживания изображения операцией свертки с ядром, описываемым первой производной двумерной гауссоиды. Операция снижает чувствительность детектора к шумам изображения (фильтр может быть приближен первой производной гауссоиды).
• Выделения пикселов, относящихся к границам, оператором Собеля на матрице с размерами 3 х 3. Оператор выделяет в качестве пикселей, относящихся к границам, те из них, на которых дискретный аналог градиента достигает локального максимума.
• "Сшивки" отдельных пикселов, выделенных оператором Собеля, в неразрывные фрагменты границы. С этой целью осуществляется прослеживание выделенных фрагментов с обработкой двухпороговой процедурой. Пиксель относится к граничным, если зафиксированный на нем локальный максимум градиента превышает установленный верхний порог, что обеспечивает дальнейшее снижение чувствительности к шумам. Кроме того оператор прослеживания обладает консервативностью, формирующей связные участки границы. Консервативность заключается в том, что после обнаружения граничного пиксела к фрагменту границы относятся соседние с ним до тех пор, пока в них значение градиента не окажется ниже нижнего порога. При динамическом диапазоне обрабатываемого сигнала яркости 256 нижний порог устанавливался примерно равным 100, верхний - примерно 250.
В описываемом в настоящей статье алгоритме для реализации детектора Кенни использована программа из библиотеки OpenCV [8].
При правильно подобранных параметрах детектор Кенни хорошо работает на зашумленных изображениях, позволяет выделить внутренние контуры объекта и исключить ошибочное обнаружение контуров там, где объектов нет.
На рис. 2, а представлены примеры изображений, полученных в естественной среде, на рис. 2, б - результаты их обработки детектором Кенни. В последних изображениях преобладают прямые линии и круги, которые можно детектировать с помощью преобразования Хафа.
Преобразование Хафа предназначено для поиска объектов, принадлежащих определенному классу фигур, с использованием процедуры голосования. Процедура голосования применяется к пространству параметров, из которого получаются объекты определенного класса по локальному максимуму в накопительном пространстве (accumulator space), которое строится при вычислении трансформации Хафа [9]. Пиксели изображения опрашиваются всего один раз, дальнейшие вычисления производятся только для пикселей, несущих полезную информацию.
Преобразование Хафа основывается на представлении искомого объекта параметрическим уравнением. Параметры этого уравнения представляют фазовое пространство.
В двоичном изображении, содержащем пикселы, отнесенные к границе по результатам работы детектора Кенни, последовательно анализи-
Телевидение и обработка изображений
а б
Рис. 2
руются все точки границ на принадлежность к искомому объекту (окружности, отображающей границу радужки со склерой). Для испытуемой точки рассчитываются параметры окружности и в параметрическом пространстве Хафа фиксируется факт получения этих значений. После испытания всех точек двоичного изображения в этом пространстве реализуется процедура голосования: выделяются и фиксируются в качестве истинных значения параметров, полученные в результате наибольшего количества испытаний.
Полученные преобразованием Хафа параметры окружности используются как предварительная оценка положения радужки на изображении для сокращения учитываемых в дальнейшей обработке пикселов. При отслеживании положения радужки в видеопотоке применяются координаты естественной границы, выделенной детектором Кенни.
Для отслеживания используются точки границы, которые в процессе калибровки меняют свое положение, неизменные точки не применяются.
Для слежения за объектом (точкой интереса) использован метод Лукаса-Канаде [10], реализованный в функции cvCalcOpticalFlowPyrLK библиотеки ОрепСУ [11].
Рассматривались и другие методы, например учитывающий аффинные искажения окрестности
точки метод Ши-Томасси-Канаде [12], учитывающий наряду с ними аффинные изменения освещенности окрестности точки метод Джин-Фаваро-Соато [13]. Однако, поскольку поиск точек проводится на мало различающихся последовательных кадрах, можно считать, что окрестность точки не искажается. Поэтому был выбран метод Лукаса-Канаде.
Метод позволяет зафиксировать смещение отслеживаемого объекта в последовательных анализируемых кадрах. Последовательность параметров объекта составляет характеристику его движения - векторное поле, в рамках метода называемое оптическим потоком [9]. Использование метода только на предварительно выделенных пикселах, относящихся к границе радужки, позволяет существенно сократить объем вычислений.
Метод Лукаса-Канаде позволяет получить смещения для каждого отслеживаемого пиксела. Метод использует дифференциальный подход, в основе которого лежит вычисление частных производных по горизонтальному и вертикальному направлениям.
Основное уравнение оптического потока содержит 2 неизвестных и не может быть однозначно разрешено. Неоднозначность разрешается за счет использования информации о соседних пикселах в каждой точке. Метод основан на предположении, что в локальной окрестности пиксела значение оптического потока одинаково. С учетом этого ограничения можно записать уравнение оптического потока для всех пикселей окрестности и решить полученную систему уравнений методом наименьших квадратов [9].
В настоящей статье представлена последовательность процедур, обеспечивающих выделение на изображениях, полученных в реальных условиях, границы радужной оболочки глаза со склерой, с дальнейшим отслеживанием движения этой границы в последовательности кадров.
На первом кадре видеоряда методом Виолы-Джонса определяются область лица и область глаз. Остальная часть изображения далее не используется.
Затем на основе детектора границ Кенни выделяются пикселы, лежащие на границе радужной оболочки, после чего методом Лукаса-Канаде отслеживается их смещение в последовательности кадров. В результате обработки формируется оптический поток (терминология метода Лукаса-Канаде), который в дальнейшем может быть использован для создания системы управления на основе отслеживания направления взгляда.
СПИСОК ЛИТЕРАТУРЫ
1. Viola P., Jones M. J. Rapid Object Detection using a Boosted Cascade of Simple Features // IEEE Comp. Soc. Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 8-14 Dec. 2001, Kauai, USA. Piscataway: IEEE, 2001. Vol. 1. P. 511-518.
2. Kotropoulos C., Pitas I. Rule-Based Face Detection in Frontal Views // IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP 97), 21-24 April 1997, Munich, Germany. Piscataway: IEEE, 1997. Vol. 4. P. 2537-2540.
3. Yow K. C., Cipolla R. Feature-Based Human Face Detection // Image and vision computing. 1997. Vol. 15, iss. 9. P. 713-735.
4. Haar Feature-Based Cascade Classifier for Object Detection: OpenCV v. 2.4.12.0 documentation. URL: http://docs. opencv.org/2.4/modules/objdetect/doc/cascade_classifica tion.html (дата посещения 28.02.2016).
5. Cannya J. Computational Approach to Edge Detection // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1986. Vol. PAMI-8, № 6. P. 679-698.
6. Матвеев И. А., Чинаев Н. Н. Выделение зрачка на изображении глаза преобразованием Хафа границ компонент связности // 24-я Междунар. конф. по компьютерной графике и зрению (ГрафКон'2014), Ростов н/Д, 30 сент.-3 окт. 2014 / Академия архитектуры и искусств ЮФУ. Ростов н/Д, 2014. С. 115-118.
V. V. Butenko Admiral Ushakov Marine State University
7. Canny J. A Computational Approach to Edge Detection // IEEE Trans. on Pattern Analysis And Machine Intelligence. 1986. Vol. PAVI-8, № 6. P. 679-698.
8. Kaehler A., Bradski G. Computer Vision in C++ with the OpenCV Library. Sebastopol, USA: O'Reilly Media, 2013. 575 p.
9 Learning Image Processing with OpenCV / G. B. Garcia, O. D. Suarez, J. L. E. Aranda, J. S. Tercero, I. S. Gracia. Birmingham: Packt Publishing, 2015. 232 p.
10. Lucas B. D., Kanade T. An iterative image registration technique with an application to stereo vision // Proc. 7th Int. Joint Conf. on Artificial Intelligence (IJCAI'81), Vancouver, Canada, Aug. 1981. P. 674-679.
11. Motion Analysis and Object Tracking: OpenCV v. 2.4.12.0 documentation. URL: http://docs.opencv.org/2.4 /modules/video/doc/motion_analysis_and_object_tracking.html (дата посещения 28.02.2016).
12. Shi J., Tommasini C. Good Features to Track // Proc. 13th Comp. Soc. Conf. Computer Vision and Pattern Recognition (CVPR 1994), 21-23 June 1994, Seattle USA. Piscataway: IEEE, 1994. P. 593-600.
13. Jin Н., Favaro P., Soatto S. Real-Time Feature Tracking and Outlier Rejection with Changes in Illumination // Proc. 8th IEEE Int. Conf. on Computer Vision (ICCV 2001), Vancouver, Canada, 7-14 July 2001. Vol. 1. P. 684-689.
Search boundaries of iris on picture
An algorithm for search boundaries of iris it as a point of interest in the tracking direction of view in video stream. It is the first of a planned series of publications that illustrate creation of control system using available view video equipment.
Iris recognition, Hough transform, Canny edge detector, Lucas-Kanade method
Статья поступила в редакцию 28 января 2016 г.
