CC BY
116
ФРОИМСОН1 Михаил Игоревич МИХАЙЛОВ2 Дмитрий Михайлович, кандидат технических наук, доцент КОРСАКОВА3 Анна Ивановна СОРОКИНА4 Мария Александровна КОНДРАТЬЕВ5 Михаил Дмитриевич
п I 1
СИСТЕМА ОПРЕДЕЛЕНИЯ НАПРАВЛЕНИЯ ВЗГЛЯДА ПОЛЬЗОВАТЕЛЯ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ
Данная статья посвящена описанию компактной системы слежения за взглядом человека, которая позволяет осуществлять отслеживание перемещения, зрачка глаза, его сужение, расширение, скорость и направление движения, а также частоту морганий. Система позволяет определять объект, на который смотрит, человек.
Ключевые слова: направление взгляда, движение зрачка, гистограммная эквализация, морфологическая обработка.
This paper deals with, a compact system, for tracking human eyes that allows the pupil monitoring, its contraction, dilatation, speed and direction of movement, as well as the frequency of blinking. The system, also allows to detect the object a person looking at. Keywords: pupil movement, histogram, equalization, morphologic processing.
Комплекс «ОКО» состоит из специальных очков и программного обеспечения, позволяющих в режиме реального времени определять направление взгляда пользователя и использовать эти данные в других приложениях для различных целей. На очки, выполненные в пластиковом или алюминиевом корпусе, устанавливаются две миниатюрные камеры — одна с внутренней стороны оправы, другая — с внешней. Внутренняя камера прикреплена к оправе на расстоянии от 3 до 6 см от глаза. Она фиксирует перемещение зрачка глаза, его сужение, расширение, скорость и направление движения, а также частоту морганий. Камера непрерывно делает снимки с частотой от 15 до 50 кадров в секунду и передает данные по ШБ-интерфейсу на персональный компьютер или записывающее устройство.
Внутренняя камера дополнительно оснащена поляризационным фильтром, выполненным из особого материала, который пропускает свет только с определенной поляризацией, что позволяет удалять нежелательные отсветы, что повышает качество съемки [1].
Получив данные с внутренней камеры, специальное программное обеспечение выполняет потоковую обработку изображений (или обработку записанного в файл видео): гистог-раммную эквализацию, бинаризацию и последующую морфологическую обработку — эрозию, дилатацию и сегментирование.
Программное обеспечение выполняет поиск зрачка в режиме реального времени. Сначала происходит выделение красного канала изображения и гистограммная подгонка для нормализации освещения, на первых кадрах
— бинаризация и морфологическая обработка по чисто геометрическим признакам найденных областей. Для последующего образования шаблона алгоритм производит эрозию и дилатацию, а также стандартные процедуры для улучшения гладкости краев и удаления внутренних полостей. На последующих кадрах происходит их сравнение с шаблоном с помощью примитивов (по алгоритму Viola-Jones [2, 3]). Шаблон обновляется c каждым кадром.
Для того чтобы выявить, моргает человек или нет, алгоритм производит мониторинг гистограммы (рис. 1). При резком пике вблизи малых интенсив-ностей (т.е. там, где фиксируется зрачок) считаем, что глаз открыт, в то время как при исчезновении этого пика — человек моргнул. Определять разницу возможно, например, с помощью метода наименьших квадратов.
' - НИЯУ «МИФИ», аспирант;2 - НИЯУ «МИФИ», доцент;3 - НИЯУ «МИФИ», студентка;
4 - ФГУП ЦНИИ ЭИСУ, инженер; 5 - МГППУ, студент.
BffljUUi
Рис. 1. Гистограммы. По оси Х - интенсивность цвета (0 - черный, 256 - белый); по оси У - количество пикселей с такой интенсивностью
Infrared-passing фильтр (рис. 2) необходим, что пропускать инфракрасное излучение.
В результате программа имеет информацию о координатах центра зрачка, его площади и частоте морганий. Эта информация далее может быть использована в программе следующим образом:
1)управление курсором персонального компьютера;
2) наложение истории передвижения взгляда (траектории или «тепловой карты») на видео или статичное изображение с внешней камеры или экрана персонального компьютера;
3) построение саккад (быстрых и строго согласованных движений глаз, происходящих одновременно и в одном и том же направлении) [4] и фиксаций взгляда и запись в специальный файл для последующего анализа.
Таким образом, можно выделить следующие области применения системы «ОКО»:
Л «ОКО» позволяет в значительной степени повысить удобство работы с вычислительной техникой (персональным компьютером, коммуникатором, планшетом, электронной книгой, смартфоном, а также навигатором в современном автомобиле и т.д.), упрощая и ускоряя переход по ссылкам и работу с приложениями. Система позволяет сделать более эргономичным взаимо-
Рис. 2. Алгоритм работы устройства «ОКО»
действие пользователя с многооконными приложениями, обладающими сложным интерфейсом. Программное обеспечение может быть адаптировано под большое количество прикладных задач.
Система «ОКО» будет особенно актуальной для людей с ограниченными возможностями. Ярким примером может служить известный физик-теоретик и космолог Стивен Хокинг [5]. Стивен Хокинг почти полностью парализован. Однако благодаря сложной электронной системе слежения за его единственным мускулом, который способен двигаться, ученый может общаться со студентами и вести научную деятельность.
Также систему «ОКО» можно использовать как пульт управления. ^ Разработка применима в анализе эргономичности интерфейсов программного обеспечения и расположения контента на веб-сайтах. В этом случае специальное программное обеспечение, запущенное в фоновом режиме, будет постоянно записывать перемещение взгляда пользователя по экрану, что впоследствии позволит построить так называемую температурную карту (частота нахождения взгляда в различных областях экрана) монитора и сделать выводы об эффективности расположения элементов управления, под-
сказок и рекламы. Владелец сайта сможет получить информацию о том, как воспринимает предлагаемый продукт пользователь, где он в первую очередь пытается найти нужную информацию, на каком элементе его взгляд задерживается дольше всего. «ОКО» может применяться для проверки эффективности оформления упаковок товаров, то есть их различимость среди других, аналогичных товаров. Система будет фиксировать, в каком порядке покупатель будет смотреть на упаковки и насколько внимательно.
При некоторой доработке стендов (добавлении референтных точек), система может быть использована и в обычных магазинах для проведения маркетинговых исследований внешнего оформления разного рода товаров (полок с товарами, упаковок, обложек, рекламных вывесок). 1З Система «ОКО» может оказаться полезной при сдаче различных тестов, например, в учебных заведениях или при отборе кадров для трудоустройства:
а) как защита от жульничества и списывания (слежение за тем, чтобы испытуемый не отвлекался от экрана и не подглядывал в ответы);
б) при тестах на внимательность и скорость распознавания опасности.
В этом случае алгоритм может применяться для оценки интенсивности работы центральной нервной системы.
Разработка применима для различных пользовательских приложений и игр (особенно шутеров), в том числе развивающих программ для детей и реабилитационных курсов для людей с заболеваниями зрения. В сравнении со своими аналогами, система беспроводного управления вычислительной техникой с помощью взгляда «ОКО» обладает скоростью работы, которая в 4 раза выше, чем у конкурентов, при идентичной точности работы алгоритмов. Планируется усовершенствование существующей модели «ОКО» — подключение микрофона для возможности голосовых команд, добавление инфракрасной камеры для слежения за зрачком при плохом освещении, дальномер для определения расстояния до объекта и построение ЭБ-моде-ли пространства (для маркетинговых исследований неплоских объектов или управления объектами в компьютерных играх с помощью реальных объектов), бинокулярное слежение. Планируемое развитие программы заключается в создании обучаемой системы для распознавания объектов с внешней камеры, а также интеграции с голосовым управлением
Литература
1. Физическая, энциклопедия. В 5-ти томах. - М.: Советская, энциклопедия, 1988.
2. P. Viola and M.J. Jones. Robust real-time face détection./ International Journal of Computer Vision, 2004. - vol. 57. - no. 2. - PP. 137 - 154.
3. Минин П.Е. Применение оценки One-Shot Similarity к задаче распознавания пола человека по изображению. /Спецтехника и связь, 2012. - №5-6. - С. 47 - 53.
4. Филин В.А. Закономерности саккадической деятельности глазодвигательного аппарата./ Автореф. дис. д-ра биол. наук. - М., 1987.
5. Stephen W. Hawking. Энциклопедия. Britannica. URL: http://www.britannica.com/EBchecked/topic/257505/Stephen-W-Hawking.
