CC BY
46DOI: 10.34031/article_5da462c755b439.16983955 1Хисамутдинов М.В., 2Коровин Я.С., 2 *Иванов Д.Я.
1ООО «НИИМВУС», Таганрог Россия, 347905, Ростовская область, г. Таганрог, ул. Социалистическая, д. 150-г 2Южный федеральный университет, Таганрог Россия, 347900, Ростовская область, г. Таганрог, ул. Чехова, д. 2, ГСП-284 *E-mail: donat. ivanov@gmail com
РАСШИРЕННЫЙ ИНТЕРФЕЙС ЧЕЛОВЕК-РОБОТ С ДОПОЛНЕННОЙ
РЕАЛЬНОСТЬЮ
Аннотация. Проблема управления роботами и коалициями роботов является одним из сдерживающих факторов, стоящих на пути внедрения роботов и мультиробототехнических комплексов. Преодоление этой проблемы заключается в повышении уровня автономности роботов, а также совершенствование интерфейсов дистанционного управления роботами. В интерфейсах взаимодействия человека и робота преобладают на данных момент механические органы управления, такие как кнопки, джойстики и сенсорные экраны. Все они требуют от оператора использования движений рук и/или ног. Одним из перспективных направлений развития интерфейсов является использование отслеживания направления и характера взгляда оператора. В статье предложено использование расширенного интерфейса человек-робот с дополненной реальностью, основанное на принципах отслеживания взгляда человека-оператора при анализе видеоданных, поступающих от бортовой видеосистемы робота. Предложена конструкция очков дополненной реальности, отличающейся простотой и доступностью исполнения. В данной конструкции используется типичный смартфон и корпус, который может быть изготовлен с использованием 3D-печати. При этом в конструкции отсутствуют дополнительные источники подсветки глаз оператора, за исключением экрана смартфона. Показан пример реализации программного обеспечения для такого интерфейса.
Ключевые слова: отслеживание взгляда, интерфейс человек-робот, дополненная реальность, айтрекинг.
Введение. Роботы и коалиции роботов находят все более широкое применение в различных отраслях, переходящих на методологию цифровой экономики. При этом проблема управления роботами и коалициями роботов является одним из сдерживающих факторов, стоящих на пути внедрения роботов и мультиробототехнических комплексов. Можно выделить два основных направления по решению этой проблемы. Первое - повышение автономности роботов за счет применения элементов искусственного интеллекта, мультиагентного и роевого взаимодействия. Второе направление - совершенствование механизмов взаимодействия человека-оператора и управляемого им робота.
В настоящее время элементами управления в интерфейсах человек-робот как правило являются различные комбинации рычагов/джойстиков, кнопок, педалей, сенсорных экранов. То есть человек-оператор использует свои руки (реже ноги) для воздействия на органы управления. Однако использование таких устройств ограничивает объем информации, передаваемый оператором роботу, а также увеличивает время реакции.
Предлагается в качестве органов управления роботом использовать не только тактильный контакт рук и ног оператора с органами управления, но и глаза человека-оператора за счет анализа
направления взгляда оператора, анализа закрытия глаз и времени сосредоточения на отдельном объекте. В качестве основы отображения информации в настоящем проекте предлагается использовать режим совмещения стереоинформации, получаемой с системы стереозрения робота, с дополненной реальностью, что позволит повысить точность позиционирования роботизированной системы и ускорить процесс получения информации от нее.
Современные системы дополненных интерфейсов, использующие отслеживание направления взгляда [1, 2] («Eye gaze tracking», «айтрекинг») основываются на применении сложных систем, состоящих из одной или нескольких камер, систем дополнительной подсветки и компенсации бликов, что приводит к значительной стоимости готовых устройств и тем самым ограничивает области применения.
Обзор известных подходов. В настоящее время активно ведутся исследования в области детектирования зрачков человека, определения направления взгляда и областей интереса пользователя по видеопоследовательности, получаемой с цифровой камеры.
Системы, построенные на данном принципе, получают набор изображений с камеры, анализируя полученную последовательность определяют положение и перемещение зрачков пользователя,
и используя данные калибровки определяют направление взгляда или область интереса пользователя. Камера должна быть расположена таким образом, чтобы глаз находился в прямой видимости без перекрытия посторонними объектами. При этом существует два варианта расположения камеры: в очках, или любом другом креплении недалеко от глаз, либо на некотором расстоянии от пользователя. В первом случае может быть достигнута более высокая точность определения положения зрачка из-за того, что камера находится в непосредственной близости от глаз, но при этом требуется специализированное оборудование (очки, миниатюрная камера, проводной или беспроводной канал передачи видео). Во втором случае, область глаз на изображении имеет намного меньший размер что приводит к необходимости использования более затратных в плане вычислений алгоритмов обработки изображений, с другой стороны, существует возможность использования обычных веб-камер, напрямую подключенных к вычислительному устройству для обработки получаемого видеопотока.
В любом случае, использование отдельных камер для решения поставленной задачи намного более удобно для пользователя по сравнению с системами, требующими применения специальных датчиков, которые крепятся на лице пользователя.
С учетом же активного развития алгоритмов и методов компьютерного зрения, системы, использующие цифровые камеры, удешевляются и могут быть использованы в более широком круге задач, в том числе и в задачах построения интеллектуального интерфейса дистанционного управления.
На точность определения центров зрачков, а, следовательно, и области интереса пользователя, влияет два основных фактора: разрешение получаемого изображения, и условия съемки. Для повышения разрешения можно либо использовать более дорогостоящие камеры, либо располагать их ближе к лицу пользователя, при это оба решения приводят к удорожанию системы в целом.
К условиям съемки следует отнести освещенность снимаемой сцены. При получении видеопоследовательности может использоваться как естественный свет (пассивное решение), так и дополнительная инфракрасная подсветка (активная подсветка) [3, 4]. При работе с естественным светом возникает множество проблем с определением центра зрачка глаза из-за бликов света. На рисунке 1 приведены примеры получаемых изображений при различных направлениях взгляда. Из рисунка видно, что при взгляде вперед блик может занимать значительную часть зрачка, что приведет к смещению детектируемого центра зрачка относительно реального, а, следовательно, к ошибке в оценке области интереса пользователя.
Рис. 1. Блики света в области зрачка Избавиться от негативного влияния бликов света на точность определения центра зрачка можно путем использования инфракрасной подсветки [5]. Во многих исследовательских работах и промышленных решениях активно применяют активную подсветку для достижения высокой точности детектирования. Наиболее оптимальным решением является использование инфракрасного источника света с длиной волны около 880 нм, которая невидима для глаза и может быть захвачена промышленными камерами [6]. Но даже с учетом использованием инфракрасной подсветки остаются проблемы, которые необхо-
при различном направлении взгляда димо решить, например, изменяющаяся в зависимости от положения источника света засветка области зрачка на изображении [3, 7, 8].
Для получения положения зрачка из видеопоследовательности и определения направления взгляда человека было разработано множество методов. Эти методы делятся на две основные группы [9, 10]: appearance-based [9-12] иfea-ture-based [11, 13]. Также существуют modelbased решения, предложенные в работах [4, 8].
Appearance-based методы напрямую вычисляют особенности на изображении глаза и использует функцию преобразования полученных особенностей в область просматриваемой сцены.
Такие методы основаны на использовании: многослойных нейронных сетей [14], линейной интерполяции [15], различного рода регрессий: линейной [12], Гаусса [16], случайных деревьев [11], Neighborhood Approximation Forests [17]. Набор обучающих изображений для этих методов получался путем регистрации изображений глаз в момент, когда пользователь смотрит на определенную точку экрана.
Feature-based методы анализируют изображение глаза для выявления определенных характеристик, например, самого темного пикселя, который отвечает за зрачок или радужку. Использование инфракрасной подсветки упрощает этот процесс за счет усиления контраста между радужной оболочкой и зрачком глаза [6]. Большинство методов данной группы используют сегментацию изображений [18, 19]. В процессе обработки изображение приводится к формату градации серого и подвергается пороговой бинаризации для получения бинарного изображения, на котором зрачок представляет собой темную область. Порог определяется экспериментально для конкретных условий съемки. Центр масс темной области на изображении и будет представлять собой центр зрачка [19]. При обработке изображений, имеющих низкое разрешение или низкую контрастность, выполняют нормирование гистограммы яркости, что приводит к улучшению контрастности анализируемого изображения и позволяет подчеркнуть детали изображения. Еще одним представителем данной группы методов является работа [20] в которой для поиска центра зрачка используется векторное поле градиентов на изображении и отношение между градиентами в каждой точке изображения и в предполагаемом центре зрачка. Центр зрачка представляет собой точку пересечения наибольшего количество векторов градиентов.
Model-based алгоритмы выполняют поиск наиболее подходящей модели на изображении. При работе алгоритмов данной группы производится поиск объектов круговой или эллиптической формы, которые наиболее точно описывают форму зрачка при выбранном ракурсе камеры. При нахождении подобного объекта на изображении можно вычислить центр зрачка, который будет находиться в центре данного объекта. Такой подход позволяет достаточно точно выделить зрачок на изображении, и сделать это даже в случаях, когда зрачок частично перекрыт ресницами. Недостатками же такого подхода является высокая вычислительная сложность алгоритма, что не позволяет использовать его в режиме реального времени. Кроме того, model-
based алгоритмы могут находить локальные минимумы, тем самым некорректно находя центр зрачка.
Существуют также гибридные алгоритмы [13], которые совмещают в себе feature- и modelbased решения. К этой группе относятся: алгоритм Starburst [13], выполняющий поиск набора точек, описывающий контур зрачка с помощью RANSAC метода [21].
Предлагаемый метод организации интеллектуального интерфейса дистанционного управления системой стереозрения робота посредством глаз оператора
Для организации интеллектуального интерфейса дистанционного управления системой сте-реозрения робота посредством глаз оператора предлагается использовать очки, состоящие из специального корпуса, с устанавливаемым в него Android смартфоном. Такие очки могут выполнять следующие функции:
- получать видеопоследовательность с фронтальной камеры смартфона для определения координат центра зрачка;
- отображать интересующий пользователя контент, например, видео из галереи устройства;
- определять точку на экране смартфона, в которую смотрит пользователь;
- выполнять подстройку яркости экрана для повышения точности определения центра зрачков, а, следовательно, точности определения областей интереса на экране смартфона;
- записывать получаемые в реальном времени данные во внутреннюю память устройства;
- передавать получаемые данные по беспроводному каналу связи.
Предлагаемое решение имеет ряд преимуществ по отношению к существующим системам оценки областей интереса пользователя. Смартфон выполняет все необходимые подзадачи: захват видео с фронтальной камеры, подстройка яркости внутри корпуса очков, отображение видеопоследовательности или любой другой информации на экране, обработка, хранение и передача данных. Следовательно, отпадает необходимость в использовании набора, состоящего из специальных очков, дополнительных цифровых камер, ноутбука или персонального компьютера для выполнения расчетов. В результате это приводит к снижению стоимости итоговой системы и возможности применения подобных систем при решении широкого спектра задач, так как нет необходимости в применении узкоспециализированного и дорогостоящего оборудования. Даже смартфона начального уровня достаточно для выполнения всех необходимых расчетов в режиме реального времени.
Рассмотрим структуру предлагаемой системы. Система состоит из корпуса, который крепится на голову пользователя, и смартфона, выполняющего роль основного вычислительного устройства. На рисунке 2 показан корпус, с установленным смартфоном. Для установки смарт-
фона в правой части корпуса предусмотрена специальная прорезь, предназначенная для смартфонов стандартной толщины. Поскольку в корпус могут быть установлены телефоны, имеющие диагональ более 4.5 дюймов, на дальней стенке корпуса предусмотрены фиксаторы, удерживающие смартфон.
Рис. 2. Конструкция устройства: корпус (слева), корпус с установленным смартфоном (справа)
Корпус имеет раздвижную конструкцию для корректировки расстояния между глазами оператора и экраном смартфона, что сделано для подстройки системы под зрение человека. Варианты
с минимальным и максимальным расстоянием показаны на рисунке 3. Ремень используется для фиксации устройства на голове пользователя.
Рис. 3. Изменение длины корпуса устройства
Корпус устройства может быть напечатан на 3D принтере, что вкупе с использованием смартфона на платформе Android позволит упростить процесс сборки подобных систем и расширить области их применения.
Рассмотрим порядок работы с предложенной системой. На первом этапе на смартфон устанавливается специальное приложение, предназначенное для отображения видеоконтента, отслеживания областей интереса, обработки, хранения и передачи полученных результатов. В этом же приложении производится настройка основных блоков алгоритма обработки изображений (разрешение изображений, получаемых с фронтальной камеры; использование нейронных
сетей для детектирования области глаза на изображении и особых точек вокруг глаза и т.д.).
После установки и настройки приложения, смартфон фиксируется в корпусе и устройство крепится на голове пользователя. Для запуска приложения в таком режиме может использоваться обычный bluetooth джойстик, например,
Вох 2.
При первом запуске пользователю необходимо откалибровать систему, для этого на отдельном экране приложения последовательно отображается набор точек, при взгляде на каждую из них, пользователю необходимо нажать на джойстике кнопку. При нажатии на кнопку система запоминает положение зрачка в момент,
когда пользователь смотрит на отображаемую точку. Сохраненные данные в дальнейшем будут использованы для определения областей интереса на показываемом видео. По завершению калибровки пользователь может приступать к использованию системы.
Разработанное программное обеспечение предлагает выбрать пользователю видео из галереи устройства и начать его показ (рис. 4).
Рис. 4. Выбор видеофайла из галереи устройства
Во время показа видео на экране смартфона отображается маркер, указывающий на область интереса пользователя, и производится запись этой области во внутреннюю память телефона.
Поскольку в корпусе не предполагается дополнительного источника света, то за регулировку уровня освещенности отвечает разработанное приложение. Получая кадр с фронтальной камеры, алгоритм производит оценку средней яр-
кости изображения. В случае показа затемненного видео, света экрана может быть недостаточно для корректного детектирования центра зрачка, а, следовательно и определения области интереса пользователя. В таком случае по краям экрана отображается специальная рамка, задача которой состоит в подстройке яркости внутри корпуса устройства. На рисунке 5 показан пример кадра, с отображенной рамкой для подстройки яркости изображения.
Рис. 5. Отображение рамки для адаптивной подстройки яркости
Выводы. В статье предложено использование расширенного интерфейса человек-робот с дополненной реальностью, основанное на принципах отслеживания взгляда человека-оператора при анализе видеоданных, поступающих от бортовой видеосистемы робота. Предложена конструкция очков дополненной реальности, отличающейся простотой и доступностью исполнения. Показан пример реализации программного обеспечения для такого интерфейса.
Таким образом, можно сделать вывод о том, что применение расширенного интерфейса человек-робот с дополненной реальностью является перспективным направлением исследований. Дальнейшие направления исследований будут направлены на совершенствование алгоритма отслеживания взгляда оператора.
Источник финансирования. Исследование выполнено при финансовой поддержке РФФИ, проект №18-29-03225.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Фроимсон М.И. и др. Система определения направления взгляда пользователя в режиме реального времени // Спецтехника и связь. 2013. № 3. С. 32-34.
2. Малин И. Отслеживание направления взгляда в реальном времени без использования специальной видеоаппаратуры // Труды «23-й международной конференкции по компьютерной графике и зрению». Институт автоматики и процессов управления ДВО РАН, Дальневосточный федеральный университет, 2013. С. 294-297.
3. Hansen D.W., Ji Q. In the eye of the beholder: A survey of models for eyes and gaze // IEEE Trans. Pattern Anal. Mach. Intell. IEEE, 2009. Vol. 32. №3. Pp. 478-500.
4. Lupu R.G., Ungureanu F., Siriteanu V. Eye tracking mouse for human computer interaction // 2013 E-Health and Bioengineering Conference (EHB). 2013. P. 1-4.
5. Zhu Z., Ji Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations // Comput. Vis. Image Un-derst. Elsevier, 2005. Vol. 98. № 1. Pp. 124-154.
6. Morimoto C.H., Mimica M.R.M. Eye gaze tracking techniques for interactive applications // Comput. Vis. image Underst. Elsevier, 2005. Vol. 98. № 1. Pp. 4-24.
7. van der Geest J.N., Frens M.A. Recording eye movements with video-oculography and scleral search coils: a direct comparison of two methods // J. Neurosci. Methods. Elsevier, 2002. Vol. 114. № 2. Pp.185-195.
8. Ferhat O., Vilarino F. Low cost eye tracking
// Comput. Intell. Neurosci. Hindawi Publishing Corp., 2016. Vol. 2016. Pp. 17.
9. Chennamma H.R., Yuan X. A survey on eye-gaze tracking techniques // arXiv Prepr. arXiv1312.6410. 2013. P. 388-393.
10.Lu F. et al. A head pose-free approach for appearance-based gaze estimation // BMVC. 2011. P. 1-11.
11.Wang Y. et al. Appearance-based gaze estimation using deep features and random forest regression // Knowledge-Based Syst. Elsevier. 2016. Vol. 110. P. 293-301.
12.Lu F. et al. Inferring human gaze from appearance via adaptive linear regression //2011 International Conference on Computer Vision. 2011. Pp. 153-160.
13.Li D., Winfield D., Parkhurst D.J. Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)-Workshops. 2005. Pp. 79-87.
14.Stiefelhagen R., Yang J., Waibel A. Tracking eyes and monitoring eye gaze // Proc. Workshop on Perceptual User Interfaces. 1997. Pp. 98-100.
15.Sugano Y. et al. Appearance-based gaze estimation with online calibration from mouse operations // IEEE Trans. Human-Machine Syst. IEEE, 2015. Vol. 45. № 6. Pp. 750-760.
16.Williams O., Blake A., CipollaR. Sparse and Semi-supervised Visual Mapping with the SA 3GP // 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). 2006. Vol. 1. Pp. 230-237.
17.Lai C.-C. et al. Appearance-based gaze tracking with free head movement // 2014 22nd International Conference on Pattern Recognition. 2014. Pp. 1869-1873.
18.Kim S.I. etal. An algorithm to detect a center of pupil for extraction of point of gaze // The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 2004. Vol.
I. Pp. 1237-1240.
19.Goni S. et al. Robust algorithm for pupil-glint vector detection in a video-oculography eye-tracking system // Proceedings of the 17th International Conference on Pattern Recognition. 2004. ICPR2004. 2004. Vol. 4. Pp. 941-944.
20.Timm F., Barth E. Accurate eye centre localisation by means of gradients. // Visapp. 2011. Vol.
II. Pp. 125-130.
21.Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Commun. ACM. ACM, 1981. Vol. 24. № 6. Pp. 381-395.
Информация об авторах
Хисамутдинов Максим Владимирович, кандидат технических наук, старший научный сотрудник. E-mail: xisamutdinov86@mail.ru. Общество с ограниченной ответственностью «Научно-исследовательский институт многопроцессорных вычислительных и управляющих систем» (ООО "НИИ МВУС"). Россия, 347905, г. Таганрог, ул. Социалистическая, д. 150-г.
Коровин Яков Сергеевич, кандидат технических наук, директор. E-mail: korovin_yakov@mail.ru. НИИ многопроцессорных вычислительных систем им. академика А.В. Каляева Южного федерального университета, Россия, 347928, г. Таганрог, Ростовская область, ул. Чехова, 2, ГСП-284.
Иванов Донат Яковлевич, кандидат технических наук, старший научный сотрудник. E-mail: donat.ivanov@gmail.com. НИИ многопроцессорных вычислительных систем им. академика А.В. Каляева Южного федерального университета, Россия, 347928, г. Таганрог, Ростовская область, ул. Чехова, 2, ГСП-284.
Поступила в июле 2019 г.
© Хисамутдинов М.В., Коровин Я.С., Иванов Д.Я., 2019
1Khisamutdinov M. V., 2Korovin I.S. 2 *Ivanov D. Ya.
1OOO "NIIMVUS" 'Russia, 347905, Rostov region, Taganrog, Socialisticheskaya str., 150-g.
2Southern Federal University, Taganrog 2Russia, 347900, Rostov region, Taganrog, Chekhov str., 2, GSP-284 *E-mail: donat. ivanov@gmail. com
ADVANCED HUMAN-ROBOT INTERFACE WITH ANGMENTED REALITY
Abstract. The problem of managing robots and robots coalitions is one of the limiting factors that stand in the way of the introduction of robots and multi-robot systems. Overcoming this problem is to increase the level ofautonomy of robots, as well as the improvement of remote control interfaces of robots. At the interfaces of human and robot interaction, mechanical controls, such as buttons, joysticks and touch screens, prevail at the moment. All of them require the operator to use hand and / or foot movements. One of the promising areas of interface development is the use of tracking the direction and nature of the operator's gaze. The article proposes the use of an extended human-robot interface with augmented reality, based on the principles of tracking the gaze of a human operator when analyzing video data from the on-board video system of the robot. The design of augmented reality glasses, characterized by simplicity and affordability ofperformance, is proposed. This design uses a typical smartphone and case, which can be made using 3D printing. At the same time, there are no additional sources of illumination of the operator's eyes, with the exception of the smartphone screen. An example of software implementation for such an interface is shown.
Keywords: eye gaze detection, human-robot interface, augmented reality.
REFERENCES
1. Froimson M.I. et al. System for determining the direction of the user's gaze in real time [Sistema opredeleniya napravleniya vzglyada pol'zovatelya v rezhime real'nogo vremeni]. Spetstekhnika i svyaz'. Obshchestvo s ogranichennoy otvetstvennost'yu" Spetstekhnikai svyaz'", 2013. No. 3. Pp. 32-34. (rus)
2. Malin I. Tracking the direction of the gaze in real time without using special video equipment [Ot-slezhivanie napravleniya vzglyada v real'nom vremeni bez ispol'zovaniya spetsial'noy videoappa-ratury]. Trudy «23-y mezhdunarodnoy konferenktsii po komp'yuternoy grafike i zreniyu». Institut avtomatiki i protsessov upravleniya DVO RAN, Dal'nevostochnyy federal'nyy universitet, 2013. Pp. 294-297. (rus)
3. Hansen D.W., Ji Q. In the eye of the beholder: A survey of models for eyes and gaze. IEEE
Trans. Pattern Anal. Mach. Intell. IEEE, 2009. Vol. 32. No. 3. P. 478-500.
4. Lupu R.G., Ungureanu F., Siriteanu V. Eye tracking mouse for human computer interaction. 2013 E-Health and Bioengineering Conference (EHB). 2013. Pp. 1-4.
5. Zhu Z., Ji Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Comput. Vis. Image Un-derst. Elsevier. 2005. Vol. 98. No. 1. Pp. 124-154.
6. Morimoto C.H., Mimica M.R.M. Eye gaze tracking techniques for interactive applications. Comput. Vis. image Underst. Elsevier, 2005. Vol. 98. No. 1. Pp. 4-24.
7. van der Geest J.N., Frens M.A. Recording eye movements with video-oculography and scleral search coils: a direct comparison of two methods. J. Neurosci. Methods. Elsevier, 2002. Vol. 114. No. 2. Pp.185-195.
8. Ferhat O., Vilarino F. Low cost eye tracking. Comput. Intell. Neurosci. Hindawi Publishing Corp. 2016. Vol. 2016. Pp. 17.
9. ChennammaH.R., Yuan X. A survey on eye-gaze tracking techniques. arXiv Prepr. arXiv1312.6410. 2013. Pp. 388-393.
10.Lu F. et al. A head pose-free approach for appearance-based gaze estimation. BMVC. 2011. Pp. 1-11.
11.Wang Y. et al. Appearance-based gaze estimation using deep features and random forest regression. Knowledge-Based Syst. Elsevier. 2016. Vol. 110. Pp.293-301.
12.Lu F. et al. Inferring human gaze from appearance via adaptive linear regression. 2011 International Conference on Computer Vision. 2011. Pp. 153-160.
13.Li D., Winfield D., Parkhurst D.J. Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05)-Workshops. 2005. Pp. 79-87.
14.Stiefelhagen R., Yang J., Waibel A. Tracking eyes and monitoring eye gaze. Proc. Workshop on Perceptual User Interfaces. 1997. Pp. 98-100.
15.Sugano Y. et al. Appearance-based gaze estimation with online calibration from mouse operations. IEEE Trans. Human-Machine Syst. IEEE,
2015. Vol. 45. No. 6. Pp. 750-760.
16.Williams O., Blake A., CipollaR. Sparse and Semi-supervised Visual Mapping with the SA 3GP. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). 2006. Vol. 1. P. 230-237.
17.Lai C.-C. et al. Appearance-based gaze tracking with free head movement. 2014 22nd International Conference on Pattern Recognition. 2014. Pp.1869-1873.
18.Kim S.I. etal. An algorithm to detect a center of pupil for extraction of point of gaze. The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 2004. Vol. 1. Pp.1237-1240.
19.Goni S. et al. Robust algorithm for pupil-glint vector detection in a video-oculography eye-tracking system. Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR2004. 2004. Vol. 4. Pp. 941-944.
20.Timm F., Barth E. Accurate eye centre localisation by means of gradients. Visapp. 2011. Vol. 11. Pp.125-130.
21.Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM. ACM, 1981. Vol. 24. No. 6. Pp.381-395.
Information about the authors
Khisamutdinov, Maxim V. PhD, Senior Researcher. E-mail: xisamutdinov86@mail.ru. OOO "NII MVUS". Russia, 347928, Taganrog, Socialisticheskaya st, 150-g.
Korovin, Iakov S. PhD, Director. E-mail: korovin_yakov@mail.ru. Southern Federal University. Russia, 347928, Taganrog, Chehova st, 2, GSP-284.
Ivanov, Donat Ya. PhD, Senior Researcher. E-mail: donat.ivanov@gmail.com. Southern Federal University. Russia, 347928, Taganrog, Chehova st, 2, GSP-284.
Received in July 2019 Для цитирования:
Хисамутдинов М.В., Коровин Я.С., Иванов Д.Я. Расширенный интерфейс человек-робот с дополненной реальностью // Вестник БГТУ им. В.Г. Шухова. 2019. № 9. С. 113-120. DOI: 10.34031/arti-cle_5da462c755b439.16983955
For citation:
Khisamutdinov M.V., Korovin I.S., Ivanov D.Ya. Advanced human-robot interface with angmented reality. Bulletin of BSTU named after V.G. Shukhov. 2019. No. 9. Pp. 113-120. DOI: 10.34031/arti-cle 5da462c755b439.16983955
