CC BY
43performance of our technique, we have collected a small but challenging dataset of 11 dynamic gestures by the LM sensor. Then the feature vectors of all gestures have been extracted. Besides, the experimental database has been extended to achieve early recognition. Subsequently, we have utilized the train set to model the SVM, while the test set has been used to detect the performance. Finally, the experimental results demonstrate the effectiveness of the proposed method.
In this work, we utilized features based only in positional information. Further research will be devoted to the introduction of novel feature descriptors and to the extension of the suggested approach to the recognition of dynamic gestures exploiting also the temporal information. In addition, we will look to incorporate an alternative model, such as a the hidden markov model, as a segmentation method to determine probable start and stop points for each gesture, and then input the identified frames of data into the convolutional neural network model for gesture classification.
References
1. Leap Motion Controller. [Electronic resource]. URL: https://www.leapmotion.com/ (date of acces: 10.11.2014).
2. Abdallah M. Ben, Kallel Med., Bouhlel Med. S. "An overview of gesture recognition," IEEE, 6th International Conference on Sciences of Electronics, Technologies of Information and Telecommunications (SETIT). Pp. 20-24, 2012.
3. Vikram Sharad, Li Lei, Russell Stuart. "Handwriting and Gestures in the Air, Recognizing on the Fly". In Proceedings of the CHI 2013 Extended Abstracts. Paris. France, 2013.
4. Weichert F., Bachmann D., Rudak B., Fisseler D. "Analysis of the accuracy and robustness of the leap motion controller". Sensors. Vol.13. Pp. 6380-6393, 2013.
5. Rajesh B. Mapari, Govind Kharat. "Real Time Human Pose Recognition Using Leap Motion Sensor". ICRCICN. IEEE, 2015.
6. Bassem Khelil, HamidAmiri. "Hand Gesture Recognition Using Leap Motion Controller for Recognition of Arabic Sign Language". 3rd International conference ACECS'16, 2016.
СОВМЕЩЕНИЕ ТЕХНОЛОГИЙ ОТСЛЕЖИВАНИЯ ВЗГЛЯДА, РАСПОЗНАВАНИЯ ЭМОЦИЙ И УЯ Кармадонов В.Ю.
Кармадонов Виталий Юрьевич - магистр, специальность: программная инженерия, Иркутский государственный университет путей сообщения, г. Иркутск
Аннотация: в статье рассматриваются последние тенденции в совмещении и внедрении технологий для улучшения VR опыта пользователя.
Ключевые слова: V, виртуальная реальность, vr технологии, отслеживание эмоций, отслеживание взгляда.
УБ, распознавание эмоций и отслеживание взгляда — троица новых технологий в быстроразвивающихся областях, которые коммерчески привлекательны для инвесторов, смотрящих на десятилетие вперёд в развлекательной и обучающей индустрии.
В последнее время эти технологии хотят взять на вооружение многие разработчики, и, создать принципиально новую технологию, продукт нового
поколения, позволяющую передать и получить незабываемый опыт. Рассмотрим всё это поподробнее.
VR - в современных реалиях прежде всего игровое развлечении, дающее возможность ощутить фантастические эмоции: почувствовать себя пилотом истребителя, снайпером будущего, быть средневековым рыцарем.
Но, для того чтобы VR обеспечивало неописуемые впечатления, необходимо полное погружение в процесс и виртуальную среду. Должны быть осуществлены элементы естественной коммуникации: тактильный, звуковой и зрительный контакт. Но, реализация данных средств стоит немалых трудозатрат со стороны разработчиков, к тому же, необходимо решать возникающие проблемы и попутно создавать новые технологические решения для более лучшего пользовательского опыта.
Игровая разработка адаптирует и использует новейшие технологии. Например, отслеживание взгляда (в виде программных и самодостаточных аппаратных реализаций) уже используются в играх для разных платформ, тогда как в других областях внедрение этих разработок до сих пор не реализовано. [1]
В связи с этим, многие крупные компании разработки начинают совмещать VR -гарнитуры и технологии для отслеживания взгляда. Например, шведская компания Tobii вступила в союз с разработчиком процессоров Qualcomm , и, как считают многие аналитики, в скором времени представят новые технологические решения для многих платформ. Разработчик программно -аппаратного обеспечения Oculus (подразделение Facebook) поглотил стартап TheEyeTribe (уже существует демо -версия продукта). Компания Apple приобрела крупную немецкую компанию, разработчика гарнитуры дополненной реальности Vrvana, но пока никаких анонсов не поступало.
Внедрение функции отслеживания взгляда в VR, к примеру, предоставляет способ пользователю манипулировать предметами взглядом (из самого простого, чтобы что-то «взять» или активировать пункт из меню). Однако это решение может порождать проблему Мидаса (King Midas and the Golden Gaze), когда пользователь вместо осуществления визуального просмотра, активирует доступные для объекта функции взаимодействия, заранее заданное разработчиками. [2]
Центральной проблемой при разработке интерфейсов отслеживания взгляда является так называемая проблема Мидаса. Если интерфейс, ориентированный на взгляд, реализуется прямолинейно, то каждая фиксация на элементе интерфейса приведет его активации, даже если пользователь не имеет такого намерения. Существует два подхода к решению этой проблемы. Один из них заключается в использовании движения в качестве индикатора, предполагающий намерение пользователя выполнить команду. Типичным примером является использование миганий в качестве такой команды. Недостатки использования миганий очевидны. Они приводят к высокому дискомфорту пользователя, к тому же, непроизвольные мигания могут привести к ложным срабатываниям. [3]
Другие альтернативы (движения лицевых мышц, электроэнцефалографические корреляты воображаемых движений) еще менее пригодны к обнаружению команд, и, подвержены ошибкам, им требуется размещение датчиков на пользователе.
Другим более эффективным методом является измерение задержки взгляда пользователя на объекте. Если время задержки превышает некоторое пороговое значение, элемент активируется. Порог выбирается и подстраивается так, чтобы быть больше, чем продолжительность типичного осмотра. Типичные значения порога находятся в пределах 500мс и 1000мс.
Такой подход требует от пользователя добровольное фиксирование взгляда на предполагаемый элемент интерфейса в течение срока, который превышает продолжительность естественной фиксации. Но, это замедляет работу и доставляет дискомфорт пользователю, а также напрягает глаза. [4]
Для более реалистичного взаимодействия VR в социальных сетях и онлайн играх, в первую очередь, образы пользователей должны изображать естественные выражения эмоций. На данном этапе развития можно выделать два воплощения: использование дополнительных аппаратных средств и программные решения.
К примеру, разработчики MindMaze's MASK рассматривают использование дополнительных датчиков внутри гарнитуры, которые замеряют электро-активность мышц лица. Разработчики провели демонстрацию алгоритма, который на основании показателей датчиков может предсказать мимику пользователя с последующей детализацией образа.
Разработчики Veeso оснастили VR гарнитуру дополнительной камерой, которая производила отслеживающие движений мышц щек, челюсти и губ. Совмещая показания с лица и глаз, производится распознавание эмоций всего лица целиком для отображения на виртуальный образ.
Команда из Georgia Institute of Technology в союзе с различными подразделениями Googk, представила свою разработку распознавания эмоций пользователя в гарнитуре виртуальной реальности минуя использования дополнительных датчиков. Алгоритм базируется на сверточной нейросети и распознает эмоции на лице в среднем в 74% случаев. Для обучения нейросети разработчики использовали специальный набор изображений глаз с специальных инфракрасных камер устройства отслеживания взгляда, сделанных во время демонстрации заданной эмоции участникам в гарнитуре виртуальной реальности. В дополнение, база изображений для обучения включала в себя эмоции всего лица участников, которые были записаны на простую видеокамеру. [5]
Список литературы
1. Кармадонов В.Ю. Основные методы и стандарты при разработке приложений виртуальной реальности // Достижения науки и образования № 8 (30). Том 2, 2018.
2. Eye-tracking is a Game Changer for VR That Goes Far Beyond Foveated Rendering [Электронный ресурс]. Режим доступа: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/ (дата обращения: 10.05.2018).
3. Tobii Pro Brings Eye Tracking Analytics to VR [Электронный ресурс]. Режим доступа: https://www.tobii.com/group/news-media/press-releases/2018/5/tobii-pro-brings-eye-tracking-analytics-to-vr/ (дата обращения: 02.06.2018).
4. Tobii Pro VR Analytics. [Электронный ресурс]. Режим доступа: https://www.tobiipro.com/product-listing/vr-analytics/ (дата обращения: 05.06.2018).
5. Emotion tracking sensors add feelings to virtual reality [Электронный ресурс]. Режим доступа: https://eandt.theiet.org/content/articles/2016/09/emotion-tracking-sensors-add-feelings-to-virtual-reality/ (дата обращения: 17.04.2018).
