CC BY
25
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2017 - V. 24, № 2 - P. 152-157
УДК: 004.5 DOI: 10.12737/article_5947d43a55d805.86585568
ИНФОРМАЦИОННАЯ СИСТЕМА ДОПОЛНИТЕЛЬНОГО КАНАЛА ОБРАТНОЙ СВЯЗИ ДЛЯ ВИДЕООКУЛОГРАФИЧЕСКИХ ИНТЕРФЕЙСОВ ЧЕЛОВЕК-КОМПЬЮТЕР
Я.А. ТУРОВСКИЙ*, А.В. АЛЕКСЕЕВ*, Ю.А. ИППОЛИТОВ"
'Воронежский государственный университет, Университетская пл. д. 1, г. Воронеж, 394006, Россия "Воронежский государственный медицинский университет, ул. Студенческая, д. 10, г. Воронеж, 394036, Россия
Аннотация. На основе общепринятой схемы видеоокулографического интерфейса разработан программно-аппаратный комплекс, содержащий дополнительный канал обратной связи. Данный канал обеспечивает информирование пользователя о том, как соотносятся программно-аппаратной частью интерфейса текущее положение зрачка (направление взгляда) или паттерн движения глаз с теми или иными командами генерируемыми интерфейсом для передачи на внешние устройства-эффекторы (компьютер, самоходное шасси, дрон и т.д.). Таким образом, обеспечивается дополнительная обратная связь, несущая информацию не только о выполнении команд в виде изменения параметров функционирования устройств-эффекторов, но и о текущих решениях ещё вырабатываемых интерфейсом, однако ещё не переданных на исполняющие устройства. В зависимости от технического уровня и особенностей восприятия пользователя эта информация может быть представлена в виде видео, световых или звуковых сигналов. В случае видеопредставления наиболее оптимально использование очков дополненной реальности транслирующих информационное видеоизображение, совмещённое с тем, что видит пользователь через систему линз в окружающем пространстве. При применении звуковых сигналов, их тональность, или мелодия меняются в зависимости от того, какие именно паттерны или какое именно положение зрачка в настоящий момент детектируются интерфейсом. Таким образом, отпадает необходимость в частых калибровках взаиморасположения камеры по отношению к глазу пользователя, что особенно актуально в случае свободного перемещения человека. Помимо этого, пользователю существенно упрощается генерация команд, т.к. отпадает необходимость в высокоамплитудных перемещениях зрачка, и его дальнейших низкоамплитудных «поисковых» движениях для генерации команды. Созданное программно-аппаратное решение существенно расширяет возможности обучения применению видеоокулографического интерфейса и делает более простым и доступным его применение особенно в условиях свободного передвижения пользователя. Разработка может быть полезна в расширении коммуникации с внешним миром людей с ограниченными возможностями.
Ключевые слова: биологическая обратная связь, интерфейсы человек-компьютер, окулография.
INFORMATION SYSTEM OF ADDITIONAL CHANNEL OF FEEDBACK FOR VIDEO OKULOGRAPHIC
INTERFACES HUMAN-COMPUTER
Ya.A. TUROVSKY*, A.V. ALEKSEEV*, Yu.A. IPPOLITOV**
'Voronezh State University, University sq., 1, Voronezh, 394006, Russia **Voronezh State Medical University, Studencheskaya str., 10, Voronezh, 394036, Russia
Abstract. Based on the generally accepted video oculograhic interface, a software and hardware complex was developed that contains an additional feedback channel. This channel provides information to the user on how the software and hardware of the interface correlate with the current position of the pupil (eye direction) or the eye movement pattern with those or other commands generated by the interface for transmission to the external effector-devices (computer, self-propelled chassis, drone etc.). Thus, additional feedback is provided that carries information not only about executing commands in the form of changing the parameters of the effector-device operation, but also about the current solutions still generated by the
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2017 - V. 24, № 2 - P. 152-157
interface, but not yet transferred to the executing devices. Depending on the technical level and the characteristics of the user's perception, this information can be presented in the form of video, light or sound signals. In the case of video presentation, it is most optimal to use the augmented reality glasses that broadcast the information video image, combined with what the user sees through the lens system in the surrounding space. When sound signals are used, their tonality or melody changes depending on which particular patterns or which position of the pupil are currently detected by the interface. Thus, there is no need for frequent calibration of the relative position of the camera with respect to the user's eye, which is especially important in case of free movement of a person. In addition, the user significantly simplifies the generation of commands, because there is no need for high-amplitude movements of the pupil, and its further low-amplitude "search" motions for the generation of the team. The created software and hardware solution significantly expands the training possibilities for using the video oculografic interface and makes it easier and more accessible especially in conditions of free movement of the user. Development can be useful in expanding communication with the outside world of people with disabilities.
Key words: biological feedback, human-computer interfaces, oculography.
Введение. Набирающие в настоящее время популярность видоокулографические интерфейсы человек- компьютер могут быть использованы как дополнение к уже существующим классическим интерфейсам: клавиатуре, джойстику, мыши, так в качестве самостоятельных интерфейсов для людей с ограниченными возможностями.
Существующие в настоящие время видео-кулографические интерфейсы обеспечивают видеорегистрацию положения зрачка или его движений и превращают по тем или иным алгоритмам полученные результаты в команды для внешнего устройства, которым может являться самоходное шасси, дрон, компьютер [1-3]. При этом, обратная связь по положению глаза и/или паттерну его движения осуществляется исключительно исходя из анализа пользователем поведения устройства эффектора (например, дро-на или самоходного шасси) или изображения на экране компьютера (в случае, например, набора текста). При этом очевидно, что пользователь не видит какие именно команды (паттерны) в текущем движении и положении глаза и как интерпретирует программно-аппаратная часть видеоокулографического интерфейса. В итоге это может приводить к тому, что пользователь, по сути, будет управлять через интерфейс устройством методом проб и ошибок. Ситуация стоит остро именно в случае управления самоходным шасси, дроном при свободном перемещении пользователя, поскольку при управлении положением курсора дополнительный канал обратной связи всё-таки присутствует в виде самого положения курсора. Проблема усугубляется тем, что калибровка всего видеоокулогра-фического интерфейса осуществляется в начале
его работы и при активном движении пользователя положение закреплённой на его голове камеры и, следовательно, «привязанной» к ней координатной сетки будет хоть незначительно, но изменятся. Как следствие - положение и/или паттерны движения зрачка, формирующие команды должны будут измениться. Тем самым складывается ситуация когда пользователь вынужден менять паттерны положения и/или движения глаз, не имея представления о том как именно они должны изменяться для достижения необходимого результата в виде команд.
Целью разработки является улучшение работы видеоокулографических интерфейсов за счёт разработки дополнительного канала обратной связи, информирующего пользователя о ходе обработки изображения глаз самим окулографическим интерфейсом.
Материалы и методы: реализация программно-аппаратного комплекса. Для разработки программно-аппаратного комплекса использовалась среда разработки Microsoft Visual Studio 2015 и язык программирования С# так как они предоставляют наиболее полные возможности для достижения целей и задач в рамках разработки. Кроме того программные библиотеки, которые использовались при создании программно-аппаратного комплекса поддерживают язык C#, что существено ускоряет процесс разработки. В качестве детектора положения глаза в программно-аппаратном комплексе использовалась web-камера Defender C-090, c параметрами: число пикселей в светочувствительно матрице 0.3 Мпикс, разрешение 640 на 480 пикс., угол обзора объектива 54 градуса, интерфейс Usb 2.0. Данная камера была включена в комплекс, так как имеет легко сни-
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2017 - V. 24, № 2 - P. 152-157
маемый инфракрасный фильтр, удаление которого расширяет диапазон воспринимаемых светочувствительной матрицей длин волн. При использовании с ИК-диодом малой мощности данный подход позволят получить практически полноценную ИК-камеру, использование которой позволяет удалить множество помех еще во время съемки. Оптимальным для работы системы являются следующие параметры компьютера ОС Windows 7-10, ЦП Intel Pentium CPU B960 2,2 ГГц, ОЗУ не ниже 2 ГБ, оптимально 4 ГБ, SSD-64 ГБ. Использование ноутбуков позволяет оператору перемещаться и управлять системой одновременно. Кроме этого ресурсы ноутбука позволяют одновременно совмещать работу ряда иных программ, что позволяет записывать и обрабатывать большое количество различных данных.
Результаты и их обсуждение. Рассмотрим основные схемы реализации работы ви-деоокулографического интерфейса (рис.1), используемого в рамках реабилитационных мероприятий, и для управления различными внешними устройствами: компьютером, самоходным шасси и т.д. В качестве реализации ви-деокулографического интерфейса была разработана оригинальная информационная система [4,5], позволяющая на основе стандартной видеокамеры с извлеченным инфракрасным (ИК) фильтром получить более четкое, по сравнению с камерой с оставленным ИК фильтром, изображение области глаза. Для ИК камеры был изготовлен специальный держатель, который крепится на голове пользователя и предоставляет возможность изменения положения камеры, что позволяет осуществлять настройку изображения, поступающего с камеры, не зависимо от формы головы, удовлетворить требованиям удобства испытуемого, а также расположить камеру так, чтобы она не закрывала обзора. Согласно рис 1. схема работы информационной системы в «классической компоновке» выглядит следующим образом. Существует видеокамера (1) фиксирующая положение зрачка пользователя. Для улучшения качества изображения при крайних положениях зрачка информационная система допускает дополнительную к существующей установку до трёх камер. Изображение по выходу видеокамеры попадает на вход блока обработки изображения (2) который обеспечивает фильтрацию и предварительную обработку изображения
(рис. 2). При этом решается задача повышения контрастности изображения, удаления фрагментов изображения не связанных с движением зрачка, выделения центра зрачка, определение взаимоположения зрачка и сформированных в ходе калибровки зоны команд. Программный пакет, разработанный для этого интерфейса, использует фильтрацию изображения и, учитывая уровень освещенности участка глаза, выбирает метод детектирования зрачка - «яркий» или «темный». Такой метод дополнен системой подавления шума, который появляется из-за различных факторов (например, из-за вспышки света, бликов от ресниц, бровей) и может помешать правильной обработке изображения глаза (рис. 2). Этот программный пакет также регулирует степень чувствительности ИК камеры к свету в зависимости от освещенности объекта.
Рис. 1. Блок-схема видеоокулографического интерфейса
Рис. 2. Исходное изображение после перевода в вариант чёрно-белого изображения до пространственной и градиентной фильтрации (слева) и после неё (справа)
10иККЛЬ ОБ ОТШ МЕБТСЛЬ ТЕСЫК0ШЫЕ8 - 2017 - V. 24, № 2 - Р. 152-157
Выход блока обработки изображения в свою очередь подключен ко входу блока выработки команд (3), который обеспечивает на основе полученных данных формирование тех или иных команд для внешних устройств. По сути, происходит соотнесение координат зрачка, оценка времени, в течение которого зрачок находился в том или ином положении, и выработка на основе полученных данных команд, в том числе команд на не совершение какого-либо действия. Полученные команды через выход блока (3) подключенного к устройствам эффекторам (4) передаются на них, обеспечивая совершение тех или иных действий.
Рис. 3. Схемы положения зрачка интерпретируемые информационной системой видеоокулографическо-го интерфейса как команды для управления самоходным шасси. Треугольник - «назад», ромб - «налево», квадрат - «вперёд», заштрихованный круг -«направо», незаштрихованный круг - «стоять на месте»
Очевидным недостатком данной схемы функционирования видеоокулографического интерфейса является невозможность пользователю видеть текущее состояние работы интерфейса. Иными словами пользователь не видит, как в текущий момент соотносится положение зрачка, которое служит для генерации команд и собственно область пространства изображения, соответствующее этой команде. Это приводит к тому, что пользователь вынужден совершать значительное количество дополнительных движений глазом, меняет направление взгляда, что негативно сказывается на процессе управления. Действительно, в ходе обучения работе с окулографическим интерфейсом пользователь учится соотносить направление взгляда с той или иной командой, при этом сохраняя возможность наблюдения за окружающими объектами, без чего, естественно, каче-
ственный процесс управления невозможен. На рис. 3 представлены результаты движения зрачка, детектируемого как команды у обученного пользователя: нетрудно заметить, что в большинстве случаев положении зрачка формирует компактные пространственные кластеры, что отражает результат обучения пользователя.
Однако очевидно, что при смещении регистрирующей положение глаза видеокамеры относительно головы пользователя, имеющиеся координаты уже не будут соответствовать командам, и пользователь вынужден будет вновь обучаться. Таким образом, необходимо обеспечить пользователя информацией о том, какие области плоскости проекции положения зрачка соответствуют каким командам. Решением данной задачи из создавшей ситуации является использование двухвыходного блока выработки команд (3). Если выход №1 по прежнему передаёт команды на устройства-эффекторы, то выход №2 блока подключенный к блоку дополнительной обратной связи (5) при этом блок дополнительной обратной связи формирует видео и/или свето- и/или звуковые стимулы информирующие пользователя ви-деоокулографическим интерфейсом о текущем положении глаза (паттернах движения) которые интерпретируются программно-аппаратной частью видеоокулографического интерфейса как команды на устройства эффекторы (рис. 4).
В зависимости от технического уровня и особенностей восприятия пользователя эта информация может быть представлена в виде видео, световых или звуковых сигналов. В случае видеопредставления наиболее оптимально использование очков дополненной реальности транслирующих информационное видеоизображение, совмещённое с тем, что видит пользователь через систему линз в окружающем пространстве. Данный вариант является наиболее оптимальным, поскольку обеспечивается широкий спектр возможностей для демонстрации пользователю необходимой информации в виде изображений, пиктограмм, цветовых гамм. При этом возможен выбор решений исходя из индивидуальных пожеланий пользователя или же адаптация для лучшего понимания сообщаемой информации.
В случае технических или финансовых ограничений в разработанной информационной системе допускается использование звуковых
10иККЛЬ ОБ ОТШ МЕБТСЛЬ ТЕСЫК0ШЫЕ8 - 2017 - V. 24, № 2 - Р. 152-157
сигналов, или световых стимулов. При применении звуковых сигналов, их тональность, или мелодия меняются в зависимости от того, какие именно паттерны или какое именно положение зрачка в настоящий момент детектируются интерфейсом. Возможность настройки мелодий и параметров звуковых сигналов позволяет пользователю выбирать наиболее удобные для него варианты обратной связи. К недостаткам данного варианта обратной связи следует отнести то, что он ограничивает возможности использования слухового анализатора для иных задач.
Светостимуляция наименее удобный вариант в первую очередь потому, что наличие дополнительного источника видимого света недалеко от глаза сильно ограничивает восприятие человеком окружающей обстановки. Помимо этого, наличие подсветки весьма утомительно: со временем наблюдается снижение критической частоты слияния световых мельканий и скорости реакции пользователя.
устройствами.
Рис. 4. Блок-схема видеоокулографического интерфейса с дополнительным блоком обратной связи
Наличие дополнительного канала обратной связи убирает необходимость в частых калибровках взаиморасположения камеры по отношению к глазу пользователя, что особенно актуально в случае свободного перемещения человека. Действительно, даже при тщательно подогнанном держателе длительные и относительно резкие движения головы приводят к тому, что происходят незначительные(порядка нескольких миллиметров) смещения держателя по отношению к голове. Однако эти незначительные смещения приводят к тому, что ранее полученные на основе калибровки границы областей принятия решений на выработку команд управления, также смещаются. Следовательно, должны измениться и паттерны движения зрачка, формирующие команды для интерфейса. Очевидно, что эти изменения приведут к неустойчивому управлению внешними
Рис. 5. Видео изображение для управления дроном с помощью видеоокулографического интерфейса с очками дополненной реальности. Чёрные прямоугольники области соответствующие командам управления - отмеченный стрелкой серый прямоугольник - область, на которую в данный момент смотрит пользователь, формирую для дрона команду «набор высоты»
Созданное программно-аппаратное решение существенно расширяет возможности обучения применению видеоокулографического интерфейса и делают более простым и доступным его применение особенно в условиях свободного передвижения пользователя. Разработка может быть полезна в расширении коммуникации с внешним миром людей с ограниченными возможностями.
Выводы и заключение:
1. Разработана информационная система, формирующая дополнительный канал связи для видеоокулографических интерфейсов.
2. Продемонстрированы различные особенности реализации дополнительного канала обратной связи для видеоокулографических интерфейсов.
3. Апробировано три варианта дополнительного канала обратной связи: видео вариант с очками дополненной реальности, звукости-мулярующий вариант и фотостимулирующий вариант. Наиболее эффективным является вариант с очками дополненной реальности, наименее эффективным - с фотостимуляцией.
На основе общепринятой схемы видеоку-лограического интерфейса разработан программно-аппаратный комплекс, содержащий дополнительный канал обратной связи. Данный канал обеспечивает информирование пользователя о том, как соотносятся программно-аппаратной частью интерфейса текущее положение зрачка (направление взгляда) или паттерн движения глаз с теми или иными
ВЕСТНИК НОВЫХ МЕДИЦИНСКИХ ТЕХНОЛОГИЙ - 2017 - Т. 24, № 2 - С. 152-157 JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2017 - V. 24, № 2 - P. 152-157
командами генерируемыми интерфейсом на внешние устройства-эффекторы (компьютер, самоходное шасси, дрон и т.д.). Таким образом, обеспечивается обратная связь несущая информацию не только о выполнении команд в виде изменения параметров функционирования устройств-эффекторов, но и о текущих решениях ещё вырабатываемых интерфейсом, но ещё не переданных на исполняющие устройства. В зависимости от технического уровня и особенностей восприятия пользователя эта информация может быть представлена в виде видео, световых или звуковых сигналов. В случае видео представления наиболее оптимально использование очков дополненной реальности транслирующих информационное видеоизображение, совмещённое с тем, что видит пользователь через систему линз в окружающем пространстве. При применении звуковых сигналов, их тональность, или мелодия меняются в зависимости от того, какие именно паттерны
или какое именно положение зрачка в настоящий момент детектируются интерфейсом. Таким образом, отпадает необходимость в частых калибровках взаиморасположения камеры по отношению к глазу пользователя, что особенно актуально в случае свободного перемещения человека. Помимо этого, для пользователя существенно упрощается генерация команд т.к. отпадает необходимость в высокоамплитудных перемещениях зрачка, и его дальнейших низкоамплитудных «поисковых» движениях для генерации команды расположенной в известной пользователю области. Созданное программно-аппаратное решение существенно расширяет возможности обучения применению видеоокулографического интерфейса и делают более простым и доступным его применение особенно в условиях свободного передвижения пользователя. Разработка может быть полезна в расширении коммуникации с внешним миром людей с ограниченными возможностями.
Авторы выражают признательность Кургалину С.Д. Работа выполнена при поддержке гранта РФФИ (грант 16-29-08342-офи_м).
Литература
1. Барабанщиков В.А., Жегалло А.В. Айтрекинг: Методы регистрации движений глаз в психологических исследованиях и практике. М.: Когито-Центр, 2014. 128 с.
2. Игнатовский В.В., Пестунов Д.А. Обработка данных окулографии с помощью АЯМ-микроконтроллера и компьютера // Вестник науки Сибири. 2014. № 3 (13). С. 53-57.
3. Кургалин С.Д., Алексеев А.В., Туровский Я.А. Компьютерная система мониторинга движения глаз. Информатика: проблемы, методология, технологии // Материалы XV Международной научно-методической конференции. Воронеж, 2015. С. 178-180.
4. Алексеев А.В., Туровский Я.А., Стогний О.С., Киселёва Е.В. Еуе_РигроБе_У1№ 2014660844 Зарегистрирован 16 октября 2014 года в реестре программ для ЭВМ
5. Туровский Я.А., Алексеев А.В., Киселёва Е.В., Шапошникова Т.В. GLAZDVIG 1.0№ 2014614928 Зарегистрирован 14 мая 2014 года в реестре программ для ЭВМ
References
Barabanshchikov VA, Zhegallo AV. Aytreking: Meto-dy registratsii dvizheniy glaz v psikhologicheskikh issledovaniyakh i praktike [Aytreking: Methods of registration of eye movements in psychological research and practice]. Moscow: Kogito-Tsentr; 2014. Russian.
Ignatovskiy VV, Pestunov DA. Obrabotka dannykh okulografii s pomoshch'yu ARM-mikrokontrollera i komp'yutera [Processing of oculography data using ARM-microcontroller and computer]. Vestnik nauki Sibiri. 2014;3(13):53-7. Russian. Kurgalin SD, Alekseev AV, Turovskiy YaA. Komp'yu-ternaya sistema monitoringa dvizheniya glaz. Infor-matika: problemy, metodologiya, tekhnologii [Computer monitoring system of eye movement. Informatics: problems, methodology, technologies]. Materialy XV Mezhdunarodnoy nauchno-metodicheskoy konfe-rentsii. Voronezh; 2015. Russian. Alekseev AV, Turovskiy YaA, Stogniy OS, Kiseleva EV. Eye_Purpose_V1 No. 2014660844 Registered on October 16, 2014 in the registry of computer programs. Russian.
Turovskiy YaA, Alekseev AV, Kiseleva EV, Shaposh-nikova TV. GLAZDVIG 1.0 № 2014614928 It was registered on May 14, 2014 in the register of computer programs. Russian.
