CC BY
27УДК 069.15:303.425
Н. И. Ахтамзян
Перспективы использования интерфейсов на основе отслеживания взгляда посетителей для управления мультимедийным контентом в музее
С момента появления вычислительной техники интерфейсы пользовательского взаимодействия с ней эволюционировали от опосредованных (клавиатура, мышь) к естественным, «базирующимся на физиологических способностях человека без участия дополнительных гаджетов» [1]. При их использовании «стирается грань между интерфейсами ввода-вывода и человеческой телесностью» [2].
Естественные интерфейсы, в свою очередь, разделяются на голосовые (сервисы голосовых помощников), сенсорные (тач-панели, экраны) и бесконтактные (управление жестами рук, движением тела, мимикой, движениями глаз). Перспективные, но пока недоступные для широкой аудитории и находящиеся зачастую в стадии тестирования интерфейсы «мозг-компьютер» связаны с использованием ЭЭГ (неинвазивные методы считывания активности коры головного мозга). Существующие на сегодняшний день оборудование и программное обеспечение уже позволяют набирать текст «силой мысли» [3].
Форма представления мультимедийного контента в музее также прошла путь развития от первых компьютеров и мультимедийных экранов, тач-интерфейсов и проекторов до виртуальной и дополненной и смешанной реальности (УК, АК МХ). Кроме того, вследствие развития технологии интернета вещей (1оТ) можно отметить разработку осязаемых интерфейсов для виртуальных экспонатов, копирующих геометрическую форму виртуальных предметов, внутрь которых встраивается оборудование с гироскопом, отслеживающее расположение в пространстве и повороты осей и передающее эту информацию 3D-двойнику на экране [4].
В связи с внезапной пандемией СОУГО-19 в 20192020 гг. вопрос о бесконтактных человеко-машинных интерфейсах, так же как об использовании персональных мобильных устройств для получения дополнительного контента во время пребывания в музее, актуализировался. Однако, несмотря на все перечисленное, применение в музее таких разновидностей указанных интерфейсов, как голосовые и бесконтактные, еще достаточно далеко от массового. Бесконтактное управление жестами, положением тела и пр., как правило, осуществляется при помощи устройств на основе ГО-модулей, использующих инфракрасный датчик глубины и библиотеки «машинного зрения».
В наименьшей степени сегодня распространен естественный интерфейс, использующий процесс человеческого зрения для взаимодействия с элементами интерфейса (айтрекинг). Серия исследований, проведенных в 1987 г. в рамках премоторной теории внимания ученым Д. Риццолатти, подтвердили, что взгляд является выражением внимания [5]. При
обращении к опосредованным интерфейсам управления (например, мыши) мы так или иначе используем взгляд для наведения курсора на элемент интерфейса. Технологии отслеживания взгляда позволяют убрать в этой схеме промежуточную составляющую. Между тем потенциал использования айтрекинга для управления интерфейсами достаточно велик, несмотря на имеющиеся на сегодняшний день проблемы массового внедрения, обусловленные относительно высокой ценой оборудования, непривычностью такого способа взаимодействия, малым числом программных решений.
Существует несколько сценариев применения айтрекинга для взаимодействия с музейными интерфейсами. Первый и наиболее очевидный — использование стационарного айтрекера в виде небольшой планки, которая крепится, например, над мультимедийным экраном и позволяет посетителю взглядом активировать элементы управления. Интересно, что первое массовое айтрекинг-исследование в музее было проведено стационарным айтрекингом в Национальной галерее Лондона (Великобритания) во время выставки «Telling Time» в 2000-2001 гг. [6]. Тематика выставки была связана с концепцией времени в искусстве, и исследователи из Университета Дерби решили, что их эксперимент идеально подойдет в качестве символа современности. За три месяца выставку посетили 120 тыс. зрителей, из которых почти 10 тыс. приняли участие в исследовании; были собраны материалы от более 5 тыс. посетителей: изображения с визуализированной последовательностью осмотра элементов картин. Преобладающий возрастной диапазон участников исследования — 15-34 года. Эксперимент происходил в отдельном зале музея, где на экране одна из трех картин показывалась посетителям в течение 20 секунд, в то время как айтрекинг-устройство фиксировало движения глаз участников. Однако исследование характеризовалось в то время достаточно низкой степенью индивидуальной калибровки. Существующие доступные решения позволяют попробовать такой интерфейс уже сейчас. Например, наиболее приемлемое на сегодняшний день стационарное айтрекинг-устройство (около $150) — Tobii eye-tracking 4c, как и получивший достаточно большую популярность IR-датчик глубины Kinect — игровое устройство, вышедшее в 2017 г., позволяют отслеживать не только движения глаз, но и повороты головы. Устройства можно использовать и как замену мышки для управления Windows, и в качестве игрового интерфейса. Что особенно ценно, разработчики выпустили SDK для наиболее популярных на сегодняшний день игровых движков Unreal Engine и Unity. Это позволяет собирать любые объемные интерактивные сцены. Благодаря нодовой системе программирования Unreal Engine blueprint не обязательно разбираться в коде — формирование такого контента
Фотодокумент и современные технологии
становится доступным большому кругу разработчиков. Созданные в Unreal Engine сцены можно импортировать почти куда угодно — открывать в виде исполняемого приложения Windows, в виде приложений на мобильном телефоне, через сайт в браузере. Индивидуальная калибровка сведена к минимуму и занимает около минуты, хотя, конечно, в условиях музея и такое время может влиять на фактор используемости. На практике сценарий применения может выглядеть так: посетитель подходит к мультимедиа-экрану, проходит процедуру калибровки (она реализована в игровой форме: предлагается смотреть на определенную последовательность появляющихся фигур), взаимодействует с информационным, развлекательным, образовательным контентом. Подтверждение нужного действия может быть выбрано несколькими способами: и сочетанием с нажатием клавиш, и задержкой взгляда на подтверждающем элементе (как сейчас джойстиком в VR-очках), также айтрекинг отслеживает моргания. SDK позволяет активизировать объекты при взгляде на них, например разрушаться, запускать анимацию, неигровые персонажи могут в буквальном смысле ловить на себе взгляд и проявлять ответную реакцию.
Второй возможный сценарий — использование мобильного айтрекинга в виде носимых очков для получения дополнительного мультимедийного контента при взгляде на него. Наиболее продвинулся в этом направлении израильский ученый Цви Куфлик с коллегами из Университета Хайфы. Куфлик утверждает, что ключевая проблема применения мобильных технологий для поддержки посетителей музея — это выявление их интересов. Учитывая развитие современных мобильных устройств, необходимо обеспечить возможность беспрепятственно получать доступ к информации, вызывающей интерес, без необходимости фотографировать или отправлять текстовые запросы и искать результаты — словом, без применения наиболее распространенных сейчас методов взаимодействия с личными мобильными устройствами. Контакт, основанный на взгляде, может играть важную роль в человеко-машинном взаимодействии до тех пор, пока методы взаимосвязи мозга с компьютером не станут реальностью. Куфлик предлагает использовать мобильный айтрекинг для получения более глубокого опыта от посещения музея путем интеграции и развития этих технологий в систему мобильного музейного гида таким образом, чтобы обеспечить возможность использования машинного зрения для идентификации местоположения посетителя и его объекта интереса в данной зоне в качестве триггера для доставки персонализированной информации [7].
С начала XXI в. айтрекинг-исследования, проводимые в музеях, были направлены в первую очередь на выявления особенностей когнитивно-перцептивного восприятия. Исследования позволили обнаружить различия при осмотре художественных картин взрослыми и детьми, специалистами и неспециалистами. Помимо физических особенностей (например, различные дефекты зрения), на модель движения глаз влияют не только физически заметные признаки (контрастность, размер, яркие детали), но и групповые и личностные особенности [8; 9]. Пример групповых особенностей — японские участники айтрекинг-исследований, целью которых является осмотр изображений, с большей вероятностью, чем американские, обращают внимание на пространственно-периферийных людей в сцене, оценивая эмоции центрального человека; а китайские — с большей вероятностью, чем американские, рассматривают фон сцены [10]. Также влияют особенности развития: по сравнению
с типично развивающимися детьми дети с аутизмом тратят меньше времени на фиксацию лиц при осмотре социальных сцен, а люди с синдромом Уильямса тратят больше времени на фиксацию лиц [11]. Таким образом, и культура, и типичность социального развития отражают потенциальные характеристики на уровне наблюдателя, они могут помочь объяснить индивидуальные различия в глазодвигательном поведении. Кроме того, нельзя забывать и о чертах личности — устойчивом наборе характеристик, связанных с человеком, таких как уровень тревожности, одиночество, уровень перцептивного любопытства и пр. [12]. До сих пор выявленные особенности вызывали исключительно исследовательский интерес, однако возникает вопрос о практической применимости обнаруженных дифференциаций для гибкого подстраивания мультимедийного гида под индивидуальные и групповые особенности. На практике это может выглядеть так: человек в айтрекинг-очках первые 10 минут свободно осматривает тестовый зал, в то же время нейросеть анализирует особенности восприятия, с тем чтобы подобрать оптимальный профиль для гида в последующих залах музея. За последние несколько лет в профессиональном сообществе неоднократно поднимался вопрос о перспективах адресной подачи контента в зависимости от особенностей посетителя. Однако составление персонализированного профиля сопряжено с рядом сложностей как технического, так и правового характера. Отдельный вопрос — форма подачи такого контента. Цви Куфлик предлагает выводить персонализированный контент в виде аудиогида в наушники посетителю или на экран мобильного телефона, что, однако, может отвлекать его. Более перспективной выглядит идея совмещения айтрекинг-очков с очками дополненной реальности, с одновременным наложением контента поверх реального мира; такие возможности будут в новых AR-очках HoloLens 2 от компании Microsoft [13].
Для определения местоположения посетителя можно использовать гибридную систему indoor-навигации (например, Wi-Fi и bluetooth), а точное распознавание самого предмета для поиска в БД при помощи машинного зрения (скажем, так, как распознаются экспонаты в российском приложении дополненной реальности Artefact). Тем не менее все еще есть сложности со скоростью работы подобных технологий, в особенности с объемными мультиракурсными предметами. Данная проблема может быть решена путем использования в качестве исходного материала для распознавания не заранее загруженные фотографии, а загруженные зD-модели, подобные технологии уже существуют. Остаются вопросы индивидуальной калибровки айтрекера перед осмотром музея. Даже для самых продвинутых моделей айтрекеров время калибровки может занимать до 20 % от всего времени работы с исследуемым при проведении айтрекинг-иссле-дований. Однако уже сейчас появились первые модели айтрекеров, которые используют принципиально новую технологию отслеживания движений глаз, — в отличие от традиционной, построенной на улавливании блика зрачка засветкой инфракрасного диода, новый метод полностью основывается на библиотеках машинного зрения, что делает индивидуальную калибровку ненужной, а внешне айтрекинг-очки практически неотличимыми от обычных (например, Pupil Invisible) [14]. Остается вопрос и с самим алгоритмом выявления предмета интереса — сколько секунд должен посетитель удерживать взгляд на предмете для того, чтобы можно было сделать вывод, что он его заинтересовал, и как можно решить проблему «касаний Мидаса» (по легенде царь Мидас превращал в золото все,
Фотография. Изображение. Документ. Вып. 9 (9)
чего он касался). Цви Куфлик так описывает эту ситуацию: «„за миллионы лет глаз эволюционировал, чтобы наблюдать за окружающей средой, а не манипулировать ею. В интерфейсе, контролируемом взглядом, глаз должен делать обе эти вещи. Система должна различать (1) взгляд, предназначенный для сбора визуальной информации, и (2) взгляд, предназначенный для активации определенной команды. В противном случае пользователь обнаруживает, что, куда бы он или она ни смотрели — добровольно или невольно, активируется новая функция» [7].
Подводя итог обзора перспектив использования интерфейсов на основе технологии айтрекинг, хотелось бы отметить их большой потенциал, однако ряд факторов — ценовых, технических, обработки и вычисления — на сегодняшний день не позволяют им найти широкое распространение в музейной сфере. Кроме того, ресурсы требуются на создание самой контентной инфраструктуры и разработку программных решений. Вполне возможно, что технологический прогресс пойдет по другому пути: будут использоваться, например, камеры и датчики мобильных телефонов для считывания направления взора. По мере снижения затрат такие интерфейсы непременно найдут применение в музейной сфере.
Литература
1. Зильберман Н. Н, Алексеев С. А. Категория «естественность» в классификации пользовательских интерфейсов // Гуманитарная информатика. 2018. № 14. С. 6-17.
2. Барышников П. Н. Морфология технологической сказки: Интернет вещей и социальные дистанции // Социология власти. 2015. № 1. С.37-54.
3. Ганин И. П., Ким С. А, Либуркина С. П. и др. Набор текста пациентами с постинсультной афазией в комплексе «НейроЧат» на основе технологии интерфейсов мозг-компьютер на волне Р300 // Журнал высшей нервной деятельности им. И. П. Павлова. 2020. Т. 70, № 4. С. 435-445.
4. Рябинин К. В., Ахтамзян А. И, Колесник М. А., Сударикова Е. В. Осязаемые интерфейсы для виртуальных реконструкций музейных экспонатов // Труды Междунар. конф. по компьютерной графике и зрению «Графикон». 2019. № 29. С. 87-92.
5. Тюрина Н. А., Уточкин И. С. Распределение пространственного внимания при восприятии движения // Экспериментальная психология. 2013. № 2. С. 35-45.
6. Wooding, D. S. Fixation maps: quantifying eye-movement traces // Proceeding ETRA'02 Proceedings of the 2002 symposium on Eye tracking research & applications. New Orleans, Louisiana. 2002. P. 31-36.
7. Mokatren, M., Kuflik, T., Shimshoni, I. Exploring the Potential Contribution of Mobile Eye-tracking Technology in Enhancing the Museum Visit Experience // AVI* CH.
2016. P. 23-31.
8. Walker, F., Bucker, B, Anderson, N.C., Schreij, D., Theeuwes, J. Looking at Paintings in the Vincent Van Gogh Museum: Eye Movement Patterns of Children and Adults // Plos One.
2017. Vol. 12, iss. 6. Р. 1-23.
9. Карцева Е. Как наш мозг воспринимает современное искусство? URL: https://artandyou.ru/articles/ kak-nash-mozg-vosprinimaet-sovremennoe-iskusstvo/?fb-clid=IwAR3uHTL9UlPCLrDKTkANl5rgUBz9nXSs9HuHY3m-wOHoiF489loGms4TDCSI (дата обращения: 18.10.2020).
10. Masuda, T. et al. Placing the face in context: cultural differences in the perception of facial emotion // Journal of personality and social psychology. 2008. Vol. 94, no. 3. P. 365-381.
11. Riby, D., Hancock, P. J. B. Looking at movies and cartoons: eyetracking evidence from Williams syndrome and autism // Journal of Intellectual Disability Research. 2009. Vol. 53, no. 2. P. 169-181.
12. Risko, E. F., et al. Curious eyes: Individual differences in personality predict eye movement behavior in scene-viewing // Cognition. 2012. Vol. 122, no. 1. P. 86-90.
13. Официальный сайт компании Microsoft. Технические характеристики очков HoloLeans2. URL: https://docs. microsoft.com/en-us/windows/mixed-reality/design/eye-tracking (дата обращения: 18.10.2020).
14. Официальный сайт компании-разработчика айтрекинг-очков и програмного обеспечения Pupil Labs. URL: https://pupil-labs.com/products/invisible/ (дата обращения: 18.10.2020).
