CC BY-NC
42Программные системы и вычислительные методы
Правильная ссылка на статью:
Кирьянов Д.А. — Особенности организации и классификация интерфейсов виртуальной реальности // Программные системы и вычислительные методы. - 2022. - № 2. DOI: 10.7256/2454-0714.2022.2.38214 EDN: ZPEWAU URL: https://nbpublish.com'Hbrary_read_article.php?id=38214
Особенности организации и классификация интерфейсов виртуальной реальности
Кирьянов Денис Александрович
ORCID: 0000-0001-8502-8333
магистр, Балтийский государственный технический университет Военмех имени Д. Ф. Устинова 190005, Россия, г. Санкт-Петербург, ул. 1-Я красноармейская, 1
И dennis.kiryanov@gmail.com Статья из рубрики "Виртуальные миры и системы виртуальной реальности"
DOI:
10.7256/2454-0714.2022.2.38214
EDN:
ZPEWAU
Дата направления статьи в редакцию:
06-06-2022
Аннотация: Предметом исследования являются особенности организации интерфейсов виртуальной реальности. Автор подробно рассматривает такие аспекты темы, как вовлеченность пользователя в виртуальную среду, различные способы и сценарии взаимодействия пользователя с виртуальной реальностью, безопасность пользователя в виртуальной среде, а также такое явление, как киберболезнь и способы ее предотвращения. В исследовании также рассматривается использование голосового управления в качестве альтернативы ручному. Особое внимание в данном исследовании уделяется классификации интерфейсов виртуальной реальности, среди которых выделяются и подробно рассматриваются сенсорные интерфейсы, интерфейсы на основе моторики пользователя, сенсомоторные интерфейсы, интерфейсы для моделирования и разработки виртуальной реальности. Основным выводом проведенного исследования является то, что интерфейс виртуальной реальности должен проектироваться с учетом эргономики пользователей для предотвращения мышечной усталости и киберболезни. Кроме того, очень важным при проектировании интерфейсов виртуальной среды является обеспечение безопасности пользователя: пользование интерфейсом виртуальной реальности не должно приводить к травмированию пользователя. Для создания эргономичного и безопасного интерфейса виртуальной реальности зачастую требуется сочетание различных видов интерфейсов, с помощью которых пользователь
fTS
может получить доступ к альтернативному способу управления или улучшенной навигации. Особым вкладом автора в исследование темы является описание классификации интерфейсов виртуальной реальности.
Ключевые слова: Виртуальная реальность, Голосовое управление, Сенсомоторные интерфейсы, Тач-интерфейсы, Киберболезнь, Вовлеченность пользователя, Графические интерфейсы, Мышечная усталость, Моторика пользователя, Проектирование
инте рфе йс ов
ВВЕДЕНИЕ
Виртуальная реальность (ВР) очень часто определяется как набор технологий, которые позволяют людям погрузиться в мир за пределами реальности -Ш и часто ассоциируется с иммерсивными технологиями, которые предназначаются для наиболее полного погружения в искусственный мир, созданный компьютером посредством доставки
информации для органов чувств, в основном, зрения, слуха и осязания --21.
Для достижения необходимого зрительного эффекта в ВР очень часто применяются
многочисленные варианты наголовных дисплеев 4 5] (англ., Head-Mounted Display, или HMD), одиночных (Powerwall VR) или объединенных проекционных экранов (CAVE)
При этом звуковой эффект может поддерживаться при помощи головных наушников, динамиков или полноценной системой звукового звучания, а взаимодействие с виртуальной средой осуществляется при помощи специальных датчиков и систем слежения (оптических, магнитных, ультразвуковых, инерционных и т. д.), которые позволяют рассчитывать положение и ориентацию физических объектов в пространстве в режиме реального времени.
В настоящее время технологии, связанные с ВР, находят свое применение во многих
отраслях, включая образование --71, медицину --81, промышленность --91, армию 11°—Ш, индустрию игр и развлечений, позволяя пользователям взаимодействовать с виртуальным миром и обрабатывать данные, полученные из него. Обработка данных производится различными способами, применимыми к решению и пониманию сложных проблем. Таким образом, ВР повышает уровень производительности за счет технологической модернизации и инноваций, являясь ключевым элементом в развитии многих отраслей промышленности.
При взаимодействии пользователя с системой виртуальной реальности очень важна организация интерфейса. Данная проблема является очень актуальной в проектировании систем ВР и рассматривается далее.
1 Особенности организации интерфейсов виртуальной реальности
1.1 Категории активностей пользователя в виртуальной среде
Так как технология виртуальной реальности предполагает частичное или полное погружение пользователя в виртуальную среду, существует множество особенностей организации данного вида человеко-машинного взаимодействия, которые следуют из возможностей органов чувств человека.
Это объясняется тем, что, когда пользователь находится в виртуальной среде, ему приходится с ней взаимодействовать. В подобном взаимодействии выделяют
элементарные, сенсомоторные и пользователя при взаимодействии
четырем категориям [12, с- 26]:
■ наблюдение за виртуальным миром;
■ перемещение в виртуальном мире;
■ воздействие на виртуальный мир;
■ общение с другими пользователями, виртуальным миром или с приложением.
1.2 Поле зрения как важный показатель вовлеченности пользователя
Одним из наиболее важных аспектов виртуальной реальности является поле зрения, зависящее от горизонтального и вертикального размера дисплея. Вовлеченность пользователя во многом зависит от данного показателя: чем шире поле зрения, тем оно больше
Поле зрения бывает двух видов: монокулярное и бинокулярное. Монокулярным называется поле зрения одного глаза, находящееся в пределах 170° - 175°, которое состоит из угла от зрачка к носу (60° - 65°) и угла от зрачка в сторону виска (100° -110°). Бинокулярное поле зрения является комбинацией двух монокулярных полей зрения, и обеспечивает человеку видимую область около 200° - 220° -Ц^!.
В месте пересечения двух монокулярных полей зрения возникает стереоскопическое
бинокулярное поле зрения (около 100°), при котором человек может воспринимать объекты в 3D. Данное поле зрения является наиболее важным, так как именно в его пределах человек видит большинство объектов естественной и виртуальной среды.
Таким образом, при проектировании интерфейсов виртуальной реальности требуется учитывать поле зрения, что бы элементы графического интерфейса были всегда видны пользователю. Теоретически, устройство виртуальной реальности должно поддерживать поле видимости в 170° по горизонтали и 145° по вертикали для обеспечения полного погружения в виртуальную среду, однако на практике поле видимости во многих современных Н1^-дисплеях не превышает 120° по горизонтали.
При проектировании интерфейсов виртуальной реальности требуется также принимать во внимание и то, что суммарное поле видимости при движении головы и глаз очень широкое: по горизонтали оно составляет более 200°со стороны виска и около 130° со
стороны носа, а также 140° вверх и 170° вниз по вертикали [12, с- 68]. Таким образом, основной контент должен располагаться в оптимальной зоне (расстояние между объектом и пользователем от 1,25 м до 5 м), с учетом положения пользователя (сидя, полулежа, стоя или при ходьбе) 116].
1.3 Способы и сценарии взаимодействия пользователя с виртуальной реальностью
Взаимодействие пользователя с интерфейсом виртуальной реальности происходит, в
основном, при помощи различных пультов управления, контроллеров ■17], специальных
тактильных перчаток, а также при помощи жестов ПШ. Использование таких элементов управления в трехмерном пространстве осуществляется благодаря специальным
системам слежения
когнитивные активности. В целом, действия с виртуальной средой можно сгруппировать по
Среди основных возможных сценариев взаимодействия пользователя с интерфейсом ВР можно выделить следующие 12Ш:
■ выбор объекта (объект должен быть выбран до того, как с ним можно будет выполнить фактическое действие);
■ манипуляции с выбранным объектом, т. е., использование функций, которые доступны после его выбора;
■ размещение и перемещение объектов, т. е., их свободное позиционирование в любом месте горизонтальной плоскости и вращение вокруг вертикальной оси;
■ создание или изменение объектов, т. е., использование функций, которые позволяют выбирать между предопределенными параметрами, среди которых могут быть, например, тип создаваемого объекта, размер, вес, цвет и т. д.;
■ введение данных, т. е., ввод текста, выделение выбранных объектов в виртуальном пространстве и т. д.
1.4 Голосовое управление как альтернатива ручному
При проектировании интерфейса системы ВР следует иметь в виду, что обычное взаимодействие с ней может быть затруднено в тех случаях, когда пользователь уже работает с виртуальной средой. Например, возможен сценарий, когда пользователь обучающего приложения виртуальной реальности держит в руках какой-то инструмент, изучая его возможности и способы применения. В таком случае, пользователю может быть неудобно или даже невозможно вызвать справку по данному инструменту, т. к. его руки уже заняты.
В таких приложениях необходимо предусмотреть поддержку голосового управления, обеспечивающегося при помощи специальных встроенных микрофонов. Еще одним из возможных способов взаимодействия с интерфейсом приложения виртуальной реальности, который может применяться в качестве замены ручному управлению, является распознавание жестов. В частном случае, интерфейс виртуальной реальности, реализующий технику распознавания жестов, может быть сосредоточен на отслеживании движения глаз или головы ¿^И.
1.5 Предотвращение мышечной усталости
П ри ра з р а б о тке инте р фе йс а В Р , о с нов а нного на ра с по з на в а нии ж е с то в , оче нь в а ж но избегать мышечной усталости пользователя. Такое явление может проявляться, например, при удерживании в определенном положении руки или головы в течение длительного периода, или повторения жестов на протяжении длительного периода времени при взаимодействии с интерфейсом виртуальной реальности.
Во избежание мышечной усталости пользователя следует вводить поддержку комбинаций жестов и голосового ввода. Кроме того, очень важно правильно расположить интерактивные элементы, разместив их на правильной высоте и в нужном месте для пользователя, обеспечив удобное взаимодействие с системой виртуальной реальности
1.6 Безопасность использования виртуальной реальности
Необходимо также продумывать интерфейс ВР и с точки зрения безопасности
использования, избегать потенциально опасных движений и стратегий поведения пользователя при взаимодействии с интерфейсом, потому что люди очень часто теряют
связь с реальным миром, находясь в виртуальной реальности
При необходимости следует изменить интерфейс таким образом, чтобы опасные движения пользователя были замещены распознаванием жестов или голосовым управлением.
1.7 Навигация по виртуальной среде
Еще одной проблемой построения интерфейсов виртуальной реальности является возможность удобного перемещения в ней и взаимодействия с объектами, находящимися на расстоянии. Согласно исследованиям, навигация по виртуальной среде влияет на
ощущение присутствия но данная функциональность зачастую ограничена
возможностями самой системы ВР и используемой пользователем гарнитурой.
Одним из возможных решений является использование стандартных элементов управления, таких как джойстик, клавиатура или мышь, а также адаптация подобных устройств к виртуальной среде.
1.8 Киберболезнь и способы ее предотвращения
Существенной особенностью, которой не стоит пренебрегать при проектировании интерфейсов ВР, является киберболезнь [24] (англ., cybersickness). Симптомами киберболезни являются: тошнота, головная боль, бледность, сухость во рту, дезориентация, рвота Киберболезнь возникает, тогда, когда пользователь
визуально воспринимает, что он перемещается в виртуальной среде несмотря на то, что физически он остается неподвижен.
Поэтому, использование стандартного устройства управления, такого как мышь или клавиатура, может привести к киберболезни, вызвав конфликт в сенсорной системе. В таких случаях используют перемещение в виртуальной среде с постоянной скоростью в направлении взгляда пользователя.
Еще одним возможным способом перемещения пользователя в виртуальной реальности является телепортация. Применяя этот метод, пользователь может беспрепятственно перемещаться из одного места в другое, избегая возникновения киберболезни. Основные точки или локации могут быть предопределены в приложении, и могут быть доступны для выбора различными способами, в том числе и стандартными устройствами
управления, такими как джойстик или мышь 116]. 2 Классификация интерфейсов виртуальной реальности
Существует много работ, посвященных классификации интерфейсов виртуальной реальности. Многие типы интерфейсов ВР рассматриваются в^12^, а также основательное исследование по данной теме было проведено в I26!.
Согласно классификации интерфейсов, описанной в выделяют четыре основных группы интерфейсов, описанных ниже.
1. Интерфейсы для моделирования и разработки:
1.1. на основе оцифровки реальных объектов;
1.2. на основе специального программного обеспечения для моделирования объектов, такого как системы автоматизированного проектирования (САПР), специализированные языки программирования;
1.3. на основе виртуальных конструкторов форм объектов, при помощи которых возможно создание объектов любых форм.
2. Сенсорные интерфейсы:
2.1. графические, т. е., стереоскопические и моноскопические графические интерфейсы, в которых для взаимодействия с графикой используются очки и шлемы виртуальной реальности, разнообразные мониторы, проекционные дисплеи;
2.2. голосовые, т. е., на основе распознавания речи и звуков;
2.3. тач-интерфейсы (англ., touch interfaces), т. е., построенные на основе прикосновений пользователя к элементам интерфейса, в которых для взаимодействия пользователя с системой используются различные модификации перчаток виртуальной реальности, джойстики и т. д.;
2.4. интерфейсы, построенные на основе обоняния.
3. Интерфейсы, основанные на моторике пользователя:
3.1. на основе определения местоположения и ориентации пользователя, в которых используются специальные датчики;
3 . 2 . на основе технологии обнаружения движений пальцев, в которых активно используются перчатки виртуальной реальности;
3.3. на основе технологии анализа ходьбы пользователя;
3.4. на основе захвата движения пользователя (англ., motion capture interfaces), с использованием костюмов виртуальной реальности, специальных наборов датчиков, систем анализа изображений;
3.5. командные интерфейсы, в которых ведется управление следующего типа: голосовое, ручное (при помощи компьютерной мыши, джойстика, стилуса), при помощи ног (педальное управление);
3.6. на основе передвижения пользователя, которые построены на основе использования роликовых коньков, мобильных платформ, гироскопов;
3.7. основанные на технологии захвата лица, с отслеживанием мимики, движения глаз и губ.
4 . Сенсомоторные интерфейсы, представляющие собой командные интерфейсы с обратной связью, в которых для управления используются различного рода манипуляторы, джойстики, перчатки виртуальной реальности, экзоскелеты.
Как можно наблюдать из классификации, представленной выше, интерфейсы виртуальной реальности обладают широким разнообразием и применением. Кроме того, следует отметить, что зачастую упомянутые выше типы интерфейсов сочетаются, заменяя или дополняя друг друга. Далее рассмотрим некоторые из основных типов интерфейсов ВР более детально.
3 Интерфейсы для моделирования и разработки виртуальной реальности
Интерфейсы для моделирования и разработки ВР представляют собой среду разработки ВР, т. е. то, как видит виртуальную реальность и взаимодействует с ней разработчик.
Одним из самых простых способов перенести объекты реального мира в виртуальную среду - это их оцифровка при помощи специальных 3D-диджитайзеров (англ., 3D digitizer). В результате получается объемная модель, с которой можно взаимодействовать на программном уровне. Такие решения находят свое применение, например, в дизайне предметов интерьера или посуды, на оцифрованные модели которых можно наносить различные надписи при помощи специальных тактильных устройств. Пример подобного решения ^^ представлен на рисунке 1.
Рисунок 1 - Тактильное устройство и его применение в виртуальной реальности
На рисунке 1 представлено тактильное устройство «Phantom Desktop» (слева) и его применение для нанесения китайских иероглифов на оцифрованную чашу (справа).
При моделировании виртуальных объектов с использованием виртуальной среды создание формы достигается при помощи виртуальной обработки материи, форму, текстуру и плотность которой можно физически ощутить. Этот метод позволяет скульпторам, дизайнерам или специалистам по компьютерной графике создавать сложные формы виртуальных объектов, не используя специальных средств разработки.
Также очень часто используются специализированные САПР для создания объемных моделей и различные языки программирования, такие как C/C + + и Pascal -t26^
4 Сенсорные интерфейсы виртуальной реальности
Сенсорные интерфейсы используются в виртуальной реальности для того, чтобы пользователь имел возможность ощущать объекты виртуального мира, усилив тем самым эффект от погружения в виртуальную среду.
4.1 Графические интерфейсы
Графические интерфейсы ВР могут быть 2D и 3D. ZD-интерфейс обычно представляет собой набор кнопок на двухмерной поверхности. Примером такого интерфейса может быть, например, меню настроек. Стоит заметить, что двухмерный интерфейс в таком случае может быть интегрирован в объемную виртуальную среду. При использовании 2D-интерфейсов обычно используют выделение выбранных объектов, а также отображают специальный указатель (например, по аналогии с указателем мыши).
3D-интерфейс в ВР используют для того, чтобы максимально приблизить возможности
Сенсорный стержень
взаимодействия к реальной жизни, насколько это возможно в контексте самой виртуальной среды. Использование 3D-интерфейса является эффективным при необходимости имитирования физического взаимодействия в реальности. Пример 2D и 3D-интерфейсов в виртуальной реальности 1291 показан на рисунке 2.
Рисунок 2 - Пример 2D и 3D-интерфейсов в виртуальной реальности
На рисунке 2 показан трехмерный интерфейс (а) выбора инструмента с рабочего стола на предприятии при помощи специального контроллера. После выбора данного инструмента открывается меню настроек (б), реализованное в 2D. Данный пример показывает то, как могут сочетаться 2D и 3D-интерфейсы в виртуальной реальности.
Организация 3D-интерфейса в виртуальной реальности является очень актуальной проблемой и активно исследуется в настоящее время [30-32].
4.2 Голосовые интерфейсы
Голосовые интерфейсы довольно часто используются в виртуальной реальности [20, 33, 34!. С помощью голосового управления пользователь может управлять своим положением в виртуальной среде, приближать или вращать объект, изменять его и т. д. Голосовое управление может использоваться как в качестве основного, так и в качестве дополнительного или альтернативного.
Фактически, интерактивные речевые системы виртуальной реальности можно рассматривать как экземпляры непрямого интерфейса управления, т. е. интерфейса, в котором пользователь делегирует задачу компьютеру, который, в свою очередь, инициирует (и контролирует) действия в системе и определяет порядок решения задачи 1351
Интерактивные приложения виртуальной реальности отличаются сложностью предметной области и соответствующим увеличением сложности используемого языка. Системы ВР с использованием голосовых интерфейсов должны минимизировать как ошибки пользователя, так и ошибки распознавания команд, задавая вопросы для получения информации, не предоставленной пользователем, но необходимой для выполнения задачи и устранения дальнейших проблем в человеко-машинном диалоге.
Основными актуальными проблемами при разработке интерфейсов виртуальной реальности с голосовым управлением являются: распознавание речи, понимание команд управления, а также организация взаимодействия человека с виртуальной средой в целом.
Так, при реализации распознавания речи, следует иметь в виду, что чем больше словарный запас пользователя, тем больше вероятность ошибок распознавания, т. е., проблема заключается в необходимости ограничения языка пользователя с сохранением комфортного взаимодействия с системой виртуальной реальности.
Проблемы с пониманием команд управления связаны, в первую очередь, с пониманием контекста, на основе которого они интерпретируются, т. е., с пониманием компьютером разговорной речи пользователя.
Организация взаимодействия человека с виртуальной реальностью посредством интерфейса голосового управления зачастую сводится к реализации системы ВР как информационного агента, с которым взаимодействует пользователь. Основная проблема в этом случае заключается в том, чтобы пользователь понимал, с чем ведет взаимодействие и что бы данное взаимодействие выглядело как диалог между человеком и системой ВР, наиболее похожий на естественное общение людей.
4.3 Тач-интерфейсы
Тач-интерфейсы ^З6—для взаимодействия с которыми используются различные модификации перчаток виртуальной реальности и джойстиков, активно используются в медицине, робототехнике и многих других областях, в которых осязание необходимо для лучшего понимания виртуального мира.
Прикосновение занимает центральное место в человеческом восприятии и взаимодействии с окружающей средой, играя жизненно важную роль в формировании и поддержании близких социальных связей и благополучия -О8!.
Данный тип интерфейсов основан на том, что на коже человека размещено огромное
количество различного рода рецепторов ———70-75!, что увеличивает погружение пользователя в виртуальную среду и улучшает управление.
5 Интерфейсы, основанные на моторике пользователя
Роль интерфейсов виртуальной реальности, основанных на моторике пользователей, состоит в предоставлении пользователю возможности воздействия на объекты виртуального мира с передачей компьютеру информации о жестах и речи пользователя,
касающихся объектов виртуального мира
5.1 Интерфейсы на основе определения местоположения и ориентации пользователя
В интерфейсах виртуальной реальности на основе определения местоположения и ориентации пользователя использован принцип определения точного положения
дисплеев, элементов управления и тела пользователя в евклидовом пространстве I39!. Поскольку целью таких интерфейсов является имитация восприятия реальности, крайне важно, чтобы позиционное отслеживание было точным и точным, во избежание нарушения иллюзии пребывания в трехмерном пространства.
Для этого используются датчики, которые многократно регистрируют сигналы от передатчиков на отслеживаемом объекте (объектах) или рядом с ним, а затем отправляют эти данные на компьютер, чтобы поддерживать приблизительное их физическое местоположение НШ.
5.2 Интерфейсы на основе технологии захвата движения пользователя
Системы виртуальной реальности с интерфейсами, основанными на технологии захвата движения пользователя, часто используются в медицине для моделирования операций, а также в автомобильной промышленности (преимущественно для виртуальной сборки), в киноиндустрии (для захвата движения человека и создания анимации с захваченными
движениями), в игровой индустрии и многих других областях 1411.
Существует несколько возможных подходов к реализации системы виртуальной реальности на основе технологии захвата движения: оптический, механический, магнитный и инерционный. Наиболее часто используемый подход заключается в использовании оптических технологий захвата движения, как показано на рисунке 3 1421.
Рисунок 3 - Пример системы виртуальной реальности на основе оптической технологии
захвата движения
Система ВР, показанная на рисунке 3, устроена следующим образом. Специальные маркеры размещены в определенных точках на теле пользователя, а видеокамеры в фиксированных положениях отслеживают их движение. Собранные данные впоследствии анализируются программным обеспечением для обработки изображений.
Подход на основе оптической технологии захвата движения позволяет получать очень точные данные о движении внутри специально спроектированного помещения при условии использования большого количества камер слежения. Данный подход, хорошо зарекомендовавший себя при использовании в специально подготовленных помещениях, неприменим на открытых пространствах. В последнее время исследуются относительно недорогие технологии оптического отслеживания движения, которые привлекательны тем, что не требуют ни маркеров, ни специальной настройки.
5.3 Интерфейсы на основе технологии захвата лица
Интерфейсы виртуальной реальности на основе технологии захвата лица позволяют системе виртуальной реальности собирать мимические движения пользователя и определять его настроение, такое как радость, печаль, страх, гнев, удивление,
неприязнь, мечтательность, недоверие, озабоченность, уход, подозрение и т. д., с его последующим переносом в виртуальную среду. Интерфейсы данного типа можно разделить на три категории: интерфейсы анализа движений лица, движения глаз движения губ Г43~45"1.
Пример подобного интерфейса показан на рисунке 4.
Рисунок 4 - Определение эмоций пользователя на основе технологии захвата лица
На рисунке 4 проиллюстрирован интерфейс виртуальной реальности на основе технологии захвата лица: пользователь с надетым Н1^-дисплеем, который используется для отслеживания выражения лица (А); внутренняя часть Н1^-дисплея, с инфракрасными светодиодами, видимыми по радиусу окуляров, выделенными красными кружками (В); изображение глаз пользователя (С) и вывод динамически сгенерированного аватара ф), отображающего настроение пользователя.
6 Сенсомоторные интерфейсы
Роль сенсомоторных интерфейсов виртуальной реальности заключается в передаче движений пользователя в виртуальную среду и получении пользователем осязаемого ответа, который может быть представлен, помимо изображения, в виде различных вибраций,толчков и звуков.
Интерфейсы подобного вида имеют некоторое сходство с симуляторами движения, которые передают изменение ориентации и ускорения пользователю. Их используют при необходимости создания иллюзии материализации объектов, присутствующих в виртуальной среде: на часть тела, соприкасающуюся с виртуальным объектом, подается ответ (например, толчок или вибрация), который пользователь, возможно, ощутил бы при взаимодействии с подобным объектом в реальном мире. Такой эффект используется для улучшения погружения пользователя в виртуальную среду.
В состав сенсомоторных интерфейсов обычно входят такие элементы управления, как манипуляторы, джойстики, перчатки виртуальной реальности, экзоскелеты и т. д. Основная проблема построения подобных интерфейсов заключается в том, что они должны быть построены на прочном каркасе, что обычно доставляет пользователю определенные неудобства сковывая его движения I26".
Пример подобного интерфейса представлен на рисунке 5 [46!.
Рисунок 5 - Сенсомоторный интерфейс виртуальной реальности «УШгоТас»
Представленный на рисунке 5 сенсомоторный интерфейс виртуальной реальности
«У^гоТас» [461 включает в себя два манипулятора, при помощи которых пользователь может проводить виртуальную сборку и проверку технического обслуживания. Благодаря подобному интерфейсу виртуальной реальности инженеры могут оценить ремонтопригодность или возможность монтажа механических частей в сложных продуктах, таких как автомобили или самолеты.
«У^гоТас» уведомляет пользователя о соприкосновении его руки и объектами в виртуальной реальности: при соприкосновении пользователь оповещается посредством вибрации манипулятора и специфичным звуком, похожим на стук. Причем, чем глубже рука пользователя проникает в виртуальный объект, тем сильнее пользователь ощущает вибрацию.
ЗАКЛЮЧЕНИЕ
Технологии виртуальной реальности являются одними из наиболее перспективных на данный момент и используются во многих областях промышленности, зачастую в виде различных тренажеров и обучающих приложений, а также в армии, медицине и индустрии развлечений.
В данной работе были рассмотрены основные типы интерфейсов виртуальной реальности, включая сенсорные, сенсомоторные, тач-интерфейсы и интерфейсы, основанные на моторике пользователя.
В работе были описаны особенности организации интерфейсов виртуальной реальности, при этом было отмечено, что для создания качественных, хорошо спроектированных и удобных для пользования интерфейсов требуется учитывать множество особенностей пользователя, включая когнитивные особенности, обоняние и осязание, антропометрические особенности.
Интерфейс виртуальной реальности должен быть эргономичным, у пользователя не
должно возникать мышечной усталости. Для этого возможно, и на практике зачастую используется сочетание различных видов рассмотренных интерфейсов, что обеспечивает пользователя альтернативным управлением, улучшенной навигацией, а также повышает качество использования приложения в целом.
Кроме того, в работе делается вывод о необходимости проектирования интерфейсов виртуальной реальности с учетом безопасности пользователя. Интерфейс и поведение пользователя в виртуальной среде не должны приводить к травмам, падениям и т. д.
В работе также рассматривается такое явление, как киберболезнь, которая проявляется в виде тошноты и головной боли и связано с тем, что у пользователя возникает ощущения перемещения в то время, когда его тело остается неподвижным. Интерфейс приложения ВР должен предусмотреть плавную навигацию по виртуальной среде во избежание подобных явлений.
Библиография
1. Berg L. P., Vance J. M. Industry use of virtual reality in product design and manufacturing: a survey // Virtual Reality. 2017. URL: https://doi.org/10.1007/s10055-016-0293-9 (дата обращения: 07.06.2022).
2. Furht B. Immersive Virtual Reality. // Encyclopedia of Multimedia. Springer, Boston, MA. 2008. URL: https://doi.org/10.1007/978-0-387-78414-4_85 (дата обращения: 07.06.2022).
3. Yan Feng, Dorine C. Duives, Serge P. Hoogendoorn. Wayfinding behaviour in a multilevel building: A comparative study of HMD VR and Desktop VR // Advanced Engineering Informatics. 2022. URL: https://doi.org/10.1016/j.aei.2021.101475 (дата обращения: 07.06.2022).
4. Tao G., Garrett B., Taverner T. Immersive virtual reality health games: a narrative review of game design // J NeuroEngineering Rehabil. 2021. URL: https://doi.org/10.1186/s12984-020-00801-3 (дата обращения: 07.06.2022).
5. Valentine A., Van Der Veen T., Kenworthy P., Hassan G. M., Guzzomi A. L., Khan R. N., Male, S. A. Using head mounted display virtual reality simulations in large engineering classes: Operating vs observing // Australasian Journal of Educational Technology. URL: https://doi.org/10.14742/ajet.5487 (дата обращения: 07.06.2022).
6. Cruz-Neira C., Sandin D., DeFanti T. A., Kenyon R. V., Hart, J. C. The CAVE: audio visual experience automatic virtual environment // Communications of the ACM. 1992. URL: https://doi.org/10.1145/129888.129892 (дата обращения: 07.06.2022).
7. Bower M., Jong M. Immersive virtual reality in education // British Journal of Educational Technology. 2020. URL: https://dx.doi.org/10.1111/bjet.13038 (дата обращения: 07.06.2022).
8. Pensieri C., Pennacchini M. Overview: Virtual Reality in Medicine // Journal For Virtual Worlds Research. 2014. URL: https://dx.doi.org/10.4101/jvwr.v7i1.6364 (дата обращения: 07.06.2022).
9. Klackova I., Kuric I., Zajacko I., Tlach V., Wi^cek D. Virtual reality in Industry // IOP Conference Series: Materials Science and Engineering. 2021. URL:
https://dx.doi.org/10.1088/1757-899X/1199/1/012005 (дата обращения: 07.06.2022).
10. Lele A. Virtual reality and its military utility // Journal of Ambient Intelligence and Humanized Computing. 2011. URL: https://dx.doi.org/10.1007/s12652-011-0052-4 (дата обращения: 07.06.2022).
11. Liu X., Zhang J., Hou G., Wang Z. Virtual Reality and Its Application in Military // IOP
Conference Series: Earth and Environmental Science. 2018. URL: https://doi.Org/10.1088/1755-1315/170/3/032155 (дата обращения: 07.06.2022).
12. Fuchs P., Moreau G., Guitton P. Virtual Reality: Concepts and Technologies / CRC Press. 2011.-432 p.
13. Rongkai Shi, Hai-Ning Liang, Yu Wu, Difeng Yu, Wenge Xu. Virtual Reality Sickness Mitigation Methods: A Comparative Study in a Racing Game // Proceedings of the ACM on Computer Graphics and Interactive Techniques. 2021. URL: https://doi.org/10.1145/3451255 (дата обращения: 07.06.2022).
14. Nelson-Quigg J. M., Cello K., Johnson C. Predicting Binocular Visual Field Sensitivity from Monocular Visual Field Results // Investigative ophthalmology & visual science. 2000. URL: https://www.researchgate.net/publication/12426081 (дата обращения: 07.06.2022).
15. Shojiro Nagata. The binocular fusion of human vision on stereoscopic displays-Field of view and environment effects // Ergonomics. 1996. URL:
http://dx.doi.org/10.1080/00140139608964547 (дата обращения: 07.06.2022).
16. Kaminska D., Zwolinski G., Laska-Lesniewicz A. Usability Testing of Virtual Reality Applications—The Pilot Study // Sensors. 2022. URL: https://doi.org/10.3390/s22041342 (дата обращения: 07.06.2022).
17. Lee J., Sinclair M., Gonzalez-Franco M., Ofek E., Holz C. TORC: A virtual reality controller for in-hand high-dexterity finger interaction // Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019. URL: https://dx.doi.org/10.1145/3290605.3300301 (дата обращения: 07.06.2022).
18. Yang L., Huang J., Feng T., Hong-An W., Guo-Zhong D. Gesture interaction in virtual reality // Virtual Reality & Intelligent Hardware. 2019. URL:
https://doi.org/10.3724/SPJ.2096-5796.2018.0006 (дата обращения: 07.06.2022).
19. Cortes G., Marchand E., Ardouinz J., Lecuyer A. Increasing optical tracking workspace of VR applications using controlled cameras // 2017 IEEE Symposium on 3D User Interfaces (3DUI). 2017. URL: https://doi.org/10.1109/3DUI.2017.7893313 (дата обращения: 07.06.2022).
20. Weiss Y., Hepperle D., SieB A., Wolfel M. What User Interface to Use for Virtual Reality? 2D, 3D or Speech-A User Study. 2018. URL:
http://dx.doi.org/10.1109/CW.2018.00021 (дата обращения: 07.06.2022).
21. Monteiro P., Gongalves G., Coelho H., Melo M., Bessa M. Hands-free interaction in immersive virtual reality: A systematic review // IEEE Transactions on Visualization and Computer Graphics. 2021. URL: http://dx.doi.org/10.1109/TVCG.2021.3067687 (дата обращения: 07.06.2022).
22. Tuena C., Pedroli E., Trimarchi P. D., Gallucci A., Chiappini M., Goulene K., Gaggioli A., Riva G., Lattanzio F., Giunco F. Usability issues of clinical and research applications of virtual reality in older people: A systematic review. Frontiers in Human Neuroscience. 2020. URL: https://doi.org/10.3389/fnhum.2020.00093 (дата обращения: 07.06.2022).
23. Brivio E., Serino S., Negro C. E. Virtual reality and 360° panorama technology: a media comparison to study changes in sense of presence, anxiety, and positive emotions // Virtual Reality. 2021. URL: https://doi.org/10.1007/s10055-020-00453-7 (дата обращения: 07.06.2022).
24. Farmani Y., Teather R. Viewpoint Snapping to Reduce Cybersickness in Virtual Reality // Proceedings of Graphics Interface 2018. 2018. URL: https://doi.org/10.20380/GI2018.21 (дата обращения: 07.06.2022).
25. Joseph J. LaViola. A discussion of cybersickness in virtual environments // SIGCHI Bull.
2000. URL: https://doi.org/10.1145/333329.333344 (дата обращения: 07.06.2022).
26. Theriault Levis, Robert Jean-Marc, Baron Luc. Virtual Reality Interfaces for Virtual Environments // Virtual Reality International Conference. 2004. URL: https://www.researchgate.net/publication/259576863 (дата обращения: 07.06.2022).
27. Lei Huang, Zengxuan Hou. A Novel Virtual 3D Brush Model Based on Variable Stiffness and Haptic Feedback // Mathematical Problems in Engineering. 2020. URL: https://doi.org/10.1155/2020/6942947 (дата обращения: 07.06.2022).
28. Okuya Y., Ladeveze N., Fleury C., Bourdot ShapeGuide: Shape-Based 3D Interaction for Parameter Modification of Native CAD Data // Frontiers in Robotics and AI. 2018. URL: http://dx.doi.org/10.3389/frobt.2018.00118 (дата обращения: 07.06.2022).
29. Liang Gong, Henrik Söderlund, Leonard Bogojevic, Xiaoxia Chen, Anton Berce, Äsa Fast-Berglund, Björn Johansson. Interaction design for multi-user virtual reality systems: An automotive case study // Procedia CIRP. 2020. URL:
https://doi.org/10.1016/j.procir.2020.04.036 (дата обращения: 07.06.2022).
30. Dachselt R., Hübner A. A Survey and Taxonomy of 3D Menu Techniques // 12th Eurographics Symposium on Virtual Environments. 2006. URL: http://dx.doi.org/10.2312/EGVE/EGVE06/089-099 (дата обращения: 07.06.2022).
31. Kup-Sze Choi, Beat Schmutz. Usability evaluation of 3D user interface for virtual planning of bone fixation plate placement // Informatics in Medicine Unlocked. 2020. URL: https://doi.org/10.1016/j.imu.2020.100348 (дата обращения: 07.06.2022).
32. Pengyu Shan, Wan Sun. Research on landscape design system based on 3D virtual reality and image processing technology // Ecological Informatics. 2021. URL: https://doi.org/10.1016/j.ecoinf.2021.101287 (дата обращения: 07.06.2022).
33. Carlos Alexandre F. Jorge, Antonio Carlos A. Mol, Claudio Marcio N.A. Pereira, Mauricio Alves C. Aghina, Diogo V. Nomiya. Human-system interface based on speech recognition: application to a virtual nuclear power plant control desk // Progress in Nuclear Energy. 2010. URL: https://doi.org/10.1016/j.pnucene.2009.08.003 (дата обращения: 07.06.2022).
34. Alex W. Stedmon, Harshada Patel, Sarah C. Sharples, John R. Wilson. Developing speech input for virtual reality applications: A reality based interaction approach // International Journal of Human-Computer Studies. 2011. URL:
https://doi.org/10.1016/j.ijhcs.2010.09.002 (дата обращения: 07.06.2022).
35. McGlashan S., Axing T. A Speech Interface to Virtual Environments // Computer Science. 1996. URL: https://www.researchgate.net/publication/2575618 (дата обращения: 07.06.2022).
36. Gallotti P., Raposo A., Soares L. v-Glove: A 3D Virtual Touch Interface // 2011 XIII Symposium on Virtual Reality. 2011. URL: http://dx.doi.org/10.1109/SVR.2011.21 (дата обращения: 07.06.2022).
37. Vera J. E., Bayona J. F., Torres A. Touch interface analysis for virtual reality // TECCIENCIA. 2013. URL: https://doi.org/10.18180/tecciencia.2013.14.8 (дата обращения: 07.06.2022).
38. Michael Bull, Paul Gilroy, David Howes, Douglas Kahn. Introducing Sensory Studies // The Senses and Society. 2006. URL: https://doi.org/10.2752/174589206778055655 (дата обращения: 07.06.2022).
39. Lee Juyoung, Ahn Sang, Hwang Jae-In. A Walking-in-Place Method for Virtual Reality Using Position and Orientation Tracking // Sensors. 2018. URL: http://dx.doi.org/10.3390/s18092832 (дата обращения: 07.06.2022).
40- Stone R. J. Position and orientation sensing in virtual environments // Sensor Review. 1996. URL: https://doi.org/10.1108/02602289610108410 (дата обращения: 07.06.2022).
41. Zaldivar U., Zaldivar X., Marmolejo-Rivas C., Murillo-Campos D., León-Sánchez C., Bernal-Guadiana R., Martinez-Tirado C. Optical-Mechanical Motion Capture System for Virtual Reality Applications // ASME 2011 World Conference on Innovative Virtual Reality. 2011. URL: http://dx.doi.org/10.1115/WINVR2011-5544 (дата обращения: 07.06.2022).
42. Park K. A Ubiquitous Motion Tracking System Using Sensors in a Personal Health Device // International Journal of Distributed Sensor Networks. 2013. URL: https://doi.org/10.1155/2013/298209 (дата обращения: 07.06.2022).
43. Li B., Fu H., Wen D., Lo W. Etracker: A Mobile Gaze-Tracking System with Near-Eye Display Based on a Combined Gaze-Tracking Algorithm // Sensors. 2018. URL: https://doi.org/10.3390/s18051626 (дата обращения: 07.06.2022).
44. Alsaeedi N., Wloka D. Real-Time Eyeblink Detector and Eye State Classifier for Virtual Reality (VR) Headsets (Head-Mounted Displays, HMDs) // Sensors. 2019. URL: http://dx.doi.org/10.3390/s19051121 (дата обращения: 07.06.2022).
45. Hickson S., Dufour N., Sud A., Kwatra V., Essa I. Eyemotion: Classifying Facial Expressions in VR Using Eye-Tracking Cameras // 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). 2019. URL:
http://dx.doi.org/10.1109/WACV.2019.00178 (дата обращения: 07.06.2022).
46. Schatzle S., Ende T., Wüsthoff T., Preusche C. VibroTac: An ergonomic and versatile usable vibrotactile feedback device // 19th International Symposium in Robot and Human Interactive Communication. 2010. URL:
http://dx.doi.org/10.1109/R0MAN.2010.5598694 (дата обращения: 07.06.2022). Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Рецензируемая статья посвящена актуальному направлению разработки интерфейсов виртуальной реальности. Рассматриваются виды взаимодействия пользователя со средой, показатели вовлеченности. Авторы уделяют внимание особенностям проектирования интерфейсов виртуальной реальности, сценариям взаимодействия, отмечается необходимость планирования альтернативных каналов управления системой, аппаратных и программных, и возможностей облегчения управления системой пользователем.
Актуальность работы заключается в широком применении виртуальных интерфесов в различных областях науки. Несомненным достоинством статьи является рассмотрение конкретных примеров интерфейсов, анализ их элементов. Рассматривая голосовые интерфейсы, Авторы затрагивают проблему его зависимости от словарного запаса пользователя и необходимость поиска баланса между количеством возможных узнаваемых вариантов и ошибками системы. Большое внимание уделяется интерфейсам, использующим моторику пользователя, перечисляются системы различного назначения, однако конкретные примеры не приводятся. Научную новизну определить затруднительно, т.к. собственное исследование авторами не выполнялось, статья носит обзорный характер.
Стиль изложения. В статье корректно используется профессиональная терминология,
формулировки характерны для обзорных статей, имеются иллюстрации в достаточном количестве. Отсутствуют схемы или расчетные величины.
Структура статьи в целом отвечает требованиям к научной публикации, собственные измерения отсутствуют, работа носит обзорный характер.
Библиография содержит 46 источников, в т.ч. в рецензируемых изданиях, из которых 50% за последние 5 лет. Замечания.
Статья содержит обзор большого количества компонент проектирования систем виртуальной реальности, поэтому каждой из них уделяется очень краткое внимание. В обзоре требований к системам отсутствует анализ конкретных систем или примеры. Раздел киберболезнь в контексте задач статьи кажется излишним, однако его содержание можно объединить с вопросами безопасности.
Большое внимание авторы уделяют классификации интерфейсов, однако данный раздел не является собственным анализом, а содержит ссылку на публикацию 26, из которой упомянутые сведения сформулированы. В статье имеется ссылка на работу, однако для оценки вклада авторов необходимо дополнить классификацию собственным анализом. При заимствовании рисунков из анализируемых публикаций, необходимо ставить ссылку не только в теле статьи, но и в подрисуночной надписи (рис.1, 2).
Желательно привести примеры ошибок голосовых интерфейсов, вызванных широким словарным запасом пользователя.
Очень кратко упоминаются тач-интерфейсы, фактически ограничиваясь общими понятиями и без упоминания технических особенности реализации.
Рис. 3, 4 в подрисуночной надписи не указана конкретная система. В описании в тексте необходимо привести более конкретные данные для рис.3.
Авторам рекомендуется поработать над формулировками, сделав их более емкими и убрав вводные и общие слова.
Формулировку заключения в части киберболезни рекомендуется изменить, переставив акцент на ограничения метода.
Статья интересна специалистам в области разработки приложений виртуальной реальности и интерфейсов человеко-машинного взаимодействия, а также специалистам по использованию специализированных систем.
Статья нуждается в доработке, после которой может быть опубликована в журнале «Программные системы и вычислительные методы».
