CC BY
26
НАУЧНЫЕ И ПРАКТИЧЕСКИЕ РАЗРАБОТКИ SCIENTIFIC AND PRACTICAL DEVELOPMENTS
УДК 004.358
DOI: 10.17586/0021-3454-2022-65-5-357-371
ВЛИЯНИЕ СПОСОБОВ УПРАВЛЕНИЯ В СИСТЕМАХ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ НА ВОЗНИКНОВЕНИЕ СИМПТОМОВ ЛОКОМОЦИОННОЙ БОЛЕЗНИ
Ю. В. Гневашев, К. С. Горшков, Г. А. Коновалов, С. Ю. Ловлин*, Д. А. Посохов, М. Х. Цветкова
Университет ИТМО, Санкт-Петербург, Россия seri-l@yandex. ги
Аннотация. Обсуждается проблема возникновения симптомов локомоционной болезни у пользователей шлемов виртуальной реальности. Предложен контроллер для управления перемещением пользователя в виртуальной реальности, реализующий технику ходьбы на месте (walking-in-place). Устройство состоит из трех датчиков, размещенных на ногах и груди пользователя. Проведен анализ показаний датчиков, на основании которого разработаны алгоритмы для распознавания шагов, подавления случайных отклонений и повышения устойчивости работы системы. Приведены результаты эксперимента с участием 44 добровольцев, демонстрирующие снижение частоты возникновения симптомов симуляторных расстройств при использовании разработанного контроллера.
Ключевые слова: распознавание движений, фильтрация сигналов, виртуальная реальность, анализ сигналов
Благодарности: работа выполнена при поддержке Правительства Российской Федерации, грант № 074-Ш1.
Ссылка для цитирования: Гневашев Ю. В., Горшков К. С., Коновалов Г. А., Ловлин С. Ю., Посохов Д. А., Цветкова М. X Влияние способов управления в системах виртуальной реальности на возникновение симптомов локомоционной болезни // Изв. вузов. Приборостроение. 2022. Т. 65, № 5. С. 357—371. DOI: 10.17586/00213454-2022-65-5-357-371.
IMPACT OF CONTROL METHODS IN VIRTUAL REALITY SYSTEMS ON THE OCCURRENCE OF LOCOMOTION DISEASE SYMPTOMS
Yu. V. Gnevashev, ^ S. Gorshkov, G. А. tonovalov, S. Yu. Lovlin*, D. А. Posokhov, М. Kh. Tsvetkova
ITMO University, St. Petersburg, Russia [email protected]
Abstract. The problem of the occurrence of locomotion disease symptoms in users of virtual reality helmets is discussed. To control the user's movement in virtual reality, a controller implementing the walking-in-place technique is proposed. The device consists of three sensors fixed on the user's legs and chest. The analysis of sensor readings is carried out is used as a basis of developed algorithms for recognizing steps, suppressing random deviations, and increasing the system stability. Results of an experiment involving 44 volunteers are presented to demonstrate a decrease in the frequency of simulation disorder symptoms when using the developed controller.
Keywords: motion recognition, signal filtering, virtual reality, signal analysis Acknowledments: The work was supported by the Government of the Russian Federation, grant No. 074-U01.
© Гневашев Ю. В., Горшков К. С., Коновалов Г. А., Ловлин С. Ю., Посохов Д. А., Цветкова М. Х., 2022 JOURNAL OF INSTRUMENT ENGINEERING. 2022. Vol. 65, N 5 ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2022. Т. 65, № 5
For citation: Gnevashev Yu. V., Gorshkov K. S., Konovalov G. A., Lovlin S. Yu., Posokhov D. A., Tsvetkova M. Kh. Impact of control methods in virtual reality systems on the occurrence of locomotion disease symptoms. Journal of Instrument Engineering. 2022. Vol. 65, N 5. P. 357—371 (in Russian). DOI: 10.17586/0021-3454-2022-65-5-357-371.
Введение. В последнее десятилетие наблюдается рост интереса к теме виртуальной реальности (virtual reality — VR) как среди разработчиков электронной аппаратуры, так и среди потребителей. С появлением нового поколения систем, таких как HTC Vive, Oculus Rift и Playstation VR, VR-технологии стали доступны массовому пользователю [1]. Высококачественный стереоскопический VR-шлем позволяет эффективно симулировать глубину изображения, создавая у пользователя эффект присутствия. Вместе с тем даже кратковременный сеанс погружения в виртуальную реальность может приводить к возникновению целого спектра неприятных для пользователя симптомов, характерных для локомоционной болезни: учащенное дыхание, головокружение, тошнота и т.д. В зарубежной литературе этот комплекс симптомов обозначается термином „симуляторные расстройства" (Simulator sickness) [2, 3]. Важно отметить, что возникновение симуляторных расстройств возможно не только в процессе адаптации пользователя к виртуальной реальности во время сеанса использования шлема, но и после сеанса, в процессе реадаптации к реальному миру [2]. Как показали исследования, до 80 % пользователей испытывают эти симптомы, причем в ряде случаев их длительность может достигать 12 ч [4].
Кроме того, в большинстве представленных на рынке VR-систем слабо реализовано присутствие пользователя в виртуальном мире. В таких устройствах, как Oculus Rift и Playstation VR, по умолчанию предоставляется только один способ взаимодействия с виртуальной реальностью — с помощью джойстиков. Это не только ограничивает уровень интерактивности, но и увеличивает вероятность возникновения симуляторных расстройств, что обусловлено несоответствием между проецируемым через шлем изображением и поведением пользователя в реальном мире [2].
Очевидно, что на заре развития VR-технологий негативное влияние на самочувствие пользователя можно было отчасти объяснить несовершенством технических характеристик шлемов. Однако с каждым новым поколением VR-устройств улучшается качество изображения, уменьшаются предельные значения задержек при передаче данных и т.д. Но вопреки ожиданиям, это практически не влияет на частоту возникновения симптомов локомоционной болезни [5].
На сегодняшний день не существует общепринятой концепции, позволяющей объяснить причины возникновения симптомов кинетоза во время сеанса использования VR-шлема и/или после него. Теория сенсорного конфликта [6] предполагает, что кинетоз возникает в результате рассогласования между сигналами сенсорных систем (вестибулярной, проприо-цептивной и зрительной), участвующих в формировании представления об ориентации и положении тела в пространстве. У пользователя VR-шлема возникает иллюзия движения собственного тела, или векция, т.е. ощущение движения своего тела человеком, находящимся в неподвижном положении, при наблюдении за движущейся зрительной стимуляцией, занимающей значительную часть зрительного поля [7]. Векция, возникающая в ситуации доминирования зрительного сигнала над вестибулярным, может индуцировать симуляторные расстройства [4]. Однако эмпирические исследования по проверке гипотезы о векции как главной причине возникновения симптомов кинетоза имеют неравнозначные результаты [8].
В рамках теории постуральной нестабильности [9] считается, что сенсорные конфликты [6] не являются редким событием в повседневной жизни человека и поэтому не могут быть источником симптомов локомоционной болезни. Истинной причиной векции является недостаточность адекватных сенсорных сигналов, необходимых для определения правильного
положения тела в пространстве. Как показали эксперименты, нарушения в поддержании позы всегда возникают раньше, чем иллюзия движения собственного тела [4, 10]. Сначала человек пытается адаптироваться к изменяющейся среде и найти оптимальное положение тела, а затем, не обретя такового, испытывает негативные последствия [7]. В работе [4] было установлено, что человек, имеющий общую склонность к признакам кинетоза в повседневной жизни, чаще других испытывает симуляторные расстройства от опыта погружения в виртуальную реальность.
Ряд исследователей полагает, что неприятные симптомы, которые ощущают пользователи VR-шлемов, неспецифичны и являются следствием увеличения возбуждения, приводящего к изменениям частоты дыхания, что вызывает понижение уровня углекислого газа в мозговом кровообращении [11].
Таким образом, возникновение симуляторных расстройств во многом зависит от индивидуальных физиологических особенностей человека. На данном этапе развития VR-технологий невозможно полностью исключить вероятность появления симптомов кинетоза. Однако расхождение между вергенцией и аккомодацией можно частично компенсировать, если движения тела человека в реальном мире будут полностью или частично синхронизированы с его движениями в мире виртуальном [12—14]. Цель настоящей статьи — исследование влияния способа управления перемещением пользователя в виртуальной реальности на возникновение симптомов локомоционной болезни.
Выбор способа управления перемещением в виртуальной реальности. Возможны два подхода к реализации перемещения в виртуальной реальности от точки А до точки Б: дискретное и непрерывное. Примером первого является телепортация, подразумевающая мгновенный перенос пользователя. Популярность телепортации среди разработчиков коммерческих VR-приложений объясняется ее эффективностью в снижении частоты возникновения симптомов кинетоза [15]. Однако поскольку дискретная природа телепортации принципиально отличается от естественного для человека способа перемещения, то формирование у пользователя чувства присутствия, являющегося основным достоинством VR-систем, становится труднодостижимым [16].
Непрерывное перемещение обеспечивает гораздо большую иммерсивность погружения. В то же время исследования показали существование отрицательной зависимости между симуляторными расстройствами и чувством присутствия [17]. Базовая технология обеспечения непрерывности движения предусматривает использование стандартных интерфейсов ввода данных (джойстик, клавиатура/мышь). Она является наименее эффективной как с точки зрения обеспечения комфорта, так и с точки зрения достижения чувства присутствия [18]. Применение автонавигации частично решает эти проблемы [16]. В этом случае пользователь просто перемещается автоматически в ту сторону, куда направлен его взгляд. Однако, во-первых, такой способ передвижения столь же неестественен для человека, как и телепорта-ция, поскольку в нем никак не задействован вестибулярный аппарат, а во-вторых, он пригоден только для ограниченного числа VR-приложений.
Многочисленные исследования показали, что способы перемещения, имитирующие реальную ходьбу, позволяют существенно снизить частоту возникновения симптомов кинетоза [19]. Лучший результат достигается, когда размеры виртуального пространства соответствует размерам пространства, окружающего пользователя в реальности [20]. В этом случае сигналы вестибулярной сенсорной системы совпадают в мозгу пользователя с визуально воспринимаемой картинкой. Однако такой подход непрактичен и может быть использован только для военных и исследовательских целей. Как правило, пространство для отслеживания перемещений пользователя бывает строго ограниченным. Оптимальным вариантом в таком случае является замена полноценной ходьбы на ее адекватную симуляцию — ходьбу на месте (walking-in-place — WIP).
Технологии реализации WIP. Первый опыт по использованию WIP-техники в виртуальной реальности был проведен более двадцати лет назад [21]. В ходе опыта использовался электромагнитный датчик, размещенный на VR-шлеме. Полученные данные обрабатывались с помощью нейросети для распознавания паттернов движения, в частности поворотов или наклонов головы пользователя, наиболее характерных для ходьбы. Эффективность распознавания оставалась довольно низкой — пользователю нужно было совершить четыре шага на месте, прежде чем он начинал двигаться в виртуальной реальности.
В дальнейшем были предложены многочисленные варианты реализации ходьбы на месте, которые можно разделить на две группы: программные и аппаратные. Первые из них не требуют использования дополнительного оборудования помимо датчиков, которыми уже оснащен VR-шлем [22—24]. Предложенные алгоритмы распознают движение по данным, регистрируемым акселерометром [22] или гироскопом [23, 24]. Эти методы довольно просты в реализации, но имеют серьезные недостатки, такие как низкая чувствительность и ограничения, накладываемые на угол и скорость поворота головы. Очевидно, что подобные техники не пригодны для множества VR-приложений, предполагающих большую активность, чем просто прогулка по VR-локациям.
Вторая группа методов основана на использовании дополнительных устройств для отслеживания перемещения тела пользователя. Это могут быть сложные физические интерфейсы, такие как беговая дорожка [25, 26], специальная платформа, измеряющая давление ног пользователя [27], и т.д. Подобные устройства являются дорогостоящими, к тому же они занимают много места, поэтому более пригодны для лабораторных исследований. Для личного пользования подходят решения, в которых предусматривается применение датчиков, интегрированных в аксессуары для современных игровых приставок Nintendo Wii Balance Board [28] и Microsoft Kinect [29]. Однако Kinect и Balance Board не позволяют определять положение пользователя в трехмерном пространстве, что значительно снижает их эффективность для реализации WIP [29].
Для симуляции ходьбы на месте могут быть использованы стандартные ручные контроллеры. Человек при ходьбе, как правило, отводит руки в стороны, противоположные ходу движения, чтобы легче удерживать равновесие. Этот факт лежит в основе технологии, позволяющей отслеживать движения рук при ходьбе на месте [30]. Однако данный метод оказался непрактичным, поскольку не позволяет использовать джойстики для любых других целей и уступает по точности и удобству другим WIP-техникам [31], в которых датчики размещаются на ногах пользователя.
Известны также довольно экзотические решения. Например, в работе [32] WIP--техника реализована на основе использования видеокамеры для отслеживания движений ног по отбрасываемым ими теням.
В работе [33] показано, что при необходимости можно реализовать WIP с помощью одного сенсора, но для аккуратного отслеживания движения и снижения задержек большинство исследователей используют как минимум два датчика [15]. В другом исследовании вместо инерциальных датчиков на ноги прикреплялись светодиоды, а для отслеживания движений использовались оптические сенсоры [34]. Этот метод характеризуется сложностью настройки системы и низкой точностью работы [35].
Разработка WIP-контроллера. В данном исследовании был выбран аппаратный способ реализации WIP-техники. В результате было разработано устройство для управления перемещением пользователя в виртуальной реальности под названием „Real Go" (рис. 1: а — корпус контроллера, б — печатные платы).
а)
Рис. 1
Устройство контроллера „Real Go". Контроллер реализован на платформе Arduino Nano, которая построена на микроконтроллере ATmega328. Как показали исследования, быстродействия данного процессора достаточно для реализации WIP [13]. Используются три датчика: два расположены на ногах и один на груди пользователя. Впервые такая конфигурация была предложена в работе [21]. Однако в ней применялись сенсоры для измерения магнитного поля, предназначенные для использования в лабораторных условиях. В разработанном устройстве применяются инерциальные датчики.
В большинстве WIP-техник направление движения совпадает с направлением взгляда пользователя. Это затрудняет их использование для игровых VR-приложений. Чтобы сделать направление движения независимым от направления взгляда требуется дополнительный датчик. В работе [36] предложено разместить сенсор на поясе. Этот подход применяется также в одном из первых коммерческих WIP-устройств WalkOVR (www.walkovr.com). Дополнительные сенсоры могут быть размещены на спине и голове пользователя [37]. В контроллере „Real Go" за выбор направления движения отвечает датчик, размещенный на груди пользователя. Выбор направления задается наклонами корпуса в одну из четырех сторон: влево, вправо, вперед или назад.
В качестве датчика отслеживания наклонов корпуса пользователя был выбран модуль MPU6050 (https://invensense.tdk.com/wp-content/uploads/2015/02/MPU-6000-Datasheet1.pdf), хорошо зарекомендовавший себя в экспериментах с WIP [13]. Он подключается по протоколу I2C и может считывать данные об ускорении по трем осям. Этот модуль содержит акселерометр, гироскоп и датчик температуры окружающей среды. MPU6050 также мог бы использоваться и для считывания данных о движениях ног.
Данный модуль может работать, используя только адреса 68 и 69, что не позволяет подключить более двух MPU6050 к плате Arduino nano. Таким образом, на ногах используются другие датчики — два аналоговых одноосных гироскопа ENC-03RC-10-R (https://www.elecrow.com/download/ENC-03.pdf). Эти устройства легки и компактны, имеют высокую скорость отклика при низком напряжении питания и малых токах потребления. Датчики между собой соединены проводами. Связь между контроллером и персональным компьютером осуществляется с помощью передатчика Fs1000A и приемника RX480A на частоте 433 МГц.
Контроллер „Real Go" распознается VR-шлемом как джойстик, выполняющий функцию выбора направления и уровня интенсивности движения.
Анализ показаний датчиков. Данные, полученные одноосными гироскопами ENC-03RC-10-R, представляют собой мгновенные значения ускорений движения ноги, которые необходимо обработать [38]. Движение ноги во время ходьбы и бега имеет периодический характер, т.е. скорость движения можно описать в виде периодической функции [39]
x(t) = A1 sin(wt) + A2 sin(2wt) + A3 sin(3wt)..., где x(t) — перемещение датчика в пространстве, A¡ — амплитуда п-й гармоники скорости.
Увеличение амплитуды перемещения ноги пользователя (в итоге увеличение высоты подъема бедра) приводит к увеличению длины шага, а увеличение частоты к увеличению темпа движения. Другими словами, и то, и другое приводит к увеличению скорости движения.
Вычислим производную от координаты датчика, размещенного на бедре пользователя, и получим скорость
0(t) = A1q cos(wt) + 2 A2q cos(2wt) + 3 A3q cos(3wt)....
Иными словами, в амплитуде гармоник скорости содержится информация и об амплитуде, и о частоте шагов. Это значит, что получаемых датчиками данных вполне достаточно, чтобы оценить наличие и интенсивность движения.
На рис. 2 изображен спектральный состав сигнала, регистрируемого датчиком ENC-03RC-10-R при разной интенсивности движения. В данном эксперименте использовался только один датчик, размещенный на ноге пользователя. Желтый спектр соответствует максимальной интенсивности движения, красный — средней, а синий — минимальной. Видно, что с увеличением интенсивности движения увеличивается частота и амплитуда основных гармоник скорости.
От, о.е. 120 100 80 60 40 20
0
у i;i.24S
400 f Гц
200 Рис. 2
На основании спектрального анализа можно сделать следующие выводы:
— сигнал скорости при ходьбе и беге имеет периодический характер;
— амплитуда основных гармоник скорости характеризует интенсивность движения.
Рассмотрим сам график скорости, построенный по показаниям датчика ENC-03RC-10-R (рис. 3, синяя линия). Хорошо видно, что в сигнале присутствует постоянная составляющая. Причем при повторных экспериментах и при размещении датчика на другой ноге значение постоянной составляющей может меняться. Поэтому для ее подавления будет эффективен фильтр верхних частот (ФВЧ). Данное решение робастно к медленным изменениям постоянной составляющей и позволяет не проводить калибровку на разных датчиках.
Q, o.e.
ИШНямг m щ
0
30
40 t, с
10 20 Рис. 3
В ходе исследования использовался ФВЧ первого порядка, чтобы минимизировать групповую задержку передаточной функции:
Т5
W (5) = -—, (1)
Тя +1
где Т — параметр фильтра, 5 — оператор Лапласа; параметр Т определяет область низких частот, на которых сигнал будет подавляться: чем больше Т, тем больше низких частот фильтр пропустит.
Учитывая, что обычно человек делает шаги примерно раз в секунду при обычном темпе движения, задаемся значением Т = 2с. Тогда полезные частоты пропускаются, а постоянный сигнал и низкочастотные колебания фильтруются.
Рассматриваемая система является цифровой, поэтому необходимо преобразовать передаточную функцию (1) к дискретному виду и записать разностное уравнение для обработки сигнала датчика ENC-03RC-10-R. Воспользуемся билинейным преобразованием для отображения переменной 5 (или аналоговой плоскости) в переменную 2 (т.е. в дискретную плоскость):
^ = ■
2_ z-1
rdT+i'
где Та — период дискретизации, равный 16 мс.
Тогда передаточная функция фильтра (1) принимает вид
Т - Т 2 -1
Ж ( 2) =-5-.,
Т +1) + Т -1) 2-1
где Т5 = 2Т/Та .
Пусть Кх = ( - 1)/( +1), К2 = Тя/Т +1), К3 = -Тя/Т +1). Тогда разностное уравнение для фильтра будет иметь следующий вид:
□ / (и) = К10/ (п -1) + К2П(п) + К3П(п -1), (2)
где О/— отфильтрованное значение сигнала гироскопа, п — номер такта дискретизации.
0
Результаты работы фильтра с параметрами ^ = 0,992, ^ = 0,996, ^ = -0,996 приведены на рис. 3, красный график; желтый график отражает результат вычитания из исходных данных показаний датчика в начальный момент времени. Как видно из рисунка, красный и желтый графики практически совпадают, но у желтого графика в конце есть постоянное смещение. Поэтому сигнал необходимо фильтровать, а не вычитать постоянное значение (калибровать).
Датчики на ногах можно разместить на бедре, колене, лодыжке [13] или ступне [16]. Для проведения измерений сенсоры были размещены на бедрах и на лодыжках пользователя. Результаты, представленные на рис. 4, показали, что амплитуда сигнала в первом случае (синяя линия) была больше, чем во втором (красная линия).
Способы распознавания шагов. В работе [35] представлен сравнительный анализ двух вариантов распознавания шага в WIP-техниках. Для первого характерно попеременное сгибание пользователем колена, а при втором пользователь отрывает от земли только пятки, при этом контакт пальцев ног с поверхностью сохраняется. Как показали исследования, второй подход воспринимается пользователями как более естественный вариант ходьбы на месте [35]. В этом случае проприоцептивная обратная связь лучше соответствует той, которая возникает во время реальной ходьбы с точки зрения физических усилий, необходимых для выполнения каждого шага. В контроллере „Real Go" реализован второй подход.
Технически распознавание шага выполняется в двух случаях:
1) если три заданных временных интервала подряд скорость превышает пороговое значение;
2) если движение фиксировалось на одном из предыдущих интервалов времени и на текущем интервале скорость превышает пороговое значение.
Во втором случае пороговое значение может быть ниже, чем в первом; в остальных случаях фиксируется отсутствие движения и скорость равна нулю.
Функция, которая описывает процедуру распознавания шага, имеет следующий вид:
Q, о.е.
0 5 10 15 20 25 30 t, с
Рис. 4
Гmax(| Qf (n)|, Fstep(n - Щ если (F1(n) =1) V ( F2(n) =1),
U
где
F1(n) = (Qf (n) > Qthres.1) Л (Qf (n - 1) > Qthres. 1) л (Qf (n - 2) > Qthres.1); F2(n) = (Qf (n) > Qthres.2 ) л (Fstep(n) * 0),
Qthres 1 2 — пороговое значение скорости.
На рис. 5 продемонстрирована работ итма распознавания движения: синим цветом выделен график данных о скорости [енных сенсорами и пропущенных через фильтр высоких частот для устранения по й составляющей сигнала; красным цветом показан результат работы алгоритма. Вид лишние колебания, которые не связаны с движением, были отфильтрованы.
О, о.е.
■I'
I 1|1|!
0 10 20 30 40 /, с Рис. 5
Интенсивность движения характеризуется амплитудой колебаний скорости, поэтому необходимо выделить максимальные значения сигнала. Максимальное значение на каждом интервале движения определяется следующим образом:
— текущий максимум скорости равен максимальному значению из предыдущего максимума и текущему значению модуля скорости;
— при прекращении движения максимум обнуляется.
На рис. 6 показан результат вычисления максимального значения сигнала (черный график) из двух максимумов (красный и синий графики), полученных после обработки сигналов, зарегистрированных сенсорами, установленными на обеих ногах (красный и синий графики). Сигнал непрерывен во время движения, а его значение характеризует интенсивность этого движения.
Q, o.e.
0 10 20 30 40 с Рис. 6
Для "У^приложений может понадобиться реализация различных скоростных режимов движения, таких как медленное перемещение, ходьба, бег, полная остановка. Распознавание этих режимов предлагается осуществлять с помощью релейного управления. В алгоритме распознавания используется трехпозиционное программное реле с гистерезисом. Границы переключения определяются в результате калибровки контроллера применительно к пользователю в соответствии с его ощущениями. Гистерезис составляет 10 % от значения ускорения на
границе переключения между режимами. Результат работы алгоритма распознавания представлен на рис. 7 (черный график).
Q, o.e.
Экспериментальное исследование. Эксперимент по определению влияния WIP-технологии на частоту возникновения симптомов локомоционной болезни проводился с участием 44 добровольцев (студентов и сотрудников Университета ИТМО) в возрасте от 19 до 39 лет. Никто из испытуемых не имел органических заболеваний вестибулярного аппарата и травм головного мозга.
Для проведения эксперимента использовался ноутбук Hasee A7000 (процессор Ryzen r5 3600, 16gb ОЗУ, видеокарта RTX 2070), VR-шлем Oculus Quest 2 и разработанный авторами контроллер „Real Go". Для активной визуальной стимуляции была выбрана компьютерная игра в жанре first-person shooter „Serious Sam Fusion", разработанная компанией Croteam и вышедшая на платформе Steam VR в 2017 г. Данная игра отличается высокой интенсивностью действия, вынуждающей игрока энергично перемещаться в виртуальном пространстве и постоянно взаимодействовать с движущимися объектами. Это приводит к возникновению у многих пользователей эффектов симуляторных расстройств [40].
Испытуемые были случайным образом разделены на две равные группы. Участники первой группы использовали разработанный контроллер „Real Go" для перемещения и джойстики для выполнения всех остальных игровых действий (стрельба, использование предметов и т.д.). Участники второй группы, контрольной, использовали только стандартные джойстики для любых задач. В ходе эксперимента каждый испытуемый погружался на 5 минут в одно и то же игровое окружение (игровой уровень „Земля проклятых" — https://www.youtube.com/watch?v=l_t378DK39g). Участники обеих групп во время сеанса виртуальной реальности стояли на расстоянии 2-3 м от объектов реального мира, с которыми они могли бы столкнуться. До и после эксперимента каждый испытуемый заполнял опросник „Симуляторные расстройства" (Simulator Sickness Questionnaire — SSQ) [3], который на сегодняшний день рассматривается как наиболее достоверный для оценки симуляторных расстройств и выраженности векции [7]. Опросник включает 16 пунктов. По каждому из них участник отмечал одну из 4 степеней выраженности обозначенного ощущения — „не ощущаю" (none), „незначительно ощущаю" (slight), „умеренно ощущаю" (moderate) и „ощущаю сильно" (severe). Выделяются три симптома — тошнота, глазодвигательные реакции и потеря ориентации в пространстве, которые в основном и определяют выраженность симуляторно-го расстройства. Баллы по SSQ (total score — TS) рассчитываются по следующей формуле [3]:
где N — значение фактора тошноты, О — значение глазодвигательного фактора, В — значение фактора дезориентации.
0 10 20 30 40 с Рис. 7
TS = 3,74(9,54N+7,58O+13,92D),
(3)
Результаты. Результаты проведенного эксперимента представлены на рис. 8 (по оси ординат отложена частота возникновения симптомов — G). 16 участников (7 из первой группы и 9 из второй) не испытали никаких неприятных ощущений ни во время сеанса погружения в виртуальную реальность, ни после него. Все остальные сообщили о симптомах тошноты и потере ориентации в пространстве. Два человека набрали набольшее число баллов SSQ, причем один из них использовал контроллер „Real Go" (12,48 баллов), тогда как второй применял только джойстики (14,22 балла). Этот результат согласуется с данными о том, что у некоторых пользователей существуют индивидуальные физические особенности, которые провоцируют возникновение симуляторных расстройств [4] независимо от способа управления перемещением. В остальных случаях анализ значений общего балла, полученного при использовании опросника „Симуляторные расстройства" и формулы (3), позволил обнаружить значимые различия между оценками уровня дискомфорта среди участников группы, в которой использовался контроллер „Real Go" (среднее значение баллов SSQ 3,2318), и группы, в которой использовались только джойстики (среднее значение баллов SSQ 5,7481).
G
8
7
6
5
4
3
2
1
0 2 4 6 8 10 12 TS Рис. 8
Заключение. Представлены результаты исследования по влиянию способа управления перемещением пользователя в виртуальной реальности на выраженность эффектов симуля-торного расстройства. Для сравнения выбраны два наиболее пригодных для практики варианта: управление стандартными джойстиками и управление с помощью WIP-технологии. Для проведения эксперимента был разработан WIP-контроллер, состоящий из трех датчиков, размещенных на ногах и груди пользователя. Предложены алгоритмы для распознавания шагов, подавления случайных отклонений и повышения устойчивости работы системы. Результат эксперимента с участием 44 добровольцев показал уменьшение частоты возникновения симптомов локомоционной болезни при использовании WIP-технологии, что согласуется с закономерностями, установленными в других исследованиях.
СПИСОК ЛИТЕРАТУРЫ
1. Nigel F., Liliya K. Past and future applications of 3-D (virtual reality) technology // Научно-технический вестник информационных технологий, механики и оптики. 2014. N 6 (94).
2. Szpak A. et al. Beyond Feeling Sick: The Visual and Cognitive Aftereffects of Virtual Reality // IEEE Access. 2019. Vol. 7. P. 130883—130892. DOI: 10.1109/ACCESS.2019.2940073.
3. Kennedy R. S. et al. Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness // Intern. Journal of Aviation Psychology. 1993. Vol. 3, N 3. P. 203—220. DOI: 10.1207/s15327108ijap0303_3.
4. Risi D., Palmisano S. Effects of postural stability, active control, exposure duration and repeated exposures on HMD induced cybersickness // Displays. 2019. Vol. 60. P. 9—17. DOI: 10.1016/j.displa.2019.08.003.
5. Rebenitsch L., Owen C. Review on cybersickness in applications and visual displays // Virtual Reality. 2016. Vol. 20, N 2. P. 101—125. DOI: 10.1007/s10055-016-0285-9.
6. Reason J. T. Motion sickness adaptation: a neural mismatch model // J. of the Royal Society of Medicine. 1978. Vol. 71, N 11. P. 819—829. DOI: 10.1177/014107687807101109.
7. Меньшикова Г. Я. Психофизиологические механизмы иллюзии движения собственного тела: Автореф. дис. ... канд. психол. наук. М., 2018. 160 с.
8. Keshavarz B. et al. Vection and visually induced motion sickness: how are they related? // Frontiers in Psychology. 2015. Vol. 6. P. 472. DOI: 10.3389/fpsyg.2015.00472.
9. Riccio G. E., Stoffregen T. A. An ecological theory of motion sickness and postural instability // Ecological Psychology. 1991. Vol. 3, N 3. P. 195—240. DOI: 10.1207/s15326969eco0303_2.
10. Villard S. J., Flanagan M. B., Albanese G. M., Stoffregen T. A. Postural instability and motion sickness in a virtual moving room // Human Factors. 2009. Vol. 50 (2). P. 332—345. DOI: 10.1518/001872008X250728.
11. Bruck S., Watters P. A. The factor structure of cybersickness // Displays. 2011. Vol. 32, N 4. P. 153—158. DOI: 10.1518/001872008X250728.
12. Lee J., Kim M., Kim J. A study on immersion and VR sickness in walking interaction for immersive virtual reality applications // Symmetry. 2017. Vol. 9, N 5. P. 78. DOI: 10.3390/sym9050078.
13. Lee J., Jeong K., Kim J. MAVE: Maze-based immersive virtual environment for new presence and experience // Computer Animation and Virtual Worlds. 2017. Vol. 28, N 3—4. P. e1756. DOI: 10.1002/cav.1756.
14. Ng A. K. T., Chan L. K. Y., Lau H. Y. K. A study of cybersickness and sensory conflict theory using a motioncoupled virtual reality system // Displays. 2020. Vol. 61. P. 101922. DOI: 10.1016/j.displa.2019.08.004.
15. Boletsis C. The new era of virtual reality locomotion: a systematic literature review of techniques and a proposed typology // Multimodal Technologies and Interaction. 2017. Vol. 1, N 4. P. 24. DOI: 10.3390/mti1040024.
16. Boletsis C., Cedergren J. E. VR locomotion in the new era of virtual reality: an empirical comparison of prevalent techniques // Advances in Human-Computer Interaction. 2019. Vol. 2019. DOI: 10.1155/2019/7420781.
17. Weech S., Kenny S., Barnett-Cowan M. Presence and cybersickness in virtual reality are negatively related: a review // Frontiers in Psychology. 2019. Vol. 10. P. 158. DOI: 10.3389/fpsyg.2019.00158.
18. Usoh M. et al. Walking> walking-in-place> flying, in virtual environments // Proc. of the 26th Annual Conf. on Computer Graphics and Interactive Techniques. 1999. P. 359—364. DOI: 10.1145/311535.311589.
19. Al Zayer M., MacNeilage P., Folmer E. Virtual locomotion: a survey // IEEE Trans. on Visualization and Computer Graphics. 2018. DOI: 10.1109/TVCG.2018.2887379.
20. Slater M., Usoh M., Steed A. Taking steps: the influence of a walking technique on presence in virtual reality // ACM Trans. on Computer-Human Interaction (TOCHI). 1995. Vol. 2, N 3. P. 201—219. DOI: 10.1145/210079.210084.
21. Feasel J., Whitton M. C., Wendt J. D. LLCM-WIP: Low-latency, continuous-motion walking-in-place // IEEE Symp. on 3D User Interfaces. IEEE, 2008. P. 97—104. DOI: 10.1109/3DUI.2008.4476598.
22. Pfeiffer T., Schmidt A., Renner P. Detecting movement patterns from inertial data of a mobile head-mounted-display for navigation via walking-in-place // IEEE Virtual Reality (VR). IEEE, 2016. P. 263—264. DOI: 10.1109/VR.2016.7504754.
23. Tregillus S., Folmer E. Vr-step: Walking-in-place using inertial sensing for hands free navigation in mobile vr environments // Proc. of the CHI Conf. on Human Factors in Computing Systems. 2016. P. 1250—1255. DOI: 10.1145/2858036.2858084.
24. Tregillus S., Al Zayer M., Folmer E. Handsfree omnidirectional VR navigation using head tilt // Proc. of the CHI Conf. on Human Factors in Computing Systems. 2017. P. 4063—4068. DOI: 10.1145/3025453.3025521.
25. Iwata H. The torus treadmill: Realizing locomotion in VEs // IEEE Computer Graphics and Applications. 1999. Vol. 19. N 6. P. 30—35. DOI: 10.1109/38.799737.
26. Darken R. P., Cockayne W. R., Carmein D. The omni-directional treadmill: a locomotion device for virtual worlds // Proc. of the 10th Annual ACM Symp. on User Interface Software and Technology. 1997. P. 213—221. DOI: 10.1145/263407.263550.
27. Bouguila L. et al. Walking-pad: a step-in-place locomotion interface for virtual environments // Proc. of the 6th Intern. Conf. on Multimodal Interfaces. 2004. P. 77—81. DOI: 10.1145/1027933.1027948.
28. Swapp D., Williams J., Steed A. The implementation of a novel walking interface within an immersive display // IEEE Symp. on 3D User Interfaces (3DUI). IEEE, 2010. P. 71—74. DOI: 10.1109/3DUI.2010.5444717.
29. Capece N., Erra U., Romaniello G. A low-cost full body tracking system in virtual reality based on Microsoft Kinect // Intern. Conf. on Augmented Reality, Virtual Reality and Computer Graphics. Cham: Springer, 2018. P. 623—635. DOI: 10.1007/978-3-319-95282-6_44.
30. McCullough M. et al. Myo arm: swinging to explore a VE // Proc. of the ACM SIGGRAPH Symp. on Applied Perception. 2015. P. 107—113. DOI: 10.1145/2804408.2804416.
31. Wilson P. T. et al. VR locomotion: walking> walking in place> arm swinging // Proc. of the 15th ACM SIGGRAPH Conf. on Virtual-Reality Continuum and Its Applications in Industry. 2016. Vol. 1. P. 243—249. DOI: 10.1145/3013971.3014010.
32. Zielinski D. J., McMahan R. P., Brady R. B. Shadow walking: An unencumbered locomotion technique for systems with under-floor projection // IEEE Virtual Reality Conf. IEEE, 2011. P. 167—170. DOI: 10.1109/VR.2011.5759456.
33. Teixeira L. et al. Strategy for the Development of a Walk-In-Place Interface for Virtual Reality // Intern. Conf. of Design, User Experience, and Usability. Berlin-Heidelberg: Springer, 2013. P. 419—426. DOI: 10.1007/978-3-642-39238-2_46.
34. Wendt J. D., Whitton M. C., Brooks F. P. Gud wip: Gait-understanding-driven walking-in-place // IEEE Virtual Reality Conf. (VR). IEEE, 2010. P. 51—58. DOI: 10.1109/VR.2010.5444812.
35. Nilsson N. C. et al. Tapping-in-place: Increasing the naturalness of immersive walking-in-place locomotion through novel gestural input // IEEE Symp. on 3D User Interfaces (3DUI). IEEE, 2013. P. 31—38. DOI: 10.1109/3DUI.2013.6550193.
36. Park C., Jang K., Lee J. Walking-in-place for VR navigation independent of gaze direction using a waist-worn inertial measurement unit // IEEE Intern. Symp. on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). IEEE, 2018. P. 254—257. DOI: 10.1109/ISMAR-Adjunct.2018.00079.
37. Yan L., Allison R. S., Rushton S. K. New simple virtual walking method-walking on the spot // Proc. of the IPT Symposium. 2004.
38. Щеколдин А. И., Дема Н. Ю., Шевяков А. Д., Колюбин С. А. Отслеживание и классификация движения головы по данным нашлемного инерциального измерительного модуля // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17, № 5. С. 798—804. DOI: 10.17586/2226-14942017-17-5-798-804.
39. ДженкинсГ., ВаттсД. Спектральный анализ и его приложения. М.: Мир, 1971. Т. 1. 318 с.
40. https://thevrsoldier.com/serious-sam-the-first-encounter-vr-review-a-must-buy-unless-you-suffer-from-motion-sickness.
Сведения об авторах
Юрий Витальевич Гневашев — студент; Университет ИТМО, факультет систем управления и робо-
тотехники; E-mail: [email protected]
Константин Сергеевич Горшков — канд. техн. наук; Университет ИТМО, факультет систем управления
и робототехники; E-mail: [email protected]
Георгий Александрович Коновалов — студент; Университет ИТМО, факультет систем управления и робототехники; E-mail: [email protected]
Сергей Юрьевич Ловлин — канд. техн. наук; Университет ИТМО, факультет систем управления
и робототехники; E-mail: [email protected]
Даниил Александрович Посохов — студент; Университет ИТМО, факультет систем управления и робототехники; E-mail: [email protected]
Мадина Хасановна Цветкова — канд. техн. наук; Университет ИТМО, факультет систем управления
и робототехники; E-mail: [email protected]
Поступила в редакцию 23.03.21; одобрена после рецензирования 15.02.22; принята к публикации 29.03.22.
REFERENCES
1. Nigel F., Liliya K. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 6 (94).
2. Szpak A. et al. IEEE Access, 2019, vol. 7, рр. 130883-130892, https://doi.org/10.1109/ACCESS.2019.2940073.
3. Kennedy R. S. et al. The International Journal of Aviation Psychology, 1993, no. 3(3), pp. 203-220, https://doi.org/10.1207/s15327108ijap0303_3.
4. Risi D., Palmisano S. Displays, 2019, vol. 60, pp. 9-17, https://doi.Org/10.1016/j.displa.2019.08.003 .
5. Rebenitsch L., Owen C. Virtual Reality, 2016, no. 2(20), pp. 101-125, https://doi.org/10.1007/s10055-016-0285-9.
6. Reason J.T. Journal of the Royal Society of Medicine, 1978, no. 11(71), pp. 819-829, https://doi.org/10.1177/014107687807101109.
7. Menshikova G.Ya. Psikhofiziologicheskiye mekhanizmy illyuzii dvizheniya sobstvennogo tela (Psychophysiological Mechanisms of the Illusion of Movement of One's Own Body), candidate's thesis, Moscow, 2018, 160 p. (in Russ.)
8. Keshavarz B. et al. Frontiers in Psychology, 2015, vol. 6, pp. 472. https://doi.org/10.3389/fpsyg.2015.00472.
9. Riccio G.E., Stoffregen T.A. Ecological Psychology, 1991, no. 3(3), pp. 195-240. doi.org/10.1207/s15326969eco0303_2.
10. Villard S.J., Flanagan M.B., Albanese G.M., Stoffregen T.A. Human Factors, 2009, no. 2(50), pp. 332-345, https://doi.org/10.1518/001872008X250728.
11. Bruck S., Watters P.A. Displays, 2011, no. 4(32), pp. 153-158, https://doi.org/10.1518/001872008X250728.
12. Lee J., Kim M., Kim J. Symmetry, 2017, no. 5(9), pp. 78, https://doi.org/10.3390/sym9050078.
13. Lee J., Jeong K., Kim J. Computer Animation and Virtual Worlds, 2017, no. 3-4(28), pp. e1756, https://doi.org/10.1002/cav. 1756.
14. Ng A.K.T., Chan L.K.Y., Lau H.Y.K. Displays, 2020, vol. 61, pp. 101922, https://doi.org/10.1016Zj.displa.2019.08.004.
15. Boletsis C. Multimodal Technologies and Interaction, 2017, no. 4(1), pp. 24, https://doi.org/10.3390/mti1040024.
16. Boletsis C., Cedergren J.E. Advances in Human-Computer Interaction, 2019, vol. 2019, https://doi.org/10.1155/2019/7420781.
17. Weech S., Kenny S., Barnett-Cowan M. Frontiers in Psychology, 2019, vol. 10, pp. 158, https://doi.org/10.3389/fpsyg.2019.00158.
18. Usoh M. et al. Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques, 1999, pp. 359-364, https://doi.org/10.1145/311535.311589.
19. Al Zayer M., MacNeilage P., Folmer E. IEEE Transactions on Visualization and Computer Graphics, 2018, https://doi.org/10.1109/TVCG.2018.2887379.
20. Slater M., Usoh M., Steed A. ACM Transactions on Computer-Human Interaction (TOCHI), 1995, no. 3(2), pp. 201-219, https://doi.org/10.1145/210079.210084.
21. Feasel J., Whitton M.C., Wendt J.D. 2008 IEEE Symposium on 3D User Interfaces, IEEE, 2008, pp. 97-104, https://doi.org/10.1109/3DUI.2008.4476598.
22. Pfeiffer T., Schmidt A., Renner P. 2016 IEEE Virtual Reality (VR), IEEE, 2016, pp. 263-264, https://doi.org/10.1109/VR.2016.7504754.
23. Tregillus S., Folmer E. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 2016, pp. 1250-1255, https://doi.org/10.1145/2858036.2858084.
24. Tregillus S., Al Zayer M., Folmer E. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 2017, pp. 4063-4068, https://doi.org/10.1145/3025453.3025521.
25. Iwata H. IEEE Computer Graphics and Applications, 1999, no. 6(19), pp. 30-35, https://doi.org/10.1109/38.799737.
26. Darken R.P., Cockayne W.R., Carmein D. Proceedings of the 10th Annual ACM Symposium on User Interface Software and Technology, 1997, pp. 213-221, https://doi.org/10.1145/263407.263550.
27. Bouguila L. et al. Proceedings of the 6th International Conference on Multimodal Interfaces, 2004, pp. 77-81, https://doi.org/10.1145/1027933.1027948.
28. Swapp D., Williams J., Steed A. 2010 IEEE Symposium on 3D User Interfaces (3DUI), IEEE, 2010, pp. 71-74, https://doi.org/10.1109/3DUI.2010.5444717.
29. Capece N., Erra U., Romaniello G. International Conference on Augmented Reality, Virtual Reality and Computer Graphics, Springer, Cham, 2018, pp. 623-635, https://doi.org/10.1007/978-3-319-95282-6_44.
30. McCullough M. et al. Proceedings of the ACM SIGGRAPH Symposium on Applied Perception, 2015, pp. 107-113, https://doi.org/10.1145/2804408.2804416.
31. Wilson P. T. et al. Proc. of the 15th ACM SIGGRAPH Conf. on Virtual-Reality Continuum and Its Applications in Industry, 2016, vol. 1, pp. 243-249, https://doi.org/10.1145/3013971.3014010.
32. Zielinski D.J., McMahan R.P., Brady R.B. 2011 IEEE Virtual Reality Conference, IEEE, 2011, pp. 167-170, https://doi.org/10.1109/VR.2011.5759456.
33. Teixeira L. et al. International Conference of Design, User Experience, and Usability, Springer, Berlin, Heidelberg, 2013, pp. 419-426, https://doi.org/10.1007/978-3-642-39238-2_46.
34. Wendt J.D., Whitton M.C., Brooks F.P. 2010 IEEE Virtual Reality Conference (VR), IEEE, 2010, pp. 51-58, https://doi.org/10.1109/VR.2010.5444812.
35. Nilsson N.C. et al. 2013 IEEE Symposium on 3D User Interfaces (3DUI), IEEE, 2013, pp. 31-38, https://doi.org/10.1109/3DUI.2013.6550193.
36. Park C., Jang K., Lee J. 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), IEEE, 2018, pp. 254-257, https://doi.org/10.1109/ISMAR-Adjunct.2018.00079.
37. Yan L., Allison R.S., Rushton S.K. Proceedings of the IPT Symposium, 2004.
38. Shchekoldin A.I., Dema N.Yu., Shevyakov A.D., Kolyubin S.A. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, no. 5(17), pp. 798-804, https://doi.org/10.17586/2226-1494-2017-17-5-798-804. (in Russ.)
39. Jenkins G.M. and Watts D.G. Spectral analysis and its applications, San Francisco, Holden-Day, 1968.
40. https://thevrsoldier.com/serious-sam-the-first-encounter-vr-review-a-must-buy-unless-you-suffer-from-motion-sickness.
Data on authors
Yuriy V. Gnevashev — Student; ITMO University, Faculty of Control Systems and Robotics;
E-mail: [email protected]
Constantin S. Gorshkov — PhD; ITMO University, Faculty of Control Systems and Robotics;
E-mail: [email protected]
Georgy А. Konovalov — Student; ITMO University, Faculty of Control Systems and Robotics;
E-mail: [email protected]
Sergey Yu. Lovlin — PhD; ITMO University, Faculty of Control Systems and Robotics;
E-mail: [email protected]
Daniil А. Posokhov — Student; ITMO University, Faculty of Control Systems and Robotics;
E-mail: [email protected]
Madina Kh. Tsvetkova — PhD; ITMO University, Faculty of Control Systems and Robotics;
E-mail: [email protected]
Received 23.03.21; approved after reviewing 15.02.22; accepted for publication 29.03.22.
