БОЛЬШИЕ ДАННЫЕ И ПРИЛОЖЕНИЯ / BIG DATA AND APPLICATIONS
УДК 004.514.62
DOI: 10.25559/SITITO.15.201903.721-732
Проблемы достоверности виртуальной реальности вблизи наблюдателя
А. П. Гагарин*, И. В. Черняков
Московский авиационный институт (национальный исследовательский университет), г. Москва, Россия
125993, Россия, г. Москва, Волоколамское шоссе, д. 4 * [email protected]
Аннотация
Исследуется степень достоверности, которую обеспечивают современные технологии виртуальной реальности при воспроизведении пространственных отношений - расстояний и форм предметов - в диапазоне удаления от наблюдателя 0,1 - 2 м. Эти оценки предназначены для уточнения перспективы применения виртуальной реальности в таких областях, как программная инженерия путём, в частности, «погружения» в виртуальную реальность рабочего места программиста. Проведены эксперименты, в которых наблюдатели оценивают достоверность представления в виртуальной реальности листа формата А4. В экспериментах варьирует перспективное искажение формы листа (трапеция вместо прямоугольника), и наблюдатель оценивает, какие из предложенных вариантов позволяют воспринимать виртуальный лист, как реальный, расположенный на рабочем месте. Полученные результаты показывают, что наблюдатель склонен принимать за нормальный, лист, имеющий форму трапеции с верхней, дальней от наблюдателя стороной, на 20% удлинённой по сравнению с нижней. В то же время нормальные листы расцениваются как ненормально суженные. Проведены также эксперименты по сравнению восприятия реального и виртуального листа в крайнем ракурсе - «с торца» одним глазом и обоими глазами, в которых исключается влияние вертикального измерения на оценки достоверности восприятия. Все эксперименты показали, что активация в виртуальной среде модели листа, подготовленной с точным соблюдением реальной формы и размеров, а также с объективно проверяемым обеспечением эффектов линейной перспективы, трансформирует структуру модели так, что лист представляется суженным в свой верхней части и сдвинутым вдаль. Достоверность представления исходной модели в виртуальной среде теряется. Возможность полностью компенсировать трансформацию путём предварительной или оперативной настройки модели требует дальнейших исследований. Для поддержки этих исследований представляется целесообразным ввести в средства подготовки и развёртывания VR функции, направленные на анализ и регулирование передачи пространственных отношений в моделях. Для формирования виртуальной реальности использован шлем виртуальной реальности HTC Vive под управлением программной системы Unity 19.4.
Ключевые слова: виртуальная реальность, шлем виртуальной реальности, растр, камера, наблюдатель.
Для цитирования: Гагарин А. П., Черняков И. В. Проблемы достоверности виртуальной реальности вблизи наблюдателя // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 3. С.721-732. DOI: 10.25559/SITITO.15.201903.721-732
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Modern Information Technologies and IT-Education
BIG DATA AND APPLICATIONS
Fidelity Problems of Virtual Reality in a Proximity of the Viewer
A. P. Gagarin*, I. V. Chernyakov
Moscow Aviation Institute (National Research University), Moscow, Russia 4 Volokolamskoe shosse, Moscow 125993, Russia * [email protected]
Abstract
The degree of reliability that modern virtual reality technologies provide when reproducing spatial relationships - distances and shapes of objects - in the range of 0.1 to 2 m from the observer is investigated. These estimates are intended to clarify the prospects for the use of virtual reality in areas such as software engineering, in particular, by "immersing" the programmer's workplace into virtual reality. Experiments were conducted in which observers evaluate the presentation fidelity of a A4 sheet in virtual reality. In experiments, the perspective distortion of the sheet shape (trapezoid instead of a rectangle) is varied and the observer estimates which of the proposed options enable perceiving a virtual sheet as real, located on the work-table. The obtained results show that the observer is ready to recognize as normal such a list which has a form of trapezoid with the upper side being far from him extended by 20% against the lower side. At the same time normal sheets are recognized as being abnormally narrowed. Also, experiments were conducted comparing the perception of a real and virtual sheet from the extreme camera angle - "from the end-on view" with one eye and with both eyes, permitting to exclude any impact of vertical dimension on the fidelity of perception and clarifying the role of binocular vision in the perception of distance. All the experiments reveal that VR activating a model of a sheet transforms its structure so that the sheet seems to be narrowed at its upper side and shifted into a distance, although the model could be carefully prepared following real form and size of the sheet and providing the requirements of linear perspective in verifiable manner. Fidelity of the source model can be lost and further investigations are needed to understand whether the transformation may be successfully overpassed by preliminary or operative tuning of the model. It seems to be useful to include in VR creation technologies some features enabling analysis and control of spatial intra-model relations. During preparation of the issue the HTC Vive virtual reality helmet was used under control of the Unity 19.2 software system.
Keywords: Virtual Reality (VR), HMD, camera, viewer
For citation: Gagarin A.P., Chernyakov I.V. Fidelity Problems of Virtual Reality in a Proximity of the Viewer. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):721-732. DOI: 10.25559/SITITO.15.201903.721-732
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Введение
Исследования особенностей восприятия пространства человеком ведутся на протяжении десятилетий как в контексте психологии и физиологии зрения, так и в связи с развитием технологий виртуальной реальности (далее VR) [1]. Актуальность таких исследований для успешного развития технологий и рынка VR проявилась ещё на рубеже веков, в период, когда установки VR носили экспериментальный характер и единичное распространение [2, 3]. На фоне начавшегося промышленного изготовления комплектов оборудования для VR и роста их продаж, начало расти количество исследований феномена VR и как среды существования человека, и как специального интерфейса «человек-компьютер». Стимулом для проведения этих исследований, по всей видимости, послужило то, что кроме «первородных» пороков VR: дурноты [4], возникающей у некоторых пользователей в определённых ситуациях, и необходимости носить специальные гаджеты -были опознаны тонкие, не сразу обнаруживаемые недостатки, ограничивающие сферу применения VR. К числу относятся кажущееся наблюдателю в VR сокращение расстояния от удалённых объектов до наблюдателя от 20 до 50% по сравнению с оценками той же сцены в реальном пространстве. В [5] предложена коррекция этого сокращения путём «минификации» -уменьшения размеров виртуальных объектов и заполнения образовавшегося пространства VR. В [5, 6] описаны эксперименты по применению минификации как приёма, обеспечивающего коррекцию при различных способах объективизации оценок удаления наблюдателя от объектов.
Исследования вопросов искажения восприятия расстояний в VR и испытание приёмов коррекции этого искажения продолжаются до настоящего времени [7 - 9]. В [10] расстояние до наблюдателя оценивается на неровной, с разрывами поверхности. В [11] исследуется влияние на оценки расстояния в VR ограниченного поля зрения и рамки, в [12] - высоты глаза над уровнем пола (грунта), а в [13] - периферийного зрения и модели освещения. Комплексному изучению особенностей восприятия пространства в VR и воздействия на него посвящены диссертации [14, 15].
Относительно самостоятельной темой в опубликованных исследованиях выступает поведение человека-наблюдателя в виртуальном окружении (в VR). В [16], например, рассмотрены особенности переступания через шест и схождение с уступа, в [17] - особенности восприятия высоты в связи с хождением по лестнице, а в [18 - 20] - влияние на восприятие VR расширения поля зрения по вертикали, изменения наклона головы и учёта движения взгляда. Общим вопросам достижения цели физических действий в VR посвящены работы [21 -23].
В проведённых исследованиях обнаружено, что на точное восприятие пространственных отношений влияют многие факторы, в частности, открытость среды, уровень глаз относительно пола, направление (вертикальное или горизонтальное) оценки расстояния и перемещения. В эксперименте с подъемом и спуском по лестнице закрытая среда снизила точность результатов [17], а в другом эксперименте с определением расстояния — наоборот увеличила точность, относительно открытой среды [22].
Нельзя не заключить, что исследования особенностей VR ведутся широким фронтом и направлены на совершенствова-
ние технологической базы VR в интересах пользователей во всех областях применения VR, но, следует отметить, что эти требования не одинаковы. Самая успешная в настоящее время область применения VR - это область развлечений, в которой пользователь так или иначе настроен на попадание в исключительную, необыденную среду и в меру этой настроенности готов относиться терпимо к отклонениям от привычных ощущений пространства. В таких развивающихся областях применения VR, как моделирование ландшафта, интерьер зданий, архитектурное моделирование, тренажёры для обучения вождению транспортных средств, соблюдение реальных пространственных отношений важно. Однако в этих областях глубина моделируемого пространства измеряется десятками и сотнями метров. Именно в этом диапазоне глубины, от 2 метров и далее, проводятся почти все рассмотренные выше исследования. Исключение составляют работы [24 - 26], в которых в общем виде рассматривается проблема оценки удобства, комфортности (usability) VR и конкретный пример снижения комфортности.
Исключением на общем фоне публикаций также выглядит диссертация [27], в которой предлагаются и исследуются решения по реализации в VR клавиатуры и оконной системы («рыбий глаз»). Начинающие развиваться приложения VR, моделирующие рабочее место, устроенное «за столом» и в ближайшем окружении стола, такие как офисного работника, монтажника малогабаритной аппаратуры, программиста, предъявляют требования, которые пока не исследованы, но несомненно связаны со специфическими пространственными отношениями и возможностью длительного нахождения в виртуальной среде. Тенденция развития исследований в этом направлении представляется неизбежной. Примером может служить публикация [28], в которой рассматривается визуализация и исследование архитектуры программного обеспечения в расширенной виртуальной среде. Предложения по реализации рабочего места программиста в VR представлены также в [29].
Цель исследования
В работе предпринята попытка систематического исследования эффектов восприятия в VR объектов, удалённых от наблюдателя не далее, чем на 2 м. Результаты исследования предназначены для выработки рекомендаций по организации рабочего места за концелярским или компьютерным столом, стойкой или соразмерным им станком, погружённого в полную или смешанную виртуальную среду.
Принципы организации исследования
В качестве конкретного предмета исследования выбрана форма наблюдаемых объектов, а не расстояние между объектами, как в большинстве ранее проводившихся исследований. Форма является интегративным свойством, восприятие которого можно практически свести к восприятию размеров объекта по определённым направлениям. Искажение размеров исказит и форму. Но это сведение, по мнению авторов, в общем случае требует осознанного рассуждения, в то время, как форма способна восприниматься подсознательно и участвует в выработке первого впечатления от сцены, насколько та является достоверной или же несёт в себе искажение пространственных отношений.
Основным методом исследования является эксперимент,
Modern Information Technologies and IT-Education
проводимый в реальном пространстве с реальными объектами и с информационными моделями этих объектов в 3-мерном модельном пространстве, наблюдаемыми на плоском экране и в VR.
Ввиду многообразие факторов, способных влиять, как было выяснено, на восприятие пространственных отношений, в исследовании применяются последовательные меры по разделению этих факторов:
• в качестве исследуемой формы выбрана трапеция, в виде которой в экспериментах наблюдается прямоугольный лист канцелярской бумаги формата A4, чистый или разлинованный, белого цвета;
• фон, в котором наблюдается объект, - однотонный нейтрального цвета;
• объект и наблюдатель в ходе эксперимента неподвижны относительно друг друга.
Во всех экспериментах лист находится перед наблюдателем так, что прямая, соединяющая оба глаза наблюдателя, параллельна коротким сторонам листа. Считается, что возможные деформации не нарушают параллельность коротких сторон листа, но могут изменять длину этих коротких сторон. Соответственно, деформация измеряется величиной R = w1/ w2, где w1 - длина стороны листа, ближней к наблюдателю, а
Таблица 1. План и результаты экспериментов Table 1. Plan and experimental results
w2 - дальней. В дальнейшем длина короткой стороны неде-формированного, то есть прямоугольного листа (его ширина) обозначается буквой w, а смежной стороны (высота листа) обозначается буквой h.
Исследуемая виртуальная среда создаётся комплектом гаджетов HCT Vive. Модель создаётся и активируется в среде Unity 19.2 с использованием графического адаптера NVidia RTX 2060.
Методика эксперимента
В рамках исследования проводятся две серии экспериментов: установочная и основная. В установочной серии лист наблюдается под малым углом, «с торца», в положении, неестественном для работы с листом, но позволяющем изолировать эксперимент от влияния факторов высоты. В основной серии лист рассматривается в нормальных условиях чтения или письма.
В установочной серии варьируют факторы: реальный лист/модель листа, удаление от листа, наблюдение одним глазом/ обоими глазами. План установочной серии представлен в Табл.1.
Id. эксперимента Расстояние до объекта в см Наблюдение R
1 глаз 2 глаза в реальности в окне 2D вУЯ Эмпирическое Расчётное
1.1.1 50 1 глаз в реальности 5,51 6,94
1.1.2 50 2 глаза в реальности 2,34 2,98
1.2.1 150 1 глаз в реальности 2,08 2,13
1.2.2 150 2 глаза в реальности 1,64 1,7
2.1.1 50 1 глаз в окне 2D 7,24 6,94
2.1.2 50 2 глаза в окне 2D 2,26 2,98
2.2.1 150 1 глаз в окне 2D 3,04 2,98
2.2.2 150 2 глаза в окне 2D 1,76 1,7
2.3.1 400 1 глаз в окне 2D 1,75 1,74
3.1.1 50 1 глаз в VR 3 1,3
3.1.2 50 2 глаза в VR 3,6 1,86
Полученные в экспериментах значения R сравниваются с величиной, рассчитываемой на основе элементарных геометрических построений. Эти построения представлены на Рис.1 и поясняются далее.
Лист A4 210x297 мм рассматривается с узкой стороны. Луч зрения направлен вдоль поверхности листа.
Фиксируется проекция дальних от глаза углов листа на строну (узкую) листа, ближнюю к глазу. При рассмотрении одним глазом, расположенным на центральной оси листа, сторона PQ видится равной отрезку [С1, С2]. Прямоугольник листа трансформируется в трапецию. Если это искажение измерять величиной R = PQ/C1C2, то с учётом подобия R= PA/C1B = AO/BO
Обозначая удаление листа (ближнего края) от наблюдателя буквой s, то варьируя R = (s + h)/s = 1 + h/s
Легко подсчитать, что в близкой перспективе, в условиях рабочего стола при варьировании s от 25 см до 1 м, искажение формы листа формата А4 находится в диапазоне от 2,2 до 1,3 и, несомненно, должно быть заметно. Столь же очевидно, что при большем удалении, на 1,5 - 2 м и далее искажение быстро убывает и перестаёт быть различимым невооружённым глазом.
Следует также учитывать, что рассматриваемое искажение зависит от величины угла между лучом зрения и осью листа (вдоль длинной его стороны). Если луч зрения перпендикулярен плоскости листа, как на экране дисплея, то искажение отсутствует. Если лист лежит горизонтально на столе перед сидящим наблюдателем, то лист наблюдается под углом от 40 до 70 градусов, и искажение уменьшается, как если бы высота листа h в формуле вычисления R сократилась примерно вдвое.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
A
Р и с. 1. Луч зрения (один глаз) направлен по оси листа F i g. 1. The line of sight (one eye) is directed along the sheet axis
Эксперименты 1.1.1 и 1.1.2. Рассматривается предельный случай: луч зрения скользит по поверхности листа вдоль длинной оси листа. Фиксация проекции правого конца листа производится в отдельных экспериментах одним правым глазом, левого - одним левым. Дважды (разными наблюдателями) измеряется расстояние от проекции конца листа до центра узкой части листа (отрезки [C1, B] и [B, C2] на Рис.1), соответственно, на двух расстояниях s: 5 см и 15 см. Результаты измерений усреднены по каждому участнику, затем полученные значения усреднены по участникам. Полученные усреднённые значения используются для вычисления искажения R. Эмпирическое значение R вычисляется как отношение PQ/C1C2, где PQ =210, а C1C2 равно двойному усреднённому Результаты измерений и расчётов сведены в Таблицу 1.
Полученные эмпирическое и расчётное значения близки. Причину различия можно искать в неточности оценки s, так как голова в эксперименте жёстко не фиксировалась. Для оценки погрешности предлагается вычислить s по эмпирическому значению R: s = h/(R-1).
Для близкого к листу расположения экспериментатора s = 297/4,51 = 65,8 см, а для дальнего -
s = 297/1,34 = 221,64 см. То есть, наблюдаемые искажения формы листа должны теоретически наблюдаться при гораздо более далёком расположении наблюдателя, выходящем за рамки возможной погрешности проведённого эксперимента (глубины глаза и т.п.). То есть, проведённый эксперимент показывает, что глаз каким-то образом компенсирует деформацию наблюдаемого листа, какой она должна быть по законам линейной перспективы.
Эксперименты 1.2.1 и 1.2.2. Взят тот же предельный случай: луч зрения скользит по поверхности листа вдоль длинной оси листа, но длинная ось листа направлена в переносицу и
оба глаза равноудалены от этой оси. Фиксация проекции правого конца листа производится одним правым глазом, левого - одним левым (луч зрения каждого глаза направлен параллельно оси листа), как показано на Рис.2.
Р и с. 2. Луч зрения (обоих глаз) направлен параллельно оси листа F i g. 2. The line of sight (both eyes) is parallel to the sheet axis
Дважды (разными наблюдателями) измеряется расстояние от проекции конца листа до центра узкой части листа (отрезки [C1, B] и [B, C2], соответственно, на двух расстояниях s: 5 см и 15 см. Результаты измерений усреднены по каждому участнику, затем полученные значения усреднены по участникам. Полученные усреднённые значения используются для вычисления искажения R. Как и в первых двух экспериментах,
R = PQ/C1C2 = PA/C1B
Но теперь для левого глаза, как и для правого в соответствующих обозначениях, PA = w/2, C1B = C1B1 + B1B, где B1B = d - половина расстояния между глазами (40 мм в эксперименте), а PA1/C1B1 = A1O1/B1O1 (исходя из законов линейной перспективы). Отсюда C1B1 = PA1xB1O1/A1O1. Поскольку A1O1 = A1B1 +_B1O1, получается C1B1 = PA1xB1O1/(A1B1 + B1O1) = (w/2 - d)s/(h + s).
Отсюда расчётное R = (h + s)/(s + 2dh/w). На основе измеренных и усреднённых C1B и BC2 эмпирическое значение искажения вычисляется:
R = w/(2xC1B) или R = w/(2xBC2)
Результаты измерений и расчётов сведены в таблицу 1.
Расчётные значения для s по формуле s = h(1 - 2dR/w)/(R - 1) составят 52,57 и 176,3. Эти значения близки фактическим значениям s, но несколько превышают их, свидетельствуя,
Modern Information Technologies and IT-Education
возможно, о тенденции к их систематическому превышению.
Для воспроизведения и исследования рассмотренных эффектов в экспериментах с наблюдением в окне 2D в Unity формируется следующая сцена. Единица пространства модели принимается за 100 мм. Лист моделируется кубом с размерами
J Cub* (1J Тл-д u«*»t<
■ L*ir*f GMrf*
_■««, Гг jnilorm
U °
»еььоп к о т 0..'< X 1 л*
х ХЬ г о 2 О
X л riY о о: I ~2Л7
u °
L»
B'nd.f.r
fc tM* Mjitenil 2 U. о
k- Ifft Uu«i ItuKat ■
I_Д«М Corntvorxr*_j
2,1 х 0,02 х 2,97. Лист расположен так, чтобы короткая сторона располагалась параллельно и вблизи оси X, а длинная ось листа была наклонена к плоскости XOZ на 10 градусов, как можно увидеть на скриншотах на Рис.3:
Рисунок 3. Настройки модели для исследования в окне 2D F ig. 3. Model settings for research in the 2D window
Координаты Y и Z листа установлены с учётом наклона так, чтобы нижняя короткая сторона листа лежала на оси координат X. Камера направлена на эту сторону по оси Z. В дальних от камеры (приподнятых) углах листа установлены столбики (цилиндры), чтобы углы были заметны при наблюдении вдоль поверхности листа. В экспериментах используются также окна Scene и Game. Окно Scene показывает лист сверху с выключенной перспективой и камерой в фокусе. Окно Game на-
строено на показ квадратного растра (10:10). При этих настройках параметр Field of View камеры позволяет точно определить угол, под которым видны объекты, края которых касаются границ растра.
Эксперимент с малым удалением наблюдателя. Камера сначала установлено на удалении от нижнего края листа на 0,5 единиц (50 мм), как можно увидеть на Рис. 4.
Р и с. 4. Настройка модели для наблюдения на расстоянии 50 мм F i g. 4. Model settings for observation at a distance of 50 mm
Лист углами нижнего края касается границ растра. Нижний край виден под углом 127 градусов. Легко проверяется, что геометрические соотношения выполняются: tg(63,5) = 2,006..., что вполне соответствует отношению длины половины короткой стороны листа (105 мм) к удалению от края листа (50 мм). Неточность определяется приближённой «ручной» установкой угла растра, уже tg(64,5) = 2,0965. .Далее сузим растр камеры, изменяя вручную параметр Field of View камеры, пока его границ не коснутся дальние от камеры углы ли-
ста. Это происходит при 33 градусах раствора растра (Рис. 5).
Окно Game также показывает, каким видится удалённый край листа. Эту видимую длину можно выразить в линейных единицах, замерив по изображению в окне долю, какую составляет проекция дальнего края от размеров ближнего края. Мы предпочитаем использовать для этой цели измеренный угол. tg(33/2) = tg(16,5) = 0,29..., что даёт видимую длину дальнего края 0,29 х 0,5 х 2 = 0,29 в единицах модели, то есть 29 мм.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
A- p ;Gagarin; BIG DATA AND APPLICATIONS
I. V. Chernyakov
727
Р и с. 5. Оценка углового размера дальней стороны листа на расстоянии 50 мм от наблюдателя F i g. 5. Assessment of the angular size of the far side of the sheet at a distance of 50 mm from the observer
Таким образом, деформация («трапециевидность») листа, показываемая моделью в эксперименте 2.1.1, составляет 210/29 = 7,24. Это близко к расчётному значению, полученному в эксперименте 1.1.1 для данного удаления наблюдателя (50 мм).
Аналогичные измерения на модели при установке удаления от наблюдателя 150 мм дают растр нижнего края листа равным 70 градусам, дальнего края - 26 градусам, что даёт видимую длину дальнего края листа tg(26/2)х1,5х2 = tg(13^3 = 0, 230х3 = 0,69 (69 мм).
То есть, деформация («трапециевидность») листа, показываемая моделью в эксперименте 2, составляет 210/69 = 3,04. Это опять близко к расчётному значению, полученному в эксперименте 1.1.2 для данного удаления наблюдателя (150 мм).
Если установить камеру на удалении 400 мм (4 единиц модели) в соответствии с условиями эксперимента 2.3.1, растр нижнего края листа составляет 30 градусов, дальнего края -18 градусов, что даёт видимую длину дальнего края листа tg(17/2)х4х2 = tg(8,5>8 = 0, 15х8 = 1,2 (120 мм). При этом деформация («трапециевидность»)листа, вызванная перспективой, составляет 210/120 = 1,75. Удалению 400 мм соответствует расположение листов на рабочем столе в два ряда и рассмотрение листа второго ряда.
Полный вид листа при этом можно получить, если в окне Game установить параметр Free Aspect. При этом растр расширится, пока не покажет весь лист. Расширение растра заметно в окне Scene, но в инспекторе камеры в поле Field of View не отражается. Сохраняется предшествующее значение (Рис.6).
j j —<„. , *h4 -u'J«i I .
H* Ш
■л 1 t I 3 1
--r
If-"
--
VllÉlfcll» i
H
и В
Р и с. 6. Вид модели листа на удалении 400мм F i g. 6. View of the sheet model at a distance of 400mm
Modern Information Technologies and IT-Education
В данном случае рассмотрение листа под малым углом не типично. Если поднять камеру на 4,0 и наклонить её, нижний край листа попадёт в растр. Установив также аспект 10:10, путём изменения Field of View можно добиться, чтобы нижние углы листа касались границ растра. Такой вид достигается при
растре 21 градус и наклоне камеры в 35 градусов к горизонтальной плоскости. Нетрудно оценить, что с учётом исходного наклона листа наблюдатель видит центр листа под углом 45 градусов.
Р и с. 7. Вид модели листа под углом 45 градусов F i g. 7. View of the sheet model at a 45-degree angle
Для измерения деформации листа изменение (уменьшение) раствора растра в этом случае не годится, так как сопутствующее сокращение растра по вертикали делает невидимыми верхний и нижний края листа. Однако, перемещая камеру параллельно оси X сначала в одну сторону, потом в другую на 0,4, как на Рис.8, можно убедиться, что сокращение верхнего
края листа по сравнению с нижним составляет 2 х 0,4, то есть искомая деформация составляет 210/130 = 1,61. Нельзя не отметить, что такая деформация экспертным способом оценивается, как высокая, не соответствующая обыденным впечатлениям при работе за столом.
\ л
1 \
1 \
*
1 \
1
t=t
Р и с. 8. Оценка длины ближней стороны модели листа путём сдвига F i g. 8. Estimation of the length of the near side of the sheet model by shear
При проведении в среде Unity экспериментов 2.1.2 и 2.2.2 со смещением глаз относительно оси листа камера направлена по оси Z и удалена по ней от начала координат на 0,4, а по оси X смещена на 0,4. Путём изменения параметра Field 0f View границу растра подводится к удалённому концу листа со стороны глаза, как показано на Рис.9. Угол растра оказывается равным 10 градусам. Видимый размер дальнего края листа рассчитывается, как
tg(10/2)x0,4 + 0,4 = 0,176x0,4 + 0,4 = 0,47. А с учётом симметрии листа деформация листа получается равной 1,05/0,47 = 2,26.
При удалении камеры на 150 мм угол растра образует 15 градусов и видимый размер дальнего края листа вычисляется как tg(15/2)x1,5+ 0,4 = 0,132x1,5 + 0,4 = 0,598. Деформация листа получится равной 1,76. 1,76. Эти значения заносятся в Табл.1.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Р и с. 9. Представление модели на расстоянии 50 мм рассмотрении двумя глазами F i g. 9. Representation of the model at a distance of 50 mm when viewed with two eyes
При организации экспериментов с наблюдением модели в виртуальной среде приходится учитывать, что независимо от предварительной установки параметра Field Of View, при активации режима VR растр по горизонтали принудительно устанавливается равным 106.1132 градусов, что вызывает соответствующее приближение моделируемых объектов. Так при установке удаления листа от наблюдателя на 50 мм по условиям эксперимента 3.1.1 изображение листа оказывается расположенным слишком близко слишком близко (Рис. 10). Скриншот, вырабатываемый драйвером модели в системе Unity, показывает сцену для каждого глаза отдельно.
Р и с. 10. Надвиг изображения на камеру при установке удаления, численно
равное малому реальному F i g. 10. Image overthrust on the camera when setting the distance, numerically equal to a low real value
Путем перемещения объекта можно выяснить, что ближние углы листа попадают в поле зрения на удалении 100 мм, вместо 50 мм. По рис.11 можно оценить, что деформация листа составляет 6:2, то есть 3,0, и существенно отличается от расчётной величины 3,0.
В эксперименте 3.2.1 при имитации наблюдения обоими глазами с учётом расстояния между зрачками 80 мм при сдвиге по оси X оказывается необходимым сдвинуть объект на 0,6 по оси Z. Результат показан на Рис. 12, позволяющем оценить деформацию величиной не более 3,6 при 1,86 расчётной.
Р и с. 11. Деформация листа, равная 3, при удалении от наблюдателя в VR на 100 мм
F i g. 11. A sheet deformation equal to 3 when moving away from the observer in VR by 100 mm
Р и с. 12. Наблюдение листа в VR со сдвигом относительно его длинной оси F i g. 12. Observation of a sheet in VR with a shift relative to its long axis
Основная серия экспериментов на выявление параметров модели листа, при которых он в условиях нормального наблюдения под углом, характерным для чтения и записи, создаёт впечатление, что имеет нормальную форму, отличающу-
Vol. 15, No. 3. 2019 ISSN 2411-1473
sitito.cs.msu.ru
Modern information Technologies and IT-Education
юся от прямоугольной не более, чем при наблюдаемом положении в реальном пространстве. Поскольку это впечатление субъективно, эксперимент построен как испытание множества лиц, каждому из которых предъявляется последовательность сцен. Каждая сцена содержит один лист, числовое значение деформации которого наблюдателю не известно. Наблюдатель должен оценить положение и форму листа: «нормальный», «расширенный» или «суженный» (в верхней, дальней от наблюдателя части) по отношению к эталонному положению реального листа.
Результатом испытаний каждого наблюдателя является последовательность пар значений деформации листа: фактической, заданной экспериментатором, и её оценки наблюдателем.
Основная серия испытаний состоит из двух «групп». В группе «Подставка» эталонным положением является расположение листа на подставке перед лицом наблюдателя, который при этом может не наклонять головы к листу. Но сам лист
наклонён от наблюдателя на 50 градусов, и его центральная горизонтальная ось удалена от глаза на 40 см. В группе испытаний «Стол» лист лежит на реальном столе так, что центральная горизонтальная ось удалена от глаза на 20 см и рассматривается под углом к плоскости стола примерно 50 градусов. Углы задаются и учитываются при анализе результатов испытаний с точностью до 5 градусов, поскольку голова испытуемого не закрепляется и он имеет свободу слегка её перемещать во всех направлениях.
Реальный лист в эталонном положении находится перед испытуемым в течении всего эксперимента, и он имеет право в любой момент снять шлем виртуальной реальности, «освежить» своё видение реального листа, а затем продолжить участие в эксперименте.
Группа испытаний «Подставка» проводилась с параметрами модели листа: удаление - 50 см, высота - 120 см, наклон 35,85 градуса.
Скриншот модели в группе«Стол» показан на Рис. 13.
zw
0 Wanderer Script (Script)
Script
Add Component
Р и с. 13. Вид модели документа на столе в VR F i g. 13. View of a document model on a table in VR
Полученные результаты Таблица 2. Оценки «трапецевидности» лист в VR
Table 2. Evaluation of the "trapezoid" sheet in VR
Результаты установочной серии экспериментов представлены на Табл. 1. Они свидетельствуют о том, что модель объекта в среде проектирования в системе Unity при наблюдении через окно в 2D вполне точно передаёт его положение, размеры и форму в соответствии с законами линейной перспективы. Эксперименты показали, что соответствие этой модели восприятию объекта в реальном пространстве можно оценивать как удовлетворительное. Более точная оценка требует дополнительных исследований. Отмечено, что бинокулярное зрение до определённой степени компенсирует искажение размеров и формы объекта, обусловленное проявлением линейной перспективы.
В основной серии было проведено 9 последовательностей испытаний в модели «Подставка» и одна последовательность в модели «Стол». Значения деформации формы варьировали в диапазоне от 0,8 до 1,5. Значения коэффициента ранговой коррелляции Столмана, подсчитанные для каждой последовательности, варьируют от 0,538 до 0,914 при среднем значении 0,668. Спектр оценок, полученных при испытаниях, сведён в Табл.2.
№/№ Показатель Значение
1 Доля в % количества оценок «нормально» 27
2 Среднее значение деформации, оцененное «нормально» 1,23
3 Доля в % испытаний, в которых деформация 0,9 оценена «нормально» 3
4 Доля в % испытаний, в которых деформация 1,0 оценена «нормально» 1
5 Доля в % испытаний, в которых деформация 1,1 оценена «нормально» 5
6 Доля в % испытаний, в которых деформации 1,2 и выше были оценены «нормально» 18
7 Доля в % испытаний, в которых деформации 0,8 и ниже были оценены «нормально» 0
8 Доля в % испытаний, в которых деформация 1,0 была оценена как «расширение» 2
9 Доля в % испытаний, в которых деформация 1,0 была оценена как «Сужение» 8
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Полученные данные показывают, что наблюдатель склонен принимать за нормальный, лист, имеющий форму трапеции с верхней, дальней от наблюдателя стороной, на 20% удлинённой по сравнению с нижней. В то же время нормальные (прямоугольные, как и близкие к прямоугольным, искусственно суженные) листы расцениваются как ненормально суженные. Эти результаты предлагается интерпретировать как объективное доказательство того, что VR сужает показываемые листы в верхней части. Можно также заключить, что наблюдатель различает степень «трапециевидности» наблюдаемого объекта, при условии, что отношение длины верхней и нижних сторон изменяется не менее, чем на 10% .
Заключение
В работе исследованы особенности представления в виртуальной реальности объектов, имеющих одну из простейших геометрических форм - форму трапеции, в частном случае, прямоугольника, носителем которой является лист писчей бумаги, неотъемлемый элемент рабочего места канцелярского работника и программиста. Эксперименты показали, что активация в виртуальной среде модели листа, подготовленной с точным соблюдением формы и размеров моделируемых объектов, а также с объективно проверяемым обеспечением эффектов линейной перспективы, трансформирует структуру модели так, что лист представляется суженным в свой верхней части и сдвинутым вдаль. Достоверность представления исходной модели в виртуальной среде теряется. Возможность полностью компенсировать трансформацию путём предварительной или оперативной настройки модели операционной среды требует дальнейших исследований.
Для поддержки этих исследований представляется целесообразным ввести в средства подготовки и развёртывания VR функции, направленные на анализ и регулирование передачи пространственных отношений в моделях.
References
[1] Mark L.S. Eyeheight-saled information about affordances: A study of sitting and stair climbing. Journal of Experimental Psychology: Human Perception and Performance. 1987; 13(3):361-370. (In Eng.) DOI: 10.1037/0096-1523.13.3.361
[2] Bryson S., Feiner S.K., Brooks F.P., Hubbard P., Pausch R., van Dam A. Research frontiers in virtual reality. In: Proceedings of the 21st annual conference on Computer graphics and interactive techniques (SIGGRAPH '94). Association for Computing Machinery, New York, NY, USA, 1994, pp. 473-474. (In Eng.) DOI: 10.1145/192161.192287
[3] Bowman D.A., Gabbard J.L., Hix D. A survey of usability evaluation in virtual environments: classification and comparison of methods. Presence: Teleoper. Virtual Environ. 2002; 11(4):404-424. (In Eng.) DOI: 10.1162/105474602760204309
[4] Balk S.A., Bertola M.A., Inman V.W. Simulator Sickness Questionnaire: Twenty Years Later. In: Proceedings of the Seventh International Driving Symposium on Human Factors in Driver Assessment, Training and Vehicle Design, June 17-20, 2013, Bolton Landing, New York. Iowa City, IA: Public Policy Center, University of Iowa, 2013: 257-263. (In Eng.) DOI: 10.17077/drivingassessment.1498
[5] Kuhl, S.A., Thompson W.B., Creem-Regehr S.H. Minification influences spatial judgments in virtual environments. In: Proceedings of the 3rd symposium on Applied perception in graphics and visualization (APGV '06). Association for Computing Machinery, New York, NY, USA, 2006: 15-19. (In Eng.) DOI: 10.1145/1140491.1140494
[6] Zhang R., Nordman A., Walker J., Kuhl S.A. Minification affects verbal- and action-based distance judgments differently in head-mounted displays. ACM Transactions on Applied Perception. 2012; 9(3):14. (In Eng.) DOI: 10.1145/2325722.2325727
[7] Kell J.W., Cherep L.A., Siegel Z.D. Perceived Space in the HTC Vive. ACM Trans. Appl. Percept. 2017; 15(1):2. (In Eng.) DOI: 10.1145/3106155
[8] Kelly J.W., Cherep L.A., Klesel B., Siegel Z.D., George S. Comparison of Two Methods for Improving Distance Perception in Virtual Reality. ACM Transactions on Applied Perception. 2018; 15(2):11. (In Eng.) DOI: 10.1145/3165285
[9] Buck L.E., Young M.K., Bodenheimer B. A Comparison of Distance Estimation in HMD-Based Virtual Environments with Different HMD-Based Conditions. ACM Transactions on Applied Perception. 2018; 15(3):21. (In Eng.) DOI: 10.1145/3196885
[10] Shemetova E., Bodenheimer B. Egocentric distance estimation on a discontinuous ground surface in the virtual environment. In: Proceedings of the ACM Symposium on Applied Perception (SAP'14). Association for Computing Machinery, New York, NY, USA, 2014:131. (In Eng.) DOI: 10.1145/2628257.2628358
[11] Li B., Nordman A., Walker J., Kuhl S.A. The effects of artificially reduced field of view and peripheral frame stimulation on distance judgments in HMDs. In: Proceedings of the ACM Symposium on Applied Perception (SAP'16). Association for Computing Machinery, New York, NY, USA, 2016:53-56. (In Eng.) DOI: 10.1145/2931002.2931013
[12] Leyrer M., Linkenauger S.A., Bulthoff H.H., Mohler B.J. Eye Height Manipulations: A Possible Solution to Reduce Underestimation of Egocentric Distances in Head-Mounted Displays. ACM Transactions on Applied Perception. 2015; 12(1):1. (In Eng.) DOI: 10.1145/2699254
[13] Li B., Walker J., Kuhl S.A. The Effects of Peripheral Vision and Light Stimulation on Distance Judgments Through HMDs. ACM Transactions on Applied Perception. 2018; 15(2):12. (In Eng.) DOI: 10.1145/3165286
[14] Siegel Z.D. Improving distance perception in virtual reality. Graduate Theses and Dissertations. Iowa State University, 2015. 14509. (In Eng.) DOI: 10.31274/etd-180810-4058
[15] Li B. Distance Perception in Virtual Environment through Head-mounted Displays. Open Access Dissertation, Michigan Technological University, 2017. Available at: https:// digitalcommons.mtu.edu/etdr/348 (accessed 25.06.2019). (In Eng.)
[16] Lin Q., Rieser J., Bodenheimer B. Affordance Judgments in HMD-Based Virtual Environments: Stepping over a Pole and Stepping off a Ledge. ACM Transactions on Applied Perception. 2015; 12(2):6. (In Eng.) DOI: 10.1145/2720020
[17] Asjad N.S., Adams H., Paris R., Bodenheimer B. Perception of height in virtual reality: a study of climbing stairs. In: Proceedings of the 15th ACM Symposium on Applied Perception (SAP'18). Association for Computing Machinery, New York,
Modern Information Technologies and IT-Education
NY, USA, 2018; 4:1-8. (In Eng.) DOI: 10.1145/3225153.3225171
[18] Vinnikov M., Allison R.S., Fernandes S. Gaze-Contingent Auditory Displays for Improved Spatial Attention in Virtual Reality. ACM Transactions on Computer-Human Interaction. 2017: 24(3):19. (In Eng.) DOI: 10.1145/3067822
[19] Jones J.A., Krum D.M., Bolas M.T. Vertical Field-of-View Extension and Walking Characteristics in Head-Worn Virtual Environments. ACM Transactions on Applied Perception. 2016; 14(2):9. (In Eng.) DOI: 10.1145/2983631
[20] Kawai H., Hara H., Yanagida Y. Effect of change of head angle on visual horizontal plane. In: Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology (VRST'18). Association for Computing Machinery, New York, NY, USA, 2018: 82:1-2. (In Eng.) DOI: 10.1145/3281505.3281584
[21] Paris R., Joshi M., He Q., Narasimham G., McNamara T.P., Bodenheimer B. Acquisition of survey knowledge using walking in place and resetting methods in immersive virtual environments. In: Proceedings of the ACM Symposium on Applied Perception (SAP '17). Association for Computing Machinery, New York, NY, USA, 2017; 7:1-8. (In Eng.) DOI: 10.1145/3119881.3119889
[22] Pointon G., Thompson C., Creem-Regehr S., Stefanucci J., Joshi M., Paris R., Bodenheimer B. Judging action capabilities in augmented reality. In: Proceedings of the 15th ACM Symposium on Applied Perception (SAP '18). Association for Computing Machinery, New York, NY, USA, 2018; 6:1-8. (In Eng.) DOI: 10.1145/3225153.3225168
[23] Sun Q., Wei L., Kaufman A. Mapping virtual and physical reality. ACM Transactions on Graphics. 2016; 35(4):64. (In Eng.) DOI: 10.1145/2897824.2925883
[24] Kelly J.W., Klesel B.C., Cherep L.A. Visual Stabilization of Balance in Virtual Reality Using the HTC Vive. ACM Transactions on Applied Perception. 2019; 16(2):8. (In Eng.) DOI: 10.1145/3313902
[25] Harms P. Automated Usability Evaluation of Virtual Reality Applications. ACM Transactions on Computer-Human Interaction. 2019; 26(3):14. (In Eng.) DOI: 10.1145/3301423
[26] Alallah F., Neshati A., Sakamoto Y., Hasan K., Lank E., Bunt A., Irani P. Performer vs. observer: whose comfort level should we consider when examining the social acceptability of input modalities for head-worn display? In: Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology (VRST'18). Association for Computing Machinery, New York, NY, USA, 2018; 10:1-9. (In Eng.) DOI: 10.1145/3281505.3281541
[27] Jacobs J., Wang X., Alexa M. Keep It Simple: Depth-based Dynamic Adjustment of Rendering for Head-mounted Displays Decreases Visual Comfort. ACM Transactions on Applied Perception. 2019; 16(3):16. (In Eng.) DOI: 10.1145/3353902
[28] Walker J. Improving everyday computing tasks with head-mounted displays. Open Access Dissertation, Michigan Technological University, 2017. (In Eng.) Available at: https://digitalcommons.mtu.edu/etdr/388 (accessed 25.06.2019). (In Eng.)
[29] Baranowski A., Seipel P., Schreiber A. Visualizing and exploring OSGi-based software architectures in augmented reality. In: Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology (VRST'18). ACV, New
York, NY, USA, 2018; 62:1-2. (In Eng.) DOI: 10.1145/3281505.3281564 [30] Chernyakov I.V. Virtual Reality as a Programming Environment. In: Proceedings of the Gagarin readings 2019. MAI, Moscow, 2019, pp. 255-256. Available at: https://elibrary. ru/item.asp?id=38210868 (accessed 25.06.2019). (In Russ.)
Поступила 25.06.2019; принята к публикации 10.08.2019; опубликована онлайн 30.09.2019.
Submitted 25.06.2019; revised 10.08.2019; published online 30.09.2019.
|об авторах:|
Гагарин Андрей Петрович, профессор кафедры 304 «Вычислительные машины, системы и сети», Институт № 3 «Системы управления, информатика и электроэнергетика», Московский авиационный институт (национальный исследовательский университет) (125993, Россия, г. Москва, Волоколамское шоссе, д. 4), кандидат технических наук, профессор, ORCID: http:// orcid.org/0000-0002-0929-2834, [email protected] Черняков Иван Владимирович, аспирант кафедры 304 «Вычислительные машины, системы и сети», Институт № 3 «Системы управления, информатика и электроэнергетика», Московский авиационный институт (национальный исследовательский университет) (125993, Россия, г. Москва, Волоколамское шоссе, д. 4), ORCID: http://orcid.org/0000-0003-4418-2216, [email protected]
Все авторы прочитали и одобрили окончательный вариант рукописи.
AboHeaЕЯНИНННН
Andrey P. Gagarin, Professor of the Department "Computers, Systems and Networks" (No. 304), Institute of Control Systems and Computer Science in Engineering, Moscow Aviation Institute (National Research University) (4 Volokolamskoe shosse, Moscow 125993, Russia), Ph.D. (Engineering), Professor, ORCID: http://or-cid.org/0000-0002-0929-2834, [email protected] Ivan V. Chernyakov, Postgraduate Student of the Department "Computers, Systems and Networks" (No. 304), Institute of Control Systems and Computer Science in Engineering, Moscow Aviation Institute (National Research University) (4 Volokolamskoe shosse, Moscow 125993, Russia), ORCID: http://orcid.org/0000-0003-4418-2216, [email protected]
All authors have read and approved the final manuscript.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru