ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ: ВИДЫ, СТРУКТУРА, ОСОБЕННОСТИ, ПЕРСПЕКТИВЫ РАЗВИТИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.946

Информационные технологии

Волынов М. М., магистрант, Московский государственный технический

университет им. Н.Э. Баумана, E-mail: mik.hail@volynov. ru Китов А. А., магистрант, Московский государственный технический

университет им. Н.Э. Баумана, E-mail: arsen. [email protected]. com Горячкин Б. С., кандидат технических наук, доцент; Московский государственный технический университет им. Н.Э. Баумана,

E-mail: [email protected]

ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ: ВИДЫ, СТРУКТУРА, ОСОБЕННОСТИ,

ПЕРСПЕКТИВЫ РАЗВИТИЯ

Аннотация: Цель исследования — раскрытие сущности виртуальной реальности через рассмотрение её видов, построения структуры, исследование особенностей использования и проектирования, а также очерчивание перспектив будущего развития данного направления. В статье акцентируется внимание на различных вариантах реализации виртуальной реальности и их практическом применении. Научная новизна заключается в рассмотрении вопроса через призму практического применения и последующей структуризации информации в соответствующем ключе. В результате исследования была построена классификация разновидностей виртуальной реальности, определены перспективные области применения, данного семейства технологий, а также выделены основные технические задачи, возникающие при проектировании приложений с поддержкой виртуальной реальности.

Ключевые слова: виртуальная реальность, дополненная реальность, расширенная реальность, трекинг, периферийные устройства.

Abstract: The objective of this study is to understand the nature of virtual reality through classifying its types, formulating its structure and studying the details of its usage and development as well as understanding perspectives for future development of virtual reality. The paper focuses on various implementations of the VR paradigm and their practical applications. Scientific novelty is brought by studying the subject through the prism of practical applications and further structurization of the information. The result of the study is classification of VRs, understanding of its practical use and an outline of the main technical issues that arise during developing and maintaining virtual reality applications.

Key words: virtual reality, augmented reality, extended reality, visual tracking, peripheral devices, VR.

Понятие и разновидности виртуальной реальности

Хотя под точным определением виртуальной реальности обычно понимают полную замену аудиовизуальных эффектов реального мира виртуальными, в более повседневном понимании и в данном тексте под этим понимается любое сочетание виртуальных элементов с реальными. Чтобы точнее определить виртуальную реальность, ее зачастую разделяют на дополненную реальность (augmented reality, AR), смешанную реальность (mixed reality, MR) и собственно виртуальную реальность (virtual reality, VR). Чтобы избежать неопределенности терминов, более широкое понимание виртуальной реальности называют расширенной реальностью (extended reality), которая объединяет все перечисленные классы [1]. Остановимся на каждом виде подробнее.

1. Virtual Reality (VR) — виртуальная реальность

Что делает: виртуальная реальность основана на создании компьютерных звуков и изображений. Она полностью отделяет пользователя от реальной реальности (RR) c помощью VR-шлема, наушников, джойстиков и

заменяет её симуляцией. Термин «виртуальный» происходит от лат. virtmHs — возможный.

Рис. 1. Изображение из шлема виртуальной реальности Oculus Rift, видеоигра Elite Dangerous [6]

Примеры реализаций: Oculus Rift, NASA Hybrid Reality Lab, Pilot Training Next.

Отдельно стоит отметить такую область применения виртуальной реальности, как организация полного группового погружения на игровом полигоне.

2. Augmented Reality (AR) — дополненная реальность

Что делает: AR — это компьютерно-опосредованная реальность, в которой RR дополняется с помощью виртуальных изображений, анимаций, эффектов или титров. Термин ввел инженер Boeing Том Кодел в 1990 году: тогда специалисты компании закрепляли на голове цифровые дисплеи, которые помогали монтировать провода в самолёте. Цель AR — усилить восприятие реальности. В этом ее отличие от VR, которая заменяет реальность на симуляцию.

Рис. 2. Скриншот (виньетка) из очков дополненной реальности Google Glass [7]

Примеры реализаций: Pokémon GO, Snapchat и Instagram с фильтрами Motion Tracking, Google Glass, City Lens от Nokia.

3. Mixed Reality (MR) — смешанная реальность Что делает: MR объединяет реальные и виртуальные элементы: они сосуществуют и взаимодействуют в RR. В MR используют дополненную реальность (AR) и дополненную виртуальность (AV — от Augmented Virtuality) — компьютерную симуляцию, в которой присутствуют элементы реального мира. Термин Mixed Reality изобрели в Microsoft 16 лет назад. Иногда MR называют Hybrid Reality (гибридная реальность).

Рис. 3. Пример применения очков смешанной реальности Microsoft Hololens [8]

Примеры реализаций: Skype (при помощи HoloLens), Microsoft HoloLens, CAVE и 2D.

4. Extended Reality (XR) — расширенная реальность

Что делает: XR объединяет реальные и виртуальные реальности: дополненную реальность (AR), дополненную виртуальность (AV), виртуальную реальность (VR) и другие. Расширенная реальность — это спектр явлений и разработок от «полного реального» до «полного виртуального».

Примеры реализаций: к XR относятся все, что мы перечислили выше.

Для простоты понимания определений, ниже приведена таблица с основными различиями (табл. 1):

Таблица 1

Степень Примеры Примеры Области

погружения устройств приложени й применения

Virtual Полное (аудиовизуальное) VR-шлемы (Valve Index, Oculus Quest, и пр.) YouTube, VR Chat, всевозможн ые игры Медицина, сфера развлечений, космонавтика

Augmented Низкая (виртуальные элементы дополняют реальную среду) Google Glass, City lens и пр. Google assistant, Siri, Bixby B2B, образование, персональные ассистенты, спорт

Mixed Высокая (виртуальные элементы переопределяют реальную среду) MS HoloLens, Cave Skype, MS Artwork Образование, медицина, спорт

Виртуальная реальность

Виртуальная реальность (ВР, англ. virtual reality, VR, искусственная реальность) — созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие. Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций виртуальной реальности производится в реальном времени [2].

Объекты виртуальной реальности обычно ведут себя близко к поведению аналогичных объектов материальной реальности. Пользователь может воздействовать на эти объекты в согласии с реальными законами физики (гравитация, свойства воды, столкновение с предметами, отражение и т. п.). Однако, часто в развлекательных целях пользователям виртуальных миров позволяется больше, чем возможно в реальной жизни (например: летать, создавать любые предметы и т. п.).

Не следует путать виртуальную реальность с дополненной. Их коренное различие в том, что виртуальная конструирует новый искусственный мир, а дополненная реальность лишь вносит отдельные искусственные элементы в восприятие мира реального.

Технические задачи, которые решаются при обеспечении погружения в виртуальную реальность:

• Трансляция изображения

о Шлемы виртуальной реальности

о MotionParallax3D-дисплеи

о Виртуальный ретинальный монитор

• Трансляция звука

• Имитация тактильных ощущений

о Leap Motion

о Перчатки

о Контроллеры

• Трекинг

о Оптический

о Ультразвуковой

На рис. 4 показана эволюция развития и существующие реалии VR.

Рис. 4. Эволюция и структуризация VR

Несмотря на наличие классификации для определения конкретного типа «реальности», также существует и классификация по типам внутри понятия виртуальной реальности [3].

Пассивная виртуальная реальность (passive virtual reality) —

автономное графическое изображение и его звуковое сопровождение, не управляемые человеком.

Обследуемая виртуальная реальность (exploratory virtual reality) —

возможность выбора вариантов сценариев изображения и звука, предоставляемых пользователям в ограниченном количестве.

Интерактивная виртуальная реальность (interactive virtual reality) —

виртуальная среда, которой пользователь может сам управлять и манипулировать по законам синтезированного мира с помощью специальных устройств, обладающих функцией трекинга.

Трекинг в виртуальной реальности — это особая технология, лежащая в основе взаимодействия человека с виртуальным миром. Она направлена на точное определение координат и позиции реального объекта (например, руки,

головы или устройства) в виртуальной среде с помощью трех координат (x, y, z) его расположения и трех углов (a, b, g), задающих его ориентацию в пространстве.

Области применения виртуальной реальности

Виртуальная реальность находит себе все более широкое применение. Несмотря на то, что изначальный толчок развития VR получила от игровой индустрии, в последние годы VR нашла себе применение в таких областях как медицина, военное дело и космонавтика. Ниже подробнее описаны различные сферы применения дополненной реальности.

1. Развлекательная сфера (игры, аудио- и видеоматериалы развлекательного характера).

Говоря о VR в развлекательной сфере, стоит отметить, что многие технологии, создававшиеся исключительно для развлечений, приобретают более широкое распространение: так, например, Unreal Engine - игровой движок симуляции физической среды - был принят на использование в NASA Hybrid Reality Lab, а шлем Oculus VR используется в стартапе Oxford Medical Simulation.

Говоря о применении виртуальной реальности в сфере развлечений, нельзя не упомянуть относительно новую тенденцию — возникновение виртуальных полигонов, на которых желающим предлагается сыграть в игру с повышенным уровнем погружения в виртуальный мир. Для достижения необходимого уровня погружения, необходимо обеспечить:

• Достаточно крупное пустое закрытое пространство (например, на одном из таких полигонов рабочая площадь примерно равна 400 м2)

• Автономный комплекс, состоящий из компьютера с беспроводным сетевым адаптером, шлема виртуальной реальности, наушников, контроллеров

• Клиент-серверное приложение (видеоигра), адаптированное для подключения нескольких участников и работы с виртуальной реальностью

• Сетевая инфраструктура для синхронизации погружения участников

• Сервер, обслуживающий данные, получаемые с клиентов, установленных на автономных комплексах (о перемещениях контроллеров участников, их позиций, взаимодействия с игровым окружением)

Рис. 5. Автономный комплекс для погружения в виртуальную реальность на игровом

полигоне[9]

В одном из примеров реализаций такого концепта используется подход в создании "истории", внутри которой оказываются участники, и по которой должны продвигаться в процессе геймплея. Так, игроки начинают в игре на космической базе, по которой им нужно передвигаться между комнатами и отсеками, при этом передвижение осуществляется как физически (игроки перемещаются по полигону в реальном мире), так и виртуально (на них проецируется виртуальное тело, которое синхронизировано в положении с реальным — положение в пространстве, ноги, руки, поворот туловища и головы, контроллер в форме оружия). В качестве цели выступает достижение последней по сюжету комнаты, при этом на персонажей нападают

компьютерные противники, с которыми им приходится сражаться при помощи виртуального оружия. Полное погружение и синхронизация достигается за очень короткие сроки, буквально за 10-15 минут игры.

ЬРНЛЯром

Яжч

Рис. 6. Совмещенная картинка. Участники в комплектах необходимого снаряжения в

виртуальном пространстве[10]

В другой реализации установлены схожие правила, но при этом игроки сражаются уже друг с другом, что дополнительно добавляет интерактивности происходящему. Для синхронизации виртуального тела с реальным игрокам предлагается надеть на себя специальные маркеры для трекинга: маркеры на руки (уникальные для левой и правой руки), на ноги, контроллер в виде автомата (аналогично его виртуальной копии), и собственно сам шлем виртуальной реальности.

2. Медицина (тренировка медицинского персонала в VR).

Применение VR в медицине имеет удивительно длинную историю: первые попытки внедрения VR были предприняты еще в 1990х с

адаптированием «первой стереоскопической BD-плагформы» игровой платформы Nintendo Virtual Boy для тренировки медицинского персонала, однако эти попытки не увенчались успехом. В последние годы, однако, использование VR в медицинском образовании существенно возросло, хотя и не имеет такого широкого применения как в космонавтике или развлекательной сфере. Среди сотен медицинских VR стартапов можно выделить Oxford Medical Simulation, позволяющий подготовить медицинский персонал к проведению операций с использованием Oculus VR и ArchVirtual, на данный момент активно интегрирующийся в медицинское обучение в Университете Торонто. Еще одной активно развивающейся областью применения VR в медицине является сфера облегчения страданий тяжело больным людям, которым VR позволят продолжать испытывать мир будучи прикованным к постели. Многочисленные стартапы (Psious. Virtually Better, Bravemind и пр.) также используют виртуальную реальность для лечения психических расстройств - от фобий до ПТСР.

3. Спорт

Одним из несколько неожиданных применений виртуальной реальности оказался спорт. Так стартап STRIVR Labs позволяет испытать мир глазами, например, игрока в футбол, что позволяет тренеру более детально анализировать игры. Стартап привлек внимание 23 профессиональных команд по американскому футболу и хоккею, в числе которых команды из NBA и NHL.

4. Военная сфера

Виртуальная реальность нашла применение и в военном деле, где ее используют для тренировки пилотов и машинистов. Так, например, британская программа Training Pilot Next на данный момент внедряется в Королевские военно-воздушные силы Великобритании для тренировки пилотов самолетов F-35, F-15E, F-16, C-17 и других.

Рис. 7. Лейтенант Воздушных Сил Великобритании демонстрирует точную виртуальную копию кабины самолета в программе тренировки пилотов Pilot Training Next.

5. Космонавтика

Как область с наибольшими препятствиями к тренировке персонала в реальной среде, космонавтика активно пользуется развивающимся VR. Одним из наиболее видных применений VR в космонавтике является NASA Hybrid Reality Lab (лаборатория смешанной реальности NASA). Опубликовав статью и презентацию о своих технологиях в 2017м году, NASA показали перспективы применения VR в подготовке космонавтов: от тренировки внутри точной модели МКС с виртуальными репликантами использующихся в космосе инструментов до полной и точной симуляции задач, требующих от космонавта выхода в открытый космос, что в сочетании с уже имеющимися технологиями симуляции невесомости позволяет доработать до автоматизма поведение космонавтов во всех возможных сценариях.

Рис. 8. Тренировка процедуры технического обслуживания при помощи шлема и

контроллеров виртуальной реальности

Технические задачи при разработке приложений с поддержкой виртуальной реальности

Среди основных задач виртуальной реальности можно выделить следующие:

1. Реалистичный, быстрый и масштабный рендеринг окружения

2. Отслеживание физических предметов, перевод которых необходим в виртуальное пространство (трекинг)

3. Более точное воспроизведение сенсорных ощущений человека

Рендеринг является задачей, выходящей далеко за пределы области

разработок виртуальной реальности. Основным фактором, стимулирующим развитие в этой области, является вычислительная мощность графических процессоров, которая стабильно увеличивается в последние 60 лет. Так, стоимость графический процессоров мощностью в один GLOPS (миллиард операций с плавающей точкой в секунду) изменилась с $156 млрд. в 1961-м до $48 в 2007-м году и до $0.03 в октябре 2017-го года.

Трекинг необходим в виртуальной реальности чтобы отслеживать положение и действия пользователя, а также мониторить состояние окружающей среды. Несмотря на кажущуюся простоту и развитие технологий в этой области, задача до сих пор не решена до конца, а ее полное и надежное решение может решить огромный спектр прикладных задач не только в XR, но и в других областях (например, автопилотируемые автомобили или полностью автоматические системы безопасности).

Сейчас существуют 2 основных вида трекинга: ультразвуковой трекинг, основанный на давно существующих и надежных технологиях радиозвуковой локации и оптический - основанный на современных технологиях машинного обучения. Основным достоинством первого метода является его надежность, однако объем информации, доступный с помощью радиозвуковой локации не сравним с предоставляемым менее надежными, но быстро развивающимися оптическими методами. Разумеется, возможно также комбинирование двух методов.

Область оптического трекинга развивается в тесной связи с областью компьютерного зрения. В 2012-м году с победой нейронной сети AlexNet в конкурсе ImageNet область компьютерного зрения была практически полностью оккупирована нейронными сетями, доминирование которых в этой области продолжается и до сих пор. Основными вехами развития нейронных сетей в задаче отслеживания объектов к настоящему времени можно назвать появление RCNN, Fast RCNN, и Faster RCNN, которые позволили запускать real-time отслеживание объектов с точностью свыше 82% (0.82 mean average precision) и скорость более 20 кадров в секунду.

Устройства для отображения приложений с поддержкой виртуальной реальности

В настоящий момент на рынке периферийных устройств для персональных компьютеров, смартфонов и игровых консолей существует целый ряд решений для виртуальной реальности [4]. Среди них представлены:

• HTC Vive (интегрированный)

• Xiaomi Mi VR 2 (смартфон)

• Oculus Go (интегрированный)

• Samsung Gear VR (смартфон)

• Samsung HMD Odyssey (интегрированный)

• Sony PlayStation VR (интегрированный, для приставки)

• Lenovo Explorer Windows Mixed Reality Headset (интегрированный)

• HIPER VRX (смартфон)

• DJI Goggles (интегрированный, управление дронами)

• Oculus Rift CV1 + Touch (интегрированный)

Популярные игры для виртуальной реальности [5]:

• The Elder Scrolls V: Skyrim / Action, RPG

• Beat Saber / Arcade

• Minecraft / Action, Sandbox

• Superhot / Action, Shooter

• Fallout 4 / Action, Shooter

• L.A. Noire / Action

• DOOM VFR / Action, Shooter

• Resident Evil 7: Biohazard / Action, Horror, Shooter

Безусловно, применение технологий виртуальной (и других смежных видов) реальности позволяет человечеству решать самые разноплановые задачи, начиная со сложного технического обслуживания оборудования, тренировки операторов военной техники, и заканчивая сферой развлечений, видеоиграми, оффлайн-активностями на специальных полигонах. Это направление развития видится одним из наиболее перспективных и интересных, а также оказывающих значительное влияние на развитие

интерфейсов взаимодействия человека с компьютером. Практика показывает, что ведущие IT-компании уделяют ему всё больше и больше внимания, а значит, виртуальная реальность, вполне вероятно, в ближайшем времени может стать неотъемлемой частью нашей повседневной жизни.

Заключение

Технологии виртуальной реальности в наши дни являются одним из перспективных направлений проектирования интерфейсов нового поколения, имеющим возможные уже сегодня применения в самых разных сферах деятельности, начиная со сферы развлечений, и заканчивая медицинскими процедурами. Данное направление разработок также поддерживается игровой индустрией, делая возможность использования периферийных устройств с поддержкой виртуальной реальности доступнее для потребителя. В результате исследования была построена классификация разновидностей виртуальной реальности, определены перспективные области применения, данного семейства технологий, а также выделены основные технические задачи, возникающие при проектировании приложений с поддержкой виртуальной реальности. Тем не менее, данный вопрос остается интересным для разностороннего исследования, и требует дополнительного, более близкого рассмотрения.

Библиографический список:

1. Виртуальная реальность: разбираемся в терминологии [Электронный ресурс]. URL: https://habr.com/ru/company/ puzzleenglish/blog/370977/ (дата обращения: 30.05.20).

2. Виртуальная реальность - параллельная жизнь со своими течениями [Электронный ресурс]. URL: https://habr.com/ru/post/440148/ (дата обращения: 30.05.20).

3. Валерия Холодкова. Виртуальная реальность: общие понятия, системы трекинга. Мир ПК (25 июня 2008) [Электронный ресурс]. URL: http://www.osp.ru/pcworld/2008/04/5175003/ (дата обращения: 30.05.20).

4. Лучшие VR-очки 2020 года [Электронный ресурс]. URL: https://www.kp.ru/putevoditel/tekhnologii/luchshie-vr-ochki/ (дата обращения: 30.05.20).

5. VR-игра года [Электронный ресурс]. URL: https://www. igromania. ru/article/29835/VR-igra_goda. html (дата обращения: 30.05.20).

6. The Oculus Rift makes Elite: Dangerous amazing—and impossible to describe [Электронный ресурс]. URL: https://arstechnica.com/gaming/2014/11/the-oculus-rift-makes-elite-dangerous-amazing-and-impossible-to-describe/ (дата обращения: 30.05.20).

7. How to Display Weather and Other Glassware in Pictures on Google Glass [Электронный ресурс]. URL: https://www.glassappsource.com/google-glass-how-to/display-weather-glassware-pictures-google-glass.html.

8. 'This is magic' - HoloLens for business [Электронный ресурс]. URL: https://www.thinkbusiness.ie/articles/hololens-for-business/ (дата обращения: 30.05.20).

9. Парк виртуальных миров Another World — VR аттракцион виртуальной реальности в Москве [Электронный ресурс]. URL: https://ru.another-world.com/ (дата обращения: 30.05.20).

10. VR-площадка полного погружения Arcadia [Электронный ресурс]. URL: https://arcadia-vr.com/ (дата обращения: 30.05.20).