CC BY
24
Константян В.Н. Konstantyan
бакалавр Московского государственного технического университета им. Н.Э. Баумана, г. Москва, Российская Федерация
Нахушев Р.С. Nakhushev Я.С.
аспирант, младший научный сотрудник Института конструкторско-технологи-
ческой информатики Российской академии наук, г. Москва, Российская Федерация
Шаваев А.А. Shavaev A.A.
аспирант, младший научный сотрудник Института конструкторско-технологи-
ческой информатики Российской академии наук, г. Москва, Российская Федерация
УДК 629.7.08 DOI: 10.17122/1999-5458-2018-14-4-17-23
ВЗАИМОДЕЙСТВИЕ ШЛЕМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ И КОМПЛЕКСА СИМУЛЯЦИИ ПОЛЕТА
В данной статье рассмотрены принципы построения системы моделирования полета летательного аппарата с использованием технологии дополненной реальности для лечения аэрофобии, заключающегося в обучении пациента навыкам релаксации и контроля собственного психофизического состояния. Для создания атмосферы полёта при лечении аэрофобии применяется виртуальная реальность. Целью исследования являлось как можно более полное погружение в процесс моделируемого полета для обеспечения максимально достоверных ощущений от него при проведении терапии. Поэтому необходимо было как можно более точно сымитировать все фазы полета и все возможные ощущения человека в процессе работы установки. Задача реализации визуальной составляющей являлась основной при проектировании всей системы. В качестве технологии визуализации была выбрана концепция дополненной реальности, при которой стенки кабины заменяется на трехмерное изображение кабины или салона самолета. При этом пациент комплекса видит на экране шлема и реальные объекты внутри кабины - кресло, свои руки, что в конечном итоге создает иллюзию полного погружения в процесс полета. Главной задачей, которая стояла при реализации программного обеспечения комплекса, являлся синтез картинки в системе координат, связанной с кабиной самолета. Благодаря тому, что системы ориентации используемых компонентов могут выдавать углы Эйлера объектов слежения относительно горизонта, требуется процедура вычитания углов для определения положения шлема в системе координат кабины. Результат исследования позволяет с помощью простых операций синтезировать корректную картину мира. Использованные системы ориентации имеют достаточную точность показаний для того, чтобы у пациента не возникало неприятных ощущений во время проведения процедуры, а реализм происходящего в итоге оказался на достаточном уровне, чтобы процедуры, которые проводят на данной установке, имели достаточную эффективность.
Ключевые слова: симулятор полета самолета, лечение аэрофобии, система инерциальной навигации, преобразование координат, виртуальная реальность, синтез трехмерной картинки.
VIRTUAL REALITY GOOGLES INTERACTION WITH THE FLIGHT SIMULATOR COMPLEX
In this article, principles of creation aircraft flight modeling system with use of virtual reality technology was considered for aero phobia treatment. The virtual reality is applied to create a complete atmosphere of flight. The research purpose was to fuller immersion in process of the modeled flight for ensuring the most reliable feelings from performing therapy. Therefore, it was necessary to simulate as much as possible precisely all phases of flight and all possible person feelings in the course of work. The problem of a visual component realization was the main at design of all system. Technology of cockpit walls background replacing with the three-dimensional image was chosen. At the same time the passenger of a complex can see a chair and parts of a body on the helmet screen that finally creates illusion of full immersion in flight process. The main task was the software implementation, where picture in cockpit coordinate system is synthesized. Navigation systems of the used components can give Euler's angles of tracking subjects and subtraction of angles for correct image processing is required. As a result, it was succeeded with the help of simple operations to synthesize a correct picture of the world. Used navigation systems have sufficient accuracy so the patient had no unpleasant feelings during the procedure. Modeling realism, as a result, appeared at the sufficient level that procedures which are carried out on this installation had sufficient efficiency.
Key words: flight simulator, aerophobia treatment, inertial navigation system, coordinate transformation, virtual reality, 3D rendering.
Введение
Сегодняшний мир невозможно себе представить без авиации. Современные летательные аппараты обладают высочайшими характеристиками маневренности, энерговооруженности и скорости. Управление такими машинами требует от пилотов высокой квалификации, а от пассажиров - готовности к возможным перегрузкам и резким изменениям ситуации. Именно последняя проблема в последнее время становится все более и более актуальной в виде участившихся случаев возникновения аэрофобии - боязни летать. По данным исследований, до 40 % взрослого активного населения может страдать данной болезнью [1]. Основными симптомами аэрофобии являются нервозность уже за несколько дней до полёта, возможный отказ от авиаперелётов из-за страха перед полётом, учащённое или сбивчивое дыхание во время полёта, повышенное сердцебиение, сжатые мышцы, вспотевшие ладони, потребность в алкоголе как средстве успокоения в полёте, анализ звуков и перемещений экипажа по салону во время полёта, представление в воображении картин авиакатастроф, обсессивный поиск информации в СМИ об авиакатастрофах и другие подобные стрессовые психические и физические явления.
Лечение аэрофобии заключается в обучении пациента навыкам релаксации и контроля собственного психофизического состояния, после чего необходимым этапом является экспозиционная терапия. Для освобождения от аэрофобии пациенту необходимо раз за разом пережить под контролем психолога большое количество взлётов и посадок, тренируя навыки релаксации, пока его мозг не начнёт ассоциировать полёт с расслаблением, а не с паникой. Для создания атмосферы полёта при лечении аэрофобии сегодня применяются компьютерные технологии, в том числе виртуальная реальность (VRET — Virtual Reality Exposition Therapy) [2]. Для такого рода терапии, в частности, и может быть использован разработанный комплекс симуляции. В данной статье объектом исследования является шлем виртуальной реальности, являющийся, по сути, центральным компонентом системы визуализации комплекса.
Целью исследования являлась необходимость как можно более полного погружения в процесс моделируемого полета для обеспечения максимально достоверных ощущений от него при проведении терапии. Именно этот факт является ключом к успеху всего лечения и определяет степень его эффективности. Поэтому необходимо было как можно
более точно сымитировать все фазы полета и все возможные ощущения человека в процессе работы установки. Основным источником информации для человека является зрение, отсюда задача реализация визуальной составляющей являлась основной при проектировании всей системы. Предметом исследования данной статьи является создание способа взаимодействия систем инерци-альной навигации шлема виртуальной реальности и движущейся кабины для синтеза
правдоподобной картины окружающей обстановки пользователя установки.
Задача визуализации
Симулятор полета имитирует кабину лётного аппарата. Он может имитировать перемещение по осям крена, тангажа и рыскания. Вся конструкция подвешена в воздухе, что дает ей возможность обеспечивать перегрузку при маневрах. В кабине закреплено авиационное кресло, а её стенки покрыты экраном зеленого цвета. Внешний вид комплекса представлен на рисунке 1.
Рисунок 1. Внешний вид комплекса
В качестве технологии визуализации была выбрана концепция дополненной реальности, при которой фон стенок кабины заменяется на трехмерное изображение кабины или салона самолета. При этом пассажир комплекса видит на экране шлема кресло и части тела, что в конечном итоге создает иллюзию полного погружения в процесс полета. Разработка собственной системы такого рода была признана нецелесообразной при наличии на рынке большого количества готовых комплектов. Самыми технически продвинутыми представителями семейства шлемов виртуальной реальности являются Oculus Rift, HTC Vive, OSVR.
OSVR является относительно недавно представленным проектом с открытым исходным кодом. Представляет из себя сам шлем, камеру отслеживания положения головы и внешний блок, обеспечивающий непосредственную связь с компьютером.
Наличие камеры позволяет точно отслеживать не только ориентацию головы пользователя, но и ее координаты в кабине.
Однако, хотя поддержка популярного математического обеспечения для построения трехмерных сцен и заявлена производителем, проект еще находится в стадии первых прототипов и не гарантирует полную работоспособность. Еще одной негативной особенностью является пониженная частота изменения картинки на дисплее, что является одним из параметров, определяющих реалистичность выводимой картинки.
На этом фоне полностью законченное решение HTC Vive со сложной системой тре-кинга положения головы выглядит более предпочтительным, однако сенсоры положения шлема должны быть расположены по разные стороны шлема и на высоте около 2 м. В тесных условиях кабины данные условия невозможно выполнить, поэтому окончательный выбор пал в сторону системы от компании Oculus VR Oculus Rift.
В данном шлеме решены фундаментальные проблемы систем обеспечения виртуальной реальности, такие как уменьшение задержки между перемещением головы и
реакцией системы. Для решения этой проблемы используют сенсор с более высокой частотой дискретизации в 1000 Гц и специальные программные технологии, такие как предсказание движения и так называемый «time warp». Помимо этого, увеличена и частота обновления дисплея, которая составляет 75 Гц. Другая значительная причина ухудшения достоверности картинки — длительный период отображения пикселей, характерный для всех LCD-панелей в целом, а также очень длительное время смены пикселей в конкретной использовавшейся панели, из-за чего создаётся очень сильное размывание — в Rift версии DK2 проблема решена путём использования OLED-экрана с низким периодом отображения, так называемая технология «low persistence», при которой пиксели зажигаются лишь на очень короткий промежуток времени, вместо того, чтобы гореть всё время, как на обычном дисплее. Вес устройства составляет 380 г. Оно также имеет внешнюю камеру для дополнительного отслеживания головы во время движения.
Программная часть комплекса представлена игровым конструктором Unity 3D, имеющим стандартную поддержку используемого шлема виртуальной реальности. В нем реализовано ПО, выводящее на экран внутренний интерьер салона самолета и картинку земли в иллюминаторе в соответствии с текущем положением самолета. Главной задачей, которая стояла при реализации программного обеспечения комплекса, являлся синтез картинки в системе координат, связанной с кабиной самолета, в то время как использование шлема виртуальной реальности подразумевает под собой его использование на неподвижной поверхности земли.
Для этого необходимо было обеспечить правильное взаимодействие двух систем навигации - шлема (и соответственно головы пользователя) и всей кабины.
Система ориенрации кабины комплекса
Симулятор использует две независимые БИНС, первую для определения крена и тангажа кабины и вторую - для рыскания и высоты. При этом датчики второй системы расположены непосредственно на валу, который вращает кабину и ее подвес в горизон-
тальной плоскости. Из-за большого количества металлических деталей для стабильной работы магнитометра на конструкции комплекса был закреплен постоянный магнит на стойке.
В качестве математического обеспечения работы системы выступает фильтр Маджвика, который по результатам тестирования показал наилучшие результаты характеристик стабильности и точности ориентации. Аппаратное обеспечение представлено навигационными модулями производства компании STMicroelectronics. Согласно проведенным исследованиям среднеквадратическая ошибка определения положения подобной системы составляет 0,6° при статичном положении и не превышает 0,8° в движении [3]. Выходными данными системы ориентации являются углы поворота кабины (углы Эйлера) и её координаты в декартовой системе.
Выбранная структура требует калибровки перед использованием. Калибровка системы проходит благодаря срабатыванию в четко определенных положениях концевых выключателей. Их использование также позволяет реализовать механизм аварийного отключения приводов при отклонении кабины на углы, превышающие максимально допустимые.
В качестве инерциальных измерительных модулей (ИИМ) были использованы готовые отладочные платы STM производства компании STMicroelectronics.
В каждый ИИМ установлен модуль Bluetooth для связи с остальными компонентами системы. Данный протокол передачи данных был выбран, потому что обеспечивает необходимую скорость обмена информации и радиус стабильной работы [5]. Его использование обусловлено сложностью проводки кабелей через большое количество сочленений конструкции и как следствие - возможность их обрыва и последующего возникновения внештатной ситуации. Помимо этого использование данной технологии позволило легко интегрировать в систему пульт дистанционного контроля. Таким образом, окончательный состав и структура системы управления комплексом симуляции представлена на рисунке 2.
Рисунок 2. Структурная схема
Система ориенрации шлема
виртуальной реальности
Аппаратная часть Oculus Rift содержит ряд микроэлектромеханических (МЭМС) датчиков, среди которых гироскоп, акселерометр и магнитометр.
Существует также сенсор для отслеживания положения шлема виртуальной реальности. Информация от каждого из этих сенсоров объединяется посредством процесса слияния сенсоров для определения движения головы пользователя в реальном мире и синхронизации представления пользователя в режиме реального времени.
Конечные данные о положении включают в себя полные данные отслеживания головы
электрооборудования комплекса шести степеней свободы (6DoF), включая ориентацию, позицию и их первую и вторую производные. Значение позиции сообщается для заданного точного момента времени с использованием прогноза, как правило, соответствующего времени в будущем, чтобы изображение этого кадра отображалось на экране. Математически, заявленная поза включает в себя трёхмерный вектор позиции и кватернион ориентации. Вращение поддерживается как единичный кватернион, однако также оно может быть представлено в форме поворотов-наклонов (углов Эйлера). Ориентация сообщается как вращение в правой системе координат [4], как показано на рисунке 3.
Рисунок 3. Система координат шлема
Позиционное отслеживание возможно в задней плоскостей усечённого конуса. На
пределах усеченного конуса и определяется следующем рисунке 4 показан сенсор отсле-
горизонтальным и вертикальным полем живания и представление результирующей
обзора, а также расстоянием от передней и до усечённой траектории слежения.
Рисунок 4. Система
По умолчанию источник позиционного отслеживания находится на расстоянии около одного метра от сенсора в направлении оптической оси, но с той же высотой, что и сенсор. Начальная ориентация по умолчанию - уровень земли, отрицательная ось указывает на сенсор. Другими словами, угол поворота шлема виртуальной реальности, равный нулю, соответствует пользователю, смотрящему на сенсор.
Взаимодействие систем ориентации для синтеза правдоподобной картины мира при проведении симуляции
Поскольку сенсор движения закреплен непосредственно в кабине, для получения положения головы пользователя симуляцион-ного комплекса преобразование координат не требуется, и данный механизм работает в штатном режиме.
отслеживания головы.
Благодаря тому, что как система ориентации кабины, так и система ориентации шлема виртуальной реальности могут выдавать в конечном результате углы Эйлера объектов слежения, требуется всего лишь простое вычитание углов для определения положения шлема в системе координат кабины. Из углов поворота кабины комплекса вычитаются углы поворота головы пользователя, результирующий угол поворота как раз отражает положение трехмерного вида кабины с точки зрения наблюдателя, сидящего в моделируемом салоне самолета. Эти углы и отправляются в программное обеспечение, синтезирующее трехмерную картину мира наблюдателя. Операция вычитания (для одной оси) показана на рисунке 5.
направление поворота картинки
результирующий угол
Рисунок 5. Вычитание углов
Согласно системе координат, используемой в системе, угол наклона кабины относительно горизонта вычитается из угла наклона головы относительно его, результирующий угол дает смещение картинки относительно взгляда человека в системе координат кабины.
Выводы
Благодаря использованию в системе оптимально выбранного оборудования удалось с помощью простых операций синтезировать корректную картину мира для человека, находящегося в подвижной кабине при погружении в виртуальную реальность в ходе процедуры лечения аэрофобии. Метод зарекомендовал себя как достаточно эффективный. Использованные системы ориента-
Список литературы
1. Clark, GI; Rock, AJ (2016). "Processes Contributing to the Maintenance of Flying Phobia: A Narrative Review". Frontiers in Psychology. 7: 754. doi:10.3389/ fpsyg.2016.00754. PMC 4887486. PMID 27313550.
2. Alan Mozes. "Virtual Reality Therapy May Help PTSD Patients". Watchdog.org. Archived from the original on 2 October 2011.
3. An efficient orientation filter for inertial and inertial/magnetic sensor arrays Sebastian O H. Madgwick.
4. Platform SDK Developer Guide. URL: developer.oculus.com/documentation /
5. Bluetooth Core Specification V5.0
ции имеют достаточную точность для того, чтобы у пациента не возникало неприятных ощущений во время проведения процедуры, а реализм моделирования в итоге оказался на достаточном уровне, чтобы процедуры, которые проводят на данной установке, имели достаточную эффективность. По результатам исследований было сделано заключение, что задача взаимодействия двух систем ориентации в рамках одного комплекса, использующего технологию дополненной реальности, была решена успешно, и полученное решение рекомендовано для использования в подобного рода проектах, где требуется синтез реалистичной картинки в сложных условиях.
Reference
1. Clark, GI; Rock, AJ (2016). "Processes Contributing to the Maintenance of Flying Phobia: A Narrative Review". Frontiers in Psychology. 7: 754. doi:10.3389/ fpsyg.2016.00754. PMC 4887486. PMID 27313550.
2. Alan Mozes. "Virtual Reality Therapy May Help PTSD Patients". Watchdog.org. 2 October 2011.
3. An efficient orientation filter for inertial and inertial/magnetic sensor arrays Sebastian O H. Madgwick.
4. Platform SDK Developer Guide. URL: developer.oculus.com/documentation /
5. Bluetooth Core Specification V5.0
