CC BY
20
Data PROCESSiNG FACiUTiES AND SYSTEMS
Сабанчиев А.М. Sabanchiev A.M.
бакалавр Московского \ государственного технического университета им. Н.Э. Баумана, г. Москва, Российская Федерация
Кулиев Т. И. КиИег Т.1.
младший научный сотрудник Института конструкторско-технологической информатики Российской академии наук, г. Москва, Российская Федерация
УДК 629.7.08 DOI: 10.17122/1999-5458-2018-14-4-80-86
СИСТЕМА ВИЗУАЛИЗАЦИИ С ИСПОЛЬЗОВАНИЕМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ В КОМПЛЕКСЕ СИМУЛЯЦИИ ПОЛЕТА
В настоящее время большое внимание уделяется системам симуляции различных реальных процессов для тренинга определенных навыков. К таким можно отнести управление летательными аппаратами, транспортными средствами, проведение медицинских операций и т.д. Связано это с наличием очевидных преимуществ перед традиционными методами обучения, поэтому они перспективны в использовании. Но при этом остается актуальной задача создания нового уровня погружения обучаемого в ситуацию в режиме реального времени.
Применение виртуальной реальности будет рассмотрено на примере внедрения такой технологии в комплекс симуляции полета летательного аппарата. Данный комплекс представляет собой модель кабины летательного аппарата, которая способна двигаться по четырем степеням свободы по заранее записанной в нее программе либо в ручном режиме управления. Это позволяет использовать комплекс для симуляции различного рода полетов для пассажиров в целях борьбы с аэрофобией.
Добавление технологии виртуальной реальности позволит нам исследовать такую реальность, которая в иных условиях, в силу ее несопоставимости во времени, пространстве, масштабе и т.п., по причине безопасности не может быть исследована.
Использование технологий виртуальной реальности способствует вовлечению обучаемого в моделируемый процесс, а также подготавливает базу для дальнейшего развития систем обучения в виртуальной реальности, независимо от того, в какой области она используется.
На примере внедрения в существующий комплекс симуляции полета летательного аппарата системы визуализации было показано, как можно увеличить наглядность качественной концептуальной модели. При этом сама модель виртуальной реальности для большего реализма была составлена из заранее отснятого видео в формате 360°, с дальнейшей разверткой в куб. Удалось при этом встроиться в контекст с учетом механических особенностей кабины симулятора. При этом объект моделирования был представлен в пространственных и временных масштабах, соотносимых с человеком.
Ключевые слова: система визуализации, симулятор, хромакей, Unity, OvrVision, Skybox, кубическая текстура, реконструкция.
VISUALIZATION SYSTEM WITH THE USE OF VIRTUAL REALITY IN THE COMPLEX OF FLIGHT SIMULATION
Currently, much attention is paid to the simulation systems of various real processes for the training of certain skills. These include control of aircraft, vehicles, medical operations, etc. This is due to the presence of obvious advantages over traditional teaching methods; therefore, the prospects for their use are justified. But at the same time, the task remains relevant. It creates a new level of immersion of the student in what is happening and in real time.
The application of virtual reality will be considered on the example of introducing such a technology into the aircraft flight simulation complex. This complex is a model of the cockpit of an aircraft, which is capable of moving along 4 degrees of freedom according to a program previously recorded in it, or in manual control mode. This allows you to use the complex for the simulation of various kinds of flights for passengers in order to combat aerophobia.
Adding virtual reality technology will allow us to explore a reality that is in different conditions - because of its incompatibility in time, space, scale, etc. due to safety cannot be investigated.
The use of virtual reality technologies contributes to the involvement of the learner in the process being modeled, and also prepares the basis for the further development of learning systems in virtual reality, regardless of what area it is used.
Using the example of introducing a visualization system into an existing flight simulation complex of an aircraft, it was shown how to increase the visibility of a high-quality conceptual model. At the same time, the virtual reality model itself for greater realism was made up of pre-shot video in the format of 360 degrees, with further scanning into a cube. At the same time, it was possible to integrate into the context taking into account the mechanical features of the simulator cabin. At the same time, the object of modeling was presented on a spatial and temporal scale, correlated with man.
Key words: visualization system, simulator, chromakey, Unity, OvrVision, Skybox, cubic texture, reconstruction.
Введение
В настоящее время большое внимание уделяется системам симуляции различных реальных процессов для тренинга определенных навыков. К таким можно отнести управление летательными аппаратами, транспортными средствами, проведение медицинских операций и т.д. Связано это с наличием очевидных преимуществ перед традиционными методами обучения, поэтому они перспективны в использовании. Но при этом остается актуальной задача обеспечения большего присутствия обучаемого в происходящем в режиме реального времени. Хотя исследований в данной области немного и большинство разработок являются экспериментальными, можно выделить ключевые моменты использования виртуальной реальности для обеспечения интерактивности, взаимодействия и контроля.
Применение виртуальной реальности будет рассмотрено на примере внедрения такой технологии в комплекс симуляции полета летательного аппарата. Данный комплекс представляет собой модель кабины летательного аппарата, которая способна двигаться по четырем степеням свободы по заранее записанной в нее программе либо в ручном режиме управления. Это позволяет использовать комплекс для симуляции различного рода полетов для пассажиров в целях борьбы с аэрофобией.
Добавление технологии виртуальной реальности позволит нам исследовать такую реальность, которая в иных условиях, в силу ее несопоставимости во времени, пространстве и масштабе по причине безопасности не может быть исследована.
Data PROCESSiNG FACILITIES AND SYSTEMS
При этом надо понимать, что максимальная степень погружения достигается при детальной реконструкции окружения, событий и особенностей определенного процесса. Таким образом, для внедрения технологии в комплекс следует решить ряд задач:
1) детальная реконструкция окружения;
2) наглядность происходящего процесса;
3) удобство и безопасность для пользователя.
Структурная схема системы визуализации комплекса симуляции полёта представлена на рисунке 1.
Рисунок 1. Структурная схема системы визуализации
Реконструкция процесса достигается с помощью механических особенностей самого симулятора, которые позволяют ему двигаться в четырех степенях свободы и воспроизводить практически все перемещения в пространстве, возникающие в полете. Что касается окружения, в котором оказывается пилот или пассажир, избегая 3D-моделей окружающих вещей, достаточно будет записать видео, либо фото в формате 360° и перенести его в виртуальное пространство. Разработка происходит в игровом движке Unity4.1, который обладает визуальной средой разработки, межплатформенной поддержкой и модульной системой компонентов. Проект в Unity делится на уровни - отдельные файлы, объекты и сценарии.
Skybox - это объект в трехмерной графике, играющий роль неба или горизонта. Как правило, представляет собой куб, с внутренней стороны которой натянута текстура
неба. Для переноса записанного нами видео в формате 360° было принято решение использовать данный инструмент. Первые опыты показали, что Skybox не подходит нам по ряду причин. Основной прблемой является нахождение кабины самолета на горизонте и причиной этому является масштаб отрисовки. Человек, находясь в этом виртуальном пространстве, никак не может взаимодействовать с отрисовкой. От движений головы картинка меняется столь незначительно, что изменения практически незаметны. Второстепенная проблема - это размытость и контрастность изображения.
Методы компьютерного зрения позволяют решить задачу преобразования сферического панорамного изображения или видео в кубическую проекцию. Предварительно в рабочей области необходимо создать куб, внутри которого и будет находиться человек. Геометрические размеры кабины подбира
лись эмпирическим путем, чтобы при движе- После создания куба, сопоставимым разним головы обучаемого масштабы приближе- мерами с кабиной самолета, видео формата ния либо отдаления от изображения соответ- 360° было наложено на все плоскости куба ствовали реальным. (рисунок 2).
Рисунок 2. Добавление и настройка кубической текстуры
Так как видео уже было снято в формате обработка и сглаживание углов. Результат 360°, нам не требуется его дальнейшая пост- представлен на рисунке 3.
ШScene
Textured i RGB : 2D •")) Effects -
Рисунок 3. Размещение виртуальной кабины в программном пространстве Unity
Расширение виртуального пространства можно достигнуть путем введения дополнительных элементов, которые дают еще большее погружение в контекст. В рамках реализации подхода «активного восприятия», нацеленного на вскрытие взаимодействия зрительной информации и двигательной активности наблюдателя, добавление собственных рук наблюдателя является оптимальным решением. Для этого необходимо последовательно решить задачи моделирова-
ния рук, учета технических особенностей организации пространства и соответствия программы определенным концептуальным стандартам.
Моделировать кисти рук позволяют джойстики, идущие в комплекте со шлемом Оси1ш. Но исходя из того, что изначальной целью была глубочайшая детализация моделируемого пространства, эффективным решением является перенос реального изображения рук.
Современные информационные технологии представляют огромный выбор инструментальных и программных средств. Поставленную задачу можно решить использованием хромакея (chroma key) - технологии совмещения нескольких изображений в единую композицию. При этом в период съемки объект помещается на однотонный цветовой фон. В таком случае в результате совмещения в кадре объекта и фона существует возможность замены фона. Также в повседневной жизни хромакеем называют сам рир-экран, на фоне которого снимают.
Самыми распространёнными цветами, использующимися при рир-проецировании, являются зелёный и синий (голубой), но теоретически (и практически) может использоваться любой цвет, в том числе белый и чёрный. Единственным минусом хромакея является то, что если на одежде человека присутствует цвет, схожий с цветом фона, то человек начинает «просвечивать». Изображение в зелёном канале содержит меньше шумов, является более чистым и легче поддаётся качественной обработке при
композитинге. К плюсам зеленого хромакея можно еще добавить то, что цифровые камеры наиболее чувствительны к зелёным оттенкам из-за применяемых в них матриц.
При этом внедрение хромакея должно учитывать технические особенности кабины симулятора, в которой будет находится наблюдатель. К ним можно отнести то, что она состоит из жесткого листового ПВХ. Нанесение экрана на него возможно одним из трех способов: пленочное покрытие, покраска внутреннего корпуса симулятора и тканевая обивка.
Также важной характеристикой покрытия является его реакция на освещение. Освещение в силу особенностей кабины может находиться лишь сзади наблюдателя, как показано на рисунке 4. Данное решение обусловлено тем, что наблюдатель, сидя в кресле, чаще всего смотрит перед собой и очень редко рассматривает тыльное пространство. Благодаря данному решению можно исключить прямое попадание света в камеру.
Рисунок 4. 3D-модель кабины симулятора с освещением
После установки источника света были проведены эксперименты с различного рода покрытиями.
Первой была рассмотрена плёнка. После ее установки выявились явные минусы. Основная проблема заключалась в высокой концентрации отражённого света. Результат данного эксперимента показан на
рисунке 5а.
Второй проблемой является слабая износостойкость. Материал подвержен схватыванию и глубинному вырыванию. После покраски осталась основная проблема пленки: высокий уровень бликов от источника света. Выявилось еще несколько проблем.
Равномерное нанесение краски - слишком что наглядно показано на рисунке 5б. На трудоемкий процесс. Недостаточная укрыви- рисунке 5в, в заметно, что при использовании стость, просвечивались монтажные точки, ткани блики отсутствуют.
а) пленочное покрытие; б) покраска корпуса; в) тканевая обивка Рисунок 5. Фотографии трех основных видов покрытия
Как видно из предыдущего опыта, самым эффективным является использование тканевой обивки. Она дает преимущества в равномерном покрытии и самое главное - отсутствии бликов. На тканевой обивке свет хорошо рассеивается и не создает проблем в дальнейшей постобработке видеопотока. Упрощается задача настройки программного комплекса Ovrvision.
Что касается самого местонахождения камеры, очевидно, что она должна фиксироваться на самом шлеме виртуальной реальности. Сама камера не требует каких-либо исключительных характеристик, возможно
использование и представленных на рынке решений, например, камера от компании Ovrvision.
Предварительно необходимо произвести первоначальную настройку характеристик выделения рук на фоне хромакея.
Для сохранения естественного цвета кожи рук необходимо отрегулировать показатели оттенка и насыщенности таким образом, чтобы они были оптимизированы под установленное нами освещение. Окно настройки префаба OvrVision представлено на рисунке 6.
® / Ovrvision (Script)
Ovrvision Configures Exposure Automatic Exposure level Color temp Automatic Color temperature
Brightness Sharpness
Use the OvrvisionAR AR Marker size(m),
Camera view shader
При приближении рук к камере возникает негативный эффект в виде затемнения участков руки тенью от шлема и головы человека. Именно с целью устранения этого эффекта добавляется дополнительный источник освещения в виде светодиода, который крепится на корпус камеры.
Для наблюдателя виртуальное пространство будет выглядеть так, как показано на рисунке 7. Это связано с тем, что в версии 4.1 движка Unity изображение для каждого глаза настраивается отдельно.
Max Brightness Min Brightness
Add Component
Рисунок 6. Окно настройки OvrVision
a)
6)
а) без дополнительного источника света; б) с дополнительным источником света Рисунок 7. Захват кадра виртуального пространства в шлеме
Выводы
Использование технологий виртуальной реальности способствует вовлечению обучаемого в моделируемый процесс, а также подготавливает базу для дальнейшего развития систем обучения в виртуальной реальности, независимо от того, в какой области она используется.
На примере внедрения в существующий комплекс симуляции полета летательного аппарата системы визуализации было показано, как можно увеличить наглядность качественной концептуальной модели. При этом
сама модель виртуальной реальности для большего реализма была составлена из заранее отснятого видео в формате 360° градусов с дальнейшей разверткой в куб. При этом удалось встроиться в контекст с учетом механических особенностей кабины симулятора. Объект моделирования был представлен в пространственных и временных масштабах, соотносимых с человеком, что говорит о том, что технология виртуальной реальности предоставляет уникальные возможности для решения новых задач в различных областях деятельности человека.
Список литературы
1. Карелов С.В. Виртуальная реальность станет доступна каждому // КомпьютерПресс. - 2000. - № 8. - C.16-20.
2. Селиванов В.В. Методы Виртуальной реальности и их использование в психологии // Психология когнитивных процессов [ред. Мажар Н.Е., Селиванов В.В. и др.]. -Смоленск: Универсум, 2007. - С. 118-123. 7.
3. Зинченко Ю.П., Меньшикова Г.Я., Баяковский Ю.М., Черноризов А.М., Войскунский А.Е. Технологии виртуальной реальности: методологические аспекты, достижения и перспективы // Национальный психологический журнал. - 2010. - № 1 (3). - С. 54-62. 10.
4. Monaha T. Virtual Reality for Collaborative E-learning / T. Monaha, G. McArdle, M. Bertolotto //Computers and Education, 2006. -December. 24.
5. Thakral S. Virtual Reality and M-Learning /S. Thakral, P. Manhas, C. Kumar // International Journal of Electronic Engineering Research. -2010. - Vol. 2. - No. 5. - P. 659-661.
References
1. Karelov S.V. Virtual reality will be available to everyone // Computer-Press. - 2000. - № 8.
2. Selivanov V. V. Virtual reality methods and their use in psychology // Psychology of cognitive processes [ed. Mazhar N.E., Selivanov V.V. and etc.]. - Smolensk: Universum, 2007. - P. 118-123.
3. Zinchenko Yu.P., Menshikova G.Ya., Bayakovsky Yu.M., Chernorizov AM, Voyskunsky A.E. Virtual reality technologies: methodological aspects, achievements and prospects // National Psychological Journal. -2010. - № 1 (3). - P. 54-62.
4. Monaha T. Virtual Reality for Collaborative E-learning / T. Monaha, G. McArdle, M. Bertolotto //Computers and Education, 2006. -December. 24.
5. Thakral S. Virtual Reality and M-Learning /S. Thakral, P. Manhas, C. Kumar // International Journal of Electronic Engineering Research. -2010. - Vol. 2. - No. 5. - P. 659-661.
