CC BY
289
УДК 656.7.052:004.4
КОМПЬЮТЕРНОЕ ВОСПРОИЗВЕДЕНИЕ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ В СОВРЕМЕННЫХ АВИАЦИОННЫХ ТРЕНАЖЕРАХ1
В.Ю. ХАРИТОНОВ, В.А. БАЖИН, Л.Е. РУДЕЛЬСОН
С развитием сетевых технологий и средств компьютерной графики все большую популярность приобретают распределенные системы виртуальной реальности, состоящие из множества компонент, взаимодействующих между собой по сети с целью создания единой для большого числа пользователей виртуальной среды. Многие вопросы построения таких систем все еще остаются открытыми и требуют дальнейших исследований. Главным является обеспечение согласованности распределенных данных при одновременном поддержании заданной чувствительности (времени реакции) системы.
В статье рассматривается применение распределенных систем виртуальной реальности для построения проекционных многоканальных систем визуализации современных авиационных тренажеров и предлагаются алгоритмы согласования данных в них.
Ключевые слова: распределенная система виртуальной реальности, согласованность данных, авиационный тренажер.
Введение
Понятие виртуальной реальности (ВР) прочно закрепилось в обиходе современной науки [1, 2]. Системы виртуальной реальности (СВР) находят все более широкое применение в различных областях человеческой деятельности. Повышенный интерес к таким системам связан с новым уровнем качества обучения навыкам. СВР позволяют с достаточной точностью воспроизводить специфическую для конкретной предметной области визуальную обстановку, предоставляя пользователю возможность не просто быть наблюдателем событий, происходящих в виртуальных мирах, но и принимать в них непосредственное участие. Пользователь активно вступает в контакт с объектами виртуальной среды как зрительно, так и с помощью устройств ввода-вывода, таким образом, создается эффект «погружения» пользователя в виртуальную среду, вполне точно имитирующую реальный мир.
Применения СВР в области обучения и переподготовки специалистов, особенно в профессиях, связанных с высокой степенью риска, признаны целесообразными, однако техническая реализация идеи заметно отстает от потребностей практики. Возникающие трудности с особой силой проявляются при организации распределенных систем (РС) ВР, использующих компьютерные сети. В таких системах появляется возможность взаимодействия множества удаленных друг от друга пользователей в общей для них виртуальной среде, невзирая на расстояния, что может быть востребовано во многих прикладных областях. Известные проблемы любых РС - от асинхронности вычислений и неоднородности узлов до аутентификации пользователей - усугубляются в РСВР необходимостью работы в реальном масштабе времени и поддержания противоречивых показателей чувствительности системы и согласованности данных между ее отдельными компонентами [3-6]. Кроме того, отсутствует строгий научный подход к проектированию РСВР, лучшие образцы которых являются скорее продуктами инженерной изобретательности, нежели обоснованной методики проектирования.
Тренажеры для обучения летного состава прежних поколений строились на основе тщательного макетирования реальных взлетно-посадочных полос и непосредственного движения в макете телевизионной камеры, передающей изображение обучаемому курсанту, имеющему средства имитации маневрирования. Механическая система - тележка на рельсах, в сравнении с системой ВР, предоставляет ограниченные возможности моделирования динамики полета. Известный лозунг пилотов «не задирай нос - опрокинешься» она не воспроизводит. Более того:
1 Работа выполнена при поддержке РФФИ (грант N0. 11 -07-00751 -а)
допустим, не ученик, а опытный мастер ведет аэробус с сотнями пассажиров из Сеула в Париж и над Омском получает сообщение, что в Исландии «проснулся» вулкан, что к моменту, когда самолет окажется в Западной Европе, там будут закрыты все аэродромы, кроме Барселоны. Сейчас в таких случаях на борт передают картографические схемы посадки на незнакомом аэродроме. Если же борт связан с РСВР, то пилот может заранее отрепетировать свои действия в непростой ситуации, что повышает уровень безопасности полетов [7].
1. Распределенные системы виртуальной реальности
Одна из основных задач развертывания РСВР состоит в формировании виртуальной среды, являющейся интерактивной, единой и согласованной (непротиворечивой) для всех пользователей. Перечисленные свойства зависят как от реалистичности визуализируемого системой изображения, так и от заложенных в нее сетевых механизмов согласования данных. На рис. 1 РСВР условно представлена набором компьютеров (узлов), объединенных сетью, которые вместе образуют единую информационную среду. Каждый пользователь отображен некоторым объектом, состояние которого (положение в пространстве, скорость и т.д.) контролируется интерактивным программным приложением (именуемым процессом) с трехмерным интерфейсом, выполняемым на соответствующем узле. Процесс производит визуализацию трехмерного вида виртуальной среды для отдельного пользователя и информирует о совершенных им действиях процессы других пользователей, посылая им сообщения обновления, а также получает сообщения обновления от других процессов системы. Результатом взаимодействия процессов РСВР является ощущение у всех пользователей своего присутствия в общем виртуальном мире.
Рис. 1. Условное представление распределенной системы виртуальной реальности
Характер взаимодействия пользователей (в том числе визуального) выдвигает требования согласованности и чувствительности [8]. Первое говорит о том, что все пользователи РСВР должны иметь идентичные данные о состоянии виртуальной среды в каждый момент времени, т.е. информация об изменениях этого состояния должна распространяться между ними максимально быстро. Именно согласованность позволяет добиться эффекта одновременного присутствия многих пользователей в общей виртуальной среде. Требование чувствительности характеризует время, необходимое, чтобы действие пользователя вызвало отклик виртуальной среды,
Вид пользователя 1
!_____________________^__________1_____________I---
Каждый пользователь управляет своим объектом
Часы всех пользователей должны быть синхронизированы между собой
т.е. реакцию системы. В общем случае эти два требования противоречат друг другу: любое действие, произведенное каким-либо процессом РСВР, выводит систему из согласованного состояния до тех пор, пока информация об этом действии не будет сообщена другим процессам, что может занимать значительное время, превышающее максимально допустимое время отклика. Поэтому в РСВР необходимо искать компромисс между согласованностью и чувствительностью. Международный стандарт уровня чувствительности интерактивных приложений трехмерной графики составляет 1/60 долю секунды.
При сравнении РСВР с классическими распределенными системами, наряду с общими свойствами, такими как асинхронность вычислений, отсутствие общей для всех процессов памяти, географическая удаленность и неоднородность вычислительных узлов, можно выделить характерные особенности РСВР [9]:
• вычисления производятся в реальном времени - это предъявляет особые требования к вычислительным узлам, которые должны успевать обрабатывать большие объемы информации за малое время, и к каналам связи, которые должны обеспечивать своевременный доступ к наиболее обновленному (актуальному) состоянию виртуальной среды;
• вычисления носят специфический и итеративный характер - большая их часть сводится к непрерывному расчету глобального состояния виртуальной среды, которое постоянно меняется, причем не только в ответ на действия пользователей, но и с течением времени;
• необходимость временной синхронизации процессов - хотя в системе нет глобальных часов, каждый из процессов имеет свои локальные часы, отсчитывающие модельное время, и эти часы должны быть синхронизированы между собой.
Сравнительный анализ существующих решений обнаруживает три основных типа РСВР, определяемых областями применения: тренажерные, сетевые виртуальные среды и многопользовательские сетевые компьютерные игры. Из анализа следует, что:
• большинство систем разработаны за рубежом, информация по многим ключевым вопросам, связанным с обеспечением согласованности данных отсутствует;
• не реализованы высокоуровневые сетевые протоколы для работы со средой ВР;
• большинство систем не имеют встроенных механизмов управления репликацией;
• почти все системы ориентированы на конкретные области применения и задачи;
• отсутствует общий подход и инструментарий для построения РСВР.
Таким образом, в настоящее время многие вопросы построения РСВР все еще остаются открытыми и требуют дальнейших исследований. И главным из них является обеспечение согласованности данных при одновременном поддержании заданной чувствительности.
2. Специфика использования виртуальных сред в авиационных тренажерах
Современные авиационные тренажеры принято классифицировать на процедурные и комплексные. Процедурный авиационный тренажер предназначен для профессиональной подготовки летного состава. Это техническое средство обучения (рис. 2), позволяющее формировать навыки и умения, необходимые в реальных условиях деятельности пилота и обладающее следующими основными свойствами:
• имитация на тренажере отдельных фрагментов условий реальной деятельности пилота;
• возможность отработки отдельных операций реальной деятельности пилота;
• возможность объективного контроля инструктором всех отрабатываемых на тренажере действий.
Процедурные тренажеры обеспечивают обучение конкретным операциям управления, например, полетом; двигателем и авиационными штатными системами; радиоэлектронным оборудованием; боевому применению в ночных условиях и т.д. Как правило, в их состав входят дисплейные имитаторы приборных досок и имитаторы рычагов управления, которые по своим предельным перемещениям, характеристикам загрузки и тактильным ощущениям на всех этапах и режимах полета соответствуют реальным. Часть приборов, непосредственно относящихся к выполнению операции, реальные. Процедурные тренажеры могут использоваться для обучения персонала, не связанного напрямую с управлением полетом.
Комплексный авиационный тренажер реализует обучение на более совершенном уровне и обладает следующими основными свойствами:
• максимальное приближение условий деятельности пилота на тренажере к реальным;
• обеспечение отработки всех задач реальной деятельности пилота в целом;
• возможность объективного контроля результатов всех отрабатываемых задач.
Комплексный тренажер (рис. 3) является техническим средством более высокого уровня
обучения и поддержания натренированности летного состава. В нем воспроизведен реальный интерьер кабины, предусмотрена возможность отработки всех без исключения режимов эксплуатации летательного аппарата (ЛА) и полный набор средств, обеспечивающих адекватное воздействие на все органы чувств и реакцию на все действия обучаемого. Если ЛА управляется экипажем, то рабочие места выполняются изолированно и соединяются в сеть на уровне программного обеспечения, что позволяет как отрабатывать взаимодействие членов экипажа, так и обучать каждого члена экипажа в отдельности.
Рис. 3. Комплексные тренажеры на выставке МАКС-2009: слева - кабина тренажера вертолета Ми-8 (ЗАО «Транзас»), справа - кабина тренажера ОАО «ОКБ Сухого»)
Схема комплексного авиационного тренажера (рис. 4) содержит:
• макет кабины самолета с приборными панелями и органами управления;
• компьютерные системы, имитирующие аэродинамику и динамику полета, акустические шумы; работу самолетных систем, силовой установки, органов управления, пилотажнонавигационного комплекса, приборного оборудования (авионики);
• систему синтеза внекабинного пространства;
• центральный управляющий сервер;
• рабочее место инструктора;
• система бесперебойного электропитания и другие.
Рис. 2. Общий вид процедурного тренажера в учебном центре
В общем случае авиационный тренажер строится на основе мультисерверной архитектуры взаимодействия и может иметь в своем составе несколько распределенных подсистем, располагаемых либо в одной, либо в различных подсетях. Важным компонентом архитектуры является РС синтеза внекабинного пространства. Она позволяет в реальном времени строить качественное и реалистичное изображение местности (виртуальной среды), над которой производится полет. Высокое качество итогового изображения достигается с помощью метода параллельной многоканальной визуализации: итоговое изображение формируется из отдельных перекрывающихся сегментов, каждый отображается своим каналом визуализации. В результате, разрешение получаемого изображения может составлять порядка 7000 х 2000 точек (10-канальная система, содержащая 2 ряда по 5 проекторов) при частоте визуализации 60 Г ц.
Хранилище
Центральный глобального
РС синтеза внекабинного пространства, по своей сути, является подвидом РСВР и построена по тем же принципам: центральный сервер хранит глобальное состояние виртуальной среды и осуществляет периодическую его рассылку на каналы визуализации. Каналы визуализации, в свою очередь, являются независимыми вычислительными узлами со своей локальной памятью. Одно из немногих отличий заключается в том, что все каналы отображают не разные виды виртуальной среды, а части одного и того же вида, наблюдаемого из общей для них точки в виртуальном пространстве.
Каждый канал визуализации подключен к отдельному проектору, установленному и откалиброванному таким образом, чтобы выводить определенную часть общего изображения на заданную область экрана. Детальное и реалистичное представление ландшафта основано на данных картографии, аэрофотосъемки и обширной текстурной и объектовой базе данных, позволяющих моделировать разнообразные типы земной поверхности в различные времена года. Трехмерное представление гор, холмов, поверхности земли, разнообразных погодных явлений, облачности различного типа и плотности, локальных туманов и гроз, водной поверхности с трехмерными волнами, соот-
ветствующими ветровым условиям, искусственных статичных и динамичных объектов создает максимально реалистичную внешнюю среду для проведения тренажа.
3. Особенности алгоритмов согласования данных
К РСВР авиационных тренажеров предъявляются жесткие требования на своевременность доставки данных от сервера к каналам визуализации (построения зрительной картины). Нарушение синхронизации между ними не должно превышать одного кадра визуализации (рис. 5 а). Экспериментально установлено, что для соблюдения этого условия нужно, чтобы задержка (латентность) передачи данных не превышала времени цикла визуализации гЛс, равного 1/60 с »16,67 мс. Должно удовлетворяться условие гь < ^с, что согласуется с частотным подходом к определению согласованности, предложенным в [10], а также с критерием наблюдательной согласованности, введенным в [11]. Рис. 5 б показывает, что если указанное неравенство нарушается, т.е. > ис, то
рассинхронизация между сервером и каналом визуализации становится больше одного кадра (на рис. 5 она составляет 2 кадра).
Для сокращения латентности (задержки) передачи данных в протоколе, наряду с уже имеющимися режимами прямых ТСР и ИЭР соединений, активируют режим широковещательной рассылки. Данный режим, основанный на ЬгоомСшг-рассылке протокола ИЭР, позволяет
значительно сократить время отклика каналов визуализации на изменения в глобальном состоянии виртуальной среды (латентность в пределах 1 Гбит/с локальной сети не превышает 2 мс). На рис. 5 показана временная диаграмма асинхронного режима работы РС визуализации. Каналы визуализации опрашивают сеть в поисках обновленных состояний среды строго в начале каждого цикла визуализации. Между началами кадров на сервере и клиентах нет жесткой связи: при колебаниях латентности частота поступления данных и, следовательно, визуализации может «плавать». Если
Рис. 5. Работа системы в асинхронном режиме. Стрелками показана передача состояния виртуальной среды от сервера клиенту
сообщения от сервера запаздывают, то их обработка производится лишь в следующем цикле визуализации, что влечет задержку визуализации на каналах как минимум в один кадр.
Для преодоления недостатков асинхронного режима разработан синхронный режим визуализации, позволяющий добиться максимальной согласованности между сервером и каналами визуализации. Работа в данном режиме поясняется рис. 6.
Клиент на каждом кадре ожидает прихода специального сообщения (БОБ - ЕМ-О^таше), означающего завершение очередного такта моделирования на сервере, и только после него переходит к моделированию состояния виртуальной среды и визуализации. В результате, ситуация несвоевременной обработки пришедших по сети данных становится невозможной. Даже в случае латентности, превышающей время цикла визуализации (рис. 6 б), рассинхронизация между
сервером и каналами в синхронном режиме не превышает одного кадра. Однако дальнейший рост латентности недопустим, и в этом режиме должно удовлетворяться неравенство tL < 2tvc). Помимо покадровой синхронизации полезно применять, если это возможно, метод временной синхронизации. В случае, если система моделирования динамики самолета выдает сообщения обновления с частотой, отличной от 60 Гц - 30, 40 и даже 100 Гц (что довольно часто встречается при сборке комплексных тренажеров по модульному принципу из компонентов от различных производителей), стабильность и непрерывность визуализации может нарушаться. Становится возможной ситуация, когда данные с сервера моделирования приходят с непостоянной частотой.
Это приводит к неравномерному движению воспроизводимых на экране объектов, а иногда даже к рывкам воздушного судна и других элементов моделируемой сцены, что недопустимо.
В ситуациях рассинхронизации между сервером моделирования и системой визуализации, применение асинхронного режима работы системы визуализации становится более оправданным, однако необходим механизм, позволяющий сглаживать задержки в обработке поступающих сообщений обновления. В качестве такого механизма применяют адаптивный метод предсказания состояний объектов [10, 11]. Это позволяет сглаживать неравномерность поступления новых состояний виртуальной среды с помощью упрежденного расчета параметров недостающих состояний.
Заключение
Основным вопросом проектирования распределенных систем виртуальной реальности является обеспечение согласованности данных при одновременном поддержании заданной чувствительности (времени реакции). В статье предложены два алгоритма согласования данных в проекционных многоканальных системах визуализации современных авиационных тренажеров при ограничениях на время отклика системы. Рассмотренный подход реализован в программном обеспечении комплексных авиационных тренажеров, разрабатываемых ЗАО «Транзас» и ОАО «ОКБ Сухого».
В заключение отметим, что область применения РСВР в авиационных тренажерах не ограничивается только системами визуализации и имеет гораздо более широкий охват. Одним из перспективных направлений является использование РСВР для отработки навыков по взаимодействию членов экипажей воздушных судов, а также при воспроизведении группового пилотажа [12].
ЛИТЕРАТУРА
1. Бабенко В.С. Виртуальная реальность. Толковый словарь терминов. - СПб.: ГУАП, 2006.
2. Архитектура виртуальных миров / под. ред. М.Б. Игнатьева, А.В. Никитина, А.Е. Войскуновского. - СПб.: ГУАП, 2009.
Рис. 6. Временная диаграмма работы в синхронном режиме
3. Таненбаум Э. Распределенные сети: принципы и парадигмы. - Спб.: Питер, 2003.
4. Тель Ж. Введение в распределенные алгоритмы. - М.: МЦНМО, 2009.
5. Гальков М.А., Рудельсон Л.Е., Тверитнев М.М. Имитационная модель использования воздушного пространства // Известия Российской академии наук, теория и системы управления, 2003. - № 4.
6. Топорков В.В. Модели распределенных вычислений. - М.: ФИЗМАТЛИТ, 2004.
7. Елисов Л.Н. Качество профессиональной подготовки авиационного персонала и безопасность воздушного транспорта. - М.: Исследовательский центр качества подготовки специалистов, 2006.
8. Харитонов В.Ю., Дзегеленок И.И., Орлов Д.А. Вычислительные аспекты построения распределенных систем виртуальной реальности // Научный Вестник МЭИ. - М.: 2008.
9. Харитонов В.Ю. Модели согласованности для распределенных систем виртуальной реальности // Труды 3-й Всероссийской научно-технической конференции «Методы и средства обработки информации». - М.: МАКС Пресс, 2009.
10. Kharitonov V.Y. An Approach to Consistent Displaying of Virtual Reality Moving Objects // Proceeding of 3rd International Conference on Dependability of Computer Systems DepCoS-RELCOMEX, IEEE Computer Society, Los Alamitos, USA, 2008.
11. Харитонов В.Ю. Сетевые механизмы обеспечения согласованности данных в распределенных системах виртуальной реальности: автореф. дисс. на соискание ученой степени канд. техн. наук. - М.: Полиграфический центр МЭИ (ТУ), 2010.
12. Kharitonov V.Y. A Software Architecture of Distributed Virtual Reality System for Formation Flight Visualization [Electronic resource] // Proceedings of 3rd European Conference for Aero-Space Sciences. Versailles, France. July 6-9th, 2009. - Electronic data. - 1 электрон. опт. диск (CD-ROM); 12 см. - ISBN 978-2-930389-47-8.
COMPUTER REPRODUCTION OF VIRTUAL REALITY IN MODERN FLIGHT SIMULATORS
Kharitonov V.Y., Bazshin V.A., Rudelson L.E.
With the development of networking technologies and computer graphics distributed virtual reality systems are becoming more popular. Such systems are composed of many components interacting with each other over the network with the aim of creating shared multi-user virtual environment. Many of the issues of building such systems are still open and require further research. The main issue is to ensure the consistency of distributed data, while maintaining a given responsiveness (reaction time) of the system.
In paper the application of distributed virtual reality systems for projection multi-channel visualization systems in modern flight simulators is considered and algorithms to maintain data consistency within such systems are proposed.
Key words: distributed virtual reality system, data consistency, flight simulators.
Сведения об авторах
Харитонов Василий Юрьевич, 1984 г.р., окончил МЭИ (2007), кандидат технических наук, младший научный сотрудник МЭИ, автор более 10 научных работ, область научных интересов - распределенные системы виртуальной реальности, трехмерная графика, сетевое программирование, разработка авиационных тренажеров.
Бажин Владимир Анатольевич, 1987 г.р., окончил МГТУ ГА (2011), аспирант МГТУ ГА, автор 3 научных работ, область научных интересов - программное обеспечение автоматизированных систем организации воздушного движения.
Рудельсон Лев Ефимович, 1944 г.р., окончил МЭИ (1968), доктор технических наук, профессор МГТУ ГА, автор более 140 научных работ, область научных интересов - программное обеспечение автоматизированных систем организации воздушного движения.
