CC BY
81
Civil Avition High TECHNOLOGIES
Vol. 19, № 03, 2016
УДК 004.946
ТРЕНАЖЕР АЭРОДРОМНОЙ СПЕЦТЕХНИКИ
А.Л. ГОРБУНОВ
Современное понимание дополненной реальности - технологии, позволяющей совмещать в одном пространстве реальный мир и виртуальные, созданные компьютером объекты, - как правило, подразумевает дополнение реального мира виртуальными объектами. Возможен и обратный случай, когда виртуальный мир дополняется реальными объектами, назовем такую технологию инверсной дополненной реальностью. На практике инверсная дополненная реальность востребована в тренажерах операторов спецтехники, в обучающих системах. В статье описаны тренажерное решение с инверсной дополненной реальностью для операторов аэродромных погрузчиков контейнеров и методология коррекции рассогласований при совмещении реального и виртуального миров. Аналогов этого решения на момент подготовки статьи не существовало.
Ключевые слова: виртуальная реальность, дополненная реальность, тренажерная техника.
ВВЕДЕНИЕ
В настоящее время обучение и тестирование водителей автотранспорта проводится с помощью компьютерных симуляторов, включающих водительское кресло с органами управления и один или несколько дисплеев, на которых воспроизводится картинка трехмерной компьютерной графики, имитирующая вид через лобовое стекло кабины автомобиля (см., например, тренажер для водителей аэродромного транспорта АОТ компании Мюгоиау [1]).
Тренажеры такого типа нельзя применять в случаях, когда специфика работы водителя пред--- к полагает не только пребывание в
[\ шШГ кресле, но и перемещение в про-
1\ 1ш 1 ~ ^Ш ^РШ /' странстве, что характерно для
* ^^^ ' ^кШЯ водителей спецтехники, напри-
мер, водителей аэродромных погрузчиков контейнеров (к примеру, распространенный погрузчик СНАМР350 компании Тгере1 [2]). Водитель погрузчика контейнеров в процессе работы должен переходить от панели управления погрузчиком к панели управления грузом, перемещаясь по рабочей площадке длиной 2 метра и разворачиваясь на 180 градусов (рис. 1), входить и выходить из самолета, поэтому показ пользователю вышеупомянутых компьютерных симуляторов видимой водителем при выполнении рабочих функций картинки окружающего мира на стационарно размещенных дисплеях невозможен. Решения с замкнутым помещением, на стенки которого проецируются изображения трехмерной компьютерной графики, также непригодны, поскольку водитель оперирует объектами, находящимися в непосредственной близости от него.
Данный недостаток устраняется при использовании технологии полнопогружной виртуальной реальности (ВР): пользователь тренажера надевает шлем ВР, обеспечивающий полную визуальную изоляцию его от реального мира. При этом задействуется система позиционирования (например, 04 компании РоШешш [3]), датчик которой располагается в шлеме виртуальной реальности и позволяет определять пространственные и угловые координаты головы пользователя. Информация реального времени о пространственном положении головы пользователя используется для генерации стереопары виртуального мира, показываемой пользователю через
Рис. 1
Vol. 19, № 03, 2016
Civil Avition High TECHNOLOGIES
микродисплеи шлема, при этом виртуальный мир воспроизводит рабочую среду, например, аэродром с самолетом и погрузчиком контейнеров. Таким образом, пользователь оказывается полностью погруженным в виртуальную рабочую среду и, перемещаясь в реальном мире, аналогично перемещается в виртуальной рабочей среде, которую может видеть так же, как в реальном мире.
Пользователь наблюдает виртуальные органы управления, однако при этом возникает проблема тактильного взаимодействия с этими виртуальными органами. При размещении датчиков системы позиционирования на руках пользователь видит виртуальные образы своих рук в виртуальном мире, которые перемещаются аналогично реальным рукам (как это реализовано в системе VizMove Walking VR компании WorldViz [4]), однако не может почувствовать касание руля, рычагов и т. п. Существуют тактильные перчатки (к примеру, CyberTouch компании CyberGlove Technologies [5]), обеспечивающие некоторый эффект осязательной обратной связи на кончиках пальцев, но этот эффект ограничен только ощущениями легкого толчка или вибрации, что абсолютно недостаточно для полноценного воспроизведения ощущения хватки руля и других органов управления, приобретение навыков работы с которыми является неотъемлемой частью тренинга водителей.
ТРЕНАЖЕР С ИНВЕРСНОЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТЬЮ
Указанная проблема решается при помощи тренажерного комплекса BP для обучения водителей спецтехники с обеспечением полноценной тактильной обратной связи за счет дополнения виртуальной реальности реальными объектами, в рассматриваемом случае - моделью пульта управления. Современное понимание дополненной реальности - технологии, позволяющей совмещать в одном пространстве реальный мир и виртуальные, созданные компьютером объекты, - как правило, подразумевает дополнение реального мира виртуальными объектами. В версии, когда виртуальный мир дополняется реальными объектами, технологию можно назвать инверсной дополненной реальностью (ИДР).
Комплекс (рис. 2 - обобщенная схема тренажерного комплекса ИДР с обеспечением полноценной тактильной обратной связи за счет дополнения виртуальной реальности реальными объектами) содержит:
• шлем виртуальной реальности с беспроводным интерфейсом, снабженный двумя микродисплеями и аудиосистемой;
• систему позиционирования, датчики которой обеспечивают определение трех линейных координат и трех угловых координат положения в пространстве головы, рук и ног пользователя (6DOF - 6 degrees of freedom, 6 степеней свободы);
• систему слежения за руками и пальцами пользователя с помощью размещенной на шлеме BP видеокамеры, отображающую видеоизображение рук пользователя в виртуальном мире (например, система Hand and Finger Sensor компании Sensics [6]);
• компьютер - генератор BP, в реальном времени генерирующий и передающий стерео-видеоизображение виртуальной рабочей среды на микродисплеи шлема виртуальной реальности в соответствии с данными расположенного на голове датчика системы позиционирования;
• модель пульта управления спецтехники (рис. 3), точно воспроизводящую физические размеры оригиналов и содержащую те же элементы управления, что и оригиналы.
Рис. 2
Civil Avition High TECHNOLOGIES
Vol. 19, № 03, 2016
Путем точного воспроизведения спецтехники в виртуальном мире, точной настройки системы позиционирования и системы слежения за руками и пальцами пользователя, виртуальный объект - виртуальный пульт управления, воспроизводящий визуальные образы реальных панелей управления, совмещается в реальном пространстве с реальным объектом - реальной моделью пульта управления. Характеристики современных доступных на рынке систем позиционирования позволяют осуществлять такое совмещение с достаточной точностью: например, упомянутая беспроводная система позиционирования G4 на расстоянии 1 метра обеспечивает точность определения линейных координат 2 мм и угловых координат 0,5°. Таким ^kl образом обучаемый водитель спецтехники, видя в вирту-
^B^^L альном мире свои реальные руки, может касаться ими
виртуальных органов управления, одновременно касаясь ^^^^^^^ реальных органов управления, чем обеспечивается полная тактильная обратная связь. Размещение датчиков системы ^^^^^ позиционирования на голове, руках и ногах обучаемого рис з обеспечивает возможность наблюдения им в виртуальном
мире рук и ног своего виртуального двойника-аватара, движения которого синхронизируются с движениями обучаемого (см., например, видео применения системы позиционирования STEM компании Sixense [7] на 2:34 мин). Генератор BP связан беспроводными интерфейсами со шлемом виртуальной реальности, датчиками системы позиционирования, размещенными на голове, руках и ногах пользователя и с датчиком системы слежения за руками и пальцами, расположенном на шлеме виртуальной реальности, чем обеспечивается свобода перемещения.
На рис. 4 в больших окнах с двух разных ракурсов показано то, что видит пользователь тренажера погрузчика в BP (осуществляется подъезд погрузчика к самолету), в малых - пользователь в те же моменты в реальном мире, взаимодействующий с моделью пульта управления.
ИДР постепенно становится привычным инструментом в обучающих и развлекательных приложениях. Так, в настоящее время создается широкая сеть парков развлечений
Vol. 19, № 03, 2016
Civil Avition High TECHNOLOGIES
на базе технологии виртуальной реальности, где присутствует ИДР [8]: пользователи, перемещаясь в лабиринте в виртуальном мире, одновременно перемещаются по реальному лабиринту с той же геометрией и конфигурацией, поэтому, касаясь частями тела стенок виртуального лабиринта, чувствуют касание к реальным стенкам.
СОВМЕЩЕНИЕ РЕАЛЬНОГО И ВИРТУАЛЬНОГО МИРОВ
Проблемным моментом решений с ИДР является расхождение координат объектов реального и виртуального миров. В начале работы проводится калибровка позиционирования ава-тара пользователя в виртуальном мире с учетом его физиологических особенностей (рост, длина рук и ног, размер кисти) и конкретного размещения датчиков на теле пользователя с целью полного совмещения координат пользователя в реальном мире и его аватара в виртуальном. Однако со временем возможно возникновение рассогласования виртуальных и реальных координат из-за погрешностей применяемых систем позиционирования. Эти погрешности могут быть систематическими (к примеру, вследствие дрейфа инерциальных микромеханических датчиков или изменяющихся внешних магнитных влияний в случае электромагнитных систем) или случайными, обусловленными точностными характеристиками систем позиционирования. Как результат, пользователь, пытаясь коснуться виртуального объекта, например тумблера на панели управления, в реальном мире не попадает рукой на соответствующий объект.
Сигнальная обратная связь от модели пульта управления к генератору ВР делает возможной коррекцию расхождений координат виртуальных и реальных объектов в моменты, когда пользователь осуществляет управляющие воздействия с помощью элементов панели управления. Поскольку точные координаты в реальном мире для этих элементов известны, то получение генератором ВР их сигналов означает, что в виртуальном мире рука/нога аватара должна находиться в точке с теми же координатами. При обнаружении рассогласования координат выполняется коррекция положения конечностей аватара с целью устранения рассогласования координат аналогичных объектов в виртуальном и реальном мирах с учетом данных о физиологии пользователя и размещении датчиков на его теле, полученных при стартовой калибровке.
Коррекцию расхождения координат пользователя в виртуальном и реальном мире, возникшую вследствие погрешностей углового позиционирования, можно осуществить в моменты нажатия пользователем педалей пульта управления ногой. Эта возможность обусловлена тем обстоятельством, что физиология человеческого тела ограничивает его положение в пространстве при выполнении данного действия: пользователь при этом обязательно находится перед пультом управления. Такая позиция пользователя определяет его положение по углу рыскания, вторая нога при этом находится на основании рабочей площадки, что позволяет судить об углах тангажа и крена тела пользователя. Все углы при этом фиксируются в пределах некоторых интервалов, ограничиваемых возможностями тела человека.
Воздействие на элементы управления рукой позволяет произвести только коррекцию линейных координат, так как такая обратная связь не дает представления об ориентации руки в пространстве. При этом источником рассогласования могут быть погрешности и линейного, и углового позиционирования. Линейная коррекция для руки при угловой погрешности как фактической причины рассогласования приведет к неестественности положения рук аватара, что можно использовать как индикатор неправильности коррекции. Широко применяемая сегодня анимация аватара пользователя по данным нескольких датчиков, размещенных на пользователе (так называемая «инверсная кинематика»), предполагает ограничения на относительное положение частей виртуального тела, учитывающие физиологию реального человеческого тела. Тогда в качестве индикатора правильности/неправильности типа коррекции возможно использование вектора Б расстояния параметров частей тела аватара от границ запрещенных зон: необходимо определять Б после смоделированных линейной и угловой коррекций, в конечном итоге выбирается тот тип коррекции, который обеспечивает максимальное Б.
Civil Avition High TECHNOLOGIES
Vol. 19, № 03, 2016
В ситуации, когда предполагается, что источником рассогласования виртуальных и реальных координат служит погрешность системы позиционирования, а не отдельных датчиков, при выявлении рассогласования по данным датчиков на руках и ногах возникает необходимость коррекции координат головы аватара, что с учетом большой степени независимости относительного положения головы и конечностей, а также сложности математического описания связей между положениями головы и конечностей при ряде последовательных коррекций может приводить к накоплению ошибок коррекции, и так как положение головы аватара определяет точку, откуда пользователь наблюдает картину виртуального мира, то в результате накопления ошибок пользователь может получить смещенную по линейным и угловым параметрам картинку BP. Поскольку голова непосредственно не взаимодействует с элементами пульта управления, возникает вопрос определения оптимальной величины коррекции в пределах, ограниченных точностными характеристиками системы позиционирования. Такие пределы для некоторых типов систем позиционирования, например, электромагнитных и гибридных, на границах зон действия систем могут принимать достаточно большие значения, чтобы визуально ощутимым образом влиять на результаты определения координат головы. Оптимальная величина коррекции может быть определена известными градиентными методами [9] с максимизацией D как функционала для функции корректирующих воздействий по трем линейным и трем угловым координатам.
ЗАКЛЮЧЕНИЕ
Применение ИДР с развитой сигнальной обратной связью открывает возможности построения компьютерных симуляторов для водителей спецтехники, которая до настоящего времени не освоена современной тренажерной индустрией. К таковой относятся описанные в статье аэродромные погрузчики контейнеров, для которых проблема подготовки водителей является очень актуальной: нередко случающиеся столкновения таких погрузчиков с самолетами обходятся авиакомпаниям крайне дорого, поскольку как минимум означают нарушение графика полетов. Другой пример - аэродромные тягачи, перемещающие самолеты. Спецтехника, оператор которой должен перемещаться в пространстве, встречается во многих отраслях - это асфальтоукладочные машины, траншеекопатели и прочие, что определяет широкую перспективу использования ИДР в целях обучения и тестирования персонала.
Работа выполнена при финансовой поддержке РФФИ (проект № 15-08-05424).
СПИСОК ЛИТЕРАТУРЫ
1. Micronav Airside Driver Trainer. URL: http://www.micronav.co.uk/media/314358/mn-airside-driver-trainer-final-v02.pdf (последний визит 11.11.2015).
2. Trepel CHAMP350 Cargo Loader. URL: http://www.trepel.com/products/loader/champ-350.html (последний визит 11.11.2015).
3. Polhemus G4 Tracking System. URL: http://polhemus.com/motion-tracking/all-trackers/g4 (последний визит 11.11.2015).
4. WorldViz VizMove Walking VR. URL: http://www.worldviz.com/products/vizmove-walking-vr (последний визит 11.11.2015).
5. CyberGlove Technologies CyberTouch Sensor Gloves. URL: http://www.cyberglovesystems.com/ products/cybertouch/overview (последний визит 11.11.2015).
6. Sensics Hand and Finger Sensor System. URL: http://sensics.com/sensics-demonstrates-hand-and-finger-tracking-add-on-to-its-virtual-reality-goggles/ (последний визит 11.11.2015).
7. Sixense STEM Tracking System. URL: http://www.youtube.com/watch?t=77&v=jkOLswJlTBs (последний визит 11.11.2015).
Vol. 19, № 03, 2016
Civil Avition High TECHNOLOGIES
8. Virtual Entertainment Centers. URL: https://thevoid.com/ (последний визит 11.11.2015).
9. Васильев Ф.П. Методы оптимизации. М.: Факториал пресс, 2002. 824 с.
TRAINER OF AIRPORT THE SPECIALS-TECHNICIAN
Gorbunov A.L.
In the augmented reality (AR) it is usually implied that the real world is augmented by virtual objects. But what about the augmentation of the virtual world by real objects? - such an "inverse" AR is required in airside driver training systems. Drivers of some airside vehicles have to move while working, that's why traditional driving simulators (where the user has to sit in the driver's chair) are not usable to train them. For example the drivers of airport cargo loaders have to move between two consoles - the driving console and the cargo console. The training of these drivers can be well implemented in the virtual reality (VR), but VR has a substantial drawback of a poor tactile feedback. Today's haptic gloves provide very modest tactile effects which are absolutely insufficient for effective training.
The paper describes the system for the cargo loader drivers which solves this problem using the inverse AR: the physical models of the loader consoles are spatially aligned with the 3D models of these consoles by means of the precise tracking sensors located on the user's hands, feet and head. Thus when the user touches the virtual control elements in VR he/she simultaneously touches the real control elements and this provides the full tactile feedback. The physical models of the consoles provide a signal input to control the virtual loader.
Key words: virtual reality, augmented reality, training system.
REFERENCES
1. Micronav Airside Driver Trainer. http://www.micronav.co.uk/media/314358/mn-airside-driver-trainer-final-v02.pdf (last visit 11.11.2015).
2. Trepel CHAMP350 Cargo Loader. http://www.trepel.com/products/loader/champ-350.html (last visit 11.11.2015).
3. Polhemus G4 Tracking System. http://polhemus.com/motion-tracking/all-trackers/g4 (last visit 11.11.2015).
4. WorldViz VizMove Walking VR. http://www.worldviz.com/products/vizmove-walking-vr (last visit 11.11.2015).
5. CyberGlove Technologies CyberTouch Sensor Gloves. http://www.cyberglovesystems.com/ products/cybertouch/overview (last visit 11.11.2015).
6. Sensics Hand and Finger Sensor System. URL: http://sensics.com/sensics-demonstrates-hand-and-finger-tracking-add-on-to-its-virtual-reality-goggles/ (last visit 11.11.2015).
7. Sixense STEM Tracking System. URL: http://www.youtube.com/watch?t=77&v=jkOLswJlTBs (last visit 11.11.2015).
8. Virtual Entertainment Centers. https://thevoid.com/ (last visit 11.11.2015).
9. Vasiliev F.P. Optimization methods. Moscow, 2002. 824 p. [In Russian].
СВЕДЕНИЯ ОБ АВТОРЕ
Горбунов Андрей Леонидович, советник ректората МГТУ ГА, кандидат технических наук, профессор кафедры технической эксплуатации радиоэлектронного оборудования воздушного транспорта МГТУ ГА, [email protected].
