CC BY
15
УДК 004.588
DOI: 10.24412/2071-6168-2022-9-113-116
КОМПЛЕКС ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ ТЕХНИКИ, ИНТЕГРИРОВАННЫЙ В СИСТЕМУ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Н.О. Кирянов, В.В. Костриков, К.Р. Колесников, И.Ю. Бабушкин, А.В. Воробьев
В данной статье описан разработанный комплекс обнаружения и распознавания вооружения и военной специальной техники, интегрированный в систему дополненной реальности - очки Microsoft Hololens 2.
Ключевые слова: дополненная реальность, Microsoft Hololens 2, обнаружение техники, распознавание техники.
Использование системы дополненной реальности позволяет реализовывать взаимодействие виртуальных объектов (голограмм) с объектами реального мира, что позволяет использовать их, как средства интерактивного обучения, взаимодействия с целевой обстановкой и отображения всевозможной информации с наложением на реальные объекты.
Рис. 1. Очки дополненной реальности Microsoft Hololens 2
Инструментарий смешанной реальности (MRTK) — это кроссплатформенный набор средств для создания интерфейсов смешанной реальности (виртуальная реальность (VR) и дополненная реальность (AR)). Инструментарий предоставляет набор компонентов и функций, которые можно использовать для ускорения разработки Windows Mixed Reality.
MRTK позволяет использовать входные данные из различных источников входных данных, таких как контроллеры 6DoF (степени свободы), подвижные руки или речь.
Существуют три основные модели взаимодействия, которые соответствуют большинству возможностей смешанной реальности и используются в Hololens 2 (рис. 1) [1]:
1) Модель «Руки и контроллеры движений» - пользователь использует одну или две руки для взаимодействия с голографическим миром.
2) Бесконтактная модель - позволяет пользователю взаимодействовать с голографическим содержимым без помощи рук.
3) Модель «Взгляд и фиксация» — это модель ввода похожая на взаимодействие с компьютером - использование мыши для указания и щелчка. Однако, она считаются моделью дальнего ввода с непрямым манипулированием. Существует два типа ввода взглядом (направление головы и направление взгляда) и различные действия фиксации. После того как пользователь применяет взгляд, чтобы нацелиться на объект или элемент пользовательского интерфейса, он может взаимодействовать с этой целью или щелкнуть ее с помощью дополнительного ввода. Это называется этапом фиксации модели ввода.
Одной из возможностей очков дополненной реальности Hololens 2 является наличие системы динамического сканирования окружающего пространства и построения полигональной модели окружающей обстановки. На рис. 2 представлен пример наложения виртуальной модели на реально наблюдаемое пространство.
Рис. 2. Пример наложения виртуального и реального пространства при отображении
в очках дополненной реальности 113
Известия ТулГУ. Технические науки. 2022. Вып. 9
Комплекс обнаружения и распознавания ВВСТ. Используя эту модель взаимодействия с пространством было реализовано взаимодействие голограмм единиц вооружения и военной специальной техники (ВВСТ) с окружающей обстановкой, что может стать основой при создании комплексных систем построения виртуального поля боя на реальной подложке.
В рамках проекта было разработано программное обеспечение на языке С#, с использование Unity и комплекта инструментария MRTK (рис. 3). Оно включает в себя:
1) Каталог единиц ВВСТ различных стран мира с наличием внутренних компонентов и агрегатов [2].
2) Модуль взаимодействия с сервером выявления единиц ВВСТ (рис. 4).
3) Подсветка обнаруженных объектов реального мира за счет поверхностного расположения голограмм-маркеров и информационных полей с персональной информацией о найденных целях.
Функционал очков дополненной реальности позволяет в реальном масштабе времени производить отслеживание рук пользователя, что было применено при разработке меню взаимодействия с каталогом ВВСТ. Доступ к меню можно получить в любой момент времени занеся левую руку в зону действия датчиков очков и повернув ее ладонью вверх.
Каталм ВВСТ — «
Рис. 3. Меню взаимодействия с каталогом ВВСТ
Рис. 5. Меню настроек сетевого подключения и углов обзора фронтальной камеры очков. Отображение информации и классификации цели
Одним из возможных применений систем дополненной реальности является отображение информации о объектах реального мира, что может пригодится при навигации в сложных условиях, распознании людей, вещей, явлений. В рамках проекта произведена интеграция с сервером обнаружения и классификации ВВСТ в видео потоке. Обнаруженные цели отмечаются голограммами-маркерами и окном персональной информации (тип, азимут относительно текущего местоположения очков, угол места относительно текущего местоположения очков и дальность до цели). Пример работы системы представлены на рис. 5.
Применение универсальных протоколов обмена информации, отрисовки и обработки позволяет интегрировать в систему распознавание любые нейросетевые обработчики, обученные как на конкретный класс объектов, так и совмещающие большие списки целевых классов.
Разработанный комплекс показывает возможности по применению дополненной реальности для вывода информации об обнаруженных объектах и их местоположение относительно оператора очков.
Список литературы
1. Акатов А.В., Аристархов Ф.Д., Воробьев Е.В., Макаров П.С., Ромащенко Н.А., Чеченев М.Р. Электронный каталог характеристик уязвимостей образцов вооружения и военной техники зарубежных стран. // Известия Тульского государственного университета. Технические науки. 2021, Вып. 9. С. 374378.
2. Официальный сайт Microsoft: Hololens 2 [Электронный ресурс] URL: https://www.microsoft.comru-mhololenshardware (дата обращения: 17.01.2022).
Кирянов Николай Олегович, магистр, старший оператор, era_1@mil.ru, Россия, Анапа, ФГАУ «ВИТ «ЭРА»,
Костриков Владимир Владимирович, бакалавр, старший оператор, Россия, Анапа, ФГАУ «ВИТ
«ЭРА»,
Колесников Кирилл Романович, магистр, старший оператор, Россия, Анапа, ФГАУ «ВИТ
«ЭРА»,
Бабушкин Игорь Юрьевич, магистр, старший оператор, Россия, Анапа, ФГАУ «ВИТ «ЭРА»,
Воробьев Андрей Васильевич, младший научный сотрудник, Россия, Анапа, ФГАУ «ВИТ «ЭРА»
THE COMPLEX OF DETECTION AND RECOGNITION OF TECHNOLOGY INTEGRATED INTO THE AUGMENTED REALITY SYSTEM
N.O. Kiryanov, V.V. Kostrikov, K.R. Kolesnikov, I.Y. Babushkin, A.V. Vorobyov
This article describes the developed complex of detection and recognition of weapons and military special equipment integrated into the augmented reality system - Microsoft Hololens 2 glasses.
Key words: augmented reality, Microsoft Hololens 2, technology detection, technology recognition.
Kiryanov Nikolay Olegovich, magister, senior operator, era_1@mil.ru, Russia, Anapa, FGA U «MIT
«ERA»,
Kostrikov Vladimir Vladimirovich, bachelor, senior operator, Russia, Anapa, FGAU«MIT«ERA», Kolesnikov KirillRomanovich, magister, senior operator, Russia, Anapa, FGAU «MIT «ERA», Babushkin Igor Yrevich, magister, senior operator, Russia, Anapa, FGAU «MIT «ERA», Vorobyov Andrey Vasilyevich, junior researcher, Russia, Anapa, FGAU «MIT «ERA»
