CC BY
7X }\
А.Г. НИКОЛАЕВ, А.К. ТИТАРЕНКО, Д.В. ГОРИН
A.G. NIKOLAEV, A.K. TITARENKO, D.V. GORIN
РАСПОЗНАВАТЬ И АНАЛИЗИРОВАТЬ
RECOGNIZE AND ANALYZE
ВОЗМОЖНОСТЬ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ В ВОЛЬСКОМ ВОЕННОМ ИНСТИТУТЕ МАТЕРИАЛЬНОГО ОБЕСПЕЧЕНИЯ
THE POSSIBILITY OF USING ARTIFICIAL INTELLIGENCE TECHNOLOGIES IN EDUCATIONAL ACTIVITIES AT THE VOLSKY MILITARY INSTITUTE OF MATERIAL SUPPORT
Сведения об авторах: Николаев Андрей Геннадьевич - начальник 16 кафедры (примененияракетного топлива и горючего) Вольского военного института материального обеспечения, полковник, кандидат технических наук (г. Вольск. E-mail: nik1981ag@mail.ru);
Титаренко Алексей Константинович - старший преподаватель 16 кафедры (примененияракетного топлива и горючего) Вольского военного института материального обеспечения, подполковник, кандидат технических наук (г. Вольск. E-mail: nik1981ag@mail.ru);
Горин Дмитрий Владимирович - доцент 9 кафедры (технических средств служб тыла) Вольского военного института материального обеспечения, кандидат технических наук (г. Вольск. E-mail: nik1981ag@mail.ru).
Аннотация. Рассматривается возможность внедрения в учебный процесс технологий искусственного интеллекта, одна из которых - система распознавания жестов на основе нейронных сетей. Рассматриваются преимущества применения данной технологии при работе обучающихся с электронными учебниками на военно-специальных кафедрах.
Ключевые слова: технология дополненной реальности (AR), искусственный интеллект, нейронные сети, распознавание жестов, электронный учебник.
Information about the authors: Andrey Nikolaev - Head of the 16th department (use of rocket fuel and fuel) of the Volsky Military Institute of Material Support, Colonel, Candidate of Technical Sciences (Volsk. E-mail: nik1981ag@mail.ru);
Aleksey Titarenko - Senior Lecturer of the 16th Department (use of rocket fuel and fuel) of the Volsky Military Institute of Material Support, Lieutenant Colonel, Candidate of Technical Sciences (Volsk. E-mail: nik1981ag@mail.ru);
Dmitry Gorin - Associate Professor of the 9th Department (Technical Means of Home Front Services) Volsky Military Institute of Material Support, Candidate of Technical Sciences (Volsk. E-mail: nik1981ag@mail.ru).
Summary. The possibility of introducing artificial intelligence technologies into the educational process is considered, one of which is a gesture recognition system based on neural networks. The advantages of using this technology in the work of students with electronic textbooks at military special departments are considered.
Keywords: augmented reality (AR) technology, artificial intelligence, neural networks, gesture recognition, electronic textbook.
Фото 1. Управление дополненной реальностью с использованием мобильных устройств
Современные информационные технологии широко внедряются в образовательные процессы вузов МО РФ. Одним из направлений совершенствования образовательного процесса является внедрение в обучение технологий виртуальной и дополненной реальности. Они находят применение в различных тренажёрах и обучающих программно-аппаратных комплексах.
Если на Международном военно-техническом форуме «АРМИЯ-2021» лишь несколько вузов МО РФ представляли образовательные проекты с использованием виртуальной и дополненной реальности, то уже через год на форуме «АРМИЯ-2022» большинство вузов демонстрировали преимущества их применения в различных образовательных проектах и тренажёрах.
Анализируя направления и динамику развития электронных образовательных систем, как гражданских вузов, так и образовательных организаций МО РФ, чётко прослеживается тенденция расширения спектра задач, решаемых при помощи информационных технологий обучения на основе дополненной реальности.
Дополненная реальность (АИ) -компьютерная технология, которая используется для расширения и дополнения реального мира графическими объектами, 3Б-анима-цией, видео- и аудиофрагментами. Компьютер или мобильное устройство в режиме реального времени накладывает на изображение окружающего пространства дополнительные слои с графическими объектами и выводит полученную картинку на экран устройства.
В отличие от технологии виртуальной реальности, которая заменяет реальную среду искусственной, дополненная реальность лишь вносит в окружающий нас мир то, чего на самом деле быть не может или недоступно в текущий момент.
Рассмотрим в общих чертах принцип работы технологии:
• камера устройства захватывает реальное изображение;
• по специальной разметке и маркерам программа определяет место размещения виртуального объекта и его тип;
• виртуальная картинка накладывается поверх реальной и отображается на экране.
При этом работа АИ-техно-логии реализуется различными программно-аппаратными комплексами (см. фото 1), начиная с простейших (мобильные устройства с установленным необходимым программным обеспечением), заканчивая сложными аппаратны-
ми комплексами (очки дополненной реальности).
Однако независимо от аппаратного исполнения содержание дополненной реальности формируется с помощью программного обеспечения, которое разрабатывается индивидуально для каждого оборудования АИ и реализуется совместно с ним.
В образовательной деятельности технология АИ находит наибольшее применение при проведении групповых и практических занятий на вооружении и военной технике, при этом использование мобильных устройств АИ менее
X }\
'РИ
Фото3. Процесс обучения нейронной сети распознаванию жестов
эффективно, ввиду необходимости ручного управления устройством для вывода информации на экран, что ограничивает практические действия обучающегося. Наиболее практичен вариант использования очков дополненной реальности, позволяющих обучающемуся получать информацию с устройства АИ, необходимую для отработки практических действий, не ограничивая его движений.
Для реализации эффективного применения очков дополненной реальности совместно с электронными учебниками при проведении практических и групповых занятий научно-педагогическим составом и курсантами научно-исследовательской группы Вольского
военного института материального обеспечения разработан программный комплекс для управления виртуальным содержимым дополненной реальности с помощью жестов (см. фото 2). Это позволило управлять содержимым электронного учебника, загруженного в устройство АИ, т.е. осуществлять поиск, оперировать информацией с любой степенью вложенности (использование меню), перемещать графические объекты перед собой, подсвечивать необходимые узлы и детали изучаемых технических средств и многое другое. Всё это оказалось возможным с помощью применения нейронных сетей.
Нейронная сеть - это метод в искусственном интеллекте,
Фото 4. Управление электронным учебником жестами
с помощью которого компьютеры обрабатывают входящие данные таким же способом, как и человеческий мозг. Это один из типов процесса машинного обучения, называемый глубоким обучением, который использует взаимосвязанные узлы или нейроны в слоистой структуре, напоминающей человеческий мозг. Он создаёт адаптивную систему, с помощью которой компьютеры учатся и постоянно совершенствуются. Таким образом, с помощью нейронных сетей компьютеры могут различать и распознавать изображения так, как это делают люди.
В то же время жесты человеческой кисти - это разновидность видеообразов, которые способен распознавать компьютер благодаря нейронным сетям. Для машинного зрения кисти - сложные объекты, они активно жестикулируют, могут перекрывать друг друга, менять форму от раскрытой ладони до кулака, скрещивать пальцы, не говоря уже об окружающем фоне. На руках нет активных точек, как, например, на лице глаза, губы, брови, что мешает компьютеру распознавать и анализировать язык жестов руки.
Научить нейронную сеть распознавать и анализировать перемещения пальцев кисти в пространстве оказалось непросто. Для начала необходима детекция
Фото 5. Управление виртуальной клавиатурой жестами
кисти руки в кадре (см. фото 3). Для этого рука снимается видеоустройством на контрастном монотонном фоне для того, чтобы отсеять с изображения объекты, которые не нужно анализировать, при этом кисть должна находиться на определённом расстоянии от камеры и нейронная сеть должна изучить несколько точек на ней в трёхмерной проекции. Процесс обучения нейронной сети проходит в режиме реального времени, она оценивает глубину, высоту и длину каждой из них, сопоставляет их положение. По точкам определяется позиция каждого пальца, формируется их векторное представление. После этого модель распознаёт жест кисти руки на основании специальных критериев и параметров, которые нейронная сеть анализирует и определяет оптимальные значения в процессе обучения и сравнивает распознанный жест с заложенными шаблонами жестов. И этот процесс повторяется для каждого жеста, которому необходимо обучить нейронную сеть.
После обучения нейронной сети системы распознавания жестов она готова к работе. В общем работу системы распознавания жестов можно разбить на следующие этапы:
1. Устройство ЛИ. снимает в реальном режиме времени изображение через камеру, считывает её и получает цифровое матричное изображение.
2. Компьютер устройства ЛИ обрабатывает полученную информацию с помощью различных вычислительных процессов, которые позволяют получить необходимые входные данные для нейронной сети.
3. Нейронные сети приступают к анализу этих данных и на их основе анализируют кисть руки, модель определяет ключевые точки и контуры жеста кисти и сравнивает полученный результат с заложенными шаблонами жестов и выдаёт результат на устройство ЛИ. После этого модель классифицирует и сегментирует полученные данные.
Для использования на практических и групповых занятиях на вооружении и военной технике очков дополненной реальности совместно с разработанной системой распознавания жестов был разработан вариант электронного учебника с простым и удобным интерфейсом управления информацией для обучающегося.
Управление разработанным электронным учебником (см. фото 4) реализовано при помощи
жестов на основе разработанного программного комплекса для распознавания жестов рук. Написан алгоритм для взаимодействия жестов с содержимым электронного учебника. Всё это позволило:
• перемещать и увеличивать страницы, листать их;
• загружать из учебника и просматривать в любом масштабе объёмные 360-градусные изображения (например кузов-контейнер КамАЗ-53501 с размещённым внутри оборудованием);
• запускать аудио- и видеофайлы;
• запускать ИаэЬ-анимации работы технологических схем технических средств тыла;
• осуществлять манипуляции с трёхмерными моделями узлов и агрегатов.
Для осуществления поиска в загруженной библиотеке на устройстве ЛИ или необходимого раздела в учебнике разработана виртуальная клавиатура, управляемая также жестами рук (см. фото 5).
Таким образом, разработанные программные решения позволили управлять электронными обучающими ресурсами, загруженными в очки дополненной реальности жестами, сохраняя свободу действий обучающегося, расширить спектр применения технологий дополненной реальности в образовании и обучении. А также позволили обучающимся учиться на ходу, используя электронные обучающиеся ресурсы в реальном времени и непосредственно на вооружении и военной технике при проведении групповых и практических занятий.
ЛИТЕРАТУРА
1. Смолин, А.А, Жданов,Д.Д., По-темин, И. С., Меженин, А. В., Богатырев, В. А. Системы виртуальной, дополненной и смешанной реальности: учебное пособие.- Санкт-Петербург: Университет ИТМО, 2018. 59 с.
2. Гафаров, Ф. М. Искусственные нейронные сети и приложения: учеб. пособие / Ф. М. Гафаров, А. Ф. Галимянов.- Казань: Изд-во Казан. ун-та, 2018. 121 с.
