CC BY
12М АРМИЯ-2022
A.V. VABISHCHEVICH
ТЕХНИЧЕСКОЕЗРЕНИЕ
COMPUTER VISION
ИСПОЛЬЗОВАНИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ЖЕСТОВ В КАЧЕСТВЕ БЕСКОНТАКТНОГО МАНИПУЛЯТОРА
USING A GESTURE RECOGNITION SYSTEM AS A CONTACTLESS MANIPULATOR
Сведения об авторе. Вабищевич Андрей Владимирович - воспитанник Федерального государственного казённого общеобразовательного учреждения «Санкт-Петербургское суворовское военное училище МО РФ» (г. Санкт-Петербург. E-mail: rtsvu@mail. ru).
Аннотация. В статье представлена информация об исследовательской работе воспитанника Федерального государственного казённого общеобразовательного учреждения «Санкт-Петербургское суворовское военное училище МО РФ» на тему «Техническое зрение».
Ключевые слова: техническое творчество, распознавание жеста.
Information about the author. Andrey Vabisсhevich - a pupil of the Federal State State Educational Institution «St. Petersburg Suvorov Military School of the Ministry of Defense of the Russian Federation» (St. Petersburg. E-mail: rtsvu@mail. ru).
Summary. The article presents information about the research work of a pupil of the Federal State State Educational Institution «St. Petersburg Suvorov Military School of the Ministry of Defense of the Russian Federation» on the topic «Technical vision».
Keywords: technical creativity, gesture recognition.
А.В. ВАБИЩЕВИЧ
Внедрение современных цифровых технологий в различные сферы жизни и производства требует нового подхода к человеко-ком-пьютерному взаимодействию. Новейшие устройства имеют сложный многоуровневый интерфейс и требуют от пользователя специальных знаний, умений и навыков. Для получения всех преимуществ современных технологий необходимо создавать новые и эффективные каналы связи с интуитивно понятным интерфейсом.
В психике человека значение невербальных сигналов - жестов и мимики - заложено в сфере подсознательного. Люди могут не обращать внимания на свои и чужие попытки передавать информацию, но подсознательно распознают их. Конечно общение с помощью жестов достаточно ограничено: дви-
жениями можно передать только базовые эмоции, но всё-таки можно. А значит, анализируя жесты и мимику, электронное устройство сможет распознать эмоциональное состояние человека, его настроение, насколько искренне говорит человек... То есть то, что невозможно передать при обычном диалоге с распознаванием голоса. А это уже не просто выполнение команд, а общение человека с электронным устройством.
Направление деятельности нашего клуба робототехники по исследованию и созданию систем распознавания жестов, мимики, языка тела человека является актуальным и перспективным.
В результате работы создана полностью автономная система распознавания жестов, исследованы возможности применения неслож-
ного и недорогого оборудования, а именно доступные оптические сенсоры, такие, как web-камера, курсовая камера авиамоделей и т.п.
В ходе работы над созданием системы был детально изучен процесс распознавания жестов, исследованы принципы распознавания изображений и возможность адаптации микрокомпьютера Raspberry Pi в качестве платформы для построения системы.
Как результат создан алгоритм и программное обеспечение для автономной работы с одной web-камерой без применения дополнительных устройств, таких, как: камера глубины, ИК-датчика глубины, перчаток, браслетов и др.
Для разработки программы применён язык программирования Python и использованы свободно
ИЮЛЬ - АВГУСТ 2022 №4 (37)
АРМИЯ-2022
JL,
M
распространяемые подключаемые библиотеки.
Созданная нами программа состоит из следующих блоков (см. рис. 1):
1. Получение и обработка видеопотока.
2. Разложение видеопотока на бинарные кадры и распознавание объекта - кисти руки.
3. Создание математической модели кисти руки, (т.е. возвращение массива данных с координатами узловых точек математической модели).
4. Обработка математической модели на предмет взаимного расположения узловых точек (положение пальцев кисти).
5. Сравнение полученной модели с банком данных заданных жестов на соответствие и определение варианта дальнейшего действия.
6. Передача команды, соответствующей полученному варианту действия, на исполнительный механизм.
Для наглядности использования системы мы придали интерактивные свойства мультимедийному оборудованию.
При этом управление оборудованием осуществляется бесконтактно (см. рис. 2). Для корректной работы необходима, как нам удалось выяснить, камера с матрицей не менее 3 Мп. Более низкие показатели матрицы приводят к скачкообразному перемещению курсора и некомфортной работе.
Кроме того, программное обеспечение было адаптировано для управления антропоморфным роботом на платформе Raspberry Pi. Была использована штатная камера робота невысокого качества - всего 0.3 Мп, которая тем не менее позволила достоверно распознать передаваемые жестами команды. При обнаружении кисти руки робот начинает отслеживать жесты, сравнивать с эталонными и выполнять соответствующие жестам команды.
Таким образом нами создан прототип программного обеспечения
ОБОБЩЕННАЯ СТРУКТУРА СИСТЕМЫ РАСПОЗНАВАНИЯ ЖЕСТА
J-Ч .EL HL-Щ.
БЛОК «шдоМ witewrnweCKnA лчаг. '¡i«f® руИ»
ir
6ЛОК оврстбол»» аасрч;аоиг!г.croft Аодвш но npi
расположим узлокл' tb*K
Рис. 1. Обобщённая структура системы распознавания жеста
для автономного управления электронными устройствами.
Область применения подобных систем достаточно обширна.
Для виртуальной и дополненной реальности это отказ от использования пультов. Программу можно использовать в тренажёрах для обучения работе на сложной боевой технике, в VR (виртуальная реальность) - на созданных, а в АИ (дополненная реальность) - на реальных боевых машинах. Особенно это важно, когда нужно отработать слаженность действий в составе экипажа или расчёта. Программное обеспечение будет безошибочно контролировать и корректировать действия обучаемых. А ведь известно, что проще сразу привить правильные навыки, чем исправить неверные.
В медицине это может быть проведение дистанционных операций. Применив несколько камер, можно с высокой точностью отследить все движения рук в трёхмерном пространстве. Например, врач удалённо подключается к роботизированной медицинской капсуле, находящейся, к примеру, на МКС (Международная Космическая Станция), и проводит операцию. А в военной сфере - это может быть удалённое управление манипуляторами, например, для разминирования.
Почему мы создали автономную систему с подгружаемой библиотекой, а не использовали возмож-
Рис. 2. Распознавание жеста и создание математической модели
ности Интернета? Прежде всего потому, что в процессе работы поняли, что пользователям некомфортно отправлять свой видеопоток в сеть, а при применении в военной области - это недопустимо.
Конечно, не все вопросы ещё решены. Смысловые жесты - это жесты, как правило, однорукие. Нужно или определить доминирующую руку, или работать с двумя. Эта проблема решена пока только теоретически. Кроме того, пока не решён вопрос селекции межжесто-вых движений, не несущих смысловой нагрузки.
Конечно, представляемая нами система - это система начального уровня. Мы только прикоснулись к технологии компьютерного зрения. Но, научив электронное устройство распознавать жесты человека, выражение лица, характер поведения, понимать эмоции, мы сможем вывести общение человека и машины на принципиально новый уровень.
ИЮЛЬ - АВГУСТ 2022 №4 (37) Щ 9
