ИНТЕЛЛЕКТУАЛЬНАЯ ПЕРЧАТКА РАСПОЗНАВАНИЯ ЖЕСТОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

■Di

ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ И УПРАВЛЯЮЩИЕ СИСТЕМЫ

INFORMATION-MEASURING AND CONTROL SYSTEMS

УДК 004.58

doi: 10.21685/2307-5538-2023-2-1

ИНТЕЛЛЕКТУАЛЬНАЯ ПЕРЧАТКА РАСПОЗНАВАНИЯ ЖЕСТОВ М. А. Медведев1, В. М. Чайковский2

1 2 Пензенский государственный университет, Пенза, Россия 1 2 rtech@pnzgu.ru

Аннотация. Актуальность и цели. Руки используются во всех сферах повседневной жизни, от простых задач, таких как подбор предмета, до сложных, таких как общение между собой людей с дефектами речи и слуха. Поэтому нужно найти способ не только отслеживать движения и жесты человеческих рук, но и интегрировать их, а распознавание жестов особенно важно для людей, использующих руки для общения. Материалы и методы. Предложена методика организации общения людей слабослышащих и с дефектами речи, включающая использование роботизированной перчатки, позволяющая в дальнейшем использовать данное предложение в случае, когда стандартный язык жестов будет исчерпан и потребуется его дополнение. Результаты. Проработана схема соединения промыш-ленно изготовленных плат: Bluetooth модуль HC-05 и отладочной платы Arduino Nano совместно с черновым, упрощенным вариантом макета роботизированной кисти человека с закрепленными тензорезистивными датчиками. Выводы. Предлагаемый прием совместно с технологией роботизированных перчаток позволяет осуществить общение не только между людьми с дефектами речи и слуха, а также исключить недопонимание при общении людей с нарушением речи и слуха с обычными, здоровыми гражданами.

Ключевые слова: рука, перчатка, жесты, слабослышащие, дефект речи

Для цитирования: Медведев М. А., Чайковский В. М. Интеллектуальная перчатка распознавания жестов // Измерение. Мониторинг. Управление. Контроль. 2023. № 2. С. 5-10. doi: 10.21685/2307-5538-2023-2-1

INTELLIGENT GESTURE RECOGNITION GLOVE

M.A. Medvedev1, V.M. Chaykovsky2

1 2 Penza State University, Penza, Russia 1 2 rtech@pnzgu.ru

Abstract. Background. hands are used in all areas of everyday life, from simple tasks, such as the selection of an object, to complex ones, such as communication between people with speech and hearing defects. Therefore, it is necessary to find a way not only to track the movements and gestures of human hands, but also to integrate them, and gesture recognition is especially important for people who use their hands to communicate. Materials and methods. A method of organizing communication between people with hearing loss and speech defects is proposed, including the use of a robotic glove, which allows, in the future, to use this proposal for when the standard sign language is exhausted and its addition is required. Results. The connection scheme of industrially manufactured boards has been worked out: the HC-05 Bluetooth module and the Arduino Nano debugging board together with a rough, simplified version of the human robotic brush layout with fixed strain-resistant sensors. Conclusions. The proposed technique, together with the technology of robotic

© Медведев М. А., Чайковский В. М., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.

gloves, allows communication not only between people with speech and hearing defects, but also eliminates misunderstandings when communicating people with speech and hearing impairments with ordinary, healthy citizens.

Keywords: hand, glove, gestures, hearing impaired, speech defect

For citation: Medvedev M.A., Chaykovsky V.M. Intelligent gesture recognition glove. Izme.re.nie.. Monitoring. Upravlenie. Kontrol' = Measuring. Monitoring. Management. Control. 2023;(2):5-10. (In Russ.). doi: 10.21685/2307-5538-2023-2-1

Введение

Общение - важнейшая часть взаимодействия между людьми. Человек лучше всего понимает собеседника через речь. Но в мире живет большое количество людей с отсутствием слуха, которое препятствует развитию речи (речевого аппарата). Разработка умных перчаток для рук поможет преодолеть глухонемым людям коммуникационный барьер.

Цель данного устройства заключается в создании наиболее простого в реализации и использовании аппарата, способного прийти на помощь к человеку с ограниченными возможностями в коммуникации с людьми.

Аппаратные компоненты

Умная перчатка была сконструирована для перевода символов русской дактильной азбуки (рис. 1) в письменные и устные символы. Перчатка была сконструирована (рис. 2) с использованием пяти гибких датчиков, по одному на каждый палец, гибкий датчик используется для указания изгиба пальца, акселерометр использовался на тыльной стороне ладони для указания положения пальца. Для кода использовалась полнофункциональная отладочная плата Arduino, подключенная к ПК в качестве микроконтроллера, а для подключения перчатки к мобильному телефону через Bluetooth использовался Bluetooth-модуль HC-05 [1].

Рис. 1. Русский сурдоалфавит

Рис. 2. Внешний вид роботизированной кисти руки

Measuring. Monitoring. Management. Control. 2023;(2) i ..................................................................................................í

Гибкий датчик

Гибкий датчик, как показано на рис. 3, это тип датчика, который измеряет, насколько сильно произошло отклонение или, альтернативно, сгибание. Для его изготовления можно использовать такие материалы, как пластик и углерод. Сопротивление датчика изменится, когда пластиковая полоска, удерживающая углеродную поверхность, будет отведена в сторону. Приложения для такого типа датчиков, включающие в свой состав компьютерный интерфейс и управление серводвигателями, могут использоваться везде, где уровень изгиба можно оценить за счет изменения значения сопротивления датчика [2].

Рис. 3. Гибкий датчик

Структурная схема предлагаемого блока управления представлена на рис. 4. Гибкий датчик представляет собой двухполюсное устройство; в нем отсутствуют какие-либо поляризованные клеммы, такие как конденсаторы или диоды, поэтому нет ни положительных, ни отрицательных клемм. Для активации этого датчика требуется от 3,3 до 5 В постоянного тока, и это напряжение может быть получено с помощью любого интерфейса. Подключение осуществляется следующим образом: для каждого пальца был использован один гибкий провод, путем подключения одного контакта на землю, а второго к аналоговому контакту платы и к 5 В через сопротивление 10 кОм, используя соответствующий код, значение углового диапазона от 0° до 90°, было представлено в виде кода с использованием соответствующей комбинации градусов между пальцами. Этот датчик используется везде, где необходимо определить, насколько сильно устройство согнулось или изменило свой угол. Внутреннее сопротивление этого датчика изменяется примерно линейно в зависимости от угла изгиба датчика.

Рис. 4. Структурная схема блока управления роботизированной кистью

Bluetooth-модуль HC-05

Bluetooth-модуль HC-05, как показано на рис. 5, предназначен для настройки прозрачных беспроводных последовательных соединений. Он работает с помощью последовательной передачи, что упрощает взаимодействие с контроллером или ПК. HC-05 имеет два режима работы: командный режим, в котором можно изменять настройки устройства по умолчанию, и режим передачи данных, в котором он может отправлять и получать данные с других устройств, подключенных к Bluetooth. Используя PIN-код ключа, мы можем управлять гаджетом в любом из этих двух режимов. Модуль использовался в тестовом приложении для отправки указанного письма с Arduino на телефон [3].

Рис. 5. Bluetooth модуль HC-05

Полнофункциональная отладочная плата Arduino Nano

Самая маленькая и наиболее традиционная плата Arduino, подходящая для макетной платы, называется Nano [3], показана на рис. 6, имеет Mini-USB-разъем и pin-заголовки, которые упрощают подключение его к макетной плате. Благодаря своим компактным размерам в этой работе был использован Arduino. Интегрированная среда Arduino использовалась для загрузки кода, который затем был присоединен к гибким датчикам, акселерометру, некоторым цифровым выводам, контактным датчикам и модели Bluetooth. Метод, используемый для распространения информации об энергетике, отличается. Несмотря на то, что Bluetooth может обрабатывать большой объем данных, за счет повышенного потребления электроэнергии он быстро разряжает батарею приложения. Решить данную проблему может режим энергосбережения Bluetooth Low Energy.

ijäi ¿-'Ä**'* * í ÉM*!^ a

ç ïîra * г> Л

i\T>

\ i гл : ¡ >11

Рис. б. Полнофункциональная отладочная плата Arduino Nano

Практические результаты

К основному результату данного предложения следует отнести то, что стандартный язык жестов с некоторыми словами был успешно отображен на дисплее в виде текста и озвучен в виде голоса, а это, несомненно, поможет людям с нарушениями речи и слуха легко общаться с подавляющим большинством членов нашего общества, являющихся здоровыми людьми.

Возможности данного предложения могут быть значительно расширены путем включения в базу данных большего количества слов и использования другого стандартного языка жестов. Другой положительной особенностью данного предложения является то, что она позволяет обычным людям общаться с людьми, имеющими дефекты речи, путем использования тестового приложения для Android (рис. 7, 8), которое преобразует голосовой сигнал людей в текст на дисплее и в язык жестов роботизированной кисти. Поэтому данное предложение целесообразно развивать и использовать для осуществления общения между людьми с нарушением речи и слабослышащих, так как данное предложение позволяет осуществлять двустороннюю связь между людьми, преобразуя при этом практически все буквы и некоторые слова в отличие от существующих других предложений [4].

Данное предложение, включающее использование технологии роботизированных перчаток и позволяющее осуществить общение не только между людьми с дефектом речи и слуха, позволяет исключить недопонимание при общении людей с нарушением речи и слуха с обычными, здоровыми гражданами [5]. Также данное предложение будет весьма полезно не только для людей, получивших такую инвалидность естественным путем, но и людям, ставшим такими инвалидам из-за заболеваний полости рта и уха по разным случайным причинам. В дальнейшем результат данного предложения особо будет оценен, когда пользователи столкнутся на практике с тем, что стандартный язык жестов с соответствующими 26 алфавитами будет полностью разобран, использован.

1. Pezzuoli F., Corona D., Corradini M. L. Recognition and classification of dynamic hand gestures by a wearable data-glove // SN Comput. Sci. 2021. Vol. 2, № 1. P. 1-9.

2. Буныгин Е. В., Чайковский В. М. Блок управления роботизированной кистью руки // Измерение. Мониторинг. Управление. Контроль. 2021. № 2. С. 47-52. doi: 10.21685/2307-5538-2021-2-6

3. Atalay O., Kennon W. Knitted strain sensors: Impact of design parameters on sensing properties // Sensors. 2014. Vol. 14, № 3. P. 4712-4730.

4. Попова И. В., Субочев А. В. Разработка обучаемой специализированной информационно-поисковой системы // Программные продукты и системы. 2011. № 3. С. 22.

5. Ambar R. Preliminary design of a dual-sensor based sign language translator device // Ghazali R., Deris M., Nawi N. [et al.]. Recent Advances on Soft Computing and Data Mining. SCDM 2018. Advances in Intelligent Systems and Computing. Springer, Cham, 2018. P. 353-362.

Рис. 7. Буква «А», выведенная на экран смартфона

Рис. 8. Буква «О», выведенная на экран смартфона

Заключение

Список литературы

1. Pezzuoli F., Corona D., Corradini M.L. Recognition and classification of dynamic hand gestures by a wearable data-glove. SN Comput. Sci. 2021;2(1): 1-9.

2. Bunygin E.V., Chaykovskiy V.M. Robotic hand control unit. Izmerenie. Monitoring. Upravlenie. Kontrol' = Measurement. Monitoring. Management. Control. 2021;(2):47-52. (In Russ.). doi: 10.21685/2307-55382021-2-6

3. Atalay O., Kennon W. Knitted strain sensors: Impact of design parameters on sensing properties. Sensors. 2014;14(3):4712-4730.

4. Popova I.V., Subochev A.V. Development of a trained specialized information retrieval system. Pro-grammnye produkty i sistemy = Software products and systems. 2011;(3):22. (In Russ.)

5. Ambar R. Preliminary design of a dual-sensor based sign language translator device. Ghazali R., Deris M., Nawi N. et al. Recent Advances on Soft Computing and Data Mining. SCDM 2018. Advances in Intelligent Systems and Computing. Springer, Cham, 2018:353-362.

References

Информация об авторах/Information about the authors

Максим Алексеевич Медведев

студент,

Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: rtech@pnzgu.ru

Maksim A. Medvedev

Student,

Penza State University

(40 Krasnaya street, Penza, Russia)

Виктор Михайлович Чайковский

кандидат технических наук, доцент, доцент кафедры радиотехники и радиоэлектронных систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: rtech@pnzgu.ru

Victor M. Chaykovsky

Candidate of technical sciences, associate professor, associate professor of the sub-department of radio engineering and electronic systems, Penza State University (40 Krasnaya street, Penza, Russia)

Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.

Поступила в редакцию/Received 29.02.2023 Поступила после рецензирования/Revised 29.03.2023 Принята к публикации/Accepted 18.04.2023