CC BY
7
\ ПРОГРАММНЫЕ И АППАРАТНЫЕ СРЕДСТВА
удк 004.5; 681.586.772 Научные статьи
doi:10.31799/1684-8853-2023-4-35-46 Articles
EDN: BMHSAH
Разработка аппаратного обеспечения и алгоритмов функционирования носимого сенсорного устройства для распознавания двигательной активности руки и жестов
К. Д. Крестовникова, аспирант, младший научный сотрудник, orcid.org/0000-0001-6303-0344 А. А. Ерашова, аспирант, младший научный сотрудник, orcid.org/0000-0001-8003-3643 А. И. Савельева, канд. техн. наук, старший научный сотрудник, orcid.org/0000-0003-1851-2699, [email protected]
аСанкт-Петербургский Федеральный исследовательский центр РАН, 14-я линия В. О., 39, Санкт-Петербург, 199178, РФ
Введение: разработка человеко-машинных интерфейсов является активно развивающимся направлением, и в настоящее время включает в себя задачи по поиску и использованию технических решений, позволяющих реализовать более удобные и естественные для человека формы взаимодействия. Используя несколько модальностей в интерфейсе, можно повысить точность распознавания команд, формируемых человеком. Цель: разработать аппаратное обеспечение и алгоритмы работы носимого устройства для повышения скорости снятия данных о жестах и двигательной активности руки человека. Результаты: анализ современных решений показал, что применение системы технического зрения для распознавания жестов ограничено из-за условий освещенности, применение носимой электроники зачастую требует высокопроизводительного вычислителя, кроме того, на время обработки влияет цифровая фильтрация зашумленных сигналов. Разработана структура носимого устройства, в которой используется гироскоп-акселерометр и емкостные датчики, позволяющие определять различные жесты. Предлагаемое решение представляет собой устройство ввода и может найти применение в качестве указывающего устройства или устройства, непосредственно формирующего управляющие команды. Конфигурация устройства обеспечивает реализацию интерфейса с двумя модальностями, одной из которых являются движения руки человека, а второй — жесты, формируемые кистью. Получены характеристики сенсоров прототипа, а также рассмотрены интеграции разработанного решения для управления мобильным роботом и эмуляции компьютерной мыши. Практическая значимость: разработанное устройство может найти применение в управлении роботами, в области интернета вещей для управления устройствами киберфизических систем, а также в медицинских приложениях. Обсуждение: отличительной особенностью устройства является заложенный в основу емкостный принцип работы датчиков для распознавания жестов. Ввиду статического дрейфа выходных сигналов емкостных датчиков и изменения площади прилегания устройства к руке требуются дополнительные исследования для поиска метода, с помощью которого возможно с удовлетворительной точностью определять более двух жестов.
Ключевые слова — распознавание жестов, человеко-машинный интерфейс, емкостные датчики, Bluetooth Low Energy.
Для цитирования: Крестовников К. Д., Ерашов А. А., Савельев А. И. Разработка аппаратного обеспечения и алгоритмов функционирования носимого сенсорного устройства для распознавания двигательной активности руки и жестов. Информационно-управляющие системы, 2023, № 4, с. 35-46. doi:10.31799/1684-8853-2023-4-35-46, EDN: BMHSAH
For citation: Krestovnikov K. D., Erashov A. A., Saveliev A. I. Development of hardware and operation algorithms for the wearable sensor device designed for hand motor activity and gesture recognition. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2023, no. 4, pp. 35-46 (In Russian). doi:10.31799/1684-8853-2023-4-35-46, EDN: BMHSAH
Введение
Наиболее распространенными устройствами ввода компьютера являются клавиатура с мышью или сенсорный дисплей. Для управления беспилотными летательными аппаратами [1] или наземными мобильными платформами с дистанционным управлением [2] чаще всего применяются специализированные контроллеры или геймпады с интерфейсами, которые не являются естественными для человека. Первыми естественными интерфейсами, получившими активное развитие и имеющими достаточно высокую эффективность работы, стали речевые и
аудиовизуальные [3, 4]. Они являются удобными, поскольку не занимают рук пользователя и не требуют специальной подготовки. Однако подобные интерфейсы не позволяют управлять динамичными объектами, так как для ввода и обработки речевых команд необходимо относительно много времени. Также значительным ограничением является наличие акустического шума или недостаток освещенности для визуальной модальности.
Движения рук и жесты являются для человека существенной частью процесса коммуникации [5, 6], а для людей с ограниченными возможностями или при проблемах со слухом — порой и
единственными. Двигательную активность рук и жесты возможно распознавать с помощью систем технического зрения [7-9]. Однако идентификация положения пальцев и рук ограничена зоной обзора камеры. Данные решения больше ориентированы на использование информации о распознанных жестах в виртуальной реальности, а не науправление физическими объектами.
Использование носимых сенсорных устройств не ограничено определенной областью пространства. Устройства размещаются на предплечье или запястье, за счет сигналов набора датчиков осуществляется распознавание жестов. Базовый принцип работы этих датчиков является основным отличием между сенсорными устройствами.
Широкое распространение получил подход с обработкой электромиографических сигналов [10-13]. Однако качественная фильтрация сигналов может привести к существенным задержкам при управлении динамичными объектами. Кроме того, при расположении устройства на предплечье ближе к локтевому сгибу существуют ограничения на измерение параметров двигательной активности руки, так как ограничивается амплитуда перемещений устройства.
Существуют разработки, основанные на три-боэлектрическом и пироэлектрическом принципах работы. В работе [14] импульсные датчики устанавливаются в кольца, которые надеваются на пальцы руки. Недостатками являются большие габариты и значительное количество соединительных проводов, что снижает надежность устройства. Аналогичный принцип используют сенсоры, встроенные в перчатку [15].
Устройство, представленное в [16], содержит гибкие матрицы тензодатчиков, позволяющих измерять деформации. Авторы показали, что сигналы отличаются при выполнении жестов. В устройстве не предусмотрено иных модальностей, так как нет сенсоров, преобразующих другие физические параметры.
В [17] предложены датчики давления воздуха, совмещенные с воздушным пузырем. Датчики покрывают руку, как повязка, и позволяют определять угол поворота кисти. Авторы рассматривали разработку как альтернативу гироскопу-акселерометру. При наличии мышечной активности измеряемое давление будет изменяться. В этой работе также не рассмотрено комбинирование разных модальностей.
Устройство для распознавания жестов, описанное в [18], основано на применении радиочастотного датчика, включающего в себя одну или несколько антенн, передатчик и один приемник, соединенный с аналого-цифровым преобразователем (АЦП; Analog-to-digital converter — ADC). Принцип работы устройства заключается в обработке отраженных от тканей тела пользовате-
ля радиочастотных сигналов. Есть возможность комплексирования данных с измерениями гироскопа-акселерометра.
Также существуют разработки, основанные на применении сенсоров емкостного типа. Так, в [19] используются пластинчатые электроды, вшитые в перчатку в область фаланг пальцев и ладони. Для распознавания жестов использовались данные как о касании, так и о приближении.
Можно использовать гибкие электроды емкостных датчиков. Устройство из работы [20] предназначено для людей с ограниченными возможностями, размещается на ноге в сидячем положении человека, позволяет определять касание руки и ее приближение. В работах [21, 22] гибкие электроды предлагается располагать на запястье, при этом используется только одна модальность.
Семь гибких электродов емкостных датчиков, покрывающих практически все предплечье, применены в устройстве [23]. Недостатками являются большие размеры, сопоставимые с длиной предплечья, и использование лишь одного типа датчиков. Аналогичными недостатками обладают устройства [24, 25], которые также используют гибкие электроды емкостных датчиков.
Результаты проведенного анализа показали, что возможно применение комбинации датчиков разных типов для распознавания жестов. Полученный авторами опыт по разработке емкостных сенсоров [26], включая комбинированные решения для определения приближения объекта и его силы давления [27], а также идеи рассмотренных выше работ позволили сделать предположение о том, что ввиду физиологических особенностей при формировании жестов рельеф нижней части запястья меняется в значительной мере, данные изменения возможно преобразовать в изменение сигналов емкостных датчиков. Объединение емкостных датчиков для измерений изменения рельефа запястья с инер-циальным датчиком в одном устройстве позволит улучшить распознавание жестов и увеличить их количество.
Структурная схема и аппаратная реализация прототипа носимого сенсорного устройства
В ходе серии предварительных экспериментов с емкостными датчиками [26] и моделирования аппаратной конфигурации носимого сенсорного устройства была определена структурная схема аппаратного обеспечения устройства (рис. 1).
Носимое сенсорное устройство состоит из аналоговой и цифровой частей. Аналоговая часть устройства представлена блоками 1, 2, 3, 4 и предназначена для преобразования измене-
■ Рис. 1. Структурная схема аппаратного обеспечения носимого сенсорного устройства: 1 — высокочастотный генератор прямоугольных импульсов; 2 — первичный емкостный преобразователь; 3 — усилитель аналогового сигнала; 4 — аналоговый фильтр; 5 — цифровой потенциометр; 6 — многоканальный АЦП; 7 — инерци-альная измерительная система; 8 — вычислитель; 9 — беспроводной интерфейс; 10 — проводной интерфейс; 11 — устройство ввода/вывода; А(1) — блок «датчик и интерфейсная схема 1», включающий в себя 2-5 и объединяющий дублирующиеся части структурной схемы; А(2) — «датчики интерфейсная схема 2»; A(n) — «датчик и интерфейсная схема n»
■ Fig. 1. Structural scheme of the sensor device hardware: 1 — high frequency square wave generator; 2 — primary capacitive transducer; 3 — analog signal amplifier; 4 — analog philter; 5 — digital potentiometer; 6 — multichannel analog-to-digital converter; 7 — inertial measurement system; 8 — computer; 9 — wireless interface; 10 — wired interface; 11 — input/output device; A(1) — "sensor and interface circuit 1 " unit, including 2-5 and combining duplicate parts of the structure scheme; A(2) — "sensor and interface circuit 2"; A(n) — "sensor and interface circuit n"
ния емкости первичного емкостного преобразователя в изменение напряжения, измеряемого многоканальным АЦП. Первичный емкостный преобразователь представляет собой пару плоских электродов определенной формы, имеющих непосредственный контакт с запястьем. Один из электродов подключен к высокочастотному генератору прямоугольных импульсов, а второй — к усилителю. Выход усилителя подключен к фильтру, который необходим для выделения полезного сигнала. Принцип работы предлагаемой аналоговой части устройства основан на изменении реактивного сопротивления первичного емкостного преобразователя в зависимости от качества прилегания электродов к запястью.
Для распознавания жестов устройство должно в своем составе иметь более одного датчика с интерфейсной схемой, что отражено наличием блоков А(2) и А(и). В состав блока датчика с интерфейсной схемой входят первичный емкостный преобразователь, усилитель, фильтр и цифровой потенциометр, который необходим для
регулировки коэффициента усиления усилителя. В зависимости от физиологических особенностей пользователя датчики носимого сенсорного устройства имеют различное качество прилегания к запястью, результатом чего являются различия в уровне чувствительности датчиков. Цифровой потенциометр предназначен для регулировки чувствительности каждого датчика и управляется вычислителем. Выходы блоков A(1)-A(n) соединены со входами многоканального АЦП. Вычислитель получает значения сигналов датчиков в цифровом виде от АЦП, а данные о двигательной активности руки — от инерци-альной измерительной системы.
Вычислитель осуществляет фильтрацию и первичную обработку данных, получаемых с емкостных датчиков после АЦП и инерциальной измерительной системы. Далее данные передаются на управляемое устройство через беспроводной интерфейс. Сенсорное устройство имеет проводной интерфейс для отладки и обновления программного обеспечения и устройства ввода/ вывода для взаимодействия с пользователем.
Необходимо отметить, что при разработке данного устройства преследовалась цель максимально упростить схемотехнические решения для снижения стоимости носимого устройства, которая должна быть сопоставима со стоимостью привычных к использованию человеком устройств ввода или смарт-часов. Ввиду этого реализация всех необходимых операций для подготовки сигналов с емкостных сенсоров к распознаванию жестов происходит посредством программного обеспечения микроконтроллера.
Для распознавания двигательной активности применяются известные современные методы обработки данных с гироскопа и акселерометра [28]. Применение данных модальностей в совокупности дает ряд преимуществ. Например, возможно повышение точности распознавания жеста, что позволит определять начало формирования жеста и окончание данного процесса.
Практическая реализация устройства выполнена на микроконтроллере с ядром ARM® Cortex®-M4 и имеет шесть емкостных датчиков. Применяемый микроконтроллер имеет встроенный приемо-пере-датчик, совместимый с Bluetooth® Low Energy режимом работы, и отличается низким энергопотреблением. Li-pol аккумуляторной батареи с номинальным напряжением 3,7 В и емкостью 90 мА-ч достаточно на 8 ч автономной работы устройства. Внешний вид прототипа сенсорного устройства представлен на рис. 2.
Устройство выполнено в пластиковом корпусе, изготовленном с применением аддитивных технологий, имеет разъем microUSB для заряда и работы с программным обеспечением и две кнопки. Выли протестированы различные варианты ре-
■ Рис. 2. Прототип носимого сенсорного устройства
■ Fig. 2. The prototype of the sensor device
мешков. Для достаточной чувствительности сенсоров к движениям необходимо, чтобы электроды устройства надежно прилегали к запястью, поэтому наиболее подходящим оказался тканевый эластичный ремешок с регулировкой. Размеры устройства 48 х 46 х 9 мм без учета ремешка, что сопоставимо с размерами смарт-часов.
Алгоритмы калибровки и функционирования сенсорного устройства
Как упоминалось выше и следует из структурной схемы, схемотехнические решения предлагаемого устройства отличаются своей простотой,
что переносит большую часть обработки сигналов на программное обеспечение. Блок-схема алгоритма базового функционирования устройства представлена на рис. 3.
На первых шагах алгоритма осуществляется инициализация базовых возможностей микроконтроллера с его периферийными компонентами (таймерами, проводными и беспроводным интерфейсами). Помимо этого, из энергонезависимой памяти считываются данные, необходимые для функционирования устройства, которые могут быть изменены после этапов калибровки и обучения. После инициализации проверяется наличие запроса от управляемого устройства на подключение: если запрос поступил, то выполняется сопряжение устройств.
Следующие этапы алгоритма проводятся вне зависимости от того, был ли получен запрос на подключение или нет. Устройство проверяет поступление команд от пользователя. Проверка заключается в считывании сигналов, определяющих нажатие пользователем кнопок на устройстве. Длительные и короткие нажатия кнопок формируют различные команды. При длительном нажатии первой кнопки определяется команда «выключение» и устройство выключается. При длительном нажатии второй кнопки определяется команда «настройка» и выполня-
^ Начало ^
Обработка
данных
датчиков
*
Передача данных
управляемому
устройству
^ Конец ^
Рис. 3. Базовый алгоритм функционирования носимого сенсорного устройства Fig. 3. Basic algorithm for functioning of wearable sensor device
ются следующие шаги. Сначала выполняется алгоритм калибровки, заключающийся в поиске варьируемых параметров устройства для подстройки под пользователя. После калибровки вычисляются коэффициенты и параметры модели машинного обучения для распознавания жестов и двигательной активности руки.
Далее, если подключение к управляемому устройству произошло успешно или сопряжение было выполнено ранее, возможно выполнение алгоритма обработки данных датчиков и передача данных управляемому устройству. Если подключения нет, то шаги после блока инициализации будут выполняться снова.
Рассмотрим подробнее алгоритм калибровки носимого сенсорного устройства (рис. 4). Представленный алгоритм основан на подборе такого коэффициента усиления сигналов от емкостных датчиков, при котором не будет насыщения сигналов, когда сохраняется положение руки с жестом «раскрытая ладонь». Данный жест принят в качестве такого, определение которого для управляемых устройств означает отсутствие команд или нейтральное состояние. Коэффициент усиления сигналов зависит от сопротивления в цепи обратной связи усилителя, которое формируется цифровым потенциометром. Согласно блок-схеме сопротивление цифрового потенциометра Rfb изменяется N раз от Rmax до 0 до
тех пор, пока все сигналы не будут настроены. Величина Rmax определяется максимальным возможным значением сопротивления цифрового потенциометра. Число N зависит от шага изменения сопротивления Rs, которое выбирается таким, чтобы изменение сигнала превышало среднеквадратическое отклонение шума, равное dn и измеряемое в единицах АЦП. Значение Rs выбирается в соответствии с неравенством
AUoutADCrs > d
U
ADC
(1)
AUout = f (Rs )
где — величина изменения выходного на-
пряжения усилителя при изменении сопротивления в цепи обратной связи на значение Rs; АВСге(, — разрядность АЦП; UADC — опорное напряжение АЦП.
Соответственно, максимальное число итераций N определяется как число, равное N =
= \Rmax / RsJ + 1.
В каждой итерации рассматриваемого цикла выполняется вложенный цикл, представляющий собой перебор данных от емкостных сенсоров, количество которых равно числу М, номер рассматриваемого сенсора обозначается как ] = = 1, 2, ..., М. На первом шаге данного вложенно-
С Начало J
Рис. 4. Алгоритм калибровки Fig. 4. The calibration algorithm
го цикла проверяется, настроен ли уровень сигнала от емкостного сенсора. Если настроен, то выполнение алгоритма переходит к следующей итерации или цикл завершается. Если условие не соблюдается, то соответствующему каналу цифрового потенциометра устанавливается сопротивление RfЪi = Rmax — iRs, где RfЪi — значение сопротивления цифрового потенциометра на итерации i основного цикла, i = 0, 1, 2, ..., N.
Кроме того, для сокращения времени процесса настройки, т. е. уменьшения числа итераций, проводится проверка того, настроены ли все сигналы или нет. В случае, если сигнал не настроен, выполняется измерение сигнала с номером ], осуществляется фильтрация и получается значение сигнала в]. Затем сравнивается полученное значение с заданной пороговой величиной в(кг. Если в] > вгкг, то выполнение алгоритма переходит к следующей итерации или цикл завершается. Если в] < в(кг, то для данного сигнала значение величины сопротивления соответствующего канала цифрового потенциометра сохраняется в энергонезависимую память.
За алгоритмом калибровки следует алгоритм обучения (рис. 5). Алгоритм основан на обмене данными носимого устройства с внешним устройством для обучения, которым может являться как управляемое устройство, так и иное
Начало J
>
Сопряжение с внешним устройством для обучения
1
НетСопряжение\ Да прошло успешно?
Ожидание вычисления коэффициентов и параметров модели распознавания жестов
Прием и запись вычисленных значений
= 1, 2,...,К
Сообщение пользователю сделать
жест ¡г *
= 1,2 Н
Сообщение пользователю принять
ориентацию руки g +
Ожидание действий пользователя
т
Передача набора
данных сенсоров Г раз *
Определение минимальных и максимальных значений сигналов емкостных сенсоров Г
С Конец J
Рис. 5. Алгоритм обучения Fig. 5. The learning algorithm
вычислительное устройство, имеющее достаточный объем памяти и производительности для вычисления коэффициентов и параметров модели машинного обучения. Следует отметить, что алгоритм отражает принятую в данной работе концепцию обучения, при этом используемая модель находится вне рамок настоящего исследования. Задача подбора соответствующей модели обучения является отдельной проблемой, которая рассматривалась в работах [29, 30] для решения задач определения типа материала и величины приложенного давления по сигналам, поступающим от емкостных датчиков с аналогичными схемотехническими решениями.
На первом шаге рассматриваемого алгоритма осуществляется сопряжение с устройством обучения. Причем алгоритм завершится, если сопряжения не будет. При успешном сопряжении выполняется цикл по сбору данных от сенсоров для обучения распознавания К жестов. Сперва отправляется уведомление на устройство обучения для вывода сообщения, чтобы пользователь выполнил жест Ь, Ь = 1, 2, ..., К. Также возможно подавать условные сигналы пользователю посредством встроенных в носимое устройство светодиодов и вибромотора. Затем отправляется сообщение, чтобы рука пользователя приняла ориентацию g, g = 1, 2, ..., О. После ожидания действий пользователя осуществляется передача данных сенсоров Т раз. При этом каждую итерацию фиксируется минимальное и максимальное значения сигналов емкостных датчиков, что необходимо для нормализации их значений в блоке «Обработка данных датчиков», приводящем значения сигналов в диапазон от 0 до 1. Это необходимо ввиду различной чувствительности сенсоров. После сбора данных для жеста Ь с ори-ентациями О происходит переход к следующему жесту или завершение цикла.
После сбора данных для обучающей выборки выполняются вычисления коэффициентов и параметров выбранной модели. При этом можно применять предобученную модель с качеством работы, удовлетворяющим пользователя, ввиду чего выполнение алгоритмов «Калибровка» и «Обучение» не является обязательным. После определения коэффициентов и параметров их значения передаются на носимое устройство для записи в энергонезависимую память.
Далее рассмотрим алгоритм обработки данных, поступающих с датчиков (рис. 6).
На первом этапе алгоритма считываются данные с гироскопа-акселерометра. Затем считываются и фильтруются сигналы от емкостных датчиков, после чего осуществляется нормализация каждого полученного значения сигнала в соответствии с выражением
С Начало J) 1
Чтение данных с гироскопа-акселерометра
Чтение сигналов емкостных датчиков, фильтрация
Нормализация значений сигналов
Распознавание жестов
Индикация
> г
Подготовка данных
1 г
Формирование
сообщения
ч г
Конец J
■ Рис. 6. Алгоритм обработки данных, поступающих с датчиков
■ Fig. 6. The sensors data processing algorithm
0, s < sn
1, s > s„
(2)
^ s
< s < s
mm — u — "max '
где вп — новое значение сигнала, вп е [0; 1], в — значение сигнала (в единицах АЦП).
На следующем шаге выполняется распознавание жестов кисти и двигательной активности руки пользователя. При этом осуществляется индикация на устройстве, если жест или движение распознаны. Далее подготавливаются данные, необходимые для управляемого устройства, и формируется сообщение для отправки по беспроводному интерфейсу.
Эксперименты и практические приложения
Разработанное носимое сенсорное устройство размещается на запястье (рис. 7).
Первичное тестирование прототипа устройства предполагает определение корректного функционирования каждого емкостного датчика, 1МЦ-сенсора (гироскопа-акселерометра) и другого аппаратного обеспечения. На рис. 8 представлены сигналы с емкостных датчиков для различных жестов после программной фильтрации.
На рисунке отмечены временные интервалы, которые ограничивают сформированные жесты, и участки с переходными процессами между ни-
■ Рис. 7. Прототип носимого сенсорного устройства, размещенного на запястье
■ Fig. 7. The prototype of the wearable sensor device, placed on the wrist
ми. Интервалами £3^4, £6—£7 отмечены гра-
ницы переходного процесса при формировании жестов из исходного, в качестве которого выбрана «открытая ладонь». Представлены сигналы для четырех жестов: «сжатый кулак» (^—£2), «большой палец вверх» (£4—£5), «указательный палец вверх» (£7—¿8) и «открытая ладонь» (0-£о, £2-£3, £5-£б). Сравнение сигналов емкостных датчиков позволяет сделать вывод о существенных различиях в амплитудах для разных жестов. В табл. 1 приведены значения усредненных уровней сигналов сенсоров при различных жестах относительно уровней усредненных сигналов, когда был выполнен жест «открытая ладонь».
По приведенным расчетным значениям видно, что сигналы жестов «сжатый кулак» и «большой палец вверх» отличаются несущественно, что нельзя сказать о разнице значений сигналов данных жестов с сигналами жеста «указательный палец вверх», где можно наблюдать разницу в диапазоне 1,86.33,17 % от уровня сигналов жеста «открытая ладонь».
После обучения носимого устройства для распознавания жестов его можно применять как интерфейс ввода или для управления конечными устройствами. Рассмотрим вариант использования в качестве указывающего устройства.
При использовании принципов для указывающего устройства, аналогичных тем, что используются для сенсорных экранов, достаточно распознавания одного жеста. В рамках данного приложения используется жест «указательный палец вверх», который имел значение нажатия левой кнопки мыши или нажатия на сенсорный экран. Взаимодействие с данным приложением представлено в видео (https://www.youtube.com/ watch?v=J7P6mLKljYU), а на рис. 9 показаны отдельные кадры из него: пролистывание страницы с положениями руки в пространстве и формированием жеста. В рамках данного приложения носимое сенсорное устройство можно использовать, например, для пролистывания презентаций или рисования объектов на экране.
sn =
и, в
■ Рис. 8. Сигналы с емкостных датчиков для различных жестов
■ Fig. 8. Signals obtained from capacitive sensors for different gestures
■ Таблица 1. Сравнение значений сигналов жестов относительно жеста «открытая ладонь»
■ Table 1. Gestures signals value comparison relative to the open palm gesture
№ сенсора Значение сигнала, %, типа
«сжатый кулак» «большой палец вверх» «указательный палец вверх»
1 94,40 95,57 74,11
2 98,75 98,00 66,01
3 93,89 93,90 60,72
4 7,43 7,43 9,30
5 78,57 77,74 90,37
6 24,38 22,99 32,08
Носимое сенсорное устройство можно использовать для формирования управляющих команд объектом управления, например колла-боративным роботом или обучающей мобильной платформой. Нами активно развивается проект обучающей мобильной платформы с распределенной системой управления, поэтому было решено представить данное приложение именно на ее основе в видео (https://www.youtube.com/ watch?v=x6X2rWRphpk), а на рис. 10 показаны отдельные кадры.
В представленной конфигурации робот предназначен для исследования трассы и имеет ЕРУ-камеру. Перед учеником ставятся задачи
перемещения по трассе, решения головоломок и сбора меток путем считывания их камерой технического зрения или RЕID-cчитывaтeлeм. На трассе есть закрытые участки, на которых отсутствует освещение, и ученику с помощью жеста необходимо включать головное освещение робота. Управление перемещением робота по трассе осуществляется на основе положения и движения руки в пространстве. В данном приложении распознаются два жеста, один из которых инициирует распознавание метки на трассе, а второй — включение освещения.
Сравнение устройств из рассмотренных выше работ по двум характеристикам проведено
Рис. 9. Использование разработанных решений в качестве указывающего устройства Fig. 9. Using developed solutions as a pointing device
■ Рис. 10. Использование разработанного сенсорного устройства для управления мобильным роботом
■ Fig. 10. Using the developed sensor device for controlling the mobile robot
в табл. 2. Видно, что предлагаемое решение позволяет получать данные с сенсоров намного быстрее, чем разработки, представленные в [16, 22, 23], и при этом имеет две модальности.
Таблица 2. Сравнение характеристик устройств Table 2. Comparison the characteristics of the devices
Устройство Многомодаль-ность Периодичность выборки данных сенсоров, мс
[16] - 16
[18] + -
[20] + -
[22] - 40
[23] - 50
[25] - 10
Предлагаемое решение + 10
Заключение
Предложена структура аппаратного обеспечения и алгоритмы работы носимого сенсорного устройства для распознавания жестов и двигательной активности руки человека. Разработанное решение предоставляет возможность реализовать на его основе указывающее устройство или устройство, непосредственно формирующее управляющие команды для робо-тотехнических систем и другого оборудования. В экспериментальной части работы представлены практические применения разработанных решений в качестве указывающего устройства и для управления мобильным обучающим ро-
1. Saveliev A., Lebedeva V., Lebedev I., Uzdiaev M. An
approach to the automatic construction of a road accident scheme using UAV and deep learning methods. Sensors, 2022, vol. 22, no. 13, pp. 4728. doi:10.3390/s22134728
2. Sanders D. A., Sanders H. M., Gegov A., Ndzi D. Rule-based system to assist a tele-operator with driving a mobile robot. Proc. of SAI Intelligent Systems Conference (IntelliSys), 2018, vol. 2, pp. 599-615. doi:10.1007/978-3-319-56991-8_44
3. Dresvyanskiy D., Ryiimiiia E., Kaya H., Markitan-tov M., Karpov A., Minker W. End-to-end modeling and transfer learning for audiovisual emotion recognition in-the-wild. Multimodal Technologies and Interaction, 2022, vol. 6, no. 2, pp. 11. doi:10.3390/mti6020011
4. Kagirov I., Kapustin A., Kipyatkova I., Klyuzhev K., Kudryavcev A., Kudryavcev I., Loskutov Y., Ryumin D., and Karpov A. Medical exoskeleton "Remotion" with an intelligent control system: Modeling, implementation, and testing. Simulation Modelling Practice and Theory, 2021, vol. 107, pp. 102200. doi:10.1016/j.simpat.2020.102200
5. Phutela D. The importance of non-verbal communication. IUP Journal of Soft Skills, 2015, vol. 9, no. 4, pp. 43-49.
6. Kendon A. Gesture: Visible action as utterance. Cambridge University Press, Cambridge, UK, 2004. 412 p. doi:10.1017/CB09780511807572
7. Толстой И. M., Савельев А. И., Денисов А. В. Разработка жестового интерфейса для взаимодействия пользователя с робототехническими средствами. Робототехника и техническая кибернетика, 2018, № 4, с. 24-25. doi:10.31776/RTCJ.6404
8. Canal G., Escalera S., Angulo C. A real-time human-robot interaction system based on gestures for assistive scenarios. Computer Vision and Image Understanding, 2016, vol. 149, pp. 65-77. doi:10.1016/j. cviu.2016.03.004
9. Latta S., et al. Gesture keyboarding. Patent U.S., no. 12/391,145, 2010.
ботом. Потенциально предлагаемое сенсорное устройство может найти применение в медицинских приложениях, например, для оценки активности пациента и измерения частоты сердечных сокращений. Применение разработанных решений возможно для управления устройствами умного дома [31] или иными киберфизическими системами [32] и может оказать значительное влияние на их развитие.
Дальнейшие исследования будут направлены на поиск и реализацию решений в программном обеспечении, которые позволят упростить и сократить процесс обучения для распознавания жестов и сделают предлагаемое устройство более удобным для пользователя.
10. DelPreto J., Rus D. Plug-and-play gesture control using muscle and motion sensors. Proc. of the 2020 ACM/ IEEE Intern. Conf. on Human-Robot Interaction, 2020, pp. 439-448. doi:10.1145/3319502.3374823
11. Козырь П. С., Савельев А. И. Анализ эффективности методов машинного обучения в задаче распознавания жестов на основе данных электромиографических сигналов. Компьютерные исследования и моделирование, 2021, т. 13, № 1, с. 175-194. doi:10.20537/2076-7633-2021-13-1-175-194
12. Qi J., Jiang G., Li G., Sun Y., Tao B. Intelligent human-computer interaction based on surface EMG gesture recognition. IEEE Access, 2019, vol. 7, pp. 6137861387. doi:10.1109/ACCESS.2019.2914728
13. Tanaka A., Fistre J. Method and apparatus for analysing gestures produced in free space, eg for commanding apparatus by gesture recognition. Patent U.S., no. 7,333,090, 2008.
14. Sun Z., Zhu M., Shan X., Lee C. Augmented tactile-perception and haptic-feedback rings as human-machine interfaces aiming for immersive interactions. Nature Communications, 2022, vol. 13, no. 1, pp. 5224. doi:10.1038/s41467-022-32745-8
15. Yang J., Liu S., Meng Y., Xu W., Liu S., Jia L., Chen G., Qin Y., Han M., and Li X. Self-powered tactile sensor for gesture recognition using deep learning algorithms. ACS Applied Materials & Interfaces, 2022, vol. 14, no. 22, pp. 25629-25637. doi:10.1021/acsami.2c01730
16. Byun S. W., Lee S. P. Implementation of hand gesture recognition device applicable to smart watch based on flexible epidermal tactile sensor array. Micromachines, 2019, vol. 10, no. 10, pp. 692. doi:10.3390/ mi10100692
17. Jung P. G., Lim G., Kim S., Kong K. A wearable gesture recognition device for detecting muscular activities based on air-pressure sensors. IEEE Transactions on Industrial Informatics, 2015, vol. 11, no. 2, pp. 485-494. doi:10.1109/TII.2015.2405413
18. Пат. RU0002641269C1, МПК G06F 7/00. Устройство и способ для распознавания жестов с использованием радиочастотного датчика, А. В. Кле-
цов, А. Г. Чернокалов, С. В. Полонский (РФ). № 2017106851; заявл. 02.03.2017; опубл. 16.01.2018.
19. Pan J., Li Y., Luo Y., Zhang X., Wang X., Wong D. L. T., Heng C. H., Tham C. K., and Thean A. V. Y. Hybrid-flexible bimodal sensing wearable glove system for complex hand gesture recognition. ACS Sensors, 2021, vol. 6, no. 11, pp. 4156-4166. doi:10.1021/acssensors .1c01698
20. Singh G., Nelson A., Robucci R., Patel C., Banerjee N. Inviz: Low-power personalized gesture recognition using wearable textile capacitive sensor arrays. IEEE Intern. Conf. on Pervasive Computing and Communications (PerCom), 2015, pp. 198-206. doi:10.1109/ PERC0M.2015.7146529
21. Cheng J., Amft O., Bahle G., Lukowicz P. Designing sensitive wearable capacitive sensors for activity recognition. IEEE Sensors Journal, 2013, vol. 13, no. 10, pp. 3935-3947. doi:10.1109/JSEN.2013.2259693
22. Liang X., Ghannam R., Heidari H. Wrist-worn gesture sensing with wearable intelligence. IEEE Sensors Journal, 2018, vol. 19, no. 3, pp. 1082-1090. doi: 10.1109/JSEN.2018.2880194
23. Dankovich L. J., Bergbreiter S. Gesture recognition via flexible capacitive touch electrodes. Intern. Conf. on Robotics and Automation (ICRA), 2019, pp. 90289034. doi:10.1109/ICRA.2019.8794202
24. Truong H., Nguyen P., Nguyen A., Bui N., Vu T. Capacitive sensing 3d-printed wristband for enriched hand gesture recognition. Proc. of the 2017 Workshop on Wearable Systems and Applications, 2017, pp. 1115. doi: 10.1145/3089351.3089359
25. Wang T., Zhao Y., Wang Q. Hand gesture recognition with flexible capacitive wristband using triplet network in inter-day applications. IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 30, pp. 2876-2885. doi: 10.1109/TNSRE.2022.3212705
26. Крестовников К. Д., Ерашов А. А., Быков А. Н. Разработка схемотехнического решения и кон-
струкции емкостной матрицы датчиков давления для применения в робототехнике. Робототехника и техническая кибернетика, 2020, т. 8, № 4, с. 296-307. doi:10.31776/RTCJ.8406
27. Krestovnikov K., Erashov A., Bykov A. Development of matrix of combined force and proximity sensors for use in robotics. 6th Intern. Conf. "Interactive Collaborative Robotics", 2021, pp. 113-125. doi:10. 1007/978-3-030-87725-5_10
28.An efficient orientation filter for inertial and inertial/ magnetic sensor arrays. https://forums.parallax.com/ uploads/attachments/41167/106661.pdf (дата обращения: 10.03.2023).
29. Kozyr P., Saveliev A., Kuznetsov L. Determining distance to an object and type of its material based on data of capacitive sensor signal and machine learning techniques. Intern. Siberian Conf. on Control and Communications (SIBCON), IEEE, 2021, pp. 1-5. doi:10.1109/SIBC0N50419.2021.9438932
30. Козырь П. С., Яковлев Р. Н. Модель оценки величины приложенного давления на основе анализа сигналов тактильного сенсора с применением методов машинного обучения. Вестник КРАУНЦ. Физико-математические науки, 2021, т. 37, № 4, с. 119-130. doi:10.26117/2079-6641-2021-37-4-119-130
31. Мозохин А. Е. Методика обеспечения комфортного состояния микроклимата умного дома с использованием ансамбля нечетких искусственных нейронных сетей. Информатика и автоматизация, 2021, т. 20, № 6, с. 1418-1447. doi:10.15622/ia.20.6.9
32. Мещеряков Р. В., Исхаков А. Ю., Евсютин О. О. Современные методы обеспечения целостности данных в протоколах управления киберфизиче-ских систем. Информатика и автоматизация, 2020, т. 19, № 5, с. 1089-1122. doi:10.15622/ ia.2020.19.5.7
UDC 004.5; 681.586.772 doi:10.31799/1684-8853-2023-4-35-46 EDN: BMHSAH
Development of hardware and operation algorithms for the wearable sensor device designed for hand motor activity and gesture recognition
K. D. Krestovnikova, Post-Graduate Student, Junior Researcher, orcid.org/0000-0001-6303-0344
A. A. Erashova, Post-Graduate Student, Junior Researcher, orcid.org/0000-0001-8003-3643
A. I. Savelieva, PhD, Tech., Senior Researcher, orcid.org/0000-0003-1851-2699, [email protected]
aSt. Petersburg Federal Research Center of the RAS, 39, 14th Line, 199178, Saint-Petersburg, Russian Federation
Introduction: The development of human-machine interfaces is an actively developing field which now includes technical solutions that make it possible to implement the forms of interaction that are more convenient and natural for humans. The use of several modalities in the interface allows one to increase the recognition accuracy of commands formed by a human. Purpose: To develop hardware and algorithms for a wearable device to improve the speed of data acquisition for human hand motor activity and gestures. Results: The analysis of modern solutions showed that the use of machine vision systems for gesture recognition is limited due to lighting conditions, the use of wearable electronics often requires a high-performance computing device, in addition, the processing time is affected by digital filtering of noisy signals. The developed structure of the wearable device that uses a gyroscope-accelerometer and capacitive sensors allows one to identify various gestures. We offer to use an input device as a pointing device or a device directly forming control commands. The configuration of the device provides the implementation of an interface with two modalities, one of which is the human hand movements and the other is the gestures formed by the hand. The characteristics of the prototype sensors are obtained, and the integration of the developed solution for mobile robot control and computer mouse emulation is considered. Practical relevance: The developed device
can be used in robot control, in the Internet of Things to control the devices of cyber-physical systems, as well as in medical applications. Discussion: A distinctive feature of the device is based on the capacitive principle of gesture recognition sensors. Due to the static drift of capacitive sensor outputs and the variation of the device's area of contact with the hand, more research is needed to find a method with which more than two gestures can be identified with satisfactory accuracy.
Keywords — gestures recognition, human-machine interface, capacitive sensors, Bluetooth Low Energy.
For citation: Krestovnikov K. D., Erashov A. A., Saveliev A. I. Development of hardware and operation algorithms for the wearable sensor device designed for hand motor activity and gesture recognition. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2023, no. 4, pp. 35-46 (In Russian). doi:10.31799/1684-8853-2023-4-35-46, EDN: BMHSAH
References
1. Saveliev A., Lebedeva V., Lebedev I., Uzdiaev M. An approach to the automatic construction of a road accident scheme using UAV and deep learning methods. Sensors, 2022, vol. 22, no. 13, pp. 4728. doi:10.3390/s22134728
2. Sanders D. A., Sanders H. M., Gegov A., Ndzi D. Rule-based system to assist a tele-operator with driving a mobile robot. Proc. of SAI Intelligent Systems Conference (IntelliSys), 2018, vol. 2, pp. 599-615. doi:10.1007/978-3-319-56991-8_44
3. Dresvyanskiy D., Ryumina E., Kaya H., Markitantov M., Karpov A., Minker W. End-to-end modeling and transfer learning for audiovisual emotion recognition in-the-wild. Multimodal Technologies and Interaction, 2022, vol. 6, no. 2, pp. 11. doi:10.3390/mti6020011
4. Kagirov I., Kapustin A., Kipyatkova I., Klyuzhev K., Kudryavcev A., Kudryavcev I., Loskutov Y., Ryumin D., and Karpov A. Medical exoskeleton "Remotion" with an intelligent control system: Modeling, implementation, and testing. Simulation Modelling Practice and Theory, 2021, vol. 107, pp. 102200. doi:10.1016/j.simpat.2020.102200
5. Phutela D. The importance of non-verbal communication. IUP Journal of Soft Skills, 2015, vol. 9, no. 4, pp. 43-49.
6. Kendon A. Gesture: Visible action as utterance. Cambridge University Press, Cambridge, UK, 2004. 412 p. doi:10.1017/ CB09780511807572
7. Tolstoy I., Saveliev A., Denisov A. Development of gesture interface for user interaction with robotic devices. Robotics and Technical Cybernetics, 2018, no. 4, pp. 24-25 (In Russian). doi:10.31776/RTCJ.6404
8. Canal G., Escalera S., Angulo C. A real-time human-robot interaction system based on gestures for assistive scenarios. Computer Vision and Image Understanding, 2016, vol. 149, pp. 65-77. doi:10.1016/j.cviu.2016.03.004
9. Latta S., et al. Gesture keyboarding. Patent U.S., no. 12/391,145, 2010.
10. DelPreto J., Rus D. Plug-and-play gesture control using muscle and motion sensors. Proc. of the 2020 ACM/IEEE Intern. Conf. on Human-Robot Interaction, 2020, pp. 439-448. doi:10.1145/3319502.3374823
11. Kozyr P., Saveliev A. Analysis of the effectiveness of machine learning methods in the problem of gesture recognition based on the data of electromyographic signals. Computer Research and Modeling, 2021, vol. 13, no. 1, pp. 175194 (In Russian). doi:10.20537/2076-7633-2021-13-1-175-194
12. Qi J., Jiang G., Li G., Sun Y., Tao B. Intelligent human-computer interaction based on surface EMG gesture recognition. IEEE Access, 2019, vol. 7, pp. 61378-61387. doi:10.1109/ ACCESS.2019.2914728
13. Tanaka A., Fistre J. Method and apparatus for analysing gestures produced in free space, eg for commanding apparatus by gesture recognition. Patent U.S., no. 7,333,090, 2008.
14. Sun Z., Zhu M., Shan X., Lee C. Augmented tactile-perception and haptic-feedback rings as human-machine interfaces aiming for immersive interactions. Nature Communications, 2022, vol. 13, no. 1, pp. 5224. doi:10.1038/s41467-022-32745-8
15. Yang J., Liu S., Meng Y., Xu W., Liu S., Jia L., Chen G., Qin Y.,
Han M., and Li X. Self-powered tactile sensor for gesture recognition using deep learning algorithms. ACS Applied Materials & Interfaces, 2022, vol. 14, no. 22, pp. 25629-25637. doi:10.1021/acsami.2c01730
16. Byun S. W., Lee S. P. Implementation of hand gesture recognition device applicable to smart watch based on flexible epidermal tactile sensor array. Micromachines, 2019, vol. 10, no. 10, pp. 692. doi:10.3390/mi10100692
17. Jung P. G., Lim G., Kim S., Kong K. A wearable gesture recognition device for detecting muscular activities based on air-pressure sensors. IEEE Transactions on Industrial Informatics, 2015, vol. 11, no. 2, pp. 485-494. doi:10.1109/ TII.2015.2405413
18. Kletsov A., et al. Ustrojstvo i sposob dlya raspoznavaniya zhestov s ispolzovaniem radiochastotnogo datchika [Device and method for gesture recognition using radio frequency sensor]. Patent RF, 2018.
19. Pan J., Li Y., Luo Y., Zhang X., Wang X., Wong D. L. T., Heng C. H., Tham C. K., and Thean A. V. Y. Hybrid-flexible bimodal sensing wearable glove system for complex hand gesture recognition. ACS Sensors, 2021, vol. 6, no. 11, pp. 4156-4166. doi:10.1021/acssensors.1c01698
20. Singh G., Nelson A., Robucci R., Patel C., Banerjee N. Inviz: Low-power personalized gesture recognition using wearable textile capacitive sensor arrays. IEEE Intern. Conf. on Pervasive Computing and Communications (PerCom), 2015, pp. 198-206. doi:10.1109/PERC0M.2015.7146529
21. Cheng J., Amft O., Bahle G., Lukowicz P. Designing sensitive wearable capacitive sensors for activity recognition. IEEE Sensors Journal, 2013, vol. 13, no. 10, pp. 3935-3947. doi:10.1109/JSEN.2013.2259693
22. Liang X., Ghannam R., Heidari H. Wrist-worn gesture sensing with wearable intelligence. IEEE Sensors Journal, 2018, vol. 19, no. 3, pp. 1082-1090. doi:10.1109/JSEN.2018.2880194
23. Dankovich L. J., Bergbreiter S. Gesture recognition via flexible capacitive touch electrodes. Intern. Conf. on Robotics and Automation (ICRA), 2019, pp. 9028-9034. doi:10.1109/ ICRA.2019.8794202
24. Truong H., Nguyen P., Nguyen A., Bui N., Vu T. Capacitive sensing 3d-printed wristband for enriched hand gesture recognition. Proc. of the 2017 Workshop on Wearable Systems and Applications, 2017, pp. 11-15. doi:10.1145/3089351. 3089359
25. Wang T., Zhao Y., Wang Q. Hand gesture recognition with flexible capacitive wristband using triplet network in inter-day applications. IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 30, pp. 2876-2885. doi: 10.1109/TNSRE.2022.3212705
26. Krestovnikov K., Erashov A., Bykov A. Development of circuit solution and design of capacitive pressure sensor array for applied robotics. Robotics and Technical Cybernetics,
2020, vol. 8, no. 4, pp. 296-307 (In Russian). doi:10.31776/ RTCJ.8406
27. Krestovnikov K., Erashov A., Bykov A. Development of matrix of combined force and proximity sensors for use in robotics. 6th Intern. Conf. "Interactive Collaborative Robotics",
2021, pp. 113-125. doi:10.1007/978-3-030-87725-5_10
28. An efficient orientation filter for inertial and inertial/mag-netic sensor arrays. Available at: https://forums.parallax. com/uploads/attachments/41167/106661.pdf (accessed 10 March 2023).
29. Kozyr P., Saveliev A., Kuznetsov L. Determining distance to an object and type of its material based on data of capacitive sensor signal and machine learning techniques. Intern. Siberian Conf. on Control and Communications (SIBCON), IEEE, 2021, pp. 1-5. doi: 10.1109/SIBC0N50419.2021.9438932
30. Kozyr P., Iakovlev R. A model for estimating the value of the applied pressure based on the analysis of tactile sensor signals using machine learning methods. Bulletin of KRAUNC. Physical and Mathematical Sciences, 2021, vol. 37, no. 4, pp. 119-130 (In Russian). doi:10.26117/2079-6641-2021-37-4-119-130
31. Mozohin A. Methodology for ensuring a comfortable microclimate state in a smart home using an ensemble of fuzzy artificial neural networks. Informatics and Automation, 2021, vol. 20, no. 6, pp. 1418-1447 (In Russain). doi:10.15622/ ia.20.6.9
32. Meshcheryakov R., Iskhakov A., Evsutin O. Analysis of modern methods to ensure data integrity in cyber-physical system management protocols. Informatics and Automation, 2020, vol. 19, no. 5, pp. 1089-1122 (In Russian). doi:10.15622/ia.2020.19.5.7
