CC BY
5П.А. Першина
СОЗДАНИЕ БЕСКОНТАКТНОЙ СИСТЕМЫ УПРАВЛЕНИЯ
В статье рассматривается вопрос бесконтактного управления системой. Предложена система управления при помощи жестов и голосовых команд.
Ключевые слова: Бесконтактное управление, жесты, голосовые команды.
При разработке оптического блока для системы хирургической навигации одна из задач - создание удобного интерфейса управления. Обычно в таких системах для управления применяется сенсорный экран. Но врачи часто не могут им пользоваться, потому что руки пачкаются в процессе операции. Для таких случаев создаются альтернативные системы управления, например, ножные педали - это очень защищённая система управления, но чтобы подать через неё команду нужно гораздо больше времени, чем для управления сенсорами. Для более быстрой подачи команды было предложено разработать бесконтактную систему управления, которая могла бы воспринимать жесты и голосовые команды.
Для того, чтобы оценить работу такой системы управления, было разработано тестовое приложение.
Для распознавания положения руки в кадре использована mediapipe - это библиотека с открытым исходным кодом, позволяющая распознавать основные точки на руке (суставы и кончики пальцев). Благодаря использованию машинного обучения точки определяются даже тогда, когда они вне прямой видимости камеры, например, в сжатом кулаке.
Для распознавания речи была использована библиотека Vosk - библиотека для распознавания речи с открытым исходным кодом, работающая локально (без подключения к сети Интернет). Эта библиотека также использует машинное обучение, для этого готовые модели для разных языков (в том числе 4 модели разного размера для русского языка [1]). В тестовом приложении использована самая маленькая из моделей, т.к. оказалось, что этого достаточно для корректного распознавания необходимых слов.
Тестовое приложение может работать с жестами в одном из трёх режимов: дискретном, аналоговом и позиционном.
В дискретном режиме каждый жест обозначает отдельную команду. Для тестового приложения было задано 4 команды, обозначающиеся жестами с поднятыми пальцами, количество пальцев - номер команды. Чтобы команда была зафиксирована системой она должна считываться несколько кадров подряд (для тестирования выбрано 4 кадра). Системе было показано 100 жестов в случайном порядке. Только 1 жест был распознан неправильно, 6 раз было ложное срабатывание. Решением проблемы является необходимость подтверждения для каждой поданной команды (голосом или специальным жестом).
В аналоговом режиме система распознаёт 2 жеста: большой палец повёрнут вверх или вниз. Палец, повернутый вверх, увеличивает значение числового параметра на 1 шаг за кадр; палец, повёрнутый вниз -уменьшает это значение. Таким образом, можно проводить подстройку числовых параметров или сдвигать ползунки. Подряд было показано 100 жестов в случайном порядке. Неверно распознанных жестов не было, ложное срабатывание произошло 3 раза. Т.к. для фиксации выбранного жестами значения необходимо подтверждение, то эти ошибки не могут привести к установке неверного параметра. Тест показал, что при правильно выбранной длине шага установить параметр удаётся легко. Этот режим управления самый удобный.
В позиционном режиме система двигает курсор по экрану в соответствии с передвижением кончика указательного пальца в кадре. Для совершения клика нужно поднести кончик большого пальца вплотную к указательному. При тестировании этой системы ошибок не возникло, т.к. из-за использования библиотеки ше&ар1ре кончики пальцев определялись всегда. Но из-за шумов на изображении с камеры курсор невозможно удержать на месте: если рука в кадре неподвижна, то курсор все равно «дрожит», поэтому управлять им неудобно.
Голосовые команды тестовое приложение воспринимает не зависимо от жестов. Система может распознавать следующие голосовые команды: команды по их номерам (например, «команда один»), переклю-
© П.А. Першина, 2023.
Научный руководитель: Малашин Алексей Анатольевич - доктор физико-математических наук, профессор, Мытищинский филиал МГТУ им. Н. Э. Баумана, Россия.
чение режима считывания жестов (например, «режим два»), подтверждение команды («команда подтверждаю») и отмена команды («команда отмена»). Преобразование голоса в текст часто происходит с ошибками в окончаниях слов (т.к. они часто произносится наименее разборчиво), поэтому для распознавания используется только основа слова. Например, для распознавания слова «подтверждаю» в считанной фразе ведётся поиск подстроки «подтвержд». Таким образом, система без ошибок справляется с распознаванием команд.
Тестовая система бесконтактного управления хорошо себя показала не тестах. Перед её внедрением в итоговое изделие необходимо провести ещё множество тестов на разных людях, т.к. у каждого свои особенности рук и речи. Это позволит выявить возможные отклонения параметров и добавить настройки этих параметров.
Библиографический список: 1. Models // Alphacephei URL: https://alphacephei.com/vosk/models (дата обращения: 12.04.2023).
ПЕРШИНА ПОЛИНА АЛЕКСАНДРОВНА - магистрант, Мытищинский филиал МГТУ им. Н. Э. Баумана, Россия.
