ТЕХНОЛОГИИ ИСПОЛЬЗОВАНИЯ ЖЕСТОВ ДЛЯ УПРАВЛЕНИЯ КОМПЬЮТЕРНЫМИ И РОБОТОТЕХНИЧЕСКИМИ СИСТЕМАМИ Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 004.35

Овчарова Б. С. студент 2 курса

факультет «Информатика и вычислительная техника»

Барашко Е.Н. старший преподаватель кафедра «Информационные технологии» Донской государственный технический университет

Россия, г. Ростов-на-Дону ТЕХНОЛОГИИ ИСПОЛЬЗОВАНИЯ ЖЕСТОВ ДЛЯ УПРАВЛЕНИЯ КОМПЬЮТЕРНЫМИ И РОБОТОТЕХНИЧЕСКИМИ СИСТЕМАМИ

Аннотация:

В статье рассматриваются технологии жестового управления компьютерных и робототехнических систем, а также проблемы, которые могут решить данные технологии.

Ключевые слова:

Информационные технологии, устройства ввода, периферия, управление систем, интуитивность.

Ovcharova B.S.

Second year student Faculty of Information systems and technology Don state technical university Rostov-on-Don, Russia Barashko E.N.

Senior lecturer of the "Information technology " department

Don state technical university Rostov-on-Don, Russia

Abstract:

The article discusses the technology of gesture control of computer and robotic systems, as well as problems that these technologies can solve.

Keywords:

Information technology, input devices, peripherals, control systems, intuitiveness.

От современных компьютерных и робототехнических систем, управляемых человеком, в современном мире требуют, как минимум, удобства и интуитивности использования, но основным критерием является скорость, с которой технология позволяет работать оператору.

Технологии управления систем с помощью жестов обеспечивают пользователю интуитивно простое и удобное управление системой. Спектр их применения широк: от персональных компьютеров до хирургических роботов и систем с искусственным интеллектом.

Один жест может заменять серию нажатий клавиш клавиатуры и

мыши, что существенно повышает скорость работы, а беспроводные технологии управления системами позволят работать на расстоянии от устройства.Отсутствие необходимости зрительного контакта позволит людям с ограниченными возможностями с большей легкостью управлять системами.

Такие технологии могут использовать видео-интерфейсы, ультразвуковые локаторы, кинематические датчики, системы структурированной подсветки или специальные устройства, например, перчатки.

Сегодня на рынке присутствует множество различных устройств, позволяющих управлять компьютером с помощью жестов.

Одной из них является универсальный контроллер ДУ - IMotion.

Контроллер представляет собой небольшое устройство, удобно закрепляющееся на ладони. IMotion создает виртуальный сенсорный экран, похожий на большое пространство перед пользователем, а функция обратной связи обеспечивает физическое ощущение прикосновения к виртуальному объекту внутри приложения.

IMotion может использоваться с любым компьютером, которым можно управлять с помощью клавиатуры и мыши.

Данный контроллер отличается приемлемой себестоимостью для среднего пользователя.

Минусами же данной технологии могут стать быстрая утомляемость оператора, так как, используя контроллер, необходимо держать руку на весу, и возможный недостаток различных жестов.

Кикстартер IMotion (на момент сентября 2018 года) собрал более 100'000$. Он превосходит конкурентов своей простотой и удобством.

Не менее интересным является контроллер Kai. Он подключается к внешним устройства по Bluetooth и позволяет управлять ими жестами руки без необходимости использовать внешние датчики или камеру. Девайс надевается на ладонь и внешне напоминает умный браслет. Корпус манипулятора обладает габаритами 13*77x23 мм.

Устройство компактно и подойдет для ежедневного использования. Поможет облегчить рабочий процесс и имеет достаточно низкую стоимость.

Минусом данной технологии является Bluetooth подключение, которое ограничивает радиус действия устройства.

Фондрайзинг Kai(rn момент сентября 2018 года) собрал более 50'000$ и опережает конкурентов в удобстве, портативности и простоте использования.

Роботизированный помощник хирурга Се8^пигее.Хоть медсестра и обеспечивает хирурга быстрой ответной реакцией, иногда могут возникнуть ошибки, основанные на человеческом факторе. Чтобы обеспечить хирургов быстрой и надежной помощью, была разработана технология Gestonurse, основанная на жестовой ассоциации команды и голосовом ее подтверждении. Устройство стерильно, просто в использовании, а также

помогает решить проблему недостатка медперсонала в больнице. Gestonurse имеет быструю скорость отклика, что снижает время ожидания хирургом необходимых инструментов. Технология была разработана студентами из Школы Промышленной Инженерии, институт Пердью, а прототип находит положительный отклик среди хирургов и медработников. Но на данный момент у данной технологии имеются минусы: ограниченный функционал, подразумевающий лишь подачу инструментов, и большие габариты робота.

Контроллер Сеэ^репится к ладони и к каждому из пальцев с помощью соединительных проводов. Имеет широкий диапазон использования: от виртуальной клавиатуры, до контроля «умных домов». К компьютеру устройство подсоединяется по Bluetooth.

Минусом данной технологии, как и технологии Kai, является Bluetooth подключение. Кикстартер Gest был полностью собран в ноябре 2015 года и уже проявил себя среди пользователей.

Выполним сравнительный анализ рассмотренных устройств и выявим проблемы управления компьютерных и робототехнических систем, которые могут решить данные технологии.

Первым критерием сравненияявляются: радиус работы, пределы перемещения оператора и скорость отклика.

IMotion работает в радиусе от 0,3 до 4,87 метров, поддерживает повороты в пределах (1,3°;-2,2°). Движения отражаются на экране в масштабе 1:1 с точностью 98%. Считывание происходит со скоростью от 30 до 100 кадров в секунду.

Kaiработает в радиусе до 60 метров благодаря BluetoothLowEnergy (BLE), измерения производятся с точностью до 1мм. Имеет задержку отклика меньшую, чем 10мс.

GestoNurse работает в радиусе хирургического стола, что составляет 1 -1,5м. Движения ограничены набором жестов, нет отслеживания изменения положения руки. Имеет задержку отклика меньшую, чем 0,5с.

Gestработает в радиусе до 60 метров благодаря BLE. Измерения производятся с точностью до 1мм. Имеет задержку отклика меньшую, чем 40-60мс.

Вторым критерием сравнения является продолжительность работы от батареи.

Продолжительность работы Kai составляет 8 часов, когда как Gest утверждает, что их устройство работает целый день. GestoNurse питается только от сети.

Третьим критерием сравнения является габаритность и удобство использования.

IMotion в самой широкой части имеет длину 12 см. Закрепляется на любой части тела с помощью эластичных лент.

^юбладает габаритами 13*77*23 мм и закрепляется на ладони с помощью эргономичного ремешка.

Габариты GestoNurse зависят от размера помещения и по площади

занимаемого пространства достигают 2м2.

Gest в самой широкой части имеет длину около 7 см и закрепляется с помощью ремешка на ладони и специальных универсальных клипс - на пальцах.

Четвертым критерием сравнения выступает стоимость устройства.

IMotion - от 150$. Kai - от 129$. GestoNurse - цена по запросу. Gest -от 150$ за одну перчатку, от 300$ за пару;

Заключительным, пятым критерием является полный перечень функционала и кроссплатформенность.

IMotion: контроллер заменяет клавиатуру и мышь виртуальным сенсорным экраном, использует четырехканальный датчик тактильной обратной связи, может использоваться совместно с очками виртуальной реальности (OculusRift) для отслеживания движения тела и рук в виртуальном пространстве. Одна компьютерная система поддерживает до четырех датчиков IMotion одновременно, разработчики могут адаптировать датчик под свои программные средства на платформе Windows, MacOS, Linux, совместим с мобильными телефонами и TV, поддерживающими стандарт MHL.

Kai: не заменяет клавиатуру и мышь, а дополняет их, поддерживает управление презентациями, имеет функцию указки, создания зарисовок, совместим с Windows, MacOS, Linux приложениями, совместим со всеми SmartTV, совместим с VR и AR шлемами, позволяет управлять дронами, подходит для управления «Умных домов».

GestoNurse: помощь хирургу при проведении операций и поддержание стерильности.

Gest: поддержка интуитивной работы в AdobePhotoshop для дизайна, различных программных средств для 3D моделирования, функция виртуальной клавиатуры для быстрой печати, работает с Windows, MacOSX, Android, IOS девайсами с поддержкой Bluetooth 4.0, позволяет управлять дронами, подходит для управления «Умных домов», осуществляет сбор сырой информации о движении ладоней для разработчиков.

Таблица 1. Сравнительный анализ параметров устройств, позволяющих управлять компьютером с помощью жестов

IMotion Kai Gest Gestonurse

Точность считывания 98% До 1 мм До 1 мм До 1 см

Радиус работы 0,3 - 4,87 м 0,3 - 60 м 0,3 - 60 м 1 - 1,5 м

Скорость отклика <20мсек < 10 мсек < 40 мсек <50 мсек

Продолжительно сть работы от батареи 8ч 8ч 12ч От питания

Габаритность и удобство использования 12 см в самой широкой части 7,7 см в самой широкой части 7 см в самой широкой части 1,5 - 2 м

Windows, Mac

Windows, Mac OS, Linux, Windows, Mac

OS, Linux, SmartTV, OS X, Android,

совместим с совместим с IOS девайсы с

мобильными VR и AR поддержкой

Платформы телефонами и шлемами, Bluetooth 4.0, -

TV, дронами, дроны,

поддерживающи подходит для подходит для

ми стандарт управления управления

MHL. «Умных домов». «Умных домов»

155 150 145 140 135 130 125 120 115

Рисунок 1. Диаграмма 1Средняя стоимость устройства (Доллары

США)

Ожидается, что мировой рынок технологий распознавания жестов достигнет 33,05 млрд долларов США к 2025 году, увеличившись в среднем на 21,3%, согласно новому отчету GrandViewResearch, Inc. Увеличение числа цифровых систем в различных отраслях стимулирует рынок распознавания жестов. Простота внедрения из-за низкой технической сложности для конечных пользователей позволила отрасли бытовой электроники завоевать наибольшую долю рынка. Многие другие отрасли также начали использовать эти технологии.

Ожидается, что сегмент здравоохранения продемонстрирует высокие темпы роста со среднегодовым темпом 26,1%.

et

5 <

m

U

I ^

S. ¡5

Q. ^

Ш О

m

П!

35 30 25 20 15 10

I I I I I

2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025

Рисунок 2. Прогноз развития рынка технологий жестового

управления

Подводя итог, можно сделать следующие выводы: для использования наиболее эффективен контроллер Gest по причине того, что он объединяет в себе широкий функционал, приемлемую цену, полностью способен заменить клавиатуру и мышь, решить проблемы скорости работы и загромождения рабочего пространства.

5

0

14%

29%

■ Северная Америка ■ Европа ИАзия ■ Остальная часть Мира

Рисунок 3. Доли рынка жестовых технологий по регионам

Для решения задач оперативности и нехватки персонала подойдут такие технологии, как GestoNurse. Спектр применения подобных технологий велик и затрагивает почти все области человеческой деятельности. С ростом проблемы нехватки рабочего персонала подобные технологии могут стать ключевыми.

Для повседневных задач подойдет контроллер Kai по причине своей портативности. Он станет отличным помощником в офисе, дома, на улице.

Перспективы развития технологий. Технологии жестового управления компьютерных и робототехнических систем имеют большой потенциал при соответствующей поддержке и разработке. По прогнозам, в перспективе данные технологии будутиспользоваться для решения следующих проблем:

- Возможность настраивать жесты под нужды пользователя.

- Повышение портативности.

- Внедрение поддержки жестовых языков.

- Отказ от проводных технологий.

- Возможность взаимодействия системы и пользователя в нестандартной обстановке.

Использованные источники:

1. Идиатуллов Т.Т., Чабаненко Е.Б., Нечушкина М.А «Системы бесконтактного жестового управления как основа построения H2C-интерфесов в АСУ», Известия МГТУ «МАМИ» №1(15), 2013, т. 1

2. М. М. Чудновский «Алгоритм распознавания жестов руки человека на видеопоследовательности в режиме реального времени для реализации интерфейсов человеко-машинного взаимодействия», УДК 004.93'1 Вестник СибГАУ 2014. № 3(55). С. 162-167

3. Mithun G. Jacob, Yu-Ting Li, Juan P. Wachs «Gestonurse: A multimodal robotic scrub nurse», IEEE International Conference, 2012

4. INDEMAND, Kai: The Gesture Controller for All Your Tech, https://www.indiegogo.com/projects/kai-the-gesture-controller-for-all-your-tech#/

5. СайтVicara CO, https://vicara.co

6. Сайт Центрального научно -исследовательского института русского жестового языка, «Распознавание жестов рук для управления бесконтактными устройствами в операционных залах», https://cnii-jest.ru/ru/laboratory-of-kinetic-interfaces/92-raspoznavanie-zhestov-ruk-dlya-upravleniya-beskontaktnymi-ustrojstvami-v-operatsionnykh-zalakh