CC BY
42
: Измерение. Мониторинг. Управление. Контроль
i.....................................................................................................
УДК 615.487.32; 620.3 DOI 10.21685/2307-5538-2020-4-10
■ А. Н. Спиркин
БИОНИЧЕСКИЕ МЕТОДЫ УПРАВЛЕНИЯ РОБОТИЗИРОВАННЫМ МЕХАНИЗМОМ
A. N. Spirkin
BIONIC METHODS OF CONTROL OF A ROBOTIC MECHANISM
■ Аннотация. Актуальность и цели. Объектом исследования являются роботизированные мобильные механизмы. Предметом исследования являются бионические методы управления. Целью исследования является разработка архитектуры и алгоритмического обеспечения системы управления с использованием бионического подхода для автономного выполнения поставленных задач. Материалы и методы. Для решения поставленных задач в работе использовались методы распознавания команд, отдаваемых инвалидом, с привлечением аппарата искусственного интеллекта. Результаты. Предложена структура и алгоритм работы роботизированной инвалидной коляски, оперативное управление которой осуществляется бортовым компьютером, а роль оператора сводится к постановке цели передвижения. Выводы. Использование предложенных подходов к построению систем управления роботизированными механизмами могут найти применение не только при создании реабилитационной техники, но и при разработке и проектировании мобильных интеллектуальных роботов, создаваемых для работы в условиях быстро меняющейся динамичной и опасной для жизни человека среды.
■ Abstarct. Background. The subject of research is bionic control methods. The aim of
■ the study is to develop the architecture and algorithmic support of the control system using a
■ bionic approach for the autonomous performance of the assigned tasks. Materials and methods. To solve the set tasks, the work used methods of recognizing commands given by a disabled person, with the involvement of an artificial intelligence apparatus. Results. The structure and algorithm of operation of a robotic wheelchair are proposed, the operational control of which is carried out by an onboard computer, and the role of the operator is reduced to setting the goal of movement. Conclusions. The use of the proposed approaches to the construction of control systems for robotic mechanisms can find application not only in the creation of rehabilitation equipment, but also in the development and design of mobile intelligent robots created to work in a rapidly changing dynamic and life-threatening environment.
Ключевые слова: двигательная активность, инвалидная коляска, человеко-машинный интерфейс, датчики, реабилитация, роботизированные устройства.
Keywords: physical activity, wheelchair, human-machine interface, sensors, rehabilitation, robotic devices.
■ Введение
В настоящее время роботизированные механизмы активно используются во всех сферах
■ деятельности человека. С одной стороны, данная тенденция продиктована стремительным скачком в развитии компьютерной и микропроцессорной техники. С другой стороны, стремление всего мирового сообщества к рыночной модели экономических отношений привело
© Спиркин А. Н., 2020
Í......................................................................................................
: Measuring. Monitoring. Management. Control
к расширению области применения робототехнических систем, вплоть до детских игрушек. Таким образом, можно сказать, что роботы все чаще входят в нашу повседневную жизнь, как в качестве бытовых систем, так и в качестве комплексов, от которых, порой, зависит наша жизнь и здоровье.
Большинство существующих роботизированных механизмов являются мобильными, т.е. имеют автономную систему навигации и передвижения в заранее неопределенной среде. В настоящее время, как правило, управление роботом осуществляет человек-оператор, при этом от человека требуется непрерывное наблюдение за действиями робота и оперативное управление ими. Сложный процесс управления в сочетании с характером работ, требующих повышенного внимания и осторожности, приводит к быстрой утомляемости оператора и вероятности принятия ошибочных действий. Указанных недостатков можно избежать, если управление со стороны оператора будет проводиться не на уровне движений, а на уровне постановки цели. Перспективными методами, позволяющими повысить точность управления роботизированными механизмами, являются бионические методы управления.
Целью данной статьи является разработка системы управления мобильным роботизированным механизмом с использованием бионического подхода.
Материалы и методы
Бионикой называют прикладную науку о применении в технических устройствах и системах принципов организации, свойств, функций и структур живой природы [1]. Бионический подход заключается в изучении и использовании опыта живой природы при создании технических систем. Известно, что живые организмы качественнее решают задачи распознавания сложных объектов в реальном времени, чем технические системы обработки сенсорной информации; мышцы животных имеют существенно лучшие массогабаритные характеристики, чем современные приводы.
Однако если на первых порах развития робототехники и жесткой автоматизации была иллюзия возможности в перспективе полного устранения человека из мира машин, то с переходом к гибкой комплексной автоматизации и роботизации стало очевидно, что реализация наиболее сложных функций управления невозможна без приложения разума человека и его интуиции. Так, в современной робототехнике сформировался принцип симбиоза, оптимального сочетания человека и техники. Очевидно, что эффективность применения роботов будет во многом определяться возможностями средств человеко-машинного интерфейса (ЧМИ) по оперативной постановке решаемых прикладных задач и контролю их выполнения оператором [2].
Человеко-машинный интерфейс - это набор технических средств, предназначенных для обеспечения двустороннего взаимодействия между оператором и оборудованием, с помощью которого осуществляется управление роботом и контролируется его функционирование. ЧМИ может включать в себя речевое взаимодействие (голосовые команды, голосовое оповещение), управление жестами, управление с помощью биологических сигналов самого оператора. При создании ЧМИ важную роль играет необходимость разработки интуитивной системы управления, чтобы оператору было легко понять то, о чем ему сообщает система. Рассмотрим наиболее распространенные в робототехнике ЧМИ.
Речь - это естественный интерфейс управления для любого, даже неподготовленного человека. Основу любого речевого интерфейса составляет система автоматического распознавания речи (АРР), преобразующая входную речь (речевой сигнал) в распознанное сообщение [3]. Система АРР почти полностью определяет качество работы речевого интерфейса, которое, прежде всего, зависит от точности распознавания слов пользователя. Система АРР может работать в двух режимах: дикторозависимом и дикторонезависимом. В дикторозависимом режиме производится настройка системы на определенного диктора, и предполагается, что будут распознаваться слова, произнесенные только этим диктором. В дикторонезависимом режиме такая настройка не требуется, и система должна в идеале «понимать» любого диктора. Последний режим, очевидно, удобнее в использовании, но точность распознавания в нем всегда меньше, чем в первом. Речевой интерфейс достаточно широко используется в системе умного дома [4]. К его недостаткам при управлении роботизированным механизмом следует отнести уязвимость к посторонним шумам и необходимость четкого произношения речевой команды, что не всегда возможно.
Существуют разработки [5], использующие для управления роботизированным механизмом взгляд. Этот подход удобен для тех, кому недоступно голосовое управление из-за
нарушения моторных функций, например, у полностью парализованных людей. Типы входных сигналов для управления взглядом могут быть различными. Движение взгляда может быть аналогично движению джойстика, иногда оператору достаточно сосредоточить свой взгляд на ту область пространства, куда бы он захотел переместиться. В последнем случае система сама выстаивает траекторию движения. Известны работы по созданию систем управления инвалидной коляской с помощью жестов [6], тогда в систему управления вводят блок поиска и распознавания движения (как правило, руки). Принцип работы системы управления с помощью жестов заключается в распознании движений рук и выработке управляющей команды, заставляющей устройство двигаться в соответствии с распознанным направлением. Однако данный способ мало пригоден для людей с нарушением моторных функций.
В настоящее время во всем мире активно развиваются технологии использования сигналов мозговой активности [2]. Преимуществом этих технологий является то, что зарегистрировать мозговую активность путем снятия электрических сигналов с коры головного мозга можно у любого, даже полностью парализованного пациента. Данный ЧМИ получил название нейроинтерфейс или интерфейс мозг - компьютер (ИМК). Сигналы мозговой активности человека можно зарегистрировать различными способами, такими как электроэнцефалография (регистрируется электрическая активность мозга), магнитоэнцефалография (измеряются магнитные поля, возникающие в результате активности головного мозга), электрокортикография (сигнал снимается напрямую с коры головного мозга, является инвазивным методом), опто-электронными способами путем исследования распределения и интенсивности кровотока в головном мозге и т.д. Чаще всего используется электроэнцефалография (ЭЭГ). ЭЭГ - метод исследования головного мозга, основанный на регистрации его электрических потенциалов электродами, расположенными непосредственно на поверхности скальпа. Принцип работы ИМК заключается в следующем: на испытуемого надевается шлем с электродами, которые подключаются к устройству, фиксирующему поступающие из мозга сигналы. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы регистрируются, усиливаются, оцифровываются и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала (паттерны), характерных для того или иного мысленного движения. В качестве примера ИМК можно привести Emotiv EPOC (рис. 1), разработка австралийской компании Emotiv Systems [7].
lTS
б)
Рис. 1. Интерфейс «мозг - компьютер»: а - внешний вид устройства; б - расположение на операторе; в - схема расположения электродов для регистрации ЭЭГ-сигналов
Вначале человек проходит тренировку - ему предъявляются различные изображения, прибор фиксирует, какие участки мозга активизируются, а программное обеспечение запоминает схему активности мозга. Следующий этап - распознавание мысленных образов: человек воображает картинку, а компьютер на основе запомненной схемы угадывает, о чем он думает. Далее набор признаков классифицируется по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством. Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие. У ИМК, несмотря на ряд преимуществ, есть достаточно много недостатков. К их числу следует отнести следующие. ЭЭГ-сигналы имеют небольшую амплитуду, при этом на полезный сигнал могут накладываться шумы, амплитуда которых может существенно превышать сам ЭЭГ-сигнал. Необходимо принимать во внимание тот факт, что амплитудные характеристики ЭЭГ-сигналов могут иметь различные значения у разных людей. Также необходимо принимать во внимание тот факт, что если электроды и усилитель биопотенциалов находятся на значительном расстоянии друг от друга, то велика вероятность появления в полезном сигнале шумов, связанных с наводкой на соединительные провода. В настоящее время доля ошибочных считываний при использовании ИМК может достигать до 50 %, требуется время для распознавания сигнала, которое на сегодня не превышает единиц секунд, что неприемлемо для практического применения. Однако с ростом вычислительных возможностей аппаратной части инвалидной коляски и использованием искусственных нейронных сетей ИМК на сегодня является самой перспективной технологией в реабилитационной технике [2, 8].
Одной из основных задач, решаемых системой управления роботизированным механизмом, является обработка информации о состоянии среды функционирования. Такая обработка должна происходить в реальном масштабе времени с целью оперативного определения местоположения целевых объектов, препятствий и свободных для перемещения путей в условиях динамически изменяющейся внешней среды [9]. Высокая сложность и, как следствие, ресур-соемкость решающих данную задачу программных алгоритмов накладывает ряд повышенных требований к вычислительным ресурсам. В первую очередь, эти требования касаются производительности, которая должна быть достаточно высокой. Однако повышение производительности, как известно, ведет к увеличению массогабаритных параметров и параметров энергопотребления вычислительных устройств. Один из возможных путей решения данной задачи состоит в разработке и применении нейросетевых методов обработки информации. Их использование в системах управления роботизированными механизмами позволяет не только оперативно решать задачи автоматического принятия решений о целесообразном поведении роботов в динамически изменяющемся мире, но и эффективно реализовать бионические модели восприятия и обработки сенсорной информации об окружающей среде.
Известны примеры [9, 10] применения нейронных сетей для управления движением мобильных роботов. Робот может учиться с учителем, либо показывающим ему, когда это необходимо, как действовать в определенной ситуации (например, при наличии впереди некоторого препятствия), либо задающим последовательность действий для достижения цели (в частности, при обходе препятствий).
Бионическая система управления
В последнее время одной из актуальных областей применения роботизированных механизмов является разработка средств ухода за престарелыми и недееспособными людьми. Автором предлагается бионическая система управления роботизированным механизмом, на примере инвалидной коляской, структурная схема системы управления которой приведена на рис. 2. В системе используются три канала связи оператора с бортовым компьютером: регистрация ЭЭГ-сигналов, управление жестами (или мимикой лица), голосовое управление (рис. 2).
Система управления состоит из двух уровней. Первый уровень - это подсистема управления собственно инвалидной коляской, включающая в себя дальномеры (датчики переднего и заднего обзора), датчик усилия, датчик наклона, управление которыми осуществляется бортовым компьютером коляски, который координирует движение коляски и осуществляет контроль за положением оператора. Наличие в коляске датчиков угла наклона, датчиков обзора переднего и заднего вида, датчиков усилия позволяет бортовому компьютеру определить положение коляски в пространстве, т.е. датчики играют роль сенсорных рецепторов, что и поз-
воляет инвалидной коляске выполнять определенную последовательность операций - движение, спуск/подъем, поворот автоматически, без дополнительных команд от оператора. Бортовой компьютер может в любой момент заблокировать движение, чтобы избежать столкновения. Сиденье пассажира установлено на подвижной платформе, его можно наклонить вперед или назад, выбрав удобное положение. Во время преодоления препятствия бортовой компьютер коляски следит за отклонением сиденья от горизонтальной плоскости с помощью датчика наклона, установленного на раме коляски. Как только сиденье отклонится от безопасного положения, бортовой компьютер подает сигнал линейному приводу, который плавно доводит сиденье до горизонтального положения. Верхний уровень системы представляют три вида ЧМИ, информация с которых поступает в контроллер оператора и далее в бортовой компьютер.
Рис. 2. Бионическая система управления роботизированным механизмом
Стандартный режим работы системы предполагает получение от оператора высокоуровневых команд, т.е. постановку целей, однако возможно и оперативное управление движением коляски напрямую с помощью активации бортового компьютера посредством датчика обратной связи. В качестве датчика обратной связи могут использоваться датчики вибротактильной коммуникации, установленные непосредственно на операторе. Кроме того, в качестве обратной связи могут использоваться голосовые сообщения от контроллера оператора, содержащие информацию о невозможности выполнить команду или просьбу уточнения команды. В структуре системы управления реализуется возможность учета особенностей заболевания конкретного пациента и разработан механизм принятия решений, основанный на анализе информации со всех каналов контроля.
Наиболее подробно алгоритм работы системы управления роботизированным механизмом представлен на рис. З.
Система управления инвалидной коляской работает в двух режимах: в режиме обучения и в режиме управления. Для того, чтобы пациент мог управлять инвалидной коляской, должна быть проведена настройка параметров блока управления коляски под индивидуальные параметры пациента, т.е. блок управления должен пройти режим обучения. В этом режиме происходит следующее.
Обучение
0
Регистрация сигнала
Выделение ин ф орматив ных признаков
Выделение ин ф орматив ных признаков
/Регистрация / сигнала /
Выделе ние информативных признаков
1 Г г
Выделение информативных признаков Выделе ние информативных признаков
Создание обучающей выборки
Обучение ИНС
Рис. 3. Алгоритм работы бионической системы управления
При использовании инвалидом интерфейса «мозг - компьютер» производится регистрация ЭЭГ-сигналов пользователя, при этом оператор сидит спокойно и не думает о каком-либо движении, затем на экране дисплея появляется изображение для совершения определенного движения, пользователь мысленно представляет указанное движение. Система производит выделение ЭЭГ-паттернов, которые будут использованы в качестве обучающей выборки, т.е. в начале система регистрировала ЭЭГ-сигналы при состоянии покоя, затем, при появлении
на экране изображения движения, которое выступало в роли стимулирующего воздействия на нейрон для получения одиночного импульса, производилось регистрирование изменения ЭЭГ-сигнала, которое являлось ответной реакцией на раздражение и классифицировался как ЭЭГ-паттерн.
При использовании речевого интерфейса регистрация голосовой команды осуществляется с помощью микрофона. При этом оператор также видит на экране слово, которое соответствует выполнению определенной команды, и произносит это слово. Зарегистрированный сигнал подвергается фильтрации и выделения формант, по параметрам которых формируется обучающая выборка.
Работа системы видеозахвата движений аналогична вышеописанным режимам: оператор осуществляет движение рукой (или изменением мимики лица), контроллер оператора с помощью портативной видеокамеры осуществляет видеозахват движения, далее производится формирование обучающей выборки.
На основании созданной обучающей выборки производится обучение искусственной нейронной сети. После этого система проводит нейросетевой анализ, для выявления и распознавания в зарегистрированном управляющем сигнале мысленного движения. Каждому мысленному движению соответствует код, который также присвоен изображению (слову), выводимому на дисплей. При правильно распознанном движении система управления коляской переходит в тестовый режим управления. Распознанное движение, а конкретнее код, которому соответствует это движение, передается в бортовой компьютер, при этом в бортовой компьютер также поступает информация с датчиков, т.е. скорость и наклон инвалидной коляски, и расстояние до ближайшего препятствия. На основании полученной информации происходит формирование и коррекция управляющей команды, которая подается на исполнительный механизм.
Если команда не выполнена, то пользователь может выбрать конкретный интерфейс управления. Выбор интерфейса управления основывается на виде управляющего/входного сигнала. После чего алгоритм системы управления повторяется с момента регистрации конкретного управляющего сигнала до получения управляющей команды. Если команда исполнительным механизмом выполнена, то система начинает формировать следующую управляющую команду.
Использование трех видов ЧМИ повышает точность управления и отзывчивость системы. Например, кресло двигается вперед или назад, считывая сигналы коры головного мозга, а поворачивает по жесту руки. У всех трех способов управления равнозначное значение, и они связаны между собой, ни у одного из них нет приоритета. В случае, если поступает противоречивый сигнал, система сама решает, какая команда соответствует намерению пользователя. Впоследствии операционная система контроллера оператора сможет в режиме реального времени следить за психофизическим состоянием пользователя и в момент подачи команды понимать характер эмоций: позитивный, негативный или нейтральный. Если распоряжение отдано в плохом настроении, контроллер оператора понизит степень доверия сигналу, вплоть до полной его блокировки.
Таким образом, делегирование функций управления бортовому компьютеру не только позволит повысить надежность и безопасность движения, но и значительно уменьшит время на распознавание команды.
Предлагаемые подходы к построению систем управления роботизированными механизмами могут найти применение не только при создании реабилитационной техники, но и при разработке и проектировании мобильных интеллектуальных роботов, создаваемых для работы в условиях быстро меняющейся динамичной и опасной для жизни человека среды.
1. Ахутин, В. М. Бионические аспекты синтеза биотехнических систем / В. М. Ахутин. - Москва : Сов.радио, 2016. - 158 с.
Результаты
Заключение
Библиографический список
2. Бодин, О. Н. Нейроинтерфейс для управления роботизированными устройствами / О. Н. Бодин, Г. А. Солодимова, А. Н. Спиркин // Измерение. Мониторинг. Управление. Контроль. - 2019. -№ 4 (30). - С. 70-76.
3. Агашин, О. С. Методы цифровой обработки речевого сигнала в задаче распознования изолированных слов с применением сигнальных процессов / О. С. Агашин, О. Н. Корелин // Труды Нижегородского государственного технического университета им. Р. Е. Алексеева. - 2012. - № 4. - С. 97.
4. Потапова, Р. К. Речевое управление роботом. Лингвистика и современные автоматизированные системы / Р. К. Потапова. - Москва : СИНТЕГ, 2012. - 328 с.
5. Воротников, С. А. Информационные устройства робототехнических систем : учеб. пособие / С. А. Воротников. - Москва : МГТУ им. Н. Э. Баумана, 2005. - 384 с.
6. Нагапетян, В. Э. Бесконтактное управление роботизированной рукой посредством жестов человека / В. Э. Нагапетян, И. Л. Толмачев // Журнал вестник РУДН. Сер.: Математика, информатика, физика. - 2014. - № 2. - С. 157-163.
7. Австралийская компания Emotiv Systems. - URL: https://www.emotiv.com
8. Мокиенко, О. А. Воображение движения и его практическое применение / О. А. Мокиенко, Л. А. Черникова, А. А. Фролов, П. Д. Бобров // Журнал высшей нервной деятельности им. И. П. Павлова. -2013. - № 63 (2). - С. 195-204.
9. Бройнль, Т. Встраиваемые робототехнические системы. Проектирование и применение мобильных роботов со встроенными системами управления / Т. Бройнль. - Москва : РГГУ, 2012. - 520 с.
10. Бодянский, Е. В. Искусственные нейронные сети: архитектуры, обучение, применения / Е. В. Бо-дянский, О. Г. Руденко. - Харьков : Телетех, 2004. - 369 с.
References
1. Akhutin V. M. Bionicheskie aspekty sinteza biotekhnicheskikh sistem [Bionic aspects of the synthesis of bioengineering systems]. Moscow: Sov.radio, 2016, 158 p. [In Russian]
2. Bodin O. N., Solodimova G. A., Spirkin A. N. Izmerenie. Monitoring. Upravlenie. Kontrol' [Measurement. Monitoring. Management. Control]. 2019, no. 4 (30), pp. 70-76. [In Russian]
3. Agashin O. S., Korelin O. N. Trudy Nizhegorodskogo gosudarstvennogo tekhnicheskogo universiteta im. R. E. Alekseeva [Proceedings of the Nizhny Novgorod state technical University named after R. E. Ale-kseev]. 2012, no. 4, p. 97. [In Russian]
4. Potapova R. K. Rechevoe upravlenie robotom. Lingvistika i sovremennye avtomatizirovannye sistemy [Speech control of the robot. Linguistics and modern automated systems]. Moscow: SINTEG, 2012, 328 p. [In Russian]
5. Vorotnikov S. A. Informatsionnye ustroystva robototekhnicheskikh sistem: ucheb. posobie [Information devices for robotic systems: tutorial]. Moscow: MGTU im. N. E. Baumana, 2005, 384 p. [In Russian]
6. Nagapetyan V. E., Tolmachev I. L. Zhurnal vestnik RUDN. Ser.: matematika, informatika, fizika [Journal Vestnik RUDN. Ser.: mathematics, computer science, physics]. 2014, no. 2, pp. 157-163. [In Russian]
7. Australian company Emotiv Systems [Australian company Emotiv Systems]. Available at: https://www.emotiv.com
8. Mokienko O. A., Chernikova L. A., Frolov A. A., Bobrov P. D. Zhurnal vysshey nervnoy deyatel'nosti im. I. P. Pavlova [Journal of higher nervous activity named after I. P. Pavlov]. 2013, no. 63 (2), pp. 195-204. [In Russian]
9. Broynl' T. Vstraivaemye robototekhnicheskie sistemy. Proektirovanie i primenenie mobil'nykh robotov so vstroennymi sistemami upravleniya [Embedded robotic systems. Design and application of mobile robots with integrated control systems]. Moscow: RGGU, 2012, 520 p. [In Russian]
10. Bodyanskiy E. V. Iskusstvennye neyronnye seti: arkhitektury, obuchenie, primeneniya [Artificial neural networks: architectures, training, applications]. Kharkov: Teletekh, 2004, 369 p. [In Russian]
Спиркин Андрей Николаевич Spirkin Andrey Nikolaevich
аспирант, postgraduate student,
Пензенский государственный университет Penza State University
(Россия, г. Пенза, ул. Красная, 40) (40 Krasnaya street, Penza, Russia) E-mail: Spirkin.andre@yandex.ru
Образец цитирования:
Спиркин, А. Н. Бионические методы управления роботизированным механизмом / А. Н. Спиркин // Измерение. Мониторинг. Управление. Контроль. - 2020. - № 4 (34). - С. 84-91. -БО! 10.21685/2307-5538-2020-4-10.
