CC BY
28УДК 004.946
КОМАНДНЫЙ И СУПЕРВИЗОРНЫЙ РЕЖИМЫ УПРАВЛЕНИЯ ВИРТУАЛЬНЫМИ
РОБОТАМИ
М.В. Михайлюк, Д.В. Омельченко, Е.В. Страшнов
ФГУ «Федеральный научный центр Научно-исследовательский институт системных исследований
Российской академии наук»
Рассматривается задача командного и супервизорного режима управления виртуальными роботами в имитационно-тренажерных комплексах. Командный режим осуществляется с помощью методов, основанных на применении технологии виртуальных пультов управления. Супервизорный режим реализуется на основе записанных в память робота типовых операций с использованием голосового и жестового интерфейса.
Ключевые слова: командный и супервизорный режим, виртуальный пульт управления, голосовой и жестовый интерфейс.
COMMAND AND SUPERVISORY MODES FOR VIRTUAL ROBOT CONTROL M.V.Mikhaylyuk, D.V.Omelchenko, E.V.Strashnov
System Research Institute. Russian Academy of Sciences
The problem of command and supervisory mode control of robots in simulators is considered. The command mode is implemented with the virtual control panel technology. The supervisory mode is implemented based with stored operations using voice and gesture interface.
Keywords: command and supervisory mode, virtual control panel, voice and gesture interface.
Введение
Разработка эффективных методов и алгоритмов управления робототехническими системами является неотъемлемой частью имитационно-тренажерного комплекса. Одним из направлений робототехники является необходимость выполнения различных видов работ в экстремальных внешних условиях, опасных для здоровья человека [1]. В таких условиях робот или группа роботов должны выполнять такие технологические операции, как инспекция окружающей среды, манипуляционные работы со сменным рабочим инструментом, погрузо-разгрузочные и транспортные работы и т.д. От правильного выбора и реализации режима управления роботом зависит успех и качество выполнения этих операций.
По типу взаимодействия человека-оператора и робота различаются [2] биотехнические, автоматические и интерактивные системы управления. Среди биотехнических систем управления выделяются командный и копирующий режимы. Управление в командном режиме осуществляется с помощью кнопок и рычагов, каждый из которых отвечает за свое звено робота или за операцию, которую должен выполнить робот. Плюсом данного типа управления является то, что каждое звено можно выставить в необходимое оператору положение. Если роботы или манипуляторы имеют небольшое количество степеней свободы, то данный способ управления является достаточно эффективным, в противном случае может он занять много сил, времени и усердия. Альтернативой является управление в копирующем режиме, которое частично повторяет движения человека [3]. Например, для управления антропоморфным роботом используется экзоскелет, который одевается на человека. Данный способ управления является более эргономичным по сравнению с командным режимом, но ограничен в использовании. Автоматические системы управления способны работать без участия человека, на основе, заложенной в их программу схемы поведения. Выделяется адаптивный режим управления,
при котором робот самостоятельно корректирует свои действия под изменением внешних условий на основе имеющегося у него оборудования: камер, ультразвуковых датчиков расстояния, датчиков касания, системы распознавания цвета/размера/образа и т.п. Интерактивный режим управления характеризуется тем, что робот основную часть времени работает в автоматическом режиме, но при необходимости может быть переключен на управление человеком. В супервизорном режиме управления человек занимается интеллектуальной стороной работы, а робот вычислением и исполнением заранее запланированных действий. Отличительной особенностью является то, что оператор может подавать команды голосом, текстом и т.п., а робот, работая поэтапно, не перейдет к следующему этапу, пока не получит команду-разрешение от оператора.
В данной статье предлагаются методы реализации командного и супервизорного режима управления виртуальными роботами в имитационно-тренажерных комплексах. Для реализации командного режима предлагается использовать технологию виртуальных пультов управления [4]. При таком способе оператор, воздействуя на элементы пульта управления (кнопки, тумблеры, джойстики и т.д.), формирует управляющие команды на электроприводы робота, которые рассчитываются на основе функциональных схем. Для реализации супервизорного режима предлагается задействовать голосовой и жестовый интерфейс [5, 6] взаимодействия оператора с роботом, который будет выполнять простые технологические операции.
Командный режим управления
Для реализации командного режима управления виртуальными роботами в имитационно-тренажерном комплексе была разработана технология виртуальных пультов управления. Система управления в данном случае состоит из следующих компонентов: редактор пультов управления, редактор функциональных схем и модуль вычисления управляющих сигналов. С помощью редактора пультов управления создается визуальное представление пульта, в редакторе функциональных схем создается схема управления роботом, а модуль вычисления управляющих сигналов обеспечивает работу пульта и функциональной схемы в реальном режиме времени.
В режиме тренировки оператор тренажера воздействует на элементы управления (например, выбирает нужное сочленение робота и перемещает ручку джойстика). Это воздействие передается на вход функциональной схемы, которая преобразует его в выходной сигнал на исполнительные устройства (например, напряжения для электродвигателей). С помощью командного режима осуществляется управление движением колесных и гусеничных роботов, отдельных звеньев манипулятора и механизмов.
Редактор пультов управления
Редактор пультов управления предназначен для создания, изменения и настройки двухмерных пультов управления различными устройствами и механизмами в трехмерных виртуальных сценах. Пульт управления в редакторе представляется совокупностью элементов управления, расположенных на некоторой подложке. На рис. 1 представлен пример пульта управления антропоморфным роботом (андронавтом) в редакторе.
Рис. 1. Пример пульта управления
Редактор позволяет: изменять размер пульта управления; изменять размер и положение элементов управления; задавать названия и подсказки элементам управления; задавать изображения, соответствующие различным состояниям элементов управления; копировать, вырезать, вставлять и удалять элементы управления; масштабировать отображение пульта управления; сохранять результаты работы в файл пульта управления на жестком диске компьютера.
В редакторе присутствуют следующие типы элементов управления: статический, динамический, кнопка, двухпозиционный переключатель, трехпозиционный переключатель, джойстик и регулятор. Каждый элемент управления имеет набор общих и специальных свойств. Общими для всех элементов свойствами является название и текст всплывающей подсказки, а также положение и размер элемента. Специальные свойства у каждого типа элементов управления свои. Например, у кнопки есть параметр подсветки и параметр фиксируемости при нажатии (рис. 2). Каждый элемент управления имеет набор изображений, соответствующих различным состояниям элемента. Например, одно изображение соответствует кнопке в исходном состоянии, другое изображение - кнопке в нажатом состоянии, третье - кнопке с включенной подсветкой и т.д. Редактор пультов позволяет задавать такие изображения для различных элементов управления.
Рис. 2. Окно специальных свойств
Статический элемент предназначен для создания фиксированных, неинтерактивных элементов пульта, например задание фонового изображения подложки пульта. Остальные элементы управления являются динамическими, интерактивными. С этими элементами взаимодействует оператор при работе с пультом управления. Динамические элементы управления представляются в виде входных функциональных блоков в редакторе функциональных схем системы управления.
Редактор функциональных схем
Редактор функциональных схем предназначен для создания и редактирования функциональной схемы системы управления. Функциональной схемой является совокупность соединенных между собой базовых функциональных блоков. Редактор схем имеет обширную библиотеку базовых блоков, из которых можно составлять различные по сложности функциональные схемы. Каждый функциональный блок имеет набор входов и выходов. В схеме выходы одних блоков соединены со входами других блоков. Вся схема имеет набор входов и выходов и предназначена для преобразования входных сигналов в выходные. На рис. 3 представлен редактор с примером функциональной схемы.
Рис. 3. Пример функциональной схемы
На входы функциональной схемы поступают управляющие сигналы динамических блоков пульта управления, таких как кнопки, переключатели, джойстики. На выходах функциональной схемы формируются сигналы, отправляемые активным объектам модуля динамики и визуализации, таким как вращательные, линейные, реактивные двигатели, управляемые источники света, камеры и др.
Каждый тип базовых блоков имеет набор характерных свойств, которые можно изменять с помощью редактора. Например, блок «перемножитель» имеет свойство количества входных сигналов, которое можно задать в соответствующем диалоговом окне (рис. 4).
Рис. 4. Окно свойств функционального блока
Редактор схем позволяет: размещать функциональные блоки в рабочей области; изменять размеры блоков; копировать, вырезать, вставлять и удалять блоки; изменять названия и свойства блоков; изменять масштаб отображения схемы; сохранять результаты работы в файл функциональной схемы системы управления на жестком диске компьютера.
Супервизорный режим управления
Супервизорный режим управления предполагает, что человек отдает роботу команду, для выполнения которой робот самостоятельно производит довольно сложные движения. Команду можно подавать нажатием одной кнопки пульта управления, голосом, жестом и т.д. Выполнение команды может заключаться в запуске заранее подготовленной программы движений робота или автоматическом проектировании роботом этой программы с последующим (или одновременным) ее выполнением. Примером автоматического проектирования может служить метод инверсной кинематики, при котором задается начальная и конечная позиции робота, а «путь» перехода из одной позиции в другую рассчитывается автоматически. Здесь мы рассмотрим выполнение роботом заранее заготовленных команд.
Голосовой интерфейс управления роботом
При голосовом интерфейсе оператор произносит голосом фиксированный текст команды, которую робот должен распознать и выполнить. Существенно, что текст может произноситься любым человеком. Для распознавания речи используется открытая
кроссплатформенная система CMU Sphinx университета Карнеги-Меллон. Она включает несколько различных словарей, в том числе русский словарь с транскрипцией. Можно также составить собственный словарь, ориентированный на используемую семантическую область, что и было сделано для рассматриваемой задачи. Работа системы заключается в том, что она прослушивает эфир, распознает произнесенные слова и записывает их текст в буфер. На этом этапе можно использовать встроенный микрофон устройства Кинект [6]. Если при произнесении фразы возникает пауза, система считает, что фраза закончена и посылает эту фразу на вход системы управления (см. рис. 5). Система управления запускает эту фразу на
Речевой поток
f
Микрофон Kinect
Система управления
Рис. 5. Блок-схема системы распознавания голосовой команды.
все функциональные блоки, соответствующие различным командам. Если фраза соответствует команде некоторого блока, то он выдает на выходе единицу, которая и запускает функциональный блок, содержащий скрипт выполнения команды.
Жестовый интерфейс управления роботом
Управление роботом с помощью жестов предполагает разработку некоторого количества четко распознаваемых поз или последовательности поз (образующих жест рук оператора). При этом позы (жесты) должны быть естественны и легко выполнимы, а также желательно, чтобы они как-то соответствовали смыслу выполняемой операции. Для распознавания позы предлагается использовать устройство Кинект [6], которое позволяет в масштабе реального времени получать трехмерные координаты точек сочленений суставов человека, находящегося в рабочем пространстве Кинект. По этим координатам можно однозначно вычислить углы ф, ^ в плечевом и углы 9, у в локтевом суставах руки (см. рис. 6.). Набор этих углов определяет позу. Позу можно считать частным случаем жеста, т.е. рассматривать ее как статичный жест. Динамический жест мы определяем как последовательность определенных поз в некоторый промежуток времени. Например, перемещение руки слева направо может означать поворот робота направо, сверху вниз -движение робота вперед, снизу вверх - движение назад и т.д. Другой рукой можно аналогичным способом управлять манипулятором робота. На рис. 7 показана модель мобильного робота МФ-4, на которой отрабатывалась технология управления с помощью
Плечевой сустав
Z2
Zi
Локтевой сустав
0 Z4
Рис. 7. Виртуальная модель робота MF-4
Рис. 6. Углы в сочленениях руки, используемые для задания ее позы жестового интерфейса. Жестовый интерфейс также был опробован для управления виртуальной камерой.
3
Заключение
На основе предложенных технологий, методов и алгоритмов были разработаны и апробированы программные модули управления виртуальными мобильными роботами. Исследования показали, что супервизорный режим вполне приемлем для фиксированных, заранее определенных операций, выполняемых в области, защищенной от попадания посторонних объектов. Жестовый интерфейс можно использовать для выполнения операций, не требующих большой точности. Данное исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-07-01104.
Литература
1. Юревич Е.И. Основы робототехники. - 2-е изд., перераб. и доп. - Спб.: БХВ-Петербург, 2005. - 416 с.
2. Зенкевич С.Л., Ющенко А.С. Основы управления манипуляционными роботами. 2-е изд. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. - 480 с.
3. Торгашев М.А. Моделирование копирующего режима управления антропоморфным роботом в виртуальной среде // Труды НИИСИ РАН, 2015, том 5, № 2, стр. 47-54.
4. Михайлюк М.В. Виртуальные пульты управления // Актуальные проблемы управления : Сб. докладов Международной научной конференции. Москва, РГГУ, 2014, стр. 63 - 67.
5. Михайлюк М.В., Торгашев М.А., Омельченко Д.В. Эргономичный голосовой интерфейс управления антропоморфным роботом // Программные продукты и системы, № 4, 2015, стр. 75-78.
6. Мальцев А.В., Михайлюк М.В. Реализация эргономичного интерфейса управления виртуальной моделью антропоморфного робота с использованием Kinect // Программная инженерия, № 10, 2015, стр. 12-18.
