CC BY
46
УДК 681.51
DOI: 10.17586/0021-3454-2017-60-9-875-881
ТРАЕКТОРНОЕ УПРАВЛЕНИЕ ШАГАЮЩИМ РОБОТОМ С ИСПОЛЬЗОВАНИЕМ ВИДЕОКАМЕРЫ
Д. Н. Базылев, Ф. А. Попченко, Д. Д. Ибраев, А. А. Маргун, К. А. Зименко, А. С. Кремлев
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: bazylevd@mail.ru
Представлен алгоритм управления шагающим роботом Darwin-OP, движущимся по заданной траектории. Траектория следования отмечена линией и распознается с помощью встроенной видеокамеры. Система управления состоит из ПД-регулятора по угловым положениям головы (для слежения за желаемой траекторией) и ПД-регуляторов по продольной и поперечной скоростям робота. Оценка эффективности предложенного решения производилась сторонней видеокамерой, установленной над роботом. Экспериментальные результаты демонстрируют небольшое отклонение движения робота от желаемой траектории.
Ключевые слова: следование по линии, шагающий робот, техническое зрение
Введение. Позиционирование и ориентация в пространстве являются важными задачами при разработке систем управления автономными мобильными роботами. На сегодняшний день траектории большинства таких роботов рассчитываются по показаниям ИК-дально-меров, лазерных сканеров, датчиков силы, освещенности и пр. Однако подобные измерительные устройства предоставляют существенно меньший объем информации об окружающей среде по сравнению с видеокамерой. Несмотря на то, что обработка видеоданных требует сложных алгоритмов фильтрации, алгоритмов оценки и дополнительных вычислительных затрат, применение камеры является более перспективным.
Реализации и использованию систем технического зрения посвящено достаточно большое количество исследований. В работе [1] представлен обзор классических методов регистрации изображения, в том числе наложения на изображение двух или более сцен, сформированных в разное время, с разных позиций или разными датчиками. Введены шаги регистрации изображения и алгоритмы классификации. Задача определения объектов на изображении описывается в работе [2], образцы текстур и их пространственное расположение моделируются с помощью текстурных фильтров макета модели. В работе [3] решается более сложная задача — построение трехмерной карты местности для планирования движения беспилотных наземных роботов с использованием искусственного интеллекта, машинного обучения и компьютерного зрения. Алгоритм управления движениями мобильного робота, позволяющий различать человека с помощью видеокамеры и следовать за ним в режиме реального времени, представлен в работе [4]. Визуальному слежению за объектом с компенсацией запаздываний и использованием стереозрения посвящена работа [5].
В свою очередь, задача управления движениями гуманоидных роботов также рассмотрена в большом числе публикаций. Так, в работе [6] представлен алгоритм управления ходьбой, позволяющий регистрировать положение центра масс робота и его угловые ускорения и тем самым определить фазы динамики робота во время ходьбы. Задача стабилизации движений двуногого робота, балансирующего на подвижной опоре, рассмотрена в работах [7, 8]. В работе [9] описывается способ поддержания роботом вертикального положения во время ходьбы, что обеспечивается с помощью математической модели перевернутого маятника и управления, приложенного к стопам робота. Равновесие робота может быть обеспечено
поддержанием центра его масс над площадью опоры с помощью расширенного метода гибридной нулевой динамики — этот способ описан в работе [10], где также доказана асимптотическая устойчивость робота во время ходьбы. Построение человекоподобной траектории ходьбы робота рассмотрено в работе [11], при этом реализовано управление силой контактного взаимодействия с поверхностью и управление жесткостью подошвы.
В настоящей статье рассматривается задача следования по линии шагающего робота Darwin OP, который оснащен видеокамерой и персональным компьютером с установленной операционной системой Linux. Это позволяет проводить обработку данных на борту робота, что способствует сокращению времени выполнения программы и минимизации задержек в управлении, возникающих при обработке данных на удаленном сервере. Решаемая задача состоит из нескольких подзадач — обработки видеопотока для распознавания линии, управления движением робота и регистрации траектории движения робота на стороннюю видеокамеру.
Описание робота. Darwin-OP — это гуманоидный робот с 20 степенями подвижности, произведенный компанией ROBOTIS (Корея) для реализации исследовательских задач. Общий вид робота представлен на рис. 1. Darwin-OP спроектирован на основе модульной структуры сети и стандартной архитектуры персонального компьютера [12]. Также во встроенную конфигурацию входят: акселерометр, гироскоп, 20 двигателей RX-28M, видеокамера Logitech C905, микрофон, динамики, два вычислительных ядра, одно из которых обеспечивает управление двигателями, второе — операционной системой.
Рис. 1
Сервоприводы DYNAMIXEL RX-28M измеряют такие параметры функционирования встроенных в них двигателей, как положение, температура, входное напряжение и нагрузка. Скорость передачи данных изменяется в диапазоне от 8000 бит/с до 4,5 Мбит/с с точностью 0,088°.
Камера Logitech C905 имеет следующие характеристики: автофокус, 2MP HD-камера, формирование изображения HD качества с разрешением до 1600x1200 кадров/с, 1280x720 кадров/с, наличие микрофона, интерфейс USB 2.0, выходные данные — MJPG, YUYV.
Конструкция обладает особым преимуществом — центр масс робота расположен оптимально для балансировки и обеспечивает эффективное распределение инерции во время ходьбы [1].
Обработка видеопотока и определение линии. Определение траектории движения реализовано с помощью видеокамеры, расположенной в голове робота Darwin-OP. Обработка изображений и все вычислительные процессы производились на борту робота. Разрешение
изображения 320x240 пкс. Для определения линии движения обработка видеопотока осуществлялась в несколько этапов.
Первый этап связан с декодированием получаемых камерой изображений цветовой модели из формата YUV в HSV, что позволяет упростить дальнейшую обработку видеопотока. Далее выполнялась калибровка камеры с помощью программы MJPEG-Streamer, встроенной в робота. Калибровочные значения для линии красного цвета приведены ниже.
Оттенок (0—360)......................................................................................356
Чувствительность (0—180)......................................................15
Минимальное насыщение..........................................................50
Минимальное значение..................................................................10
Усиление................................................................................................................255
Выдержка..............................................................................................................1000
После калибровки камеры осуществлена процедура получения бинарного изображения в виде бинарной матрицы, где 1 — пиксел, цвет которого соответствует цвету линии в некотором диапазоне с учетом отсвечивания, 0 — пикселы другого цвета. Полученная матрица подвергается операции избавления от шумов, которая осуществляется с помощью таких операторов математической морфологии, как наращивание и эрозия. Наращивание бинарного изображения А структурным элементом В описывается как
А 0 Б П A.
ЪеБ
Эрозия бинарного изображения А структурным элементом В задается выражением
A - Б = П А_ъ
ЪеБ
Такая обработка позволяет определить границы объекта (в данном случае линии). Следующий шаг — определение средневзвешенного центра линии, который далее используется в качестве ориентира движения робота:
1 n 1 m
Xc = - £ X, Yc = - , (1)
n i=1 m i=1
где Xi, Yi — пикселы бинаризованного изображения со значением „1", n, m — соответственно ширина и высота изображения в пикселах.
Результаты обработки видеоданных показаны на рис. 2, где а, б — соответственно исходная и бинаризованная траектории, в — траектория с центральной точкой.
а) б) в)
Рис. 2
Алгоритм управления роботом. После расчета ориентира робота (1) необходимо осуществить переход от координат изображения (пикселы) к угловым координатам головы робота:
0 у = ^УС,
где 9 , у — углы рыскания и тангажа соответственно, С = 58° и c3 = 46° — угловые отклонения головы робота, соответствующие поворотам на c2 = 320 пкс и С4 = 240 пкс.
Повороты головы и слежение за траекторией осуществляются с помощью ПД-регулятора с коэффициентами kp = 21, kd = 9. При этом максимальные угловые отклонения
заданы в следующих интервалах 9 е (-70°; 70°) и у е (-25°; 40°).
Система управления ходьбой робота использует текущие угловые положения головы
*
для расчета желаемых скоростей его движения в двух направлениях: вперед—назад Vfb и
*
влево—вправо Vrl . Далее для расчета траекторий звеньев робота используются встроенные паттерны движения.
Желаемые скорости робота задаются в виде линейной зависимости от углов поворота головы
V * = V y-ymin V * = V 9-9min (2) VFB = VFBmax---, VRL = VRLmax 9--9-, (2)
ymax ymin 9max 9min
где VFBmax=18 см/с, VRLmax=11 см/с.
Данная связь (2) обеспечивает замедление прямолинейного движения робота, если заданная траектория расположена далеко слева или справа, и ускорение движения в случае небольшого смещения от центра.
Для управления скоростями робота также использован ПД-регулятор с коэффициентами
**
kp1 = 16, kd1 = 0,8 для скорости Vfb и kp2 = 14, kd2 = 2,5 для Vrl .
Экспериментальные результаты. Отклонение робота от заданной траектории определялось посредством сторонней видеокамеры GoPro Hero 4, расположенной над роботом на высоте 251 см, имеющей разрешение 1920x1080 пкс и обеспечивающей съемку со скоростью 30 кадров/с.
На рис. 3 продемонстрирован пример работы системы управления роботом, шагающим вдоль линии „бабочка", посредством встроенной видеокамеры.
Рис. 3
Обработка видеопотока, регистрируемого сторонней видеокамерой, осуществлялась аналогично представленному выше алгоритму распознавания. Бинаризация и фильтрация производились для двух случаев: определения желаемой траектории (красной линии) и определения траектории движения робота по установленной на его голове метке.
Также были учтены искажения 5 координат отклонения робота, связанные с углом зрения а камеры и высотой И робота (рис. 4). После учета искажения 5 и определения желаемой и текущей траекторий (рис. 5) ошибка движения робота рассчитывалась как наименьшее расстояние от его местоположения до линии следования (рис. 6). Как видно из графиков, в ис-
ходной позиции робот находится на расстоянии около 17 см от линии. После запуска робот выходит на линию следования и ошибка остается небольшой на протяжении обхода всей линии.
Видеокамера
а
H
h : Робот
d 5
Рис. 4
у, см 700 600 500 400 300 200 100
/ — 4V ч " ~
/У / } 1 ■ч __ ** S Ч » \ ■ \
1 . [ --Линия 1 1
1 \ —Робот 1
1
\ ч ъ 1 1 J
ч \ / /
>4. ---- * г ~ - - ^ _ -
^ _ _ ✓ | |
200 400 600 800 1200 1400
Рис. 5
е, см
15 10
5
х, см
0 20 40 60 80 /, с
Рис. 6
Заключение. Представлено решение задачи следования шагающего робота Darwin-OP по заданной траектории, которая отмечена линией и распознается с помощью встроенной видеокамеры робота. Для определения линии движения предложен алгоритм обработки видеоданных, основанный на фильтрации изображений по пороговым значениям в цветовой модели HSV. Система управления движениями робота включает в себя два контура: первый обеспечивает слежение головы (с видеокамерой) робота за линией, а второй реализует управление ходьбой. Для оценки эффективности предложенного решения использована дополнительная видеокамера, установленная над роботом и траекторией. Отфильтрованные данные со сторонней камеры позволяют определять положение робота относительно линии следования. Экспериментальные данные получены для траектории вида „бабочка" и демонстрируют небольшое отклонение робота от траектории.
Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01), Министерства образования и науки РФ (проект 14.Z50.31.0031) и гранта Президента Российской Федерации (№ 14.У31Л6.9281-НШ).
СПИСОК ЛИТЕРАТУРЫ
1. Zitova B., Flusser J. Image registration methods: A survey // Image and Vision Computing. 2003. N 21. P. 977—1000.
2. Shotton J., Winn J., Rother C., Criminisi A. TextonBoost for image understanding: Multi-Class object recognition and segmentation by jointly modeling texture, layout, and context // Intern. J. Comput. Vision. 2009. Р. 2—23.
3. Papadakis P. Terrain traversability analysis methods for unmanned ground vehicles: A survey // Engineering Applications of Artificial Intelligence. 2013. N 26. P. 1373—1385.
4. Alvarez-Santos V., Pardo X. M., Iglesias R., Canedo-Rodriguez A., Regueiro C. V. Feature analysis for human recognition and discrimination: Application to a person-following behaviour in a mobile robot // Robotics and Autonomous Systems. 2012. N 60. P. 1021—1036.
5. Oda N., Ito M., Shibata M. Vision-based motion control for robotic systems // Transact. on Electrical and Electronic Engineering, IEEJ Trans. 2009. Vol. 4. P. 176—183.
6. Morimoto J., Endo G., Nakanishi J., Cheng G. A biologically inspired biped locomotion strategy for humanoid robots: modulation of sinusoidal patterns by a coupled oscillator model // IEEE Transact. on Robotics. 2008. Vol. 24, N 1.
7. Базылев Д. Н., Пыркин А. А., Маргун А. А., Зименко К. А., Кремлев А. С., Ибраев Д. Д., Чех М. Способы стабилизации двуногих роботов в положении стоя на подвижной опоре // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15, № 3(97). С. 418—425.
8. Bazylev D. N., Zimenko K. A., Margun A. A., Ibraev D., Kremlev A. S. Modelling and control design for biped robot standing on nonstationary plane // Proc. of the 20th Intern. Conf. on Methods and Models in Automation and Robotics (MMAR 2015). 2015. P. 283—288.
9. Kajita S., Morisawa M., Miura K., Nakaoka S., Harada K., Kaneko K., Kanehiro F., Yokoi K. Biped walking stabilization based on linear inverted pendulum tracking // IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems. 2010.
10. Chevallereau C., Grizzle J. W., Shih C.-L. Asymptotically stable walking of a five-link underactuated 3-D bipedal robot // IEEE Transact. on Robotics. 2009. Vol. 25, N 1.
11. Buschmann T., Lohmeier S., Ulbrich H. Humanoid robot Lola: Design and walking control // J. of Physiology. 2009. N 103. P. 141—148.
12. Ha I., Tamura Y., Asama H., Han J., Hong D. W. Development of open humanoid platform DARwIn-OP // SICE Annual Conf. 2011.
Сведения об авторах
Дмитрий Николаевич Базылев — аспирант; Университет ИТМО; кафедра систем управления и
информатики; E-mail: bazylevd@mail.ru Филипп Андреевич Попченко — студент; Университет ИТМО; кафедра систем управления и
информатики; E-mail: feanpo@gmail.com Денис Дамирович Ибраев — студент; Университет ИТМО; кафедра систем управления и
информатики; E-mail: ibray1522@gmail.com Алексей Анатольевич Маргун — аспирант; Университет ИТМО; кафедра систем управления и
информатики; E-mail: alexeimargun@gmail.com Константин Александрович Зименко — аспирант; Университет ИТМО; кафедра систем управления и
информатики; E-mail: kostyazimenko@gmail.com Артем Сергеевич Кремлев — канд. техн. наук; Университет ИТМО; кафедра систем управ-
ления и информатики; E-mail: kremlev_artem@mail.ru
Рекомендована кафедрой Поступила в редакцию
систем управления и информатики 21.03.17 г.
Ссылка для цитирования: Базылев Д. Н., Попченко Ф. А., Ибраев Д. Д., Маргун А. А., Зименко К. А., Кремлев А. С. Траекторное управление шагающим роботом с использованием видеокамеры // Изв. вузов. Приборостроение. 2017. Т. 60, № 9. С. 875—881.
TRAJECTORY CONTROL OF THE WALKING ROBOT WITH THE USE OF VIDEOCAMERA
D. N. Bazylev, P. A. Popchenko, D. D. Ibraev, A. A. Margun, K. A. Zimenko, A. S. Kremlev
ITMO University, 197101, St. Petersburg, Russia E-mail: bazylevd@mail.ru
A control system of walking robot Darwin-OP moving along a given trajectory is presented. The robot trajectory is a red line recognized by built-in videocamera. The control system consists of PD controller for angular positions of the robot head (for tracking the desired trajectory) and PD controllers for the longitudinal and transverse velocities of the robot. Evaluation of the effectiveness of the proposed solution is carried out by a third-party videocamera mounted above the robot. Experimental results demonstrate a small enough deviation from the desired trajectory.
Keywords: line tracking, walking robot, machine vision
Data on authors
Dmitry N. Bazylev — Post-Graduate Student; ITMO University, Department of Computer
Science and Control Systems; E-mail: bazylevd@mail.ru Philip A. Popchenko — Student; ITMO University, Department of Computer Science and
Control Systems; E-mail: feanpo@gmail.com Denis D. Ibraev — Student; ITMO University, Department of Computer Science and
Control Systems; E-mail: ibray1522@gmail.com Alexey A. Margun — Post-Graduate Student; ITMO University, Department of Computer
Science and Control Systems; E-mail: alexeimargun@gmail.com Konstantin A. Zimenko — Post-Graduate Student; ITMO University, Department of Computer
Science and Control Systems; E-mail: kostyazimenko@gmail.com Artem S. Kremlev — PhD; ITMO University, Department of Computer Science and Con-
trol Systems; E-mail: kremlev_artem@mail.ru
For citation: Bazylev D. N., Popchenko P. A., Ibraev D. D., Margun A. A., Zimenko K. A., Kremlev A. S. Trajectory control of the walking robot with the use of videocamera. Journal of Instrument Engineering. 2017. Vol. 60, N 9. P. 875—881 (in Russian).
DOI: 10.17586/0021-3454-2017-60-9-875-881
