CC BY
47
Исследование позиционирования цели
для всенаправленного мобильного манипулятора с 3 степенями свободы на основе машинного зрения
Яо Ду
Пекинский транспортный университет, Пекин, Китай Петербургский государственный университет путей сообщения Императора Александра I, Санкт-Петербург, Россия 15121222@bjtu.edu.cn
Аннотация. Рассматривается всенаправленный мобильный робот с тремя степенями свободы, для которого обеспечивается улучшение контроля операционной позиции и точности работы манипулятора в узком или переполненном рабочем месте по сравнению с общим манипулятором. Решаемая задача заключается в улучшении гибкости робота при работе с несколькими разными объектами. При этом эффективным решением является распознавание цели с обработкой изображений. На основе обработки изображения можно определить положение и позу цели. Затем сигнал отправляется в систему управления манипулятором. В статье изучаются условия освещения, искажения и т. д. При распознавании цели с помощью обработки изображений ее позиция сверяется с реальными координатами. Эксперименты показывают, что распознавание целей с помощью обработки изображений позволяет эффективно улучшить гибкость работы робота.
Ключевые слова: мобильный робот, машиннное зрение, манипулятор с тремя степенями свободы.
Введение
Сегодня степень автоматизации заводов и складов становится все выше [1]. Однако трудно расширить функции манипулятора, поскольку его база фиксированная. В этой статье описывается всенаправленный мобильный манипулятор с тремя степенями свободы, который может повысить гибкость манипулятора и значительно увеличить его функциональность.
Сначала через анализ манипулятора с тремя степенями свободы устанавливается модель кинематики манипулятора методом D-H (Denavit-Hartenberg), на основе этой модели выводится уравнение кинематики манипулятора. Изучен метод решения обратной кинематической задачи манипулятора. Получено аналитическое решение обратной кинематической задачи манипулятора.
Затем проверяются и анализируются аналитические решения уравнений прямой кинематики и обратных решений. Экспериментальные результаты доказывают эффективность
Цзиву Ван, Вэньшэн Сюй Механический, электронный и контрольный факультет, Пекинский транспортный университет, Пекин, Китай
Сугишака Масанори Alife Robotics Corporation Ltd, Япония и Открытый университет, Великобритания 15121244@bjtu.edu.cn*
метода получения обратного решения манипулятора и метода целевого местоположения.
Системный обзор
Система управления роботом очень важна при реализации автоматического управления им. Рассматриваемый в статье робот использует четыре колеса Mecanum для обеспечения всенаправленного движения платформы робота. В составе системы управления роботом есть четыре части: IPC (персональный компьютер), главная панель управления, драйверы шасси и манипулятор (рис. 1).
Рис. 1. Схема управления роботом
IPC запускает операционную систему Windows через последовательный порт для установления связи с основной панелью управления. Основная плата управления связывается с двумя управляющими платами привода через шину CAN.
Дизайн всенаправленного
мобильного шасси на основе колеса Mecanum
Четыре колеса Mecanum установлены для всенаправленного движения платформы (рис. 2) [2].
* Опубликовано: ISBN 978-4-9908350-2-6: Jiwu Wang, Yao Du, Wensheng Xu, Sugisaka Masanori. Study On The Target Positioning For An Omni-Directional 3DOF Mobile Manipulator Based On Machine Vision. The 2017 International Conference on Artificial Life and Robotics (ICAROB2017), Seagaia Convention Center, Miyazaki, Japan, January 19-22, 2017. (на английском).
Рис. 2. Колесо Mecanum
Рис. 4. Моделирование координат всенаправленного мобильного робота
На рис. 3 представлены четыре варианта установки Ме-сапит. Каждое колесо приводится в движение только двигателем щетки постоянного тока с левым и правым вращением.
Рис. 3. Варианты установки шасси
На рис. 4 показана система координат модели шасси с четырьмя колесами Месапит. Система координат ОХУ1 (г = 1, 2, 3, 4) является центром каждого колеса, а исходная система координат - центром положения робота.
Как показано на рис. 4, длина тела робота составляет 2Ь, ширина тела 21, скорость шасси робота V = (Ух, Уу), угловая скорость, робота вокруг оси 2 равна ю , линейная скорость колеса V = ю;Д, где ю. - угловая скорость каждого колеса; Я - радиус колеса. Ролик и контакт заземления, когда скорость линии V .. Предположим, что скорость каждого колеса V¡ = (У.х, V). Под ОХУ. (г = 1,2,3,4) можно разложить
вдоль X. и Y, так как V. и V., а V. можно выразить как -V.
í í' íw ir' ¡X ^ ir
sina¡, Víy - сумма Víw и Vir cosa¡, которые удовлетворяют соотношениям
Vix = -Vir sin a, Viy = -Vlw + Vlr cos a;
V2x = -V2r sin a2, V2y = -V2w + V2r cos a2;
V3x = -V3r sin аз, V,y = -V3w + V3r cos аз;
V4x = - V4r sin a4, V4 y = - V4w + V4r cos a4.
В формуле a¡ i - круглая ось ролика и угол оси ступицы (i = 1, 2, 3, 4). ' _
В целом скорость каждого колеса V¡ - это сумма вектора скорости робота и относительного центра колеса. То есть V = V + c5z- Oüj рассматривают как векторную направленность вдоль координат XY и X¡Y¡. Можно получить формулу декомпозиции координат:
Vlx = Vx - Lroz ,Viy = Vy + l ®z;
V2 x = Vx - -L(az ,V2y = Vy - -lroz;
V3x = -Vx + L(üz , V3 y = Vy - l®z
V4 x = Vx + -L(üz ,VA y = Vy + "l®z.
Принимая во внимание то, что скорость ролика не контролируется, и исключив её, получим уравнение всенаправ-ленной обратной кинематики робота:
V1 = -1 [-Vx cot a + Vy + (l + L cot a)roz ]; V2 = -i-[Vx cota + Vy -(l + Lcota)roz]; V3 = -1 [-Vx cota + Vy -(l + Lcota)roz]; V4 = — [-Vx cot a + Vy + (l + L cot a)roz ].
Это уравнение отображает способ управления роботом в целом.
Проектирование многоступенчатой свободы
захвата манипулятора
Конструкция рычага робота в сумме трех степеней свободы: направление по оси X, два шатуна - это оси Y и Z.
Управление движением ручкой манипулятора линейной интерполяции
Расчет показывает, что есть взаимосвязь между позицией сустава робота и позицией руки:
„2 + p2 _ ,2 _ ,2 п „у + Pz l1 l2
ö2 =acos-
61 = acos
2ll
Py (l1 + l2 cos 62) _ Pzl2sin 62 (l1 +12 cos 62 )2 + ll sin2 62
В матричной форме
ду
ду
dP у = — d 6 + — d 82 = (_l2 s12 _ l1s1)d 61 + (_l2s12)d 62
d6
de.
dz dz
dPz = ^7" d е1 + d е2 = (l2s12 _ l1c1)d 61 + (_l2 c12)d 62
де1
де2
Как видно из определения матрицы Якоби, • •
р = Jq.
Матрица Якоби для манипулятора может быть получена по формуле
J =
_l2s12 _ l1s1 l2c1c2 . l2c12 + l1c1 l2c12 .
Якобианская матрица в основном используется для описания дифференциального отношения смещения сустава и пространственного положения, являющееся соотношением между пространственной скоростью руки робота и угловой скоростью сустава:
Для положения пространства руки робота, когда она перемещается от (у1, до (у2, г2) по прямой линии, линия интерполируется. Из-за простой интерполяции по оси Х или оси У много неравномерности.
Предполагая, что наклон линии к, когда у1^у2, к = = (я2 - ^1)/(у2 - у1), угол наклона прямой:
а = агйап к.
V = J 0.
И наоборот: скорость движения каждого сустава может быть определена с помощью желаемой скорости руки:
е = J_1 v.
Согласно расчетам,
Предполагая, что d - расстояние от любой точки (у, z) до (у1, z1) на этом отрезке, точка, соответствующая d (у, z), равна
y = y1 + d cos a z = zi + d cos a
J-1=
l1c12 s1 l2 c12l1c1 l1l2c12 s1
12 _ ls c l1s12 c1
l1l2 s12c1
l1c12 s12 l2 s12 + l1s1 l1l2c12 s1
12 _ ls c l1s12 c1
l1l2 s12 c1
где d находится в диапазоне [0,^/(х2 - х1)2 + (у2 - у1)2 ]. Когда d равномерно изменяется в этом интервале, движение руки изменяется равномерно. Полученное описанным уравнением (у, г) подставляется в выражение позиции сустава, чтобы реализовать прямолинейное движение руки.
Управление скоростью руки манипулятора робота
Соотношением между пространственным положением руки робота и переменной сустава является соотношение
Р у = 12 С1С2 - 12 ^2 + 11с1 ]
Pz = 12с2^ - 12с1^2 + 1
Дифференцированные производные из предыдущей формулы могут быть представлены в виде
Дизайн обработки изображений
Согласование шаблонов - это поиск целевого изображения [3]. Для этого необходимо измерить сходство между двумя изображениями по некоторым критериям подобия.
Согласование шаблонов на основе серого значения
Когда шаблон скользит по изображению, сопоставим подобия. Простейшей мерой сходства является вычисление суммы абсолютных значений различий между шаблоном и изображением или суммой квадратов всех различий (SAD и SSD).
sad(r, c) = n X(u,v)sT\l(u, v) _ f(r + u, c + v)l;
1 I |2
sad(r,c) = — X(u,v)eTx|t(u,v)_f(r + u,c + v)| ,
dPy
_ dPz _
_l2s12 _ l1s1 l2c1c2
l2c12 + l1c1
l2c12
где /(г + и, с + V) - серое значение строки г + и столбца с + V изображения, которое должно быть измерено; С (г, с) -серое значение шаблона изображения Т строки г столбца с
Intellectual Technologies on Transport. 2017. No 3
[4]. Когда свет меняется, значение серого становится больше или меньше. Независимо от этого разница между значениями после изменения и их средним значением мала, затем они станут нулевыми средними и единичными дисперсиями, разделив дисперсию так, чтобы изображение было менее чувствительным к изменению яркости уровня и обладало сильной устойчивостью.
1 t(u, v) - mc f(r + u,c + v) - mf (r,c)
исф,c) = (u,veT)---
n
4s2
Vs2(r, c)
где тс - среднее значение серого шаблона; 2 - дисперсия всех значений серого измеряемого изображения, (г, с) -среднее значение серого измеряемого изображения.
Рис. 5. Схематическая пирамида изображения
Как показано на рис. 5, стратегия поиска на основе пирамиды такова: от верхней к нижней части поиска в поиске высокого уровня изображения для отслеживания экземпляра шаблона в нижней части пирамиды изображения, затем в небольшой области досопоставить в следующей области поиска, чтобы найти результаты сопоставления небольшой области, на которой рассчитываются степень подобия, которая сегментируется порогом, и локальные экстремумы.
Реализация обхода
Чтобы обеспечить автоматический обход роботов, мы должны получить фактическое местоположение предметов в мировой системе координат.
Как показано на рис. 6, сначала должны быть исходная коррекция искажения изображения и сглаживание шума; затем извлеките изображение компонента S насыщения из пространства изображения HSV, мы можем ясно видеть, что насыщающая компонента объекта, который мы хотим обойти, относительно высока; третий шаг - получить область изображения с высокой насыщенностью с помощью метода динамического порога. Последний шаг - отобразить полученную область и получить информацию об ориентации области и информацию об ориентации бутылки.
Stepl
Steo2
StepS
Step4
Рис. 6. Шаги по поиску предметов
Заключение
В статье представлен всенаправленный мобильный манипулятор с тремя степенями свободы, основанный на машинном видении. Однако в реальных экспериментах робот контролировался, чтобы схватить бутылку. Наши эксперименты показали, что относительное желаемое положение и ориентация между камерой и объектом поддерживаются в пределах нескольких сантиметров. Следующий шаг заключается в дальнейшем улучшении способа обработки изображений, чтобы ускорить обработку изображения, чтобы робот более точно понимал окружающую среду. Добавление некоторых датчиков, таких как лидар, дает роботу возможность планировать путь и предотвращать столкновения с препятствиями. Надо увеличить подвесную систему шасси, чтобы адаптироваться к более неровной местности.
Литература
1. Birmal Singh N. Vision Based Autonomous Navigation of Mobile Robots. - India, Kolkata, Jadavpur Univ., 2010.
2. Shi J., Tomasi C. Good features to track. Computer Vision and Pattern Recognition.
3. Tomasi C., Kanade T. Detection and tracking of point features // Tech. Rept. CMU-CS-91132.
4. Davison A. J. Real-time simultaneous localisation and mapping with a single camera // Computer Vision, IEEE. 2003. P. 1403-1410.
5. Civera J., Davison A. J., Montiel J. Inverse depth param-etrization for monocular SLAM. IEEE Trans. Rob. 2008. № 24 (5). Р. 932-945.
6. Civera J., Grasa O. G., Davison A. J., et al. L-Point RANSAC for extended Kalman filtering: Application to realtime structure from motion and visual odometry // J. Field Rob. 2010. № 7 (5). Р. 609-631.
7. Yilmaz O. Javed, Shah M. Object tracking // A survey ACM Comput. Surv. 2006. Vol. 38, № 4. P. 13.
8. Edgar R. Arce-Santana, Jose M. Luna-Rivera, Daniel U. Campos-Delgado, and Ulises Pineda-Rico. Real-Time Vision Tracking Algorithm // IJCV, 2006.
9. Neira J., Beiro M.1., Tardos J. D. Mobile Robot Localisation and MaP Building Using Monoeular Vsion. In Proc. Int, 1 Symp. on Intell. Rob. Systems,1997. P. l-10.
10. Friedman J. K., Bentley J. L., Finkel R.A. An algorithm for finding best matches in logarithmic expected time // ACM Trans. on Math. Software. 1977. № 3. P. 209-226.
11. Arya S., Mount D. M., Netanyahu N. S., Silverman R., Wu A. An optimal algorithm for approximate nearest neighbor searching // ACM. 1998. № 45. P. 891-923.
12. Zhang Z. A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell. 2000. № 22 (11). P. 1330-1334.
13. Bouguet J.-Y. Camera Calibration Toolbox for Matlab. URL: http://www.vision.caltech.edu/bouguetj/calib_doc.
14. Intel OpenCV Computer Vision Library (C++). URL: http://www.intel.com/research/mrl/research/opencv.
15. Fischler M. A., Bolles R. C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // Comm. of the ACM. 1981. Vol. 24. P. 381-395.
16. Rafael C. Gonzalez, Richard E. Woods. Digital image processing. Addison Wessley Publ. Company, 1992.
17. Sim R. Mobile Robot Localization Using Learned Landmarks // J. NY Entomol. Soc. 1998. № 4. P. 166-169.
18. Nayar S. K., Murase H., Nene S. A. Learning, positioning, and tracking visual appearance // IEEE Int. Conf. Rob. Au-tom. Proc. IEEE. 1994. Vol. 4. P. 3237-3244.
19. Nikolic N. Mobile Robot Localization Using Computer Vision and Artificial Landmarks. 2008.
20. Murphy R. R. Sensor and information fusion for improved vision-based vehicle guidance // IEEE Expert. 1998. № 13 (6). P. 49-56.
Study On The Target Positioning For An Omni-Directional 3 DOF Mobile Manipulator Based On Machine Vision
Yao Du
School of Mechanical, Electronic and Control Engineering, Beijing Jiaotong University Beijing, China, Emperor I Petersburg State Transport University, St. Petersburg, Russia 15121222@bjtu.edu.cn
Jiwu Wang, WenSheng Xu School of Mechanical, Electronic and Control Engineering, Beijing Jiaotong University Beijing, China
Sugisaka Masanori Alife Robotics Corporation Ltd, Japan Open University, United Kingdom 15121244@bjtu.edu.cn
Abstract. The omni-directional mobile robot with multi DOF, because the operation posture and operation accuracy of the manipulator can be better controlled in a narrow or crowded workplace compared with the general manipulator, is getting more interested in practical applications. The present problem is to improve its flexibility for operating multiple different targets. Target recognition with image processing is an effective solution. Based on the image processing, the position and posture of the target can be determined. Then the signal will be sent to the arm control system. In this paper, the illumination conditions, distortion, etc. are studied in the target recognition. The target position with image processing, is verified with real coordinates. The experiments show target recognition with image processing can effectively improve the flexibility of our robot.
Keywords: mobile robot, machine vision, 3 DOF manipulator, omni-direction.
References
1. Singh B. N. Vision Based Autonomous Navigation of Mobile Robots. Jadavpur Univ., Kolkata, India, 2010.
2. Shi J., Tomasi C. Good features to track, Computer Vision and Pattern Rec.
3. Tomasi C., Kanade T. Detection and tracking of point features, Tech. Rept. CMU-CS-91132.
4. Davison A J. Real-time simultaneous localisation and mapping with a single camera. Comp. Vision, IEEE, 2003, pp. 14031410.
5. Civera J., Davison A. J., Montiel J. Inverse depth pa-rametrization for monocular SLAM. IEEE Trans. Rob., 2008, no. 24 (5), pp. 932-945.
6. Civera J., Grasa O. G., Davison A. J., et al. 1-Point RANSAC for extended Kalman filtering. Application to realtime structure from motion and visual odometry. J. Field Rob., 2010, no. 27 (5), pp. 609-631.
7. Javed Yi. O., Shah M. Object tracking. A survey, ACM Comput. Surv., 2006, vol. 38, no. 4, p. 13.
8. Arce-Santana E. R., Luna-Rivera J. M., Campos-Delgado D. U., Pineda-Rico U. Real-Time Vision Tracking Algorithm. IJCV, 2006.
9. Neira J., Beiro M.1., Tardos J. D. Mobile Robot Localisation and MaP Building Using Monoeular Vsion. In Proc. Int, 1 Symp. on Intell. Rob. Systems, 1997, pp. l-10.
10. Friedman J. K., Bentley J. L., Finkel R. A. An algorithm for finding best matches in logarithmic expected time, ACM Trans. on Math. Software, 1977, no. 3, pp. 209-226.
11. Arya S., Mount D. M., Netanyahu N. S., Silverman R., Wu A. An optimal algorithm for approximate nearest neighbor searching, ACM, 1998, no. 45, pp. 891-923.
12. Zhang Z. A flexible new technique for camera calibration, IEEE Trans. Pattern Anal. Mach. Intell., 2000, no. 22 (11), pp. 1330-1334.
13. Bouguet J.-Y. Camera Calibration Toolbox for Matlab. Available at: http://www.vision.caltech.edu/bouguetj/calib_ doc.
14. Intel OpenCV Computer Vision Library (C++). Available at: http://www.intel.com/research/mrl/research/opencv.
15. Fischler M. A., Bolles R. C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography, Comm. of the ACM, 1981, Vol. 24, pp. 381-395.
16. Gonzalez R. C., Woods R. E. Digital image processing. Addison Wessley Publishing Company, 1992.
17. Sim R. Mobile Robot Localization Using Learned Landmarks, J. NYEntomol. Soc., 1998, vol. 4, pp. 166-169.
18. Nayar S. K., Murase H., Nene S. A. Learning, positioning, and tracking visual appearance, IEEE Int. Conf. Rob. Automat., 1994. Proc. IEEE, 1994, vol. 4, pp. 3237-3244.
19. Nikolic N. Mobile Robot Localization Using Computer Vision and Artificial Landmarks. 2008.
20. Murphy R. R. Sensor and information fusion for improved vision-based vehicle guidance, IEEE Expert, 1998, vol. 13 (6), pp. 49-56.
