CC BY
0
ОПРЕДЕЛЕНИЕ ПОЛОЖЕНИЯ МАНИПУЛЯТОРА С НЕПРЕРЫВНЫМ ИЗГИБОМ СЕКЦИЙ С ПОМОЩЬЮ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ
А.М. Бурлачук, аспирант
Московский государственный технологический университет «Станкин» (МГТУ
«Станкин»)
(Россия, г. Москва)
DOI:10.24412/2500-1000-2024-5-1-193-198
Аннотация. В статье описан метод определения положения манипулятора с непрерывным изгибом секций на базе системы технического зрения (СТЗ) без использования специальных маркеров. В отличии от очувствления манипуляторов с жёсткими звеньями, в которых датчики интегрированы в степени подвижности, при определении положения манипулятора с непрерывным изгибом секций возникают сложности, связанные с особенности конструкции данного класса роботов. Рассматриваются существующие подходы, включая использование маркеров и интеграцию гибких датчиков. Реализация описываемого метода определения положения осуществляется на испытательном стенде с прототипом односекционного манипулятора с использованием камер высокого разрешения и вычислительной техники с программным обеспечением на языке Python с применением библиотек OpenCV и NumPy.
Ключевые слова: манипулятор с непрерывным изгибом секций, обратные связи, определение положения, гибкие датчики, система технического зрения.
Наличие обратных связей является необходимым условием построения качественной системы управления робототех-нических систем. В большинстве случаев, в системах управления классическими манипуляторами с жёсткими звеньями применяют обратные связи по положению, скорости и усилию, датчики определения которых устанавливают в степени подвижности робота. Для манипулятора с непрерывным изгибом секций информация об усилиях может быть получена с помощью тензодатчиков, установленных в разрыв или вдоль протянутых тросов для определения силы их натяжения и, следовательно, сил, приводящих робот в движение. Однако, в отличии от классических манипуляторов с жёсткими звеньями, в манипуляторах с непрерывным изгибом секций возникает сложность замыкания обратных связей по положению, поскольку датчики, установленные на исполнительных устройствах (приводах) робота, не
дают полную и достоверную информацию о положении гибких секций, по причине деформации, податливости и нелинейного характера изгиба упругих элементов секций робота. Исходя из особенностей конструкции, возникает необходимость определения положения непосредственно самих гибких секций робота.
Существующие решения. На данный момент существуют различные подходы по определению положения гибких секций данного класса роботов. Первый принципиальный подход основан на примирении специальных маркеров, закреплённых на гибких секциях робота. Положения маркеров можно считать с помощью информационно-детектирующих устройств (например, СТЗ). В качестве информационно-детектирующих устройств применяют телевизионные камеры, а также магнитно-резонансные системы и сканеры (технология multi-magnet tracking) (рис. 1).
Ещё одним способом определения положения секций робота является интеграция гибких датчиков. В работе [2] приведены следующие требования для интеграции гибких датчиков:
- датчик должен быть податливым и не влиять на форму и свойства гибких секций манипулятора;
- датчик должен быть достаточно прочным, чтобы выдерживать множество циклов движения;
- датчик не должен быть способен повредить гибкие секции манипулятора.
К основным типам гибких датчиков относятся: резистивные, ёмкостные, магнитные и оптоэлектронные, на базе волоконных брэгговских решёток (ВБР, Fiber Bragg Gratings) [3].
Волоконная брэгговская решётка (ВБР) представляет собой участок оптического волокна (ОВ), в сердцевине которого показатель преломления (1111) периодически изменяется в продольном направлении [5]. Оптические волокна протягивают вдоль гибкой секции манипулятора, как показано на рисунке 2.
Рис. 2. Расположение оптических волокон в секции манипулятора [3]
Как правило, каждое чувствительное волокно содержит несколько ВБР, записанных с определенными интервалами по длине всего волокна, и позволяют измерять кривизну изгиба в определенных точках. Отрезок ОВ между двумя решётками представляет собой интерферометр. Под воздействием деформации и акустических колебаний меняется разность фаз сигналов
от двух соседних брэгговских решёток [5]. По данному изменению разности фаз с помощью детектирующих устройств можно с определённой погрешностью получит значение радиуса изгиба ОВ. При наличии трех оптических волокон в секции манипулятора можно определить положение робота в пространстве.
Благодаря своим небольшим размерам, гибкости и нечувствительности к внешним электромагнитным полям, волоконно-оптические датчики хорошо подходят для определения положения гибких секций манипулятора при работе в недетерминированных условиях. Однако, несмотря на свои преимущества, на сегодняшний день данные методы измерения не обладают достаточной точностью для определения положения секций робота, и следовательно система управления, основанная на данном методе, будет иметь значительную
погрешность. Так же стоит отметить, что сама интеграция гибких датчиков является достаточно сложной и дорогостоящей задачей, которая приводит к усложнению конструкции робота.
Система определения положения на базе СТЗ. В данном исследовании для определения положения секций прототипа манипулятора будет реализован метод на базе СТЗ с двумя камерами, без применения специальных маркеров (рис. 3).
Рис. 3. Схема расположения камер СТЗ Метод реализован в соответствии с алгоритмической последовательностью действий по обработке изображений, схема которого представлена на рисунке 4.
Рис. 4. Схема алгоритма
На вход системы поступают два растровых изображения, полученных в двух взаимно перпендикулярных плоскостях. Дальнейшая обработка изображений распараллеливается и происходит в двух отдельных процессах. Бинарное и отфильтрованное от шумов изображение, проходит процесс сегментации, при котором секции манипулятора отделяются от фона и сторонних элементов. Под дальнейшей скелетонизацией изображения понимается процесс уменьшения толщины объектов на изображении до одного пикселя шириной, при этом сохраняя их топологическую структуру [1]. Для скелетонизации бинарного изображения можно использовать различные методы, включая алгоритмы на
основе тонких линий, операции математической морфологии или комбинацию различных техник. Полученные в процессе скелетонизации точки аппроксимируются кубическим сплайном и затем приводятся к одной базовой системе координат. Итоговым шагом является определение всех точек в пространстве и реконструкция (триангуляция) трёхмерной кривой, т.е. секции робота, и её визуализация
Реализация алгоритма. В качестве объекта управления был разработан прототип манипулятора с непрерывным изгибом секции на базе тросовой системы управления, размещённого на монотонном белом фоне (рис. 6).
Рис. 6. Испытательная установка
В качестве аппаратной части системы технического зрения применялись две Logitech C922 Pro с разрешением 1920х1080 пикселей. Съёмка изображений осуществляется при хорошем освещении и с чётко настроенными параметрами. В качестве вычислителя использовался одноплатный компьютер COMMELL LP-175P7-
8G с процессором Intel Core i7 с частотой 3.2ГГц. Программное обеспечение реализовано на языке программирования Python с применением модулей OpenCV и NumPy.
Процесс детектирование манипулятора с непрерывным изгибом секции представлен на рисунке 7.
Рис. 7. Процесс детектирования манипулятора Итоговый результат работы алгоритма представлен на рисунке 8.
Рис. 8. Результат триангуляции
Заключение. В статье был рассмотрен метод по определению формы и положения манипулятора с непрерывным изгибом секции на базе системы технического зрения с использованием двух камер. Среднее время определения положения составляет 0.2 секунды, ошибка составляет 1 мм на каждые 100 мм длины робота. Данный ме-
тод является наиболее простым в реализации, чем интегрирование в секции робота гибких датчиков. Результаты свидетельствуют о том, что метод способен оценить форму манипулятора с непрерывным изгибом секции и определить его положение в пространстве.
Библиографический список
1. Abu-Ain, Waleed, et al. Skeletonization algorithm for binary images // Procedia Technology. - 2013. - № 11. - P. 704-709.
2. Gifari M.W. et al. A review on recent advances in soft surgical robots for endoscopic applications // The International Journal of Medical Robotics and Computer Assisted Surgery. - 2019.
- Т. 15. - № 5. - С. e2010.
3. Sefati S. et al. FBG-based position estimation of highly deformable continuum manipulators: Model-dependent vs. data-driven approaches // 2019 International symposium on medical robotics (ISMR). - IEEE, 2019. - С. 1-6.
4. Wang J. et al. Pilot study on shape sensing for continuum tubular robot with multi-magnet tracking algorithm // 2017 IEEE International Conference on Robotics and Biomimetics (RO-BIO). - IEEE, 2017. - С. 1165-1170.
5. Варжель С.В. Волоконные брэгговские решетки. - СПб.: Университет ИТМО. - 2015.
- Т. 65.
POSE ESTIMATION OF CONTINUUM ROBOT USING COMPUTER VISION
A.M. Burlachuk, Graduate Student
Moscow State Technological University «Stankin» (MSTU «Stankin») (Russia, Moscow)
Abstract. The article presents a method for determining the position of a continuum robot based on a computer vision. without the use of special markers. In contrast to robotic arms with rigid joints, where sensors are integrated into the degree offreedom, determining the position of a continuum robot poses challenges due to the design characteristics of this type of robot. Existing approaches, including the use of markers and integration of flexible sensors, are discussed. The proposed position determination method was implemented on an experimental setup using a prototype single-joint arm, high-resolution camera, and computer hardware with Python software utilizing OpenCV and NumPy libraries.
Keywords: continuum robot, feedback, pose estimation, flexible sensors, computer vision.
