CC BY
8
РЕШЕНИЕ ЗАДАЧИ ФОРМИРОВАНИЯ БЕЗОПАСНОЙ КОНФИГУРАЦИИ РОБОТИЧЕСКОГО ПРОТЕЗА ВЕРХНЕЙ КОНЕЧНОСТИ ЧЕЛОВЕКА
А. Ш. Буреев1,2, Е. В. Голобокова1,2, Д. С. Жданов1-2 Я. В. Костелей1,2, Р. В. Кошелев2, Е. А. Фоменко2
1 Центр развития науки, технологий и образования в области обороны и обеспечения безопасности государства, Национальный исследовательский Томский государственный университет, Томск, Россия
2 Федеральный научно-клинический центр медицинской реабилитации и курортологии Федерального медико-биологического агентства, Москва, Россия
На сегодняшний день остается актуальной разработка методов контроля позиционирования роботических манипуляторов с помощью систем технического зрения (СТЗ) с целью обеспечения безопасности пациентов и медицинского персонала при работе с медицинскими роботизированными реабилитационными устройствами. Целью исследования было разработать метод повышения безопасности применения роботизированных медицинских реабилитационных устройств путем разработки и апробации алгоритма расчета угловых положений роботизированных манипуляторов или роботических протезов, применяемых в восстановительном лечении и позволяющих воспроизвести естественную траекторию перемещения руки человека под контролем СТЗ. Дано описание роботизированного манипулятора, использованного при проведении исследований, представлены существующие подходы к расчету угловых положений приводов, а также описание предлагаемого алгоритма. Приведены сравнительные результаты работы предлагаемого алгоритма и существующих методов расчета угловых положений приводов роботизированных манипуляторов (роботических протезов) и предполагаемые направления для его доработки.
Ключевые слова: безопасность человека, управление манипулятором, роботический протез, роботизированная реабилитация, координата в трехмерном пространстве, системы технического зрения, кинематика
Финансирование: результаты были получены в рамках выполнения государственного задания Минобрнауки России, проект № FSWM-2022-0008.
Благодарности: заместителю генерального директора ФГБУ ФНКЦ МРиК ФМБА России Н. Абдулкиной за поддержку научного коллектива; проректору по научной и инновационной деятельности НИ ТГУ А. Ворожцову за помощь в развитии исследований в области медицинской робототехники.
Вклад авторов: Д. С. Жданов — разработка алгоритмов расчета безопасного перемещения роботизированных протезов; Я. В. Костелей — программная реализация алгоритмов; А. Ш. Буреев — анализ рисков применения медицинских роботов и роботизированных протезов; Е. В. Голобокова, Р. В. Кошелев — обзор литературы; Е. А. Фоменко — анализ, направленный на выявление траекторий перемещения, неисполнимых с точки зрения мехатроники.
Соблюдение этических стандартов: исследование одобрено этическим комитетом Федерального научно-клинического центра медицинской реабилитации и курортологии Федерального медико-биологического агентства (протокол № 1 от 06 июля 2022 г.).
[><3 Для корреспонденции: Дмитрий Сергеевич Жданов
ул. Красноармейская, д. 14, г. Томск, 634029, Россия; [email protected]
Статья получена: 06.12.2022 Статья принята к печати: 20.12.2022 Опубликована онлайн: 30.12.2022 DOI: 10.47183/mes.2022.050
SOLUTION TO THE PROBLEM OF DESIGNING A SAFE CONFIGURATION OF A HUMAN UPPER LIMB ROBOTIC PROSTHESIS
Bureev ASh1,2, Golobokova EV1,2, Zhdanov DS1,2 Kosteley YaV1,2, Koshelev RV2, Seleznev AI1,2, Fomenko EA2
1 Center for Development of Science, Technology and Education in the Field of Defense and State Security, National Research Tomsk State University, Tomsk, Russia
2 Federal Research and Clinical Center of Medical Rehabilitation and Balneology of the Federal Medical Biological Agency, Moscow, Russia
This study aimed to develop a method allowing to improve safety of use of robotic medical rehabilitation devices by designing and testing an algorithm for calculation of the angular positions of rehabilitation robotic manipulators or robotic prostheses and allowing to reproduce the natural arc of a human arm under control of a CVS. The Introduction section supports the urgency of development of the methods granting control over positioning of robotic manipulators with the help of a computer vision system (CVS) and thus guarantee safety of patients and medical personnel in the context of work with medical robotic rehabilitation devices. The Materials and Methods section contains a brief description of the robotic arm used in this study, a description of the existing approaches to calculation of angular positions of drives, and a description of the proposed algorithm. The final sections compare application of the proposed algorithm and existing methods of calculation of angular positions of drives of robotic manipulators (robotic prostheses) and outline the possible directions for further improvement.
Keywords: human safety, manipulator control, robotic prosthesis, robotic rehabilitation, three-dimensional coordinate, vision systems, kinematics
Funding: The study was conducted in the context of execution of the State Task by the Ministry of Education and Science of Russia, project #FSWM-2022-0008.
Acknowledgments: N. Abdulkina, deputy general director of the Federal Scientific and Clinical Center for Medical Rehabilitation and Balneology of the Federal Medical Biological Agency, for comprehensive support of the researchers; A. Vorozhtsov, vice-rector for research and innovation activities of the National Research Tomsk State University, for his contribution to the scientific progress in the field of medical robotics.
Author contribution: Luzgina NG, Rusanov AL — study concept; Romashin DD, Kozhin PM, Luzgina NG, Rusanov AL — study design and literature review; Romashin DD, Kozhin PM — study planning and execution; Kozhin PM, Romashin DD, Luzgina NG, Rusanov AL — data analysis and interpretation; Kozhin PM, Romashin DD — manuscript writing; Kozhin PM, Romashin DD, Luzgina NG, Rusanov AL — manuscript editing.
Compliance with the ethical standards: Conclusion of the local ethical committee at the Federal Scientific and Clinical Center for Medical Rehabilitation and Balneology of the Federal Medical Biological Agency #1 of July 06, 2022. At this stage, the study involved no patients, therefore, no signed voluntary informed consents forms were required.
[>3 Correspondence should be addressed: Dmitry S. Zhdanov
Krasnoarmeyskaya, 14, Tomsk, 634029, Russia; [email protected]
Received: 06.12.2022 Accepted: 20.12.2022 Published online: 30.12.2022
DOI: 10.47183/mes.2022.050
В настоящее время общий тренд научно-технологического развития во всем мире — активное внедрение роботизированного оборудования во всех сферах экономики. В исследовании консалтинговой компании The Boston Consulting Group (BCG) заявлено, что к 2030 г. общий объем мирового рынка профессиональной сервисной робототехники достигнет объема в $260 млрд [1].
Медицинская робототехника — один из лидирующих по уровню технологий и востребованности сегментов профессиональной сервисной робототехники. Как говорил отец коммерческой робототехники Джозеф Энгельбергер, «...больницы — это идеальное место и идеальная окружающая среда для использования роботов» [2].
Тем не менее, несмотря на широту внедрения роботических медицинских систем, до сих пор недостаточно внимания уделено вопросам обеспечения безопасности их применения как для пациента, так и для медицинского персонала. В имеющихся отдельных исследованиях указывается, что по результатам изучения документов, касающихся итогов операций с использованием роботов, было обнаружено более 1,5 тыс. случаев различных неблагоприятных последствий [3]. Роботизированные операции повлекли гибель 144 человек в 2000-2013 гг. В период с 2000 по 2013 г. было выявлено более 190 случаев возгорания или поломки оборудования в процессе подобных операций. Системные ошибки, такие как потеря видеосигнала, способствовали почти 800 другим неблагоприятным исходам роботизированных операций [3].
По мнению авторов статьи, роботизированная реабилитация несет несколько иные риски для пациентов, заключающиеся в возможном некорректном перемещении (по недопустимой траектории или на недопустимый угол) манипуляторов робота, влекущем за собой травмы пациента или медицинского персонала. Учитывая это, авторами была поставлена перед собой задача разработки метода повышения безопасности человека при эксплуатации медицинских реабилитационных роботов путем введения дополнительного контура контроля перемещения манипулятора робота в виде системы технического зрения (СТЗ). Под контролем перемещения манипулятора в контексте проведенного исследования понимается определение факта его перемещения в заданную точку внутри локальной системы координат. Таким образом, в рамках работы СТЗ использовали только для подтверждения успешности выполнения перемещений манипулятора без оценки его итоговой конфигурации. Для этой цели проводили анализ координат в трехмерном пространстве для каждого из узлов манипулятора.
В статье метод позиционирования узлов роботизированных манипуляторов рассмотрен на примере антропоморфного робота AR-600E (НПО «Андроидная техника»; Россия), использованного в качестве модели для отработки возможного способа повышения безопасности и точности позиционирования антропоморфных роботических протезов верхних конечностей человека. Особое внимание уделено решению задачи поиска координат отдельных узлов манипулятора для формирования его конфигурации, наиболее близкой к движениям руки человека. Это необходимо для создания медицинских реабилитационных устройств, замещающих отсутствующую или дисфункциональную руку пациента и максимально приближенных по своей кинематике к руке человека, что повышает безопасность их применения.
Следует учитывать, что в отличие от манипуляторов промышленных роботов, антропоморфный реабилитационный
роботический манипулятор не зафиксирован на жестком основании. Это, наряду со сложной структурой механизма и большим количеством взаимосвязанных узлов, приводит к получению большой ошибки позиционирования, что в ряде случаев может оказаться опасным для владельца роботического протеза или окружающих. В таких условиях задача точного и безопасного позиционирования является нетривиальной и во многом зависит от способа построения самого механизма.
Для решения этой задачи предлагается в контур управления роботическим реабилитационным антропоморфным манипулятором дополнительно ввести модуль СТЗ, отслеживающий положение манипулятора в поле зрения системы технического зрения и формирующий команды на прерывание или корректировку потенциально опасного движения. При этом будет вестись распознавание как схвата манипулятора, так и специальных маркеров, фиксируемых на его узлах [4, 5]. Но даже использование СТЗ при применении традиционных методов оценки положения манипулятора (относительно элементов системы технического зрения) дает абсолютную среднюю ошибку калибровки между системой технического зрения [6, 7] и схвата манипулятора более ± 5 см [4].
Традиционно, текущее положение узлов манипулятора определяется путем запроса их координат в трехмерном пространстве из схемы прямой кинематики. Она формируется на основании показаний датчиков углового положения соответствующих приводов. В той же схеме присутствуют и текущие координаты СТЗ. Программное обеспечение на начальных стадиях должно осуществить поиск целевого объекта и расчет его пространственного положения относительно элементов системы либо абсолютного нуля кинематической схемы. Операцию можно осуществлять путем использования position-based (PBVS), image-based (IBVS) visual servoing или гибридных методов. В общем виде перечисленные методы осуществляют расчет желаемых координат при анализе изображений и могут быть использованы как для работы промышленных манипуляторов и антропоморфных роботов, так и роботических протезов руки человека.
Согласно методу IBVS, проводят сравнение рассчитанного желаемого и текущего положения манипулятора или объекта на плоскости. Полученную ошибку в виде разности желаемого и текущего положения используют в виде обратной связи. Связь между полученной информацией и изменениями в положении узлов обеспечивается путем использования матрицы Якоби и прямой кинематической схемы робота [8]. Существует большое количество методов, позволяющих определить эту связь [9-11]. При этом необходимо учитывать, что использование одной маркерной точки на объекте (объект манипуляции либо сам манипулятор) дает возможность управления только двумя степенями свободы. Для управления шестью степенями свободы потребуется использовать как минимум четыре маркера. При этом повышается вероятность получения однозначного решения при формировании управляющей команды [11,12]. Метод IBVS не обеспечивает линейного управления узлами робота и не использует трехмерную информацию о положении объекта манипуляции. Это приводит к формированию неоптимальных или нереализуемых траекторий, что может быть решено подбором визуальных параметров [13-15].
При использовании метода PBVS координаты объектов внутри рабочего пространства определяют по отношению к системе координат камеры, входящей в состав системы
технического зрения. Для этого учитывается совокупность параметров геометрической модели отслеживаемого объекта и параметров камеры. Параметры отслеживаемого манипулятора, находящегося в рабочей зоне, известны. Их изменения можно отслеживать при получении ответа от кинематической схемы робота. Геометрические параметры объекта манипуляции, напротив, сильно зависят от параметров системы технического зрения и способов трехмерной локализации, реализованных в ней [16-22].
При гибридном визуальном сервоуправлении совместно используют методы 1ВУБ и РВУБ с целью повышения точности формирования управляющих команд путем использования, например, раздельного контроля над степенями свободы управляемого манипулятора [23-27]. Такие системы менее зависимы от точности калибровки камер робота и дают более точное представление о геометрических характеристиках объектов. Однако они сложны в реализации и потребляют больше вычислительных ресурсов. Риск формирования неоптимальных или нереализуемых траекторий остается. Это может быть связано как с ошибками позиционирования, так и с неверной оценкой трехмерного положения отслеживаемых объектов системой технического зрения робота.
При расчете оптимальных позиций схвата манипулятора должны быть учтены механические ограничения узлов, как при первоначальном позиционировании, так и при последующей манипуляции с предметом. Кроме того, ввиду использования антропоморфных протезов для повышения безопасности применения в «человеческой» среде позиционирование манипулятора может включать в себя остановку перед препятствиями при решении задачи достижения целевого положения.
При разработке модуля управляющего программного обеспечения, ответственного за формирование траектории перемещения манипуляторов робота ДЯ-600Е, при использовании существующих методов обработки информации, поступающей от СТЗ, возникает высокая вероятность формирования небезопасной либо нереализуемой траектории перемещения манипулятора к целевому объекту. Кроме этого, была поставлена задача
построения траектории перемещения манипуляторов, схожей с естественными движениями руки человека. При проведении работ были оценены различные варианты решения задачи обратной кинематики манипулятора и предложен метод, обеспечивающий построение ожидаемой траектории перемещения.
Целью исследования была разработка метода повышения безопасности применения роботизированных медицинских реабилитационных устройств путем разработки и апробации алгоритма расчета угловых положений роботизированных манипуляторов или роботических протезов, применяемых в восстановительном лечении и позволяющих воспроизвести естественную траекторию перемещения руки человека.
МАТЕРИАЛЫ И МЕТОДЫ
В процессе проведения работ был создан ряд алгоритмических решений, позволяющих сформировать траекторию перемещения антропоморфного манипулятора, приближенную к естественной траектории руки человека. Решения были реализованы в виде программного обеспечения, управляющего манипулятором антропоморфного робота AR-600E в симуляционной среде с использованием алгебры кватернионов. Манипулятор включает следующие узлы (рис. 1):
1) группа узлов Shoulder осуществляет перемещение узла Elbow и нижестоящих узлов манипулятора по фронтальной (ShoulderS), сагиттальной (ShoulderF) и вертикальной осям (ElbowR);
2) узел Elbow осуществляет перемещение дочерних узлов по сагиттальной оси;
3) узел WristR осуществляет перемещение дочерних узлов по вертикальной оси;
4) узлы WristF и WristS обеспечивают перемещение кисти по фронтальной и сагиттальной осям соответственно.
Управление пальцами реализовано при помощи приводов, располагаемых на узле WristS.
Пространственное положение узлов манипулятора рассчитывали при помощи метода Forward and Backward Reaching Inverse Kinematics (FABRIK) [28], учитывающего
Рис. 1. Структура манипулятора AR-600E
ограничения и представляющего их координаты, совокупность которых позволяет кисти достичь заданной позиции в трехмерном пространстве.
Захват изображений рабочей области производится при помощи двух видеокамер, расположенных на голове антропоморфного механизма и регистрирующих цветные изображения. Контроль перемещения схвата манипулятора и оценка достижения им заданной координаты внутри рабочей области происходит с использованием методов машинного обучения, основной задачей которых является детектирование схвата и оценка выполнения им заданного действия внутри рабочей области.
Корректность позиционирования схвата оценивали двумя способами: путем запроса ответа от приводов манипулятора с последующим воспроизведением на его основе текущей конфигурации схвата манипулятора и с использованием СТЗ антропоморфного механизма. Контроль всей конфигурации манипулятора при этом не производится ввиду невозможности нахождения всех его узлов внутри рабочей области СТЗ. Для решения этой задачи после формирования конфигурации пространственного положения происходит расчет угловых положений приводов, приводящих узлы манипулятора в заданные координаты в трехмерном пространстве. Рассмотрим возможные пути их расчета на примере группы Shoulder (рис. 1), перемещения которой влияют на пространственное положение всех остальных узлов манипулятора. Было произведено сравнение работы следующих методов расчета угловых положений:
1) с использованием ортогональных проекций точек узлов манипулятора. Угол между двумя точками (например, оси узла Elbow и группы Shoulder) рассчитывали согласно формуле:
angle — 90° — asm^-j,
(i)
где а — модуль координаты y для соответствующей оси узла; c — расстояние между узлами в соответствующей ортогональной плоскости;
2) как угол поворота ортогональной плоскости между проекцией узла Elbow при инициализации кинематической схемы и проекцией в анализируемой плоскости его перемещения. Расчет происходил согласно формуле:
cos(a; b) = =
al'lbl Г~2~ 2 2 /.2.-2,.!
Vai +ni + "\Tl +b2 +b3
где а и b — трехмерные векторы, между которыми рассчитывается угол; a, bn — соответствующие координаты трехмерных векторов после формирования ортогональных проекций;
3) через проекцию координаты узла Elbow в трехмерном пространстве на соответствующие плоскости перемещения группы Shoulder:
где dist — расстояние между текущей координатой оси узла Elbow и общей осью (null) узлов ShoulderF, ShoulderS (группа Shoulder). Расчет угловых положений осуществляли как по (1), так и по (2);
Рис. 2. Пример конфигурации манипулятора антропоморфного механизма AR-600E
4) путем использования метода «Shortest arch», применяемого разработчиками игр для расчета кратчайшей дуги перемещения связных узлов виртуальных объектов из начальной в заданную точки трехмерного пространства. Практическая реализация метода сводится к формированию кватерниона поворота из кватернионов двойного поворота и нулевого вращения. Результирующий кватернион получается в результате сложения кватерниона двойного поворота и кватерниона идентичности;
5) алгоритм, предложенный авторами статьи.
Способ вычисления угловых положений, предложенный
и апробированный коллективом авторов, использует матрицу взаимных положений узлов манипулятора, представляющую собой набор координат, соответствующих определенным углам. Шаг между ними устанавливается при инициализации алгоритма, что позволяет избежать повторного формирования матрицы. В качестве входных данных для предложенного алгоритма используется координата точки схвата в трехмерном пространстве, которая представляет собой центр кисти манипулятора (рис. 1). Далее применяется метод FABRIK, дающий набор координат точек осей основных узлов, совокупность которых формирует конфигурацию манипулятора в трехмерном пространстве. После этого внутри сформированной матрицы взаимных положений по принципу минимума расстояний (dist; формула (3)) между координатами предполагаемого положения узла Elbow и координатами, хранимыми в матрице, происходит выбор наиболее подходящего углового положения привода. В случае необходимости происходит дополнительная корректировка углового положения за счет формирования локальной матрицы взаимных положений с более точным шагом внутри небольшого диапазона углов поворота. Затем происходит расчет углового положения привода узла Elbow согласно формуле (1). При этом в качестве значения а выступает значение по оси y ортогональной проекции
Таблица 1. Сравнительный анализ результатов работы алгоритмов расчета угловых положений приводов узлов антропоморфного манипулятора
Положение I
Метод Угловые положения узлов Координаты узлов
Elbow WristS Elbow WristS
ShF, ° ShS, ° ElR, ° El, ° x, мм y, мм z, мм x, мм y, мм z, мм
0 0 0 0 0 191,92 229 3,58 201,85 -14,5 -49,5
1 -26,72 39,16 -3,16 -52,48 321,34 304,77 109,56 394,25 239,27 338,9
2 -27,42 43,16 58,51 -53,52 340,21 318,79 105,39 526 320,28 271,84
3 -27,42 47,72 52,23 -53,52 353,67 330,78 101,59 544,74 347,27 261,05
4 -27,42 43,16 58,51 -53,52 340,25 318,85 105,42 525,96 320,33 271,87
5 -27,42 60,97 52,23 -53,52 586,38 432,61 223,53 387,28 370,68 86,67
6 -26,73 39,15 -2,90 -52,53 321,31 304,78 109,6 394,77 239,73 338,92
Положение II
Метод Elbow WristS Elbow WristS
ShF, ° ShS, ° ElR, ° El, ° x, мм y, мм z, мм x, мм y, мм z, мм
0 0 0 0 0 191,92 229 3,58 201,85 -14,50 -49,50
1 10,45 2,54 11,73 -84,81 211,85 231,44 -35,88 222,95 116,65 185,26
2 10,52 3,07 20,71 -85,86 215,97 231,91 -36,70 264,48 124,16 182,92
3 10,52 8,61 20,71 -85,86 238,42 234,61 -31,99 292,75 135,74 190,43
4 10,52 3,07 20,71 -85,86 215,97 231,91 -36,70 264,48 124,16 182,92
5 10,52 8,61 20,71 -85,86 238,42 234,61 -31,99 292,75 135,74 190,43
6 10,51 3,04 11,15 -84,89 213,77 231,59 -35,70 223,09 117,25 185,78
Положение III
Метод Elbow WristS Elbow WristS
ShF, ° ShS, ° ElR, ° El, ° x, мм y, мм z, мм x, мм y, мм z, мм
0 0 0 0 0 191,92 229 3,58 201,85 -14,50 -49,50
1 -70,09 69,21 9,7 -31,31 393,83 443,58 112,32 598,23 493,83 246,09
2 -74,57 85,2 69,97 -32,36 419,98 465,41 50,68 658,75 533,46 72,92
3 -76,68 85,49 68,62 -32,36 421,26 467,23 45,12 660,52 535,69 59,34
4 -74,57 85,2 69,97 -32,36 419,98 465,41 50,68 58,75 533,46 72,92
5 -76,68 86,64 68,62 -32,36 421,5 467,5 44,02 660,75 536,27 57,02
6 -70,00 69,64 8,2 -31,41 394,33 444,03 111,57 598,59 494,73 245,3
искомого положения, а в качестве стороны с — длина узла. Расчет углового положения привода ElbowR производится относительно оси узла WristR (рис. 1). Здесь применяется итеративный подход — при помощи последовательно формируемых кватернионов осуществляется поворот WristR с заданным шагом. Процедура останавливается по условию минимума расстояний между координатами, рассчитанными методом FABRIK, и координатами, извлеченными из матрицы взаимных положений.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
При проведении экспериментальных исследований предложенные методы были применены для расчета угловых положений приводов манипулятора антропоморфного механизма AR-600E в симуляционной среде. Для этого оператором вручную задавались желаемые положения узлов, фиксировались результирующие угловые положения их приводов, а также координаты осей приводов Elbow и WristS в трехмерном пространстве. Далее происходило сравнение полученных результатов и выбор наилучшего метода по критерию близости результирующих координат с координатами осей узлов, выведенными оператором.
Пример конфигурации манипулятора при проведении исследований представлен на рис. 2.
В табл. 1 представлены угловые положения узлов группы Shoulder и узла Elbow:
1) 0 — начальное положение для антропоморфного механизма;
2) 1 — угловые положения, выставленные оператором;
3) 2 — угловые положения для конфигурации, рассчитанные согласно формуле (1);
4) 3 — угловые положения для конфигурации, рассчитанные согласно формуле (2);
5) 4 — угловые положения для конфигурации, рассчитанные через проекцию координаты на соответствующую ось с использованием формулы (1);
6) 5 — угловые положения для конфигурации, рассчитанные через проекцию координаты на соответствующую ось с использованием формулы (2);
7) 6—угловые положения, рассчитанные предлагаемым методом.
Ячейки табл. 1 Elbow и WristS содержат координаты осей этих узлов в трехмерном пространстве, полученные при применении к ним сформированных угловых положений приводов. Ячейки Elbow и WristR — информацию об
Таблица 2. Абсолютная разница координат осей узлов Elbow и WristR, полученных при расчете угловых положений их приводов рассматриваемыми методами
Положение I
Метод Угловые положения узлов Координаты узлов
Elbow WristS Elbow WristS
ShF, ° ShS, ° ElR, ° El, ° x, мм y, мм z, мм x, мм y, мм z, мм
2 0,7 4 61,67 1,04 18,87 14,01 4,17 131,75 81,01 67,06
3 0,7 8,56 55,39 1,04 32,33 26 7,97 150,49 108 77,85
4 0,7 4 61,67 1,04 18,91 14,08 4,14 131,71 81,06 67,03
5 0,7 21,81 55,39 1,04 265,04 127,84 113,97 6,98 131,41 252,23
6 0,01 0,01 0,26 0,05 0,03 0,01 0,04 0,52 0,46 0,02
Положение II
Метод Elbow WristS Elbow WristS
ShF, ° ShS, ° ElR, ° El, ° x, мм y, мм z, мм x, мм y, мм z, мм
2 0,07 0,53 8,98 1,05 4,12 0,47 0,82 41,53 7,51 2,34
3 0,07 6,07 8,98 1,05 26,57 3,17 3,89 69,8 19,09 5,17
4 0,07 0,53 8,98 1,05 4,12 0,47 0,82 41,53 7,51 2,34
5 0,07 6,07 8,98 1,05 26,57 3,17 3,89 69,8 19,09 5,17
6 0,06 0,5 0,58 0,08 1,92 0,15 0,18 0,14 0,6 0,52
Положение III
Метод Elbow WristS Elbow WristS
ShF, ° ShS, ° ElR, ° El, ° x, мм y, мм z, мм x, мм y, мм z, мм
2 4,48 15,99 60,27 1,05 26,15 21,83 61,64 60,52 39,63 173,17
3 6,59 16,28 58,92 1,05 27,43 23,65 67,2 62,29 41,86 186,75
4 4,48 15,99 60,27 1,05 26,15 21,83 61,64 539,48 39,63 173,17
5 6,59 17,43 58,92 1,05 27,67 23,92 68,3 62,52 42,44 189,07
6 0,09 0,43 1,5 0,1 0,5 0,45 0,75 0,36 0,9 0,79
угловых положениях (градусы) приводов, перемещающих соответствующие узлы в заданные точки трехмерного пространства.
Представленная таблица 2 иллюстрирует абсолютную разницу координат осей Elbow и WristR, между координатами, полученными в результате перемещения этих узлов оператором, и координатами, полученными при переводе их приводов в рассчитанные каждым из методов угловые положения. В табл. 2 не включена информация о положениях 0 и 1.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Анализ результатов, приведенных в табл. 1 и 2, дает возможность говорить о том, что предлагаемый метод расчета угловых положений приводов узлов позволяет сформировать именно заданную конфигурацию манипулятора и вывести его узлы в необходимые точки. Можно заметить, что и координаты положений узлов манипулятора, полученные при работе предлагаемого алгоритма, также отличаются от координат, которые были выведены оператором. Наибольшее расхождение полученных результатов от эталонных было получено для координаты оси узла WristS. Для компенсации этой ошибки был применен алгоритм, который так же, как и рассмотренный выше, использует матрицу взаимных положений. Для этого узел WristS необходимо перевести в его начальное положение. Затем в матрице взаимных положений, согласно условию минимума расстояний, происходит поиск значения углового положения привода. Для повышения быстродействия алгоритма было решено произвести первоначальный расчет значения углового положения привода узла WristF:
где angle — предварительно рассчитываемый угол поворота привода WristS по сагиттальной оси; nullWristF — статичный угол поворота узла WristS относительно узла WristF, рассчитываемый при инициализации программного обеспечения антропоморфного механизма; a — длина предплечья антропоморфного механизма; b — расстояние от оси узла WristF до оси WristS; c — расстояние от оси узла WristS до оси узла WristR.
Расчет углового положения привода WristR осуществляется способом, аналогичным для ElbowR. Результаты корректировки для конфигураций манипулятора, сформированных в табл. 1, представлены в табл. 3.
Строка «Разница отклонений» в табл. 3 характеризует величину и направление изменений расстояний (миллиметры) между целевыми координатами узлов манипулятора в трехмерном пространстве и их расчетными значениями, полученными до и после проведения корректировки значений для угловых положений привода WristS. Анализ представленных данных позволяет говорить о том, что использование дополнительного этапа корректировки координат позволяет переместить узлы манипулятора с большей точностью. Погрешность перемещения при этом не превышает 0,5 мм. Этот механизм можно использовать при задании большого шага поиска при формировании матриц взаимных положений. Более точная подстройка конфигурации будет происходить на дополнительном этапе корректировки. Это позволит повысить быстродействие предлагаемого алгоритма.
Таблица 3. Результаты корректировки значений угловых положений для привода WristS
Положение Положение I Положение II Положение III
Угловые положения, ° WristF WristS WristR WristF WristS WristR WristF WristS WristR
0 0,25 -0,04 0,25 -0,25 0,21 0,25 -1,5 -0,01
Ось координат, мм x У z x У z x У z
Заданная координата 394,25 239,27 338,9 222,95 116,65 185,25 598,23 493,83 246,09
До корректировки 394,77 239,73 338,92 223,09 117,25 185,78 598,59 494,73 245,3
После корректировки 394,93 239,8 338,88 222,08 117,03 185,45 598 494,15 246,13
Отклонение по оси координат, мм x У z x У z x У z
До корректировки 0,52 0,46 0,02 0,14 0,6 0,53 0,36 0,9 0,79
После корректировки 0,68 0,53 0,02 0,15 0,38 0,2 0,23 0,32 0,04
Разница отклонений -0,16 -0,07 0 -0,01 0,22 0,33 0,13 0,58 0,75
ВЫВОДЫ
Создан алгоритм расчета угловых положений приводов узлов манипулятора, получающий наиболее точный и предсказуемый результат (табл. 2, 3), который в итоге позволяет получить конфигурацию, заданную оператором. При этом минимизирована вероятность получения непредсказуемого результата и перемещения манипулятора робота по небезопасной для человека траектории. Отдельно отметим, что точность расчета координат при использовании предложенного алгоритма напрямую зависит от величины шага поиска (градусы), использованного при формировании матриц взаимных положений. Созданный алгоритм был программно реализован и оптимизирован на языке С++. Время его исполнения на персональном компьютере (Intel Core ¡7-4770 3.40 GHz, RAM - 16 Gb) колебалось от 5 до 8 мс, что достаточно для управления манипулятором антропоморфного робота и при управлении роботическим протезом. Точность расчета угловых положений приводов можно повысить за счет уменьшения шага при формировании матриц взаимных положений. При этом повысится объем оперативной памяти, используемой
управляющим программным обеспечением, и понизится быстродействие алгоритма. Этого можно избежать путем применения в составе управляющего программного обеспечения модификации предложенного алгоритма, которая будет осуществлять расчет угловых положений приводов манипулятора с учетом его предыдущей конфигурации. В этом случае будет существенно сужена область поиска внутри матриц взаимных положений, что приведет к более быстрому формированию команды на изменение положения от программного обеспечения, управляющего манипулятором или роботическим протезом, и повысит точность его позиционирования. Использование СТЗ в процессе работы описанного алгоритма будет сведено к контролю факта корректного выполнения действия, осуществляемого манипулятором. Это значительно упростит алгоритмическое обеспечение, снизит вычислительную нагрузку и позволит уменьшить время формирования управляющей команды. Такой подход повысит безопасность эксплуатации роботизированных устройств в процессе решения задач медицинской реабилитации, критериями выполнения которых являются быстрота реакции и точность исполнения действий.
Литература
1. Lassig R, Lorenz M, Sissimators E, Wicker I, Buchner T. Robotics Outlook 2030: How intelligence and mobility will shape the future. 2021. The Boston Consulting Group.
2. Joseph F. Robotics in Service. Engelberger, 1989; 248 p.
3. Alemzadeh H, Raman J, Leveson N, Kalbarczyk Z, Iyer RK. Adverse Events in Robotic Surgery: A Retrospective Study of 14 Years of FDA Data. PLOS ONE. 2016; 11 (4): e0151470. DOI: 10.1371/journal.pone.0151470.
4. Taylor GR, Kleeman L. Grasping unknown objects with a humanoid robot. 2002.
5. Kragic D, Christensen HA. Survey on Visual Servoing for Manipulation. Comput Vis Act Percept Lab. 2002; 15 p.
6. Dong G, Zhu ZH. Position-based visual servo control of autonomous robotic manipulators. Acta Astronautica. 2015; 115: 291-302. DOI: 10.1016/j.actaastro.2015.05.036.
7. Vahrenkamp N, Wieland S, Azad P, Gonzalez D, Asfour T, Dillmann R. Visual servoing for humanoid grasping and manipulation tasks. Humanoids 2008 — 8th IEEE-RAS International Conference on Humanoid Robots. 2000. DOI: 10.1109/ichr.2008.4755985.
8. Chaumette F, Hutchinson S. Visual servo control, Part I: Basic approaches. IEEE Robotics and Automation Magazine. 2006; 13 (4): 82-90.
9. Espiau B, Chaumette F, Rives P. A new approach to visual servoing in robotics. IEEE Transactions on Robotics and Automation. 1992;
8 (3): 313-26. DOI: 10.1109/70.143350.
10. Chaumette F. Potential problems of stability and convergence in image-based and position-based visual servoing. Lecture Notes in Control and Information Sciences. 66-78. DOI: 10.1007/ bfb0109663.
11. Michel H, Rives P. Singularities in the determination of the situation of a robot efector from the perspective view of 3 points. Technical Report 1850, INRIA Research, 1993.
12. Chaumette F. 2004. Image Moments: A General and Useful Set of Features for Visual Servoing. IEEE Transactions on Robotics. 20 (4): 713-23. DOI: 10.1109/tro.2004.829463.
13. Tahri O, Chaumette F. Point-based and region-based image moments for visual servoing of planar objects. IEEE Transactions on Robotics. 2005; 21 (6): 1116-27. DOI: 10.1109/TRO.2005.853500.
14. Tahri O, Mezouar Y, Chaumette F, Corke P. Decoupled Image-Based Visual Servoing for Cameras Obeying the Unified Projection Model. Robotics, IEEE Transactions on. 2010; 26: 684-97. DOI: 10.1109/TRO.2010.2051593.
15. Dementhon DF, Davis LS. Model-based object pose in 25 lines of code. International Journal of Computer Vision. 1995; 15 (1-2): 123-41. DOI: 10.1007/bf01450852.
16. Lowe DG. Three-dimensional object recognition from single two-dimensional images. Artif Intell. 1987; 31: 355-95.
17. Malis E, Chaumette F, Boudet S. 2-1/2D visual servoing. IEEE
Transactions on Robotics and Automation. 1999; 15 (2): 238-50.
18. Wilson WJ, Hulls CCW, Bell GS. Relative end-effector control using Cartesian position based visual servoing. IEEE Transactions on Robotics and Automation. 1996; 12 (5): 684-96. DOI: 10.1109/70.538974.
19. Corke PI. Visual control of robot manipulators — a review. Visual Servoing: Real-Time Control of Robot Manipulators Based on Visual Sensory Feedback. 1993; pp. 1-31.
20. Corke PI, Hutchinson SA. A new partitioned approach to image-based visual servo control. IEEE Transactions on Robotics and Automation. 2001; 17 (4): 507-15. DOI: 10.1109/70.954764.
21. Deguchi K. Optimal motion control for image-based visual servoing by decoupling translation and rotation. Proceedings. 1998 IEEE/RSJ International Conference on Intelligent Robots and Systems. Innovations in Theory, Practice and Applications (Cat. #. 98CH36190). DOI: 10.1109/iros.1998.727274.
22. Gans NR, Hutchinson SA. Stable Visual Servoing Through Hybrid Switched-System Control. IEEE Transactions on Robotics. 2007; 23 (3): 530-40. DOI: 10.1109/tro.2007.895067.
23. Kermorgant O, Chaumette F. Combining IBVS and PBVS to
ensure the visibility constraint. 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2011. DOI: 10.1109/iros.2011.6048254.
24. Pang Y, Huang Q, Jia D, Tian Y, Gao J, Zhang W. Object manipulation of a humanoid robot based on visual Servoing. 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2007. DOI: 10.1109/iros.2007.4399445.
25. Moughlbay AA, Cervera E, Martinet P. Real-time model based visual servoing tasks on a humanoid robot. Intelligent Autonomous Systems 12. Berlin, Heidelberg: Springer, 2013; c. 321-333.
26. Agravante DJ, Cherubini A, Bussy A, Kheddar A. Human-humanoid joint haptic table carrying task with height stabilization using vision. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2013. DOI: 10.1109/iros.2013.6697019.
27. Hogan N. Impedance Control: An Approach to Manipulation. American Control Conference. 1984; pp. 304-313. DOI: 10.23919/ACC.1984.4788393.
28. Aristidou A, Lasenby J. FABRIK: A fast, iterative solver for the Inverse Kinematics problem. Graphical Models. 2011; 73 (5): 243-60. DOI: 10.1016/j.gmod.2011.05.003.
References
1. Lassig R, Lorenz M, Sissimators E, Wicker I, Buchner T. Robotics Outlook 2030: How intelligence and mobility will shape the future. 2021. The Boston Consulting Group.
2. Joseph F. Robotics in Service. Engelberger, 1989; 248 p.
3. Alemzadeh H, Raman J, Leveson N, Kalbarczyk Z, Iyer RK. Adverse Events in Robotic Surgery: A Retrospective Study of 14 Years of FDA Data. PLOS ONE. 2016; 11 (4): e0151470. DOI: 10.1371/journal.pone.0151470.
4. Taylor GR, Kleeman L. Grasping unknown objects with a humanoid robot. 2002.
5. Kragic D, Christensen HA. Survey on Visual Servoing for Manipulation. Comput Vis Act Percept Lab. 2002; 15 p.
6. Dong G, Zhu ZH. Position-based visual servo control of autonomous robotic manipulators. Acta Astronautica. 2015; 115: 291-302. DOI: 10.1016/j.actaastro.2015.05.036.
7. Vahrenkamp N, Wieland S, Azad P, Gonzalez D, Asfour T, Dillmann R. Visual servoing for humanoid grasping and manipulation tasks. Humanoids 2008 — 8th IEEE-RAS International Conference on Humanoid Robots. 2000. DOI: 10.1109/ichr.2008.4755985.
8. Chaumette F, Hutchinson S. Visual servo control, Part I: Basic approaches. IEEE Robotics and Automation Magazine. 2006; 13 (4): 82-90.
9. Espiau B, Chaumette F, Rives P. A new approach to visual servoing in robotics. IEEE Transactions on Robotics and Automation. 1992; 8 (3): 313-26. DOI: 10.1109/70.143350.
10. Chaumette F. Potential problems of stability and convergence in image-based and position-based visual servoing. Lecture Notes in Control and Information Sciences. 66-78. DOI: 10.1007/ bfb0109663.
11. Michel H, Rives P. Singularities in the determination of the situation of a robot efector from the perspective view of 3 points. Technical Report 1850, INRIA Research, 1993.
12. Chaumette F. 2004. Image Moments: A General and Useful Set of Features for Visual Servoing. IEEE Transactions on Robotics. 20 (4): 713-23. DOI: 10.1109/tro.2004.829463.
13. Tahri O, Chaumette F. Point-based and region-based image moments for visual servoing of planar objects. IEEE Transactions on Robotics. 2005; 21 (6): 1116-27. DOI: 10.1109/TRO.2005.853500.
14. Tahri O, Mezouar Y, Chaumette F, Corke P. Decoupled Image-Based Visual Servoing for Cameras Obeying the Unified Projection Model. Robotics, IEEE Transactions on. 2010; 26: 684-97. DOI: 10.1109/TRO.2010.2051593.
15. Dementhon DF, Davis LS. Model-based object pose in 25 lines of code. International Journal of Computer Vision. 1995; 15 (1-2):
123-41. DOI: 10.1007/bf01450852.
16. Lowe DG. Three-dimensional object recognition from single two-dimensional images. Artif Intell. 1987; 31: 355-95.
17. Malis E, Chaumette F, Boudet S. 2-1/2D visual servoing. IEEE Transactions on Robotics and Automation. 1999; 15 (2): 238-50.
18. Wilson WJ, Hulls CCW, Bell GS. Relative end-effector control using Cartesian position based visual servoing. IEEE Transactions on Robotics and Automation. 1996; 12 (5): 684-96. DOI: 10.1109/70.538974.
19. Corke PI. Visual control of robot manipulators — a review. Visual Servoing: Real-Time Control of Robot Manipulators Based on Visual Sensory Feedback. 1993; pp. 1-31.
20. Corke PI, Hutchinson SA. A new partitioned approach to image-based visual servo control. IEEE Transactions on Robotics and Automation. 2001; 17 (4): 507-15. DOI: 10.1109/70.954764.
21. Deguchi K. Optimal motion control for image-based visual servoing by decoupling translation and rotation. Proceedings. 1998 IEEE/RSJ International Conference on Intelligent Robots and Systems. Innovations in Theory, Practice and Applications (Cat. #. 98CH36190). DOI: 10.1109/iros.1998.727274.
22. Gans NR, Hutchinson SA. Stable Visual Servoing Through Hybrid Switched-System Control. IEEE Transactions on Robotics. 2007; 23 (3): 530-40. DOI: 10.1109/tro.2007.895067.
23. Kermorgant O, Chaumette F. Combining IBVS and PBVS to ensure the visibility constraint. 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2011. DOI: 10.1109/iros.2011.6048254.
24. Pang Y, Huang Q, Jia D, Tian Y, Gao J, Zhang W. Object manipulation of a humanoid robot based on visual Servoing. 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2007. DOI: 10.1109/iros.2007.4399445.
25. Moughlbay AA, Cervera E, Martinet P. Real-time model based visual servoing tasks on a humanoid robot. Intelligent Autonomous Systems 12. Berlin, Heidelberg: Springer, 2013; c. 321-333.
26. Agravante DJ, Cherubini A, Bussy A, Kheddar A. Human-humanoid joint haptic table carrying task with height stabilization using vision. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2013. DOI: 10.1109/iros.2013.6697019.
27. Hogan N. Impedance Control: An Approach to Manipulation. American Control Conference. 1984; pp. 304-313. DOI: 10.23919/ACC.1984.4788393.
28. Aristidou A, Lasenby J. FABRIK: A fast, iterative solver for the Inverse Kinematics problem. Graphical Models. 2011; 73 (5): 243-60. DOI: 10.1016/j.gmod.2011.05.003.
