CC BY
0
Разработка цифрового двойника роботизированного манипулятора
А.В. Абузов, А.В. Зинкевич, А.А. Мартынов Тихоокеанский государственный университет, Хабаровск
Аннотация: Рассмотрен процесс создания агрегированного цифрового двойника для физического прототипа манипулятора с грузозахватным механизмом. Для решения задачи управления узлами системы была использована свободно распространяемая программная платформа Robot Operating System (ROS), в частности, пакеты Movelt для управления манипулятором, OpenCV для компьютерного зрения и RViz для визуализации. Приведено описание физического прототипа и этапов создания модели робототехнического комплекса в виде URDF-файлов. Разработанная система создает уровень абстракции между аппаратным и программным обеспечением, что позволяет исследовать новые технологические решения в области автоматизации процессов транспортно-грузовых систем.
Ключевые слова: машинное зрение, робототехника, цифровой двойник, система управления, манипулятор, ROS.
Введение
Все больше оборудования и технических систем перестают быть просто объектами физического мира и получают точную виртуальную копию. Цифровые двойники воссоздают в виртуальной среде движения, силы и взаимодействия, которые могут быть характерны для объектов в материальном мире [1]. Благодаря этому пользователи могут взаимодействовать с динамическим BD-контентом, который в реальном времени реагирует на их действия. В такой виртуальной среде можно эффективно имитировать реальные условия, а также всевозможные сценарии и обстоятельства [2].
Робототехника и машинное зрение представляют собой одни из наиболее перспективных и динамично развивающихся направлений современной науки и технологий. Интеграция манипуляторов с системами технического зрения и управления является одной из ключевых задач в области современной робототехники [3]. Такая интеграция позволяет
роботам не только воспринимать окружающую среду и анализировать визуальные данные, но и принимать решения на основе полученной информации, что существенно расширяет их функциональные возможности. Большинство таких систем управления разрабатывается на базе операционной системы для роботов ROS (Robot Operating System).
В работе авторы использует технологию создания агрегированного цифрового двойника (Digital Twin Aggregate), который представляет собой вычислительную систему, объединяющую цифровые двойники и реальные объекты, обеспечивая их централизованное управление и обмен данными внутри системы. На рис. 1 представлена общая схема вычислительной системы, основанная на ROS и включающая получение данных с камеры, поиск объекта для захвата его грейфером, а также планирование траектории манипулятора как в цифровой, так и в реальной среде.
Рис. 1. - Общая схема вычислительной системы цифрового двойника манипулятора
и
В общем случае цифровой двойник зависит от свойств физической сущности, для которой необходимо сделать виртуальную копию [4]. Процесс создания цифровой копии всегда начинается с обследования объекта, изучения всех его свойств и особенностей функционирования. На этом этапе создается BD-модель будущего цифрового двойника. Она статичная и показывает то, как устроен объект, как расположены в пространстве его элементы. Затем статичную модель превращают в динамическую. В этом случае связующим звеном между физическим объектом и его цифровой копией чаще всего служит интернет вещей (Internet of Things) или иной канал передачи данных.
Платформа ROS
ROS основан на модульной архитектуре, где программное обеспечение организуется в виде набора узлов [5]. Узлы представляют собой независимые процессы, выполняющие конкретные задачи. Обмен данными между узлами ROS основан на модели публикации и подписки. Эта модель позволяет узлам обмениваться данными через топики. Узлы, выполняющие различные функции в системе, могут публиковать данные на определенные топики, а другие узлы могут подписываться на эти топики для получения и использования этих данных [6]. На рис. 2 представлен процесс взаимодействия устройств системы с ROS.
Рис. 2. - Процесс взаимодействия устройств системы с ROS
Компоненты физического прототипа
Физический прототип системы управления роботизированными устройствами с использованием ROS включает несколько ключевых компонентов и интерфейсов. На рис. 3 представлен контроллер LSC-6: Hiwonder 6 CH Bluetooth 4.0 Servo Controller Module.
Рис. 3. - Контроллер LSC-6
Этот контроллер подключается к ПК через micro USB интерфейс, что позволяет не только передавать данные и команды между контроллером и компьютером, но и обеспечивает его питание. Контроллер поддерживает управление до шести серводвигателями и имеет встроенный Bluetooth 4.0 модуль для беспроводного управления.
В системе используются три типа цифровых серводвигателей. Серводвигатель LDX-218 вращается со скоростью 0,16 секунды на 60 градусов при напряжении 7,4 В и развивает крутящий момент до 17 кг-см. Он обеспечивает диапазон вращения от 0 до 180 градусов и оснащён металлическими шестернями и двойным валом для повышения прочности и надежности. Серводвигатель LD-1501 MG имеет такую же скорость вращения и максимальный крутящий момент до 17 кг-см при 7,4 В, с аналогичным диапазоном вращения от 0 до 180 градусов, а также металлические шестерни и двойной вал. В отличие от них, серводвигатель LFD-06 имеет скорость поворота 0,25 секунды на 60 градусов при 7,4 В и крутящий момент до 6 кг-см. Он также поддерживает диапазон вращения от
0 до 180 градусов и включает защиту от блокировки и встроенное сцепление для предотвращения перегрева.
Интерфейс подключения к ROS осуществляется через последовательный порт, такой как /dev/ttyUSB0 на операционной системе Linux. Для обмена данными используется протокол UART (Universal Asynchronous Receiver-Transmitter), который обеспечивает последовательную передачу данных между ROS и контроллером.
Контроллер LSC-6 использует собственный протокол управления серводвигателями, LSC Series Servo Controller Communication Protocol v1.1, для последовательной коммуникации со скоростью передачи данных 9600 бод. Этот протокол включает команды для установки угла поворота серводвигателей, чтения их текущего состояния, настройки скорости и ускорения движения, запуска и остановки групп действий и регулировки скорости выполнения. Это позволяет точно и эффективно управлять всеми аспектами движения серводвигателей.
Получение и обработка данных с камеры
Основные задачи машинного зрения включают распознавание, отслеживание и идентификацию объектов на изображениях [7]. Сегодня для распознавания существуют как традиционные методы, включающие аффинные преобразования, бинаризацию и другие, так и современные подходы, основанные на свёрточных нейронных сетях [8].
В работе авторами был выбран простой и эффективных подход для распознавания объекта в кадре на основе традиционных методов машинного зрения. Это решение обосновано быстротой и надежностью обработки тестовых изображений, а также минимизацией вычислительных затрат.
Используемая в работе usb-камера Logitech Webcam C100, подключаемая к системе ROS, не имеет специальных требований к частоте
кадров или разрешению, однако важным моментом для начала обработки видеоинформации является ее установка. Камера устанавливается стационарно таким образом, чтобы была возможность наблюдать в кадре активную плоскость работы манипулятора. Также для корректного вычисления размера и положения объекта в кадре производится начальная оценка параметров камеры и введение калибровочных коэффициентов. Дополнительно в расчетах учитывается расстояние от заданной базовой точки манипулятора до центра кадра.
Работа по поиску объекта происходит покадрово. Каждый захваченный кадр проходит обработку, включающую преобразование в оттенки серого с применением размытия для уменьшения шума (рис. 4) и адаптивную бинаризацию для выделения контуров объектов (рис. 5). После этого контуры фильтруются по заданным параметрам площади объекта, тем самым исключаются ложные контуры. Итоговым результатом являются координаты и ориентация объекта на изображении (рис. 6).
Рис. 4. - Начальное Рис. 5. - Бинаризация Рис. 6. - Вывод размера преобразование и координат
Для обработки видеокадров в системе применяется библиотека OpenCV. Итоговые координаты и ориентация объекта на изображении передаются в топик системы ROS для последующей визуализации в RViz и планировании траектории манипулятора в пакете Moveit.
Моделирование физического прототипа
Создание статичной BD-модели манипулятора с грузозахватным механизмом (грейфером) связано с решением задачи реверс-инжиниринга имеющегося физического прототипа [9]. Получаемая модель в конечном итоге является не просто BD-поверхностью, а конструкторским изделием, учитывающим массо-инерционные характеристики манипулятора. Для решения данной задачи авторами использовался САПР SolidWorks.
Процесс создания модели манипулятора в SolidWorks включает несколько ключевых этапов, каждый из которых играет важную роль в обеспечении точности и функциональности конечной модели [10]. Процесс моделирования физического прототипа начинается с подготовки и импорта STL-файлов. Затем создается сборка, в которой происходит связывание всех деталей и их проверка на корректность сборки. Далее используется плагин SW2URDF для настройки ссылок и соединений между компонентами модели. После завершения настроек сборка экспортируется в формат URDF (Unified Robot Description Format), который используется в робототехнике и для визуализации моделей в различных симуляторах. На рис. 7 представлены физический прототип и полученная модель манипулятора.
а) б)
Рис. 7. - Физический прототип (а) и полученная модель (б) манипулятора с грейфером
Планирование траекторий движения манипулятора
Для конфигурации и управления манипулятором авторами использовался пакет в системе ROS - Movelt. Этот пакет имеет удобное API, которое можно использовать на языках С++ и Python. Также есть графический интерфейс для программы RViz.
В MoveIt передается точка в пространстве, которая является ранее определенной координатами объекта, в которую нужно переместить исполнительный элемент манипулятора [11]. Также требуется передать конфигурационные файлы, текущие положения узлов и карту препятствий, позволяющую избежать соударений при движении. После чего программа рассчитывает траекторию, состоящую из последовательных положений шарниров, пройдя которую, манипулятор сможет достичь заданной точки.
Чтобы использовать программу MoveIt для манипулятора с грейфером, необходимо создать набор конфигурационных файлов. Автоматизировать этот процесс может программа MoveIt Setup Assistant. В данную программу необходимо загрузить URDF-описание модели и выполнить следующие шаги конфигурации.
1. Создание матриц коллизий. Они показывают, какие сочленения при движении никогда не могут соприкоснуться друг с другом. Данная матрица позволяет не учитывать такие сочленения при планировании движений, тем самым ускоряя расчеты.
2. Создание групп планирования. Сочленения и шарниры объединяются в группы планирования. Например, группа планирования манипулятора начинается от основания (базы) и заканчивается на грейфере. Удобно задавать в этом случае группу планирования в виде кинематической цепи (последовательности сочленений). Для группы планирования выбирается программа-решатель задачи обратной кинематики. В текущей конфигурации выбраны две группы планирования: манипулятор и грейфер.
3. Создание начальных положений для групп планирования. Это набор значений положений шарниров для некоторых стандартных положений. В данной конфигурации выбрано одно начальное положение, когда манипулятор стоит вертикально и грейфер раскрыт.
4. Указание рабочей точки. Это конечная точка манипулятора, положение которой задается при планировании движений, как правило, последнее сочленение - грейфер.
Модель манипулятора загружается в программу RViz, где визуально можно оценить совпадения движений реального робота и модели (рис. 8).
Рис. 8. - Визуализация в RViz (а) и реальный робот (б)
В ходе испытаний требовалось переместить манипулятор в положение для захвата объекта. Визуально сравнивалось положение манипулятора и грейфера на модели и у реального робота. Полученный результат можно признать удовлетворительным.
Заключение
Разработанная система, описанная в данном исследовании, демонстрирует возможность создания эффективных взаимодействий между манипуляторами и окружающей средой. Интеграция камеры и манипулятора с использованием ROS и RViz позволяет выполнять задачи по
распознаванию и захвату объектов в реальном времени. Применение алгоритмов OpenCV для обработки изображений и Movelt для планирования траекторий движения манипуляторов показало высокую эффективность и надежность.
Результаты проведенных исследований планируются использовать в разработке программного обеспечения, необходимого для поддержки стратегического проекта «Амурский азимут технологий» в рамках программы «Приоритет-2030», направленного на создание универсальных транспортно-грузовых механизмов.
Благодарность за финансовую поддержку работы
Работа выполнена при финансовой поддержке ФГОБУ ВО ТОГУ в рамках НИР № 1.23-ТОГУ «Разработка конструкционных и технологических решений в области автоматизации процессов канатных транспортно-грузовых систем».
Литература
1. Череповская Ю.А. Цифровые двойники для управления рисками цепей поставок в условиях пандемии COVID-19 // Инженерный вестник Дона, 2021, №7. URL: ivdon.ru/ru/magazine/archive/n7y2021/7116
2. Долгова Е.В., Файзрахманов Р.А., Курушин Д.С., Федоров А.Б., Хабибулин А.Ф., Шаронов А.А. Архитектура мобильного компьютерного тренажера погрузочно-разгрузочного устройства // Инженерный вестник Дона, 2012, №4. URL: ivdon.ru/ru/magazine/archive/n4p1y2012/1327
3. Shahria, M.T., Ghommam, J., Fareh, R., Rahman, M.H. Vision-Based Object Manipulation for Activities of Daily Living Assistance Using Assistive Robot. Automation 2024, 5, pp. 68-89. URL: doi.org/10.3390/automation5020006.
4. Курганова, Н.В., Филин, М.А., Черняев, Д.С., Шаклеин, А.Г., Намиот, Д.Е. Внедрение цифровых двойников как одно из ключевых направлений
цифровизации производства // International Journal of Open Information Technologies. 2019. №5. С. 105-115.
5. Михайлова У.В., Михайлов Е.А., Сарваров А.С. Использование фреймворка ROS для разработки архитектуры системы управления роботом // Электротехнические системы и комплексы. 2013. №21. С. 117-121.
6. Quigley M., Gerkey B., Smart W. D. Programming Robots with ROS: A Practical Introduction to the Robot Operating System. O'Reilly Media, 2015. 448 p.
7. Горячкин Б.С., Китов М.А. Компьютерное зрение // E-Scio. 2020. №9. С. 317-345.
8. Сирота А.А., Митрофанова Е.Ю., Милованова А.И. Анализ алгоритмов поиска объектов на изображениях с использованием различных модификаций сверточных нейронных сетей // Вестник ВГУ. 2019. №3. С. 123-137.
9. Файзрахманов Р.А., Бакунов Р.Р., Мехоношин А.С. Создание трехмерных моделей для системы визуализации тренажерного комплекса // Вестник ПНИПУ. 2011. №5. С. 62-69.
10. Onwubolu G.C., Cahyono S. Programming Robots with ROS: A Practical
Introduction to the Robot Operating System. Boca Raton, CRC Press, 2022. 1178 p.
11. Khalil W. Modeling and Control of Manipulators-Part I: Geometric and Kinematic Models. Diss. PhD, France // Centre de recherche Inria Sophia Antipolis, 2019. 211 p.
References
1. Cherepovskaya YU.A. Inzhenernyj vestnik Dona, 2021, №7. URL: ivdon.ru/ru/magazine/archive/n7y2021/7116
M Инженерный вестник Дона, №8 (2024) ivdon.ru/ru/magazine/arcliive/n8y2024/9445
2. Dolgova E.V., Fayzrakhmanov R.A., Kurushin D.S., Fedorov A.B., Khabibulin A.F., Sharonov A.A. Inzhenernyj vestnik Dona, 2012, №4. URL: ivdon.ru/ru/magazine/archive/n4p 1y2012/1327
3. Shahria, M.T.; Ghommam, J.; Fareh, R.; Rahman, M.H. Automation 2024, 5, pp. 68-89. URL: doi.org/10.3390/automation5020006.
4. Kurganova, N. V., Filin, M. A., Chernyayev, D. S., Shaklein, A. G., Namiot, D. E. International Journal of Open Information Technologies. 2019. №5. pp. 105115.
5. Mikhaylova U. V., Mikhaylov E. A., Sarvarov A. S. Elektrotekhnicheskiye sistemy i kompleksy. 2013. №21. pp. 117-121.
6. Quigley M., Gerkey B., Smart W. D. O'Reilly Media, 2015. 448 p.
7. Goryachkin B.S., Kitov M.A. E-Scio. 2020. №9. pp. 317-345.
8. Sirota A.A., Mitrofanova E. YU., Milovanova A.I. Vestnik VGU. 2019. №3. pp. 123-137.
9. Fayzrakhmanov R.A., Bakunov R.R., Mekhonoshin A.S. Vestnik PNIPU. 2011. №5. pp. 62-69.
10. Onwubolu G.C., Cahyono S. CRC Press, 2022. 1178 p.
11. Khalil W. Centre de recherche Inria Sophia Antipolis, 2019. 211 p.
Дата поступления: 2.07.2024
Дата публикации: 8.08.2024
