CC BY
99УДК:004.896:007.52
ПРОЕКТИРОВАНИЕ РОБОТОТЕХНИЧЕСКИХ МАНИПУЛЯТОРОВ С СИСТЕМОЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ СБОРА ТОМАТОВ
Статья поступила в редакцию 10.06.2020, в окончательном варианте — 15.09.2020.
Рыбаков Алексей Владимирович, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
кандидат физико-математических наук, директор физико-математического института, e-mail: rybakov_alex@mail.ru http://orcid.org/0000-0003-1192-0913
Лихтер Анатолий Михайлович, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а,
доктор технических наук, профессор, заведующий кафедрой общей физики, ORCID: https://orcid.org/0000-0001-9193-7998, e-mail: likhter@bk.ru
Погожева Алёна Багдасаровна, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а, ассистент, e-mail: goddess1806@mail.ru
Михайлова Анастасия Васильевна, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а, студентка, e-mail: 051098anastasiya@gmail.com
Дусалиев Амит Бекторганович, Астраханский государственный университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 20а, студент, e-mail: amit19@mail.com
Системы компьютерного зрения в последнее время находят применение в различных областях человеческой деятельности. Не является исключением и сельское хозяйство. В частности, уже достаточно долгое время разрабатываются различные методы автоматизированного сбора урожая. Однако данные методы в основном используют какие-либо маркеры или специально рассчитанную точную высадку рассады. Предлагаемый подход позволяет более гибко осуществлять сбор урожая, определяя положение плодов на основе использования системы компьютерного зрения. Приведено описание эксперимента по реализации описанного подхода с применением учебного робототехнического комплекса KUKA. Нами были проанализированы данные СТЗ, содержащие координаты центра кубика; затем рассчитаны значения погрешности в определении ординаты yc. Экспериментальные результаты и функция зависимости относительной ошибки от высоты схвата над объектом подтверждают теоретически рассчитанные значения. На основании полученных результатов был разработан программный модуль позиционирования манипулятора, в котором на вход подаются значения координат центра плода с учетом ошибки и координаты схвата робота; решаются прямая и обратная задача кинематики манипулятора - с целью подведения схвата к плоду. Полученные результаты говорят о хороших перспективах внедрения описанной технологии для выполнения операций сбора урожая.
Ключевые слова: роботизированный манипулятор, компьютерное зрение, агромехатроника, распознавание изображений, сельскохозяйственные роботы, автоматизированный сбор урожая, KUKA KR3, управление роботами, OpenCV
DESIGN OF ROBOTIC MANIPULATORS WITH COMPUTER VISION SYSTEM FOR VEGETABLES HARVESTING
The article was received by the editorial board on 10.06.2020, in the final version — 15.09.2020.
Rybakov Alexey V., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
Cand. Sci. (Physics and Mathematics), Director of the Physical and Mathematical Institute, e-mail: rybakov_alex@mail.ru
Likhter Anatoliy M., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
Doct. Sci. (Engineering), Professor, Head of the Department of General Physics, ORCID: https://orcid.org/0000-0001-9193-7998, e-mail: likhter@bk.ru
Pogozheva Alena B., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
assistant, e-mail: goddess1806@mail.ru
Mikhailova Anastasiya V., Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation,
student, e-mail: 051098anastasiya@gmail.com
Dusaliev AmitB, Astrakhan State University, 20a Tatishchev St., Astrakhan, 414056, Russian Federation, student, e-mail: amit19@mail.com
Computer vision systems have recently been used in various fields of human activity. Agriculture is no exception. In particular, various methods of automated harvesting have been developed for a long time. However, these methods mostly use some markers or specially calculated precise seedling planting. The proposed approach allows for more flexible harvesting by determining the position of the fruit based on the use of a computer vision system. The article describes an experiment on the implementation of the described approach using the KUKA educational robotic complex. We analyzed computer vision data containing the coordinates of the center of the cube; then we calculated the error values in determining the yc ordinate. The experimental results and the function of the relative error dependence on the height of the grip above the object confirm the theoretically calculated values. Based on the results obtained,a program module for positioning the manipulator was developed, in which the values of the coordinates of the center of the fetus are fed to the input, taking into account the error and the coordinates of the robot's grip; the direct and inverse problem of the manipulator's kinematics is solved in order to bring the grip to the fetus. The obtained results indicate good prospects for implementing the described technology for performing harvesting operations.
Keywords: robotic manipulator, computer vision, agromechatronics, image recognition, agricultural robots, automated harvesting, KUKA KR3, robot control, OpenCV
Graphical annotation (Графическая аннотация)
Введение. Системы компьютерного зрения в последнее время находят применение в различных областях человеческой деятельности. Не является исключением и сельское хозяйство. В частности, уже достаточно долгое время разрабатываются различные методы автоматизированного сбора урожая. Внедрение сельскохозяйственных роботов, оснащенных системами компьютерного зрения, которые нередко также называются «системами технического зрения» (СТЗ), может существенно повысить продуктивность и рентабельность отрасли, уменьшить себестоимость производства продукции.
Применение роботов в растениеводстве позволяет освободить человека от выполнения ряда монотонных производственных операций; сократить потери рабочего времени, связанные с ошибками персонала, а в случае использования робототехнических систем в теплицах - снизить вероятность их загрязнения грибками и микроорганизмами [7].
Камера Camera
х
В работе [19] исследован потенциал использования «роботизированной руки» в садоводческих операциях, особенно при уборке урожая. Авторами дана количественная оценка потенциальных затрат, оценена экономия трудозатрат и определена продолжительность сезона сбора урожая как ключевая переменная прибыльности. Авторы пришли к выводу, что роботизированный комбайн может быть экономически целесообразным для сельскохозяйственных культур с длительным сезоном сбора урожая, таких как помидоры с контролируемой средой выращивания.
Арндт и др. [9] и Клари и др. [12] рассмотрели задачу определения процентной доли стручков спаржи, которая должна быть собрана с помощью средств автоматизации, чтобы обеспечить безубыточность при дополнительном ручном сборе урожая.
Арндт и др. [9] показали, что даже при урожае спаржи сорта № 1 на уровне 28 % и сорта № 2 на уровне 15 % комбайн обеспечивал экономические преимущества по сравнению с затратами на ручной сбор урожая. Авторы выявили, что комбайн экономически эффективен, если процент роботизированного сбора урожая составляет 70-80 % от ручного сбора.
Сембали и соавт. [13] сосредоточились на изменении интервала сбора урожая с помощью средств автоматизации. Они обнаружили, что если стоимость ручного сбора урожая увеличивается с 0,51 до 0,60 долл. ^$/кг, то коэффициент безубыточности, который показывает количество сделок, при которых посредник не получит прибыль, но и не будет в убытке, снижается с 70 до 61 %.
Рум [18] обосновал, что автоматизированный сбор спаржи может сыграть важную роль в снижении себестоимости производства, но только при условии значительных капиталовложений. Он отметил, что капитальные затраты на автоматизированные комбайны для обработки 50 га спаржи составляют 100 000 евро. Он также указал, что полностью автоматизированная сортировка спаржи была бы экономически целесообразной, если бы ее производительность составляла 1600 стручков в час и выше.
Чжаном и др. [20] рассматривалась самоходная машина для сбора яблок и их сортировки в полевых условиях. Они подсчитали, что это оборудование сэкономит среднему Нью-Йоркскому яблоневому саду 149 438 долларов США, но снизит чистую прибыль среднего Калифорнийского сада на 3 381 доллар США. Разница в выгодах зависела от площади сада, уровня производства и процента переработки яблок.
Таким образом, на основании приведенных результатов исследований, становится очевидным, что внедрение роботизированных технологий сбора урожая может быть экономически оправдано. Однако, как и было указано в рассмотренной литературе [12, 13, 20], большую роль в эффективности внедрения роботизированных технологий играет увеличение точности и надежности применяемых методов и технических средств, удешевление аппаратной части.
Таким образом, задача разработки манипуляционных систем с точным позиционированием для сельскохозяйственных роботов имеет важное значение. В данной статье ставилась цель рассчитать и спроектировать модуль позиционирования робототехнического манипулятора с СТЗ для сбора томатов.
Общая характеристика предметной области исследований и выполнения разработок. Одним из способов управления манипуляторами является их позиционирование при помощи компьютерного зрения. Последнее обеспечивает решение сразу несколько задач, причем распознавание объектов считается одним из самых приоритетных. Например, в работе [14] описан роботизированный манипулятор Mitsubishi Movemaster RV-M1 со встроенной веб-камерой для обработки изображений круглых объектов. Эта система оказалась успешной при равномерном ярком освещении распознаваемых объектов распределенными источниками света. В работе [25] рассматривается мехатронная система с обработкой изображений для сортировки объектов, а в работе [24] обсуждается использование двух ПЗС-камер для решения задач сортировки лимонов. Для оценки цветового пространства лимонов было использовано программное обеспечение, написанное на языке Visual Basic 6.0. Для трех различных сортов лимона система показала успешность, при этом точность определения степени зрелости плодов, находилась в диапазоне от 86,6 до 100 %.
В работе [17] показано, что использование метода анализа в цветовом пространстве RGB также дает возможность получить хорошие результаты. Здесь применялись зеркала для оценки изображений зерен пшеницы с трех сторон, что позволило увеличить количество анализируемых признаков. Приведенные в работе результаты показывают, что увеличение числа обрабатываемых компьютером признаков изображения повышает успешность работы системы практически без увеличения вычислительных затрат. Система показала на 10 % большую точность, чем обычные сортировщики по одному признаку сортируемых объектов.
В работе [15] описана сортировочная система, использующая автоматизированный визуальный контроль для удаления загрязнений из шерсти. Точность определения загрязненной шерсти при различных режимах работы конвейера и размещении исследуемых объектов составила от 75 до 100 %.
В статье [10] изучались различные методы распознавания изображений для сортировки изюма. Система, способная классифицировать плоды на высоких скоростях [10], включала камеру, в которой используется система определения оттенков, насыщенности и интенсивности цвета. Результаты этой работы показывают, что цвета могут быть точно классифицированы только с одним параметром-оттенком, который обеспечивает на 3 порядка более быстрые классификации, чем обычная RGB-система.
В работе [16] представлена основанная на зрении автономная система сортировки объектов с использованием роботизированного манипулятора. Роботизированная рука Scorbot-ER 3 была модифицирована с помощью дополнительной камеры и маркеров, что позволило расширить возможности системы. В ходе этого исследования был использован промышленный робот Scorbot-ER 9Pro, а на держателе камеры, изготовленном на 3D-принтере, была установлена USB-камера. Этот держатель был установлен на захвате робота. Задачи проекта заключались в следующем: определить спецификацию объекта с помощью методов обработки изображений; установить интерфейс между MATLAB и ACL Scrobot; выбрать и разместить объекты на основе размера, цвета и формы. Фотографии объектов были сделаны с помощью инструмента обработки изображений в MATLAB. После обнаружения тестовых предметов, имеющих различную геометрическую форму (цилиндры, параллелепипеды) были определены координаты их центроидов. Контроль положения робота был ключевой задачей в этом исследовании, поскольку он был интегрирован с несколькими программными системами. Обработка изображений осуществлялась в цветовых пространствах RGB и HSV. После этого использовались цветовые маски и выделялись контуры предметов, которые затем накладывались на исходное изображение. Сообщается, что этот подход обеспечивает точность, т.е. отношение числа отсортированных системой объектов к числу объектов, отсортированных человеком-экспертом, равную 96 %.
Разработанные системы были проверены в идеализированных условиях лабораторий, при хороших условиях освещения, причем объекты располагались на одной плоскости - поверхности конвейера. Задача практического применения систем компьютерного зрения в реальных условиях тепличного хозяйства или, что еще более сложно, в условиях открытого грунта, остается актуальной и требует разработки новых алгоритмов и методов. Дополнительный интерес представляет размещение таких систем на мобильных роботах, оснащенных роботизированными манипуляторами.
Общая концепция и особенности описываемой разработки. Конкретной целью нашего исследования является оценка возможности применения методов определения позиции захватываемого объекта с использованием СТЗ и библиотек с открытым кодом; поиск путей повышения точности определения требуемых характеристик объектов, в том числе и их координат.
Концепцию роботизированного сбора урожая с помощью мобильных роботов, оснащенных манипуляторами, можно пояснить с использованием рисунка 1.
Рисунок 1 - Схематичное изображение мобильного робота для сбора урожая
На рисунке 1 показана мобильная робототехническая платформа «1» с установленным на ней манипулятором «3», оснащенным специализированным схватом «4» и СТЗ «5». Последняя представляет собой видеокамеру и ультразвуковой дальномер, подключенные к блоку управления «2». Видеокамера и дальномер обладают определенным углом обзора «6» и предназначены для обеспечения точного сближения схвата с плодом, расположенным на стебле растения «7». В данной работе мы не рассматриваем управление мобильной роботизированной платформой, а сосредоточимся на управлении манипулятором с использованием системы компьютерного зрения. Основными задачами в этом случае являются следующие: точное определение позиций плодов; тра-екторное управление перемещением схвата манипулятора; осуществление операции отделения плода от стебля. Последняя задача связана с разработкой особой конструкции захватного устройства и в рамках данной статьи не рассматривается.
6
7
Эксперименты по применения системы компьютерного зрения для управления манипулятором проводились на базе роботизированной учебной ячейки KUKA, приобретенной в рамках проекта Erasmus + FARmER [11]. Учебная ячейка на базе KUKA KR3 AGILUS (рис. 2) представляет собой манипулятор с 6-ю степенями свободы и контроллером управления. Устройство включает в себя мобильное основание с защитным экраном и дополнительной тренировочной оснасткой в комплекте. Столешница мобильного основания содержит специальную разметку для отработки упражнений.
Рисунок 2 - Внешний вид роботизированной ячейки КиКА
Структурная схема разработанной системы представлена на рисунке 3.
Питание Робототехнический комплекс KUKA
Рисунок 3 - Структурная схема комплекса с СТЗ
Закрепление видеокамеры производилось с использованием специально спроектированного и распечатанного на 3D-принтере держателя.
Поскольку внешняя среда, в которой работает манипулятор трехмерная, то сенсорное обеспечение систем управления должно иметь возможность давать именно 3D-информацию об этой среде и об отдельных объектах [2]. Существуют три основных способа получения информации о трехмерной сцене:
1. На основе двумерного образа по взаимному видимому расположению отдельных объектов дается оценка третьей координаты. Такие системы получили название 2,5-мерные (2,5D).
2. Монокулярная СКЗ дополняется каким-либо дальномером, который определяет третью координату - дальность (расстояние) до объекта.
3. Стерео СКЗ, содержащая две видеокамеры, разнесенные на определенное расстояние (базу) в плоскости, перпендикулярной третьей координате - дальности до объекта.
Способ «1» оценки глубины сцены наиболее прост. Он основан на использовании следующих приемов:
• оценка расстояния до предмета на основе знания его размеров;
• использование при наложении изображений непрозрачных объектов друг на друга того очевидного факта, что предмет, закрывающий другой предмет, находится ближе.
• использование эффекта перспективы, заключающегося в визуальном сближении двух уходящих вдаль параллельных линий;
• анализ световых эффектов теней от объектов, бликов, и т. п.
Способ 2 - это комплексирование, т.е. когда третья координата определяется не СКЗ, а другой системой.
Способ 3 - стереосистемы. Две видеокамеры, разнесенные на определенное расстояние - базу, позволяют сформировать общее трехмерное изображение видимой сцены. Количественная оценка дальности до отдельных объектов может быть определена как высота треугольника, образованного базой и направлениями от каждой камеры на этот объект. Для этого надо знать только угол между этими направлениями.
По результатам анализа этих трех способов нами была выбрана монокулярная СКЗ.
Для анализа изображения с целью определения координат и размеров объектов на нем может использоваться, например, функция m, которая вычисляет моменты изображения с точностью до 3-го порядка векторной или растровой формы. Моменты изображения (англ. image moments) в компьютерном зрении, обработке изображений и смежных областях - это некоторые частные средневзвешенные значения интенсивностей пикселей изображения, или функции таких значений. [4].
В самом общем смысле момент функции - это некая скалярная величина, которая характеризует эту функцию и может быть использована для артикуляции её важных свойств. С математической точки зрения набор моментов является в некотором смысле «проекцией» функции на полиномиальный базис. Он аналогичен преобразованию Фурье, которое представляет из себя проекцию функции на базис из гармонических функций [21].
В случае растрового изображения пространственные моменты вычисляются, как показано в [4] по:
п
mpq= ^1(х,у)хРуЧ, (1)
i=l
где p и q - порядок возведения в степень соответствующего параметра при суммировании, n -число пикселей контура; I(x,y) -- значение функции интенсивности в точке (x,y)
Центральные моменты рассчитываются как: [4]
mUpq
= ^/(*,уХ*-*с)р(У-УС)", (2)
i=i
где xc и yc - координаты центра масс,
т10
хс =-, (3)
™оо тП1
Ус = -21, (4)
™оо
где m00 равен длине всех пикселей контура. Вернее было бы сказать - площадь, но так как мы рассматриваем не полигон, а границу, то уместно вести речь о длине; m01 и m10 равны пространственным моментам при p = 0 и q = 1; p = 1 и q = 0 соответственно
Нормализованные центральные моменты mN рассчитываются как: [4]
т = т"рд (5)
'"-Npq p+q ■ (J)
rn 2
Апробация выполненной разработки. Для обоснования возможности использования системы в реальных условиях была апробирована программа определения границ плодов томатов и координат их центров на изображениях разрешением 800 на 600 пикселей, полученных из реальной (работающей) теплицы. Результаты представлены на рисунке 4.
Рисунок 4 - К проверке работы программного обеспечения на фотографиях реальных тепличных комплексов
На рисунке синими кривыми обозначены контуры объектов, выделяемые на основе методики цветовых фильтров, описанной в [22, 26]. Желтыми кружками обозначены центры масс изображений объектов. Красный эллипс окружает только плоды подходящего размера, указывая роботу потенциальные объекты для сбора.
Параметры цветового фильтра подбираются на основании освещенности на конкретном объекте и требований агрономов к спелости собираемых плодов. Задача сбора плодов решается подведением схвата манипулятора на расстояние, равное радиусу плода, к плоскости, проходящей через центр томата. Далее в работу включается ультразвуковой датчик расстояния и происходит захват и снятие плода.
Для подведения схвата манипулятора к центру плода необходимо решить обратную позиционную задачу для шестизвенного манипулятора. Такое количество звеньев является стандартным для промышленных манипуляторов КиКА. Данные манипуляторы хорошо зарекомендовали себя для решения производственных задач [28], обладают высокой надежностью; стойки к критическим условиям эксплуатации. При этом шестизвенная конструкция обеспечивает высокую подвижность схвата, необходимую для исключения повреждений плодов во время выполнения операций сбора.
Для оценки погрешности определения координат центра объекта были выполнены описываемые ниже геометрические построения, отражающие ошибку в определении координат центра плода при смещении камеры относительно осевой линии DE (рис. 6).
В этой геометрической интерпретации мы используем следующие параметры: DB = Н, ВЕ = h, DA = f, DD' = L, GK = I, Н - высота схвата манипулятора над объектом, L - смещение объекта от нормальной линии камеры, f - фокус камеры, I - размер изображения на матрице камеры, И - высота объекта.
Р О' С К
Рисунок 6 - Геометрическая интерпретация вывода формулы для вычисления ошибки позиционирования схвата
Исходными данными для расчетов были следующие: размеры рабочей зоны роботизированной ячейки, положение камеры, фокусное расстояние камеры и размер тестируемого объекта. Внешний вид манипулятора с закрепленной на нем камерой показан на рисунке 7, а вид с камеры - на рисунке 8.
Рисунок 7 - Внешний вид захвата манипулятора с захваченным объектом
Рисунок 8 -Захват объекта с помощью манипулятора (вид с камеры)
Расчеты погрешности определения координат с применение СТЗ проводились с использованием Mathcad15. Зависимость изменения линейного размера боковой поверхности (например, ребра куба) изображения от высоты камеры над объектом может быть описана формулой:
_К_я) =
J(fíX/y [(Я - /)2 + (Я + k - /)2 + 2¿2) - - /)2 + ¿W№ + - /)2 +l?cos (arctan (g^) - arelan (^))]. (6)
С учетом параметров камеры и геометрического решения задачи (рис. 6) была найдена погрешность s(H) определения пространственных координат, а затем построен график ее зависимости от высоты схвата над объектом (рис. 9).
= 1(ну(н-гу ioo% (7)
Следующей задачей является управление манипулятором в зависимости от положения схвата относительно центра плода. Матрица TN, определяющая положение и ориентацию схвата, имеет вид:
TN = А±А2 ... AN_1AN, (8)
где Ai = Ai(qi) - матрицы перехода от i-й к (i - 1)-й системе координат манипулятора.
Обратную позиционную задачу, или обратную задачу о положении, формулируют следующим образом. При заданном положении и ориентации схвата с использованием вектора s = s* или матрицы TN = Т* найти обобщенные координаты q* = (q¡*, q2*, ..., qN*)T [23].
з
а
05
0.1
0.15 Н
0.2
0.25
Рисунок 9 - Результаты расчета погрешности определения координат центра плода Если обозначить
* = fs(q)
или
TN = fT(q),
то искомые углы q* будут задаваться соотношением
9*=/jV)
или
4* = fri(JN*)-
(9) (10) (11) (12)
Результаты расчетов с использованием Mathcad 15 были проверены на роботизированной ячейке KUKA. На рисунке 10 представлены изображения объекта (оранжевый кубик) и их контуры, выделяемые на основе цветовых признаков.
Рисунок 10 - Захват изображения с видеокамеры, размещенной на манипуляторе: а) центр кубика определяется как центр масс изображения; б) центр кубика определяется как точка пересечения диагоналей верхней стороны кубика
Манипулятор с видеокамерой перемещается в пространстве учебной ячейки, смещаясь «сверху вниз» и «слева направо» за промежуток времени около 6 секунд (рис. 11).
300 250 о 200 =г га 150 g ^ 100 50
3 Й Координаты центра масс изображения Время, мс Координаты центра плоского изображения
Рисунок 11 - Изменение позиции схвата манипулятора с камерой
Нами были проанализированы данные СТЗ, содержащие координаты центра кубика; затем рассчитаны значения погрешности в определении ординаты ус (рис. 12). Экспериментальные результаты и функция зависимости относительной ошибки от высоты схвата над объектом подтверждают теоретически рассчитанные значения.
• Данные видеозахвата ......... Аппроксимированная кривая
18
ей
"16 _
л
го
О •• •
о аша
70 80 90 100 110 120 130 140 150 160
Высота над объектом Н, мм Рисунок 12 - Результаты определения координат с использованием СКЗ
Точность позиционирования манипулятора оценивается его погрешностью позиционирования [1, 3], т.е. отклонением фактического положения выходного звена исполнительного механизма от установившегося значения (рис. 13).
Погрешность позиционирования робота зависит от многих факторов: от точности обработки системой управления [3, 1]; управляемых обобщенных координат исполнительного механизма; точности обработки деталей конструкции; деформации звеньев основного и передаточного механизмов и других факторов.
Практически важной является задача распределения ошибки позиционирования, обычно задаваемой выполняемой технологической операцией, на допустимые ошибки отработки приводами и системой управления. В случае модульных промышленных роботов речь идет о назначении допустимых ошибок позиционирования модулей. Эта задача является достаточно неопределенной, так как заданную точность позиционирования робота можно обеспечить, по-разному устанавливая предельные ошибки модулей.
Заданная траектория
Момент внешней
нагрузки
Фактическая траектория
Рисунок 13 - Общая функциональная схема управления сочленениями звеньев манипулятора
Одно из решений может быть построено на основе принципа равного влияния ошибок модулей на ошибку позиционирования схвата. Пусть величина предельной абсолютной погрешности робота задана. Тогда:
^57=10*1^-1- (13}
Все слагаемые суммарной погрешности позиционирования от ошибок модулей должны быть равны.
Тогда
£1 * ^1 = 13 *1 = £1 *|Л[?а 1=13 *|Лч*1=(и)
где Ад], ¿1дз, /1д„ - ошибки обобщенных координат; г - радиус-вектор произвольной точки захватного устройства.
На основании полученных результатов был разработан программный модуль позиционирования манипулятора. Его блок-схема представлена на рисунке 11. В ней на вход подаются значения координат центра плода с учетом ошибки и координаты схвата робота; решаются прямая и обратная задача кинематики манипулятора с целью подведения схвата к плоду.
Рисунок 11 - Блок схема программного модуля позиционирования КХЖА КПЗ
Данная схема может быть применена для точного позиционирования робототехнических манипуляторов, использующих СТЗ.
Выводы:
1. Для сбора томатов можно использовать роботизированные комплексы, оснащенные многозвенными манипуляторами. В этом случае точность определения координат центра объекта, обнаруживаемого СТЗ, зависит от многих факторов, таких как освещенность, параметры камеры и т.д.
2. В данной статье мы предложили подход к определению координат центра плода томата; оценили зависимость погрешности определения координат центра объекта от расстояния между ним и объективом видеокамеры.
3. Эта погрешность возрастает нелинейно в зависимости от расстояния и для параметров нашей системы составляет около 0,3-1,2 %.
4. Для позиционирования робототехнических манипуляторов с использованием СТЗ может быть применен программный модуль, предложенный в данной работе.
Библиографический список
1. Демидович Б.П. Основы вычислительной математики / Б. П. Демидович, И. А. Марон. - Москва : Физма-тгиз, 1963. - 660 с.
2. Зенкевич С. Л. Основы управления манипуляционными роботами : учебник для вузов / С. Л. Зенкевич, А. С. Ющенко. - 2-е изд., испр. и доп. - Москва : Изд-во МГТУ им. Н. Э. Баумана, 2004. - 480 с.
3. Козырев Ю. П. Промышленные роботы агрегатно-модульного типа / Ю. П. Козырев, Е. И. Воробьев. -Москва : Машиностроение, 1988. - 240 с.
4. Кеннет Д. A. Practical Introduction to Computer Vision with OpenCV / Д. A. Кеннет. - 2014. - С. 237-241.
5. Козырев Ю. П. Промышленные роботы : справочник / Ю. П. Козырев. - Москва : Машиностроение, 1983. - 376 с.
6. Лурье А. И. Аналитическая механика : справочник / А. И. Лурье. - Москва : Физматгиз, 1961. - 824 с.
7. Рыбаков А. В. Перспективы использования мобильных роботов с системами технического зрения в сельском хозяйстве / А. В. Рыбаков, З. М. Ходарова // Симметрии: теоретический и методический аспекты : сборник научных трудов VII Международной научно-практической конференции. - 2018. - С. 39-46.
8. Хорн Б. К. Зрение роботов : пер. с англ. / Б. К. Хорн. - Москва : Мир, 1989. - 487 с., ил.
9. Arndt G., Rudziejewski R., & Stewart V A. On the future of automated selective asparagus harvesting technology / G. Arndt, R. Rudziejewski & V A.Stewart // Computers and Electronics in Agriculture. - 1997. - № 16 (2). - С. 137-145. https://doi.org/10.1016/S0168-1699(96)00033-6.
10. Abbasgholipour M. Color image segmentation with genetic algorithm in a raisin sorting system based on machine vision in variable conditions / M. Abbasgholipour, M. Omid, A. Keyhani and S. Mohtasebi // Expert Systems with Applications. - 2011. - Vol. 38, no. 4. - P 3671-3678.
11. Ali Md. K. Vision-based Robot Manipulator for Industrial Applications / Md. K. Ali, K. Aizat, T. Yerkhan, O. Zhandos // Procedia Computer Science. - № 133. - Р. 205-212. https://doi.org/10.1016/j.procs.2018.07.025.
12. Clary C. Performance and economic analysis of a selective asparagus harvester / C. Clary, T. Ball, E. Ward, S. Fuchs, J. Durfey, R. Cavalieri et al. Applied Engineering in Agriculture. - 2007. - № 23 (5). - Р 571-577. https://doi.org/10.13031/2013.23665.
13. Cembali T. Economic comparison of selective and nonselective mechanical harvesting of asparagus / T. Cembali, R. J. Folwell, C. Clary & M. Mari // International Journal of Vegetable Science. - 2008. - № 14 (1). - Р. 4-22. https://doi.org/10.1080/19315260801890476.
14. Djajadi A. A model vision of sorting system application using robotic manipulator / A. Djajadi, F. Laoda, R. Rusyadi, T. Prajogo and M. Sinaga // Journal.uad.ac.id. - 2017. - Режим доступа: http://joiurnal.uad.ac.id/index.php /TELKOMNIKA/article/view/615/424, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 21.09. 2017).
15. Flusser J. What are moments? / J. Flusser, T. Suk, Б. Zitová // Moments and Moment Invariants in Pattern Recognition. - John Wiley & Sons Ltd, 2009. - P. 6. - ISBN 978-0-470-69987-4.
16. Kay G. A versatile color system capable of fruit sorting and accurate object classification / Kay G. and G. de Jager // Proceedings of the 1992 South African Symposium on Communications and Signal Processing.
17. Pearson T. Color image based sorter for separating red and white wheat / T. Pearson, D. Brabec and S. Haley // Sensing and Instrumentation for Food Quality and Safety. - 2008. - vol. 2, no. 4. - P. 280-288,
18. Ruhm G. Economic evaluation of various harvesting, grading and cultivation methods for asparagus / G. Ruhm // Acta Horticultural - 2004. - № 655. - Р. 503-507. https://doi.org/10.17660/ActaHortic.2004.655.61.
19. Tillett N. D. Robotic manipulators in horticulture: A review / N. D. Tillett // Journal of Agricultural Engineering Research. - 1993. - № 55 (2). - Р. 89-105. https://doi.org/10.1006/jaer.1993.1035.
20. Zhang L. Development of a Mechatronic Sorting System for Removing Contaminants From Wool / L. Zhang, A. Dehghani, Z. Su, T. King, B. Greenwood and M. Levesley // IEEE/ASME Transactions on Mechatronics. - 2005. -Vol. 10, no. 3. - P. 297-304,
21. Олег Евсегнеев. Класс робототехники. Автоматическое слежение за оранжевым шариком / Олег Евсегне-ев. - Режим доступа: http://robotclass.ru/tag/opencv/, свободный. - Заглавие с экрана. - Яз. рус.
22. Нахождение контуров и операции с ними. - Режим доступа: http://robocraft.ru/blog/computervision/640.html
23. Fostering internationalisation in AgRicultural Engineering in Iran and Russia (FARMER) 585596-EPP-1-2017-1-DE-EPPKA2-CBHE-JP. - Режим доступа: http://asu.edu.ru/mejdunarodnaya-deyatelinost/9588-sodeistvie-internacionalizaciia-agroinjenernogo-obrazovaniia-v-rossii.html, свободный. - Заглавие с экрана. - Яз. рус.
24. Khojastehnazhand M. Development of a lemon sorting system based on color and size / M. Khojastehnazhand. -Режим доступа: http://www.academicjournals.org/article/article1380110185_Khojastehnazhand%20et%20al.pdf, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 21.09. 2017).
25. Object Sorting System Using Robotic Arm, Journaldatabase.info, 2013. - Режим доступа: http://journaldatabase.info/articles/object_sorting_system_using_robotic.html, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 21.09.2017).
26. OpenCV 2.4.13.7 documentation. OpenCV API Reference. Image Processing. - Режим доступа: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=moments#mo ments, свободный. - Заглавие с экрана. - Яз. англ.
27. System Using Robotic Arm, Journaldatabase.info, 2013. - Режим доступа: http://journaldatabase.info/articles/object_sorting_system_using_robotic.html, свободный. - Заглавие с экрана. - Яз. англ. (дата обращения: 21.09.2017).
28. KUKA KR QUANTEC выполняет загрузку и разгрузку инструментального станка на собственном заводе. - Режим доступа: https://www.kuka.com/ru-ru/отрасли/база-данн^Iх-решений/2016/06/solution-robotics-kuka, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 21.06.2016).
References
1. Demidovich B. P., Maron I. A. Osnovy vychislitelnoy matematiki [Fundamentals of Computational Mathematics]. Moscow, Fizmatgiz Publ., 1963. 660 p.
2. Zenkevich S. L., Yushchenko A. S. Osnovy upravleniya manipulyatsionnymi robotami [Fundamentals of manual robot control]. 2nd ed., rev. and add. Moscow, N. E. Bauman Moscow State Technical University, 2004. 480 p.
3. Kozyrev Yu. P., Vorobev E. I. Promyshlennye roboty agregatno-modulnogo tipa [Industrial robots of modular type]. Moscow, Mashinostroenie Publ., 1988. 240 p.
4. Kennet D. A. Practical Introduction to Computer Vision with OpenCV. 2014, pp. 237-241.
5. Kozyrev Yu. P. Promyshlennye roboty : spravochnik [Industrial robots : directory]. Moscow, Mashinostroenie Publ., 1983. 376 p.
6. Lure A. I. Analiticheskaya mekhanika : spravochnik [Analytical mechanics : directory]. Moscow, Fizmatgiz Publ., 1961. 824 p.
7. Rybakov A. V, Khodarova Z. M. Perspektivy ispolzovaniya mobilnykh robotov s sistemami tekhnicheskogo zre-niya v sel'skom khozyajstve [Prospects for the use of mobile robots with vision systems in agriculture]. Simmetrii: teoret-icheskiy i metodicheskiy aspekty : sbornik nauchnykh trudov VII Mezhdunarodnoy nauchno-prakticheskoy konfer-entsii [Symmetries: theoretical and methodological aspects: collection of scientific papers of the VII International Scientific and Practical Conference], 2018, pp. 39-46.
8. Khorn B. K. Zrenie robotov [Vision of robots]. Moscow, Mir Publ., 1989. 487 p.
9. Arndt G., Rudziejewski R. & Stewart V A. On the future of automated selective asparagus harvesting technology Computers and Electronics in Agriculture, 1997, no. 16 (2), pp. 137-145. https://doi.org/10.1016/S0168-1699(96)00033-6.
10. Abbasgholipour M., Omid M., Keyhani A. and Mohtasebi S. Color image segmentation with genetic algorithm in a raisin sorting system based on machine vision in variable conditions. Expert Systems with Applications, 2011, vol. 38, no. 4, pp. 3671-3678.
11. Ali Md. K., Aizat K., Yerkhan T., Zhandos O.Vision-based Robot Manipulator for Industrial Applications. Procedia Computer Science, no. 133, pp. 205-212. https://doi.org/10.1016/j.procs.2018.07.025.
12. Clary C., Ball T., Ward E., Fuchs S., Durfey J., Cavalieri R., et al. Performance and economic analysis of a selective asparagus harvester. Applied Engineering in Agriculture, 2007, no. 23 (5), pp. 571-577. https://doi.org/10.13031/2013.23665.
13. Cembali, T., Folwell R. J., Clary C. & Mari M. Economic comparison of selective and nonselective mechanical harvesting of asparagus. International Journal of Vegetable Science, 2008, no. 14 (1), pp. 4-22. https://doi.org/10.1080/19315260801890476.
14. Djajadi A., Laoda F., Rusyadi R., Prajogo T. and Sinaga M. A model vision of sorting system application using robotic manipulator. Journal.uad.ac.id, 2017. Available at: http://journal.uad.ac.id/index.php/TELKOMNIKA /article/view/615/424 (accessed 21.09.2017).
15. Flusser J., Suk T., Zitova E. What are moments? Moments and Moment Invariants in Pattern Recognition, John Wiley & Sons Ltd, 2009, p. 6. ISBN 978-0-470-69987-4.
16. Kay G. and JagerG. de. A versatile color system capable of fruit sorting and accurate object classification. Proceedings of the 1992 South African Symposium on Communications and Signal Processing.
17. Pearson T., Brabec D. and Haley S. Color image based sorter for separating red and white wheat. Sensing and Instrumentation for Food Quality and Safety, 2008, vol. 2, no. 4, pp. 280-288.
18. Ruhm G. Economic evaluation of various harvesting, grading and cultivation methods for asparagus. Acta Horti-culturae, 2004, no. 655, pp. 503-507. https://doi.org/10.17660/ActaHortic.2004.655.61.
19. Tillett N. D. Robotic manipulators in horticulture: A review. Journal of Agricultural Engineering Research, 1993, no. 55 (2), pp. 89-105. https://doi.org/10.1006/jaer.1993.1035.
20. Zhang L., Dehghani A., Su Z., King T., Greenwood B. and Levesley M. Development of a Mechatronic Sorting System for Removing Contaminants From Wool. IEEE/ASME Transactions on Mechatronics, 2005, vol. 10, no. 3, pp. 297-304.
21. Oleg Evsegneev. Robotics class. Automatic tracking of the orange ball. Available at: http://robotclass.ru/tag/opencv/
22. Finding contours and operations with them. Available at: http://robocraft.ru/blog/computervision/640.html
23. Fostering internationalisation in AgRicultural Engineering in Iran and Russia (FARMER) 585596-EPP-1-2017-1-DE-EPPKA2-CBHE-JP. Available at: http://asu.edu.ru/mejdunarodnaya-deyatelinost/9588-sodeistvie-internacionalizaciia-agroinjenernogo-obrazovaniia-v-rossii.html
24. Khojastehnazhand M. Development of a lemon sorting system based on color and size. Available at: http://www.academicjournals.org/article/article1380110185_Khojastehnazhand%20et%20al.pdf (accessed 21.09.2017).
25. Object Sorting System Using Robotic Arm, Journaldatabase.info, 2013. Available at: http://journaldatabase.info/articles/object_sorting_system_using_robotic.html (accessed 21.09.2017).
26. OpenCV 2.4.13.7 documentations OpenCV API Reference. Image Processing. Available at: https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=moment s#moments
27. System Using Robotic Arm, Journaldatabase.info, 2013. Available at: http://journaldatabase.info/articles/object_sorting_system_using_robotic.html (accessed 21.09.2017).
28. KUKA KR QUANTEC loads and unloads the tooling machine in its own factory. Available at: https://www.kuka.com/ru-ru/oTpacnH/6a3a-gaHH^ix-pemeHHH/2016/06/solution-robotics-kuka (accessed 21. 06.2020).
