CC BY
5
трунп ппти мл шины и пкпру/тпкд lüanujiui ии, машппш и иоигудиолпиг,
ХХХХХХХХХХХ для агропромышленного комплекса ХХХХХХХХХХХ
Научная статья УДК 519.81: 631.171: 004 DOI: 10.24412/2227-9407-2024-10-33-51 EDN: YHIYRS
Сравнительный анализ роботов для сбора яблок
Иршат Рашитович Кафиев1в, Петр Сергеевич Романов2, Ирина Петровна Романова3
1 Башкирский государственный аграрный университет, Уфа, Россия
23 Коломенский институт (филиал) Московского политехнического университета, Коломна, Россия 3 Московский университет им. С. Ю. Витте, г. Москва, Россия 1 kafiev02@maiLrus', https://orcid.org/0000-0003-2034-5260 [email protected], https://orcid.org/0000-0002-9969-3139 [email protected], https://orcid.org/0000-0001-5883-9907
Аннотация
Введение. В статье представлен сравнительный анализ исследовательских и коммерческих роботов для сбора яблок, проведенный с помощью методики принятия решений по выбору наилучшей технической системы по набору её количественных и качественных характеристик на основе метода спектрального анализа (МСА) и метода анализа иерархий (МАИ).
Материалы и методы. Сравнительный анализ исследовательских прототипов и коммерческих роботов проведён в два этапа. На первом роботы сравнивались на описательном (вербальном) уровне с кратким обзором их достоинств и недостатков. На втором был построен ранжированный ряд роботов и выбран наилучший из них. Результаты. В результате первого этапа анализа были выбраны количественные и качественные характеристики роботов. На втором этапе алгоритм расчетов по указанной методике был реализован на Python и на основе расчетов установлено: наилучшим исследовательским роботом оказался Michigan State University (США), худшим - Jiangsu University (Китай); наилучшим коммерческим роботом оказался Tevel Aerobotics Technologies (Израиль), худшим из рассмотренных роботов - Abundant Robotics (США).
Обсуждение. Анализ второго этапа показал, что наибольшее влияние на построение полученного обобщенного ранжированного ряда роботов (как исследовательских, так и коммерческих) по совокупности количественных и качественных характеристик оказали качественные характеристики. Причем как для исследовательских, так и для коммерческих роботов наиболее важными качественными характеристиками являются: «Манипуля-ционные системы», «Форма деревьев». Характеристика «Место укладки яблок» не играет существенной роли. Заключение. Проведенный сравнительный анализ может быть использован руководителями агропромышленных предприятий и фермерами при автоматизации процесса сбора яблок за счет применения роботов. Подход к сравнительному анализу роботов для сбора яблок, предложенный в статье, пригоден для реализации не только данного типа роботов, но и роботов, предназначенных для сбора других плодов с целью автоматизации процесса их сбора.
Ключевые слова: качественные характеристики, количественные характеристики, методика принятия решений по выбору робота, робот для сбора яблок, сбор яблок, сравнительный анализ
Для цитирования: Кафиев И. Р., Романов П. С., Романова И. П. Сравнительный анализ роботов для сбора яблок // Вестник НГИЭИ. 2024. № 10 (161). С. 33-51. DOI: 10.24412/2227-9407-2024-10-33-51. EDN: YHIYRS.
© Кафиев И. Р., Романов П. С., Романова И. П., 2024
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Вестник НГИЭИ. 2024. № 10 (160). C. 33-51. ISSN 2227-9407 (Print) Bulletin NGIEI. 2024. № 10 (160). P. 33-51. ISSN 2227-9407 (Print)
^^^WWWWW мдгтмгс л лгп слгггрмшт
двдвддо^И^вд^^ lelnwuluuizb, млсшпял л!\и equipmr,i\i jRy^yi^jsPf^
F/1D ТИС ДГВП IMTWIGTBIAI глмм ггУМЙЙЙЙЙЙЛЙЙМ
Comparative analysis of robots for apple picking
Irshat R.Kafiev1^, Petr S. Romanov2, Irina P. Romanova3
1 Bashkir State Agrarian University, Ufa, Russia
23 Kolomna Institute (branch) of Moscow Polytechnic University, Kolomna, Russia 3Moscow Witte University, Moscow, Russia 1 [email protected], https://orcid.org/0000-0003-2034-5260 [email protected], https://orcid.org/0000-0002-9969-3139 [email protected], https://orcid.org/0000-0001-5883-9907
Abstract
Introduction. The article presents a comparative analysis of research and commercial robots for apple picking, carried out using a decision-making methodology for choosing the best technical system based on a set of its quantitative and qualitative characteristics based on the spectral analysis method (SAM) and the analytic hierarchy process (AHP). Materials and methods. A comparative analysis of research prototypes and commercial robots was carried in two stages. At the first stage, robots were compared on a descriptive (verbal) level with a brief overview of their advantages and disadvantages. At the second stage, a ranked row of robots was constructed and the best of them was selected.
Results. As a result of the first stage of the analysis, quantitative and qualitative characteristics of the robots were selected. At the second stage, the calculation algorithm using this method was implemented in Python and based on the calculations it was established that the best research robot was Michigan State University (USA), the worst was Jiang-su University (China); the best commercial robot was Tevel Aerobotics Technologies (Israel), and the worst of the robots considered was Abundant Robotics (USA).
Discussion. The analysis of the second stage also showed that qualitative characteristics had the greatest impact on the construction of the resulting generalized ranked series of robots (both research and commercial) in terms of a combination of quantitative and qualitative characteristics. Moreover, for both research and commercial robots, the most important qualitative characteristics are: «Manipulation systems», «The shape» of trees. The characteristic «Location of the apples» does not play a significant role.
Conclusion. The conducted comparative analysis can be used by managers of agro-industrial enterprises and farmers in automating the apple picking process through the use of robots. The approach to the comparative analysis of robots for picking apples, proposed in the article, is suitable for the implementation not only of this type of robots but also robots designed to collect other fruits in order to automate the process of collecting them.
Keywords: apple picking, apple picking robot, comparative analysis, decision-making methodology for choosing a robot, quantitative characteristics, qualitative characteristics
For citation: Kafiev I. R., Romanov P. S., Romanova I. P. Comparative analysis of robots for apple picking // Bulletin NGIEI. 2024. № 10 (161). P. 33-51. DOI: 10.24412/2227-9407-2024-10-33-51. EDN: YHIYRS.
Введение
Сельское хозяйство является одной из важнейших отраслей производства, поскольку обеспечивает человечество незаменимым ресурсом - продуктами питания. Однако проблема рентабельности сельскохозяйственного производства по-прежнему не решена, и если бы не субсидии и государственная поддержка, то в большинстве стран эта отрасль экономики находилась бы в упадке из-за своей убыточности. Причин для этого много, прежде всего, силь-
ная зависимость от климатических и погодных условий, приводящая к регулярным непредвиденным потерям из-за неблагоприятных условий окружающей среды, а также необходимость взаимодействия с живыми организмами (растениями и животными), которые, в отличие от неживой природы, подвержены риску заболеваний и смерти, и чьим поведением гораздо труднее управлять, чем технологическими процессами в промышленном производстве. Еще одной проблемой является сезонность,
технологии, машины и оборудование j для агропромышленного комплекса
которая приводит к неравномерности использования трудовых ресурсов в течение года. Лишь незначительная часть персонала занята в сельскохозяйственном производстве круглый год, остальные работники привлекаются, как правило, в момент уборки урожая и остаются без работы все остальное время. Поскольку доходность сельскохозяйственного производства низкая, то оплата труда также невысока, и наемные рабочие не имеют возможности обеспечить себе приемлемый годовой доход, работая лишь часть месяцев в году. Невозможность обеспечить полноценную занятость большинства работников в течение года приводит к оттоку кадров из отрасли, вследствие чего многие фермерские хозяйства оказываются необеспеченными трудовыми ресурсами и несут большие убытки из-за невыполненных вовремя работ, обычно это потеря значительной части урожая из-за несвоевременной уборки. Именно поэтому роботизация сельского хозяйства является задачей первостепенной важности [1; 2].
Сбор урожая потенциально является одной из операций, легко поддающейся автоматизации, вследствие своей рутинности и высокого уровня повторяемости. Однако на сегодняшний день полностью автоматизированы процессы только для тех культур, которые убираются одновременно со всей посевной площади и не требуют индивидуальной оценки степени зрелости и пригодности для сбора -злаков, корнеплодов. Что касается фруктов и овощей сложной формы и разнообразного вида и окраски, то имеется ряд проблем, связанных в первую очередь с необходимостью применения интеллектуальных систем управления, способных обнаруживать и локализовывать плоды среди веток и листьев, оценивать готовность к сбору по внешнему виду и управлять движением манипулятора робота к месту обнаружения плода и его сбором без повреждения как самого плода, так и растения, с которого производится сбор урожая. То есть сложность представляет не разработка конструкции и обеспечение технических возможностей робота (в машиностроении уже широко применяется значительное количество манипуляторов, имеющих 3...6 степеней свободы и более и устройство управления усилием схвата), а именно управление роботом [3].
На сегодняшний день ведется разработка роботов для сборки различных овощей (огурцов, перцев, помидоров), фруктов (яблок, груш, слив, абрикосов, персиков, цитрусовых, гранатов, киви) и ягод
(малины, клубники, голубики, ежевики). Каждая культура имеет свои особенности, требующие индивидуального подхода: ягоды имеют тонкую кожицу и нежную мякоть, поэтому могут легко повреждаться при сборе, зато системы компьютерного зрения достаточно легко обучаются отличать спелые ягоды от тех, которые еще не готовы к сбору; овощи отличаются большей прочностью по сравнению с ягодами, но если их цвет почти не отличается от цвета листьев, то роботу может быть трудно найти такой плод на растении; фрукты, как и овощи, труднее повреждаются при сборе, но растут на деревьях, среди веток и листьев, что затрудняет не только поиск плодов, но и доступ манипулятора к ним. Яблоки являются одним из самых популярных фруктов, выращиваемых практически во всех странах мира, общемировое производство достигает 100 млн тонн в год, однако большая часть сбора урожая до сих пор осуществляется вручную. В последнее десятилетие во многих странах мира, таких как США, Польша, Великобритания, все чаще наблюдается нехватка сезонных рабочих для сбора яблок, в результате чего производители несут огромные убытки [4].
В связи с этим появилось много исследовательских проектов, поддерживаемых как государственными грантами, так и частными инвесторами, направленных на разработку роботов для сборки яблок [5]. Большинство роботов использует для обнаружения и оценки плодов цветные, спектральные, лазерные или тепловизионные камеры для обеспечения технологии компьютерного зрения. Спектральные камеры регистрируют интенсивность отраженного объектом излучения при разных длинах волн (в диапазоне от инфракрасного до ультрафиолетового), в отличие от цветных камер, использующих только три канала (красный, зеленый и синий). Это позволяет получать более полную и точную информацию об объекте, благодаря использованию текстурных характеристик (энтропия, гладкость, градиент), в частности для обнаружения объектов, которые имеют сходные спектральные характеристики с фоном. Однако если плод оказывается затенен другим плодом, листьями или ветками, то спектральные камеры плохо справляются со своей задачей [6]. Исправить ситуацию можно при помощи тепловизионной камеры [7], фиксирующей температуру, которая, очевидно, отличается для плодов и фона. На этот метод влияют размер плода и воздействие на него прямых солнечных лучей. Обнаруже-
i technologies, machines and equipment i for the agro-industrial complex
ние плодов в условиях переменной освещенности требует учета не только цвета, но и формы, текстуры, отражения, иначе полученной информации оказывается недостаточно для принятия правильного решения. Полученные тем или иным образом изображения подвергаются интеллектуальной обработке, чаще всего при помощи нейронных сетей или/и кластеризации (методами k-ближайших соседей KNN (k-Nearest Neighbors) или машины опорных векторов SVM (Support Vector Machine)) [8].
Основными архитектурами нейронных сетей, используемыми для классификации, сегментации изображений и обнаружения на них каких-либо объектов, являются [9; 10; 11; 12; 13]:
R-CNN (Region-based Convolutional Neural Networks) (R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN) - для обнаружения объектов (выделяются в виде регионов (bounding boxes) на изображении) и отнесения их к какому-то классу из заданных, использует механизм, включающий явные циклы перебора по ограниченным регионам, что замедляет скорость обработки изображений;
P-CNN -для сегментации изображений, использует механизм накапливания внешних и локальных стимулов до динамического порога, приводящего к импульсному выходу, информация о входных изображениях содержится во временных сериях импульсных выходных данных, что обеспечивает устойчивость к шуму и независимость от геометрических изменений во входных шаблонах;
YOLO (You Only Look Once) - для распознавания объектов в режиме реального времени, например, на мобильных устройствах, использует механизм с коэффициентом перекрытия окон на сетке из заранее заданных окон, что позволяет не определять один и тот же объект многократно, достаточно одного прогона;
SSD (Single Shot MultiBox Detector) - для распознавания объектов в режиме реального времени, использует механизм, включающий использование заданной сетки окон, как в YOLO, но на пирамиде изображений, что позволяет за один прогон сети различать как большие, так и маленькие объекты.
Цель исследования - сравнительный анализ роботов для сбора яблок с целью выдачи рекомендаций по их использованию в агропромышленных предприятиях для автоматизации процесса сбора яблок.
Материалы и методы
В ходе сравнительного анализа роботов для сбора яблок было установлено, что все роботы данного типа можно условно разделить на две группы: исследовательские прототипы и коммерческие. Исследовательские прототипы роботов - это роботы, которые находятся на стадии их испытаний и исследований путей улучшения их параметров. В отличие от них коммерческие роботы уже используются в садах для сбора плодов. Проанализируем характеристики вначале исследовательских прототипов роботов, потом коммерческих в два этапа. На первом этапе рассмотрим роботы на описательном (вербальном) уровне с кратким обзором их достоинств и недостатков. На втором этапе с помощью математического аппарата, предложенного в методике принятия решений по выбору наилучшей технической системы по набору ее количественных и качественных характеристик, подробно описанную в [14; 15], построим ранжированный ряд роботов и выберем наилучший из них. Методика позволяет принять решение по выбору наилучшего варианта робота для сбора яблок по совокупности их количественных и качественных характеристик, а также построить ранжированный ряд данных роботов на основе двух методов: МСА и МАИ. Расчеты были реализованы на Python с использованием библиотеки ahpy для МАИ и собственной программы для МСА.
Первый этап
В таблице 1 представлены основные технические характеристики исследовательских прототипов роботов для сбора яблок, разработанные на сегодняшний день.
Группа японских ученых из Ritsumeikan University [5] предложила использовать цветную камеру (ZED (StereoLabs)) для определения двумерного положения плодов (обнаружение плодов) и стереокамеру, установленную на 0,5 м ниже манипулятора робота, для получения трехмерного изображения дерева снизу (для управления манипулятором робота). Для обработки изображений использовали нейросеть с архитектурой SSD. Эксперимент проводился в саду с яблонями V-образной формы, сорт яблок «Фудзи» (красные). Для сбора яблок была использована роботизированная рука с 6 степенями свободы UR3, выпускаемая компанией Universal Robots, а концевой эффектор представлял собой четырехпальцевый механический захват с регулируемой силой захвата.
технологии, машины и оборудование ] для агропромышленного комплекса
Таблица 1. Технические характеристики исследовательских прототипов роботов для сбора яблок Table 1. Technical characteristics of research prototypes of robots for apple picking
Технические характеристики / Technical characteristics Разработчик робота для сбо- за яблок, страна / Developer of the apple picking robot, country
Ritsumeikan University, Япония/ Ritsumeikan University, Japan Tianjin University of Technology, Китай / Tianjin University of Technology, China Jiangsu University, Китай / Jiangsu University, China Michigan State University, США / Michigan State University, USA Washington State University, США / Washington State University, USA University of Florida, США, Hokkaido University, Япония / University of Florida, USA, Hokkaido University, Japan
1 2 3 4 5 6 7
Манипулятор / Manipulator
Концевой эффектор / The end effector
Детекторы/ Detectors
Роботизированная рука 6 DOF PRRRP/ Robotic Arm 6 DOF PRRRP
Четыре роботизированные руки 6 DOF PRRRP/ Four Robotic Arms 6 DOF PRRRP
Четырех- Четырехпаль-
пальцевый цевый механи-
механиче- ческий захват / ский захват / Four-finger
Four-finger mechanical grip mechanical grip
Роботизированная рука 5 DOF PRRRP / Robotic Arm 5 DOF PRRRP Ложка с пневматическим приводом / A spoon with a pneumatic drive
Датчик Датчик
давления на давления на манипуляторе манипуляторе / / Pressure Pressure sensor sensor on the on the manipu-manipulator lator
Роботизированная рука 4 DOF PRRRP / Robotic Arm 4 DOF PRRRP
Вакуумный захват / Vacuum gripper
Датчик обзора, датчик положения, датчик столкновения и датчик давления на манипуляторе / View sensor, position sensor, collision sensor and pressure sensor on the manipulator
Роботизированная рука 6 DOF PRRRP / Robotic Arm 6 DOF PRRRP
вый механический захват с поли-уретановы-ми накладками / Three-finger mechanical grip with polyurethan-epads
Цилиндриче ский манипулятор с шаговым электродвигателем / Cylindrical manipulator with stepper motor
механический захват/ Two-finger mechanical grip
i technologies, machines and equipment i for the agro-industrial complex
Продолжение таблицы 1 / Continuation of table 1
1 2 3 4 5 6 7
Камеры / Cameras
Способ отрыва яблока / The method of apple tearing
Цветная ка- Цветная камера Цветная ALACS (ла- Цветная Цветная CCD
мера RGB, RGB, стерео- CCD зер с красной CCD каме- камера, лазерный
стереокамера камера камера / линией, ра, камера дальномер/
ZED / ZED / Color Color CCD цветная ка- ToF / Color CCD
RGB Color Camera RGB, Camera мера RGB), Color CCD Camera, Laser
Camera, Stereo Camera внешняя ка- Camera, Rangefinder
ZED Stereo ZED мера ToF Camera
Camera RGB-D) /
ALACS
(redline laser,
RGB Color
Camera),
RGB-D Ex-
ternal Camera)
Поворот Поворот 1 раз/ Срезание Поворот Поворот Поворот 1 раз /
4 раза/ Turn 1 time электри- 1 раз / 1 раз / Turn 1 time
Turn 4 times ческим Turn 1 time Turn1 time
ножом / Cutting with an Electrick nife
Место уклад- Платформа с Платформа с Платформа Платформа с
ки яблок / ящиками / ящиками / с ящиками / ящиками /
The place - Platform with - Platform Platform Platform with
where apples boxes with boxes with boxes boxes
are laid
Форма дерева V-образная Сады с деревь- Интенсив- Интенсивные 2D-сад, Интенсивные са-
/ The shape of шпалера / ями веретено- ные сады с сады с высо- V-образная ды с высотой
the tree V-shaped образной фор- высотой той крон шпалера / крон 1,5.2,0 м /
trellis мы, 2D-сад / крон 2,0.2,5 м / 2D garden, Intensive gardens
Garden swith 2,0...2,5 м Intensive gar- V-shaped with a crown
spindle-shaped / Intensive dens with a trellis height
trees, 2D garden gardens crown height of 2,0.2,5 m
with a of 2,0.2,5 m
crown
height of
2,0.2,5 m
Метод распознавания фруктов / Fruit recognition method
SSD,
59 кадров/с / SSD, 59 fps
Фреймворк марковской игры YOLOv5, 28 кадров/с / Markov game framework YOLOv5, 28 fps
SVM / SVM
LLE / LLE CHT / CHT
Цифровая обработка изображений /
Digital image processing
технологии, машины и оборудование ] для агропромышленного комплекса
Окончание таблицы 1 / End of table 1
1 2 3 4 5 6 7
Время
обнаружения
плода, с / 2 1,21 0,352 0,5 1,5 0,5
Fruit detection
time, s
Общее время
сбора плода, с
/ The total 16 6,7 15,4 4 7,6 7,1
time of fruit harvest, s Масса собранных плодов, до кг/час / Weight of harvested fruits, up to kg/hour
54
129
56
216
144
122
Доля обнаруживаемых фруктов, % / The proportion of detectable fruits, %
90 80,45 77 95 100 100
Доля
собранных фруктов, %/ The proportion of fruits harvested, % Передвижение / Movement
85
Нет платформы / No platform
75
Автономный / Autonomous
70
Нет платформы / No platform
90
Автономный / Autonomous
84,6
Автономный / Autonomous
90
Автономный / Autonomous
Источник: составлено авторами на основании [5; 16; 17; 18; 19; 20]
Группа китайских ученых из Jiangsu University [16] предложила использовать цветную CCD (Charge Coupled Devices) камеру для обнаружения яблок. Классификация яблок осуществлялась с учетом цвета и формы методом SVM с использованием радиальной базисной функции, что увеличивает время обнаружения плода из-за большого объема алгоритмических вычислений. Для сбора яблок была использована роботизированная рука с 5 степенями свободы, а концевой эффектор представлял собой ложку с пневматическим приводом. Концевой эффектор снабжен датчиками положения, столкновения и давления для предотвращения чрезмерного сдавливания плода и повреждения манипулятором при столкновении с
плодом при сборе. Эксперимент проводился в саду с яблонями естественной формы, сорт яблок Фудзи (красные).
Группа американских ученых из Michigan State University [17] разработала новую систему активного сканирования лазерной камерой (ALACS состоит из лазера с красной линией (Laserglow Technologies), цветной камеры RGB (Teledyne FLIR), внешней камеры RGB-D (Intel Real Sense D435i)) для точной трехмерной локализации плодов. Сначала камера RGB-D предоставляет информацию о глобальном виде сцены, включая цвет и глубину, что позволяет провести сегментацию изображения и идентифицировать плоды (для каждого определяется положение ограничивающих ра-
i technologies, machines and equipment i for the agro-industrial complex
мок). Затем ALACS направляет лазер на каждое яблоко и проводит лазерное сканирование для определения центроида каждого плода методом лазерного извлечения линий (Laser Line Extraction, LLE). Для сбора яблок была использована роботизированная рука с вакуумным захватом. Эксперимент проводился в саду с яблонями естественной формы на яблоках красного цвета.
Группа американских ученых из Washington State University [18] предложила подход к обнаружению яблок на основе базового метода обработки цифровых изображений - кругового преобразования Хафа (Iterative Circular Hough Transform, CHT). Единая глобальная система камер, состоящая из цветной CCD камеры (Prosilica GC1290C) и SD-камеры (Time-of-flight, ToF) (Camcube 3.0), позволяет получать изображение однократно, что позволяет существенно сэкономить время, затраченное на идентификацию и локализацию плодов. Для сбора яблок была использована роботизированная рука с 6 степенями свободы, построенная на приводах Dynamixel Pro, выпускаемых компанией RobotisInc, а концевой эффектор представлял собой трехпаль-цевый механический захват с регулируемой силой захвата. Механический захват снабжен мягкими полиуретановыми накладками, что позволяет свести к минимуму смятие яблок и увеличивает силу трения при захвате. Кроме того, такой захват позволяет, в отличие, например, от вакуумного, осуществлять сбор плодов в стесненных условиях (рядом с препятствиями или в больших скоплениях яблок). Еще одной конструкционной особенностью захвата является его пассивная податливость, обеспечивающая устойчивость захвата к ошибкам при определении местоположения плода и уменьшающим повреждения при случайных столкновениях. Концевой эффектор не содержал никаких датчиков, а захват осуществлялся исключительно по принципу разомкнутого контура с прямым управлением, что позволило не только уменьшить сложность конструкции, но и увеличить скорость работы манипулятора. За счет снижения стоимости и упрощения конструкции отдельных частей робота удалось достичь стоимости меньше 15 тыс. долларов за один экземпляр (без учета стоимости автоматической самодвижущейся тележки). Эксперимент проводился в саду с яблонями естественной формы на яблоках красного цвета.
Совместный проект американских и японских ученых из University of Florida и Hokkaido University
[19] представляет собой цилиндрический манипулятор с шаговым электродвигателем и концевым эффектором с постоянным усилием захвата собственной разработки, снабженный цветной CCD камерой для получения изображений, путем сегментации которых определяется местонахождение плодов, и лазерный дальномер для определения расстояния до них. Идентификация плодов проводилась в несколько этапов: сегментация по методике собственной разработки на основе коэффициентов цветности, полученных расчетным путем для красного и зеленого цвета; обработка изображений с применением фильтров для устранения шумов; выделение границ плодов по совокупности признаков. Эксперимент проводился в саду с яблонями естественной формы, сорт яблок Фудзи (красные).
Группа китайских ученых из Tianjin University of Technology [20] разработала прототип автономного робота для сбора яблок, оснащенного четырьмя роботизированными руками для повышения скорости уборки урожая. Идентификация плодов проводилась при помощи стереокамеры, полученные изображения обрабатывалось при помощи алгоритма локализации на основе многозадачности методом объединения нескольких ракурсов для получения глобальной карты плодов. Проблема оптимизации уборки урожая каждой роботизированной рукой и повышения эффективности решалась с использованием марковских игр. Эксперимент проводился в саду с яблонями веретенообразной формы на яблоках красного цвета.
Однако недостаток исследовательских прототипов заключается в значительной оторванности от реальных потребителей - фермерских хозяйств, что затрудняет внедрение разработок в массовое производство. Эта проблема частично решается за счет создания компаний, специализирующихся на разработке и внедрении коммерческих моделей роботов. Самой большой проблемой является привлечение капитала для развития и создания рентабельных моделей роботов. Ручной труд в сельском хозяйстве оплачивается невысоко, поэтому окупаемость таких проектов всегда находится под угрозой из-за реальной опасности низкой конкурентоспособности сложной дорогостоящей техники с дешевым неквалифицированным трудом.
В таблице 2 представлены технические характеристики основных коммерческих прототипов роботов для сбора яблок. Следует отметить, что компании-производители неохотно раскрывают детали
технологии, машины и оборудование ] для агропромышленного комплекса
функционирования роботов и их технические характеристики, информация носит в большей степени рекламный характер и не позволяет установить, каким именно методом проводилась идентификация плодов и каковы конструкционные новшества со-
зданного прототипа. Демонстрация эффективности коммерческих прототипов всеми компаниями проводилась на красных яблоках, а системы распознавания образов включают различные камеры и датчики, детали не уточняются.
Таблица 2. Технические характеристики коммерческих прототипов роботов для сбора яблок Table 2. Technical characteristics of commercial prototypes of robots for apple picking
Разработчик робота для сбора яблок, страна / Developer of the apple picking robot, country
Технические характеристики / Technical characteristics Abundant Robotics, США / Abudant Robotics, USA Tevel Aerobotics Technologies, Израиль / Tevel Aerobotics Technologies, Israel FFRobotics, Израиль / FFRobotics, Israel ФНАЦ ВИМ, Россия / FSAC FIM, Russia Monash University, Австралия / Monash University, Australia Ripe Robotics, Австралия / Ripe Robotics, Australia
1 2 3 4 5 6 7
Манипулятор / Manipulator
Роботизированная рука / Robotic Arm
Концевой эффектор / The end effector
Вакуумный захват / Vacuum gripper
Роботизированная рука, установленная на квадрокоптере (от 1 до 6) / A robotic arm mounted on a quadcopter (from 1 to 6) Трехпальцевый механический захват или мягкая вакуумная присоска / Three-finger mechanical grip or soft vacuum suction cup
Роботизированная рука (от 4 до 12) / Robotic Arm (from 4 to 12)
Роботизированная рука / Robotic Arm
Роботизированная рука / Robots Robotic Arm
Роботизированная рука / Robotic Arm
Трехпальце-вый механический захват/ Three-finger
mechanical grip
Трехпальце-вый механический захват / Three-finger mechanical grip
Комбинация механического четырехпаль-цевого «клещевого» и вакуумного захватов с мягкой присоской / Combination of mechanical four-finger «pincer» and vacuum grippers with a soft suction cup
Вакуумный захват с мягкой присоской / Vacuum gripper with soft suction cup
Способ отры- Всасывание Поворот 1 раз / Поворот или Поворот Поворот 1 раз / Поворот
ва яблока / плода/ Turn 1 time срезание / 1 раз / Turn 1 time 1 раз /
The method of Fetal Turning or Turn 1 time Turn 1 time
apple tearing absorption cutting
Место Передача Платформа Платформа Платформа Передача
укладки по конвейеру с ящиками / с бункером / с ящиками / по гибкому
яблок / в бункер с Platform with Platform with Platform with вакуумному
The place трубчатыми boxes a hopper - boxes шлангу на
where apples амортизато- ленту кон-
are laid рами / вейера, затем
в ящики /
i technologies, machines and equipment i for the agro-industrial complex
Продолжение таблицы 2 / Continuation of table 2
1 2 3 4 5 6 7
Форма дерева / The shape of the tree
Transfer by conveyor to a hopper with tubular shock absorbers 2D-cag / 2D garden
Возможность сбора других фруктов / Possibility of collecting other fruits
Возможности по выполнению других операций / Possibilities for performing other operations
Общее время сбора плода, с / The total time of fruit harvest, s Масса собранных плодов, до кг/час / Weight of harvested fruits, up to kg/hour
864
2D-сад,
V-образная шпалера, сады с разной геометрией и шириной дорожек / 2D garden, V-shaped trellis, gardens with different geometries and track widths Яблоки, персики, нектарины, абрикосы и сливы / Apples, peaches, nectarines, apricots and plums
Обнаружение и классификация плодов, определение болезней / Detection and classification of fruits, determination of diseases
2D-сад, V-образная шпалера / 2D garden, V-shaped trellis
Интенсивные сады с высотой крон 1,5. 2,0 м / Intensive gardens with a crown height of 2,0 . 2,5 m
2D-сад / 2D garden
Цитрусовые, персики, груши, манго и гранаты / Citrus fruits, peaches, pears,
mangoes and pomegranates
10
10
86
200
90
123
Transfer via a flexible vacuum hose to the conveyor belt, then to the boxes 2D-сад, V-образная шпалера / 2D garden, V-shaped trellis
Яблоки, сливы, персики и нектарины / Apples, plums, peaches and nectarines
Прореживание, обрезка, опрыскивание, сохранение фотографий каждого плода в базе данных / Thinning, pruning, spraying, saving photos of each fruit in the database
432
1
3
7
2
технологии, машины и оборудование ] для агропромышленного комплекса
Окончание таблицы 2 / End of table 2
1 2 3 4 5 6 7
90
100
90
97
90
90
Доля обнаруживаемых фруктов, %/ The proportion of detectable fruits, % Доля
собранных фруктов, % / The proportion of fruits harvested, %
Передвиже- Автоном- Автономный / Автоном- Нет плат-ние / ный / Autonomous ный / формы /
Movement Autonomous Autonomous No platform
Источник: составлено авторами на основании рекламных статей и видео, представленных на официальных сайтах производителей
85
100
85
90
85
Автономный / Autonomous
85
Автономный / Autonomous
Американская компания Abundant Robots разработала прототип автономного робота для сбора яблок, оснащенного вакуумным захватом в качестве концевого эффектора роботизированной руки, передающим собранные фрукты по конвейеру в специальный бункер с трубчатыми амортизаторами, препятствующими повреждению собранных плодов. Несмотря на планы приступить к массовому производству, компания прекратила свое существование в 2021 году из-за финансовых проблем.
Израильская компания Tevel Aerobotics Technologies предложила конструкцию автономного робота, оснащенного квадрокоптерами (Flying Autonomous Robot, FAR), подключенного к платформе с помощью кабелей, с роботизированными руками, имеющими концевые эффекторы для сбора фруктов (трехпальцевый механический захват или мягкую вакуумную присоску). Робот пригоден для сбора яблок, персиков, нектаринов, абрикосов и слив (плоды массой от 50 до 700 г) в 2D-садах, с V-образных шпалер, в садах с разной геометрией и шириной дорожек. Роботы сдаются в аренду.
Еще одна израильская компания FFRobotics создала автономный робот, оснащенный роботизированными руками (от 4 до 12) с трехпальцевым механическим захватом для сбора яблок, цитрусовых, персиков, груш, манго и гранатов. Робот пригоден для работы в 2D-садах или на V-образных шпалерах и обладает высокой скоростью сбора плодов, а за счет большого количества манипуляторов
и вместительного бункера для собранных фруктов значительно превосходит по производительности как аналоги, так и ручной труд. Стоимость робота составляет несколько сот тысяч долларов и зависимости от комплектации.
Российская разработка ФНАЦ ВИМ с методом распознавания плодов при помощи нейросе-тей, созданная при технологической поддержке Microsoft, представляет собой роботизированную руку с трехпальцевым механическим захватом, снабженную цветной камерой. Предложенный алгоритм распознавания образов позволил существенно увеличить точность распознавания и сбора плодов по сравнению с зарубежными аналогами. Эксперимент проводился на колоновидных яблонях с яблоками красного цвета в условиях лаборатории.
Австралийский проект университета Monash MARS (the Monash Apple Retrieving System) представляет собой автономную платформу, снабженную манипулятором, представляющим собой комбинацию механического четырехпальцевого и вакуумного захватов с мягкой присоской, и системой компьютерного зрения. Робот пригоден для автономной круглосуточной работы в 2D-саду. Роботы сдаются в аренду.
Еще один австралийский проект предложен компанией Ripe Robotics. Это автономный робот для сбора круглых фруктов (яблоки, сливы, апельсины) в 2D-садах или на V-образных шпалерах,
i technologies, machines and equipment i for the agro-industrial complex
оснащенный роботизированной рукой с концевым эффектором в виде вакуумного захвата с мягкой присоской, передающего собранные плоды по гибкому вакуумному шлангу на ленту конвейера, с которой они поступают в ящики. Компания разработала несколько прототипов роботов (BUZZ, CLIVE, EVE) и оказывает услуги по сбору фруктов за вознаграждение как у сезонного рабочего (оплата рассчитывается по массе собранных фруктов). В планах Ripe Robotics увеличение количества выполняемых операций (прореживание, обрезка, опрыскивание).
Второй этап анализа
Методика получения интегральной количественной оценки по каждому из вариантов роботов для сбора яблок и порядок построения ранжированного ряда их вариантов состоит из следующих этапов.
1. Определить набор количественных и качественных характеристик, предложенных для исследования моделей (вариантов) роботов для сбора яблок.
2. Упорядочить варианты роботов и их количественные характеристики с помощью МСА. На данном этапе получим ранжированные ряды рассматриваемых вариантов роботов и их количественных характеристик.
3. Нормировать ранжированный ряд вариантов роботов на базе процедуры МАИ. Получим вектор приоритетов вариантов роботов по их количественным характеристикам.
4. Упорядочить варианты роботов и их качественные характеристики с помощью МАИ. Получим вектор приоритетов качественных характеристик, вектор глобальных приоритетов и ранжированный ряд вариантов роботов.
5. Суммировать векторы приоритетов для количественных и качественных характеристик для каждого варианта робота.
6. Построить упорядоченный ряд вариантов роботов по сумме оценок п. 5 (от большей суммы к меньшей).
7. Проанализировать результаты и сделать выводы о наилучшем варианте робота (чем выше ранг, тем лучше вариант робота) и о важности той или иной характеристики в принятии решения.
Проведем расчеты по данному алгоритму вначале для исследовательских прототипов роботов для сбора яблок, а затем для коммерческих роботов для сбора яблок.
Результаты
Построение ранжированного ряда исследовательских прототипов роботов для сбора яблок
Применим указанную методику поэтапно: вначале для исследовательских, затем для коммерческих роботов.
Исследовательские роботы
1. Количественные характеристики и выбранные для сравнения роботы приведены в таблице 1. Качественные характеристики будут рассмотрены позже при использовании МАИ.
2. На данном этапе получим ранжированные ряды рассматриваемых вариантов роботов и их количественных характеристик.
Результаты решения МСА. В результате вычислений был получен ранжированный ряд вариантов исследовательских прототипов роботов: Michigan State University, University of Florida, Hokkaido University, Япония, Washington State University, Tianjin University of Technology, Jiangsu University, Ritsumeikan University (итоговые показатели: 1; 0,8615; 0,7813; 0,7069; 0,6779; 0,6242).
При этом характеристики вариантов исследовательских прототипов роботов по важности в результате вычислений ранжируются следующим образом: «Доля собранных фруктов»; «Доля обнаруживаемых фруктов»; «Масса собранных плодов»; «Общее время сбора плода»; «Время обнаружения плода» (итоговые показатели: 1,00; 0,9869; 0,6419; 0,6162; 0,5782).
3. Нормировкой получим вектор приоритетов вариантов роботов по их количественным характеристикам: Michigan State University, University of Florida, Hokkaido University, Washington State University, Tianjin University of Technology, Jiangsu University, Ritsumeikan University (итоговые показатели: 0,2150; 0,1852; 0,1680; 0,1520; 0,1457; 0,1342).
4. На данном этапе проведем расчеты с помощью МАИ.
При рассмотрении роботов предложены следующие качественные характеристики, расположенные в последовательности по их важности (от более важных к менее важным): «Манипуляцион-ные системы»; «Форма деревьев»; «Сенсорные устройства и видеокамеры»; «Метод распознавания фруктов»; «Способ отрыва яблок»; «Место укладки яблок»; «Подвижность»; «Финансовые условия».
Манипуляционные системы: тип манипулятора; тип концевого эффектора (захвата).
технологии, машины и оборудование ] для агропромышленного комплекса
Форма деревьев: форма деревьев и их высота, с которыми могут работать роботы.
Сенсорные устройства и видеокамеры: тип детекторов на манипуляторе; тип видеокамер.
Метод распознавания фруктов: способ классификации и идентификации плодов фруктов; технологии обработки изображений плодов.
Способ отрыва яблок: не требует пояснения.
Место укладки яблок: куда укладываются собранные яблоки, наличие ящиков или другой тары.
Подвижность: возможность передвижения робота.
Финансовые условия: стоимость производства, возможность аренды экспериментального экземпляра, затраты на эксплуатацию, наличие нескольких образцов; комплектация.
Результаты решения МАИ. Вычислены вектор приоритетов качественных характеристик и вектор глобальных приоритетов роботов по их качественным характеристикам, на базе последнего получен ранжированный ряд вариантов роботов: Ritsumeikan University (0,225), Michigan State University (0,201), Tianjin University of Technology (0,170),Washington State University (0,158), Jiangsu University (0,136), University of Florida и Hokkaido University (0,109).
Вектор приоритетов качественных характеристик следующий: «Манипуляционные системы» (0,357), «Форма деревьев» (0,228), «Сенсорные устройства и видеокамеры» (0,172), «Метод распознавания фруктов» (0,094), «Способ отрыва яблок» (0,064), «Место укладки яблок» (0,04), «Подвижность» (0,026), «Финансовые условия» (0,019).
5. Суммируем векторы приоритетов для количественных и качественных характеристик для каждого варианта робота. Полученные обобщенные приоритеты дополнительно нормируются делением на 2. Полученные итоговые ранги роботов: Ritsumeikan University (2), Michigan State University (1), Tianjin University of Technology (4), Washington State University (3), Jiangsu University (6), University of Florida и Hokkaido University (5).
6. Построен упорядоченный ряд вариантов роботов по сумме оценок п. 5 (от большей суммы к меньшей). Michigan State University - 1 (0,2080); Ritsumeikan University - 2 (0,1796); Washington State University - 3 (0,1630); Tianjin University of Technology- 4 (0,1610); University of Florida, Hokkaido University - 5 (0,1471); Jiangsu University - 6 (0,1409).
7. По совокупности количественных и качественных характеристик наилучший робот - это робот Michigan State University. Более подробный анализ будет представлен в разделе «Обсуждение».
Построение ранжированного ряда коммерческих роботов для сбора яблок
1. Количественные характеристики и выбранные для сравнения роботы приведены в таблице 2. Качественные характеристики будут рассмотрены позже при использовании МАИ.
2. На данном этапе получим ранжированные ряды рассматриваемых вариантов роботов и их количественных характеристик.
Результаты решения МСА. Получен ранжированный ряд коммерческих роботов: Abundant Robotic, Ripe Robotics, Tevel Aerobotics Technologies, FFRobotics, ФНАЦ ВИМ, Monash University (итоговые показатели: 1; 0,8354; 0,7989; 0,7641; 0,7505; 0,7178).
При этом характеристики вариантов коммерческих роботов по важности в результате вычислений ранжируются следующим образом: «Доля обнаруживаемых фруктов»; «Доля собранных фруктов»; «Общее время сбора плода»; «Масса собранных плодов» (итоговые показатели: 1,00; 0,9516; 0,4277; 0,4110)
3. Нормировкой получим вектор приоритетов вариантов роботов по их количественным характеристикам: Abundant Robotics, Ripe Robotics, Tevel Aerobotics Technologies, FFRobotics, ФНАЦ ВИМ, Monash University (итоговые показатели: 0,2055; 0,1717; 0,1642; 0,1570; 0,1542; 0,1475).
4. На данном этапе проведем расчеты с помощью МАИ.
При рассмотрении роботов предложены следующие качественные характеристики, расположенные в последовательности по их важности: «Манипуляционные системы»; «Форма деревьев»; «Подвижность»; «Финансовые условия»; «Способ отрыва яблок»; «Возможность сбора других фруктов»; «Место укладки яблок».
Манипуляционные системы: тип манипулятора; тип концевого эффектора (захвата).
Форма деревьев: форма деревьев и их высота, с которыми могут работать роботы.
Подвижность: возможность передвижения робота.
Финансовые условия: стоимость робота, возможность аренды, возможность получения кредитов
i technologies, machines and equipment i for the agro-industrial complex
от банков на покупку (аренду); затраты на эксплуатацию, комплектация.
Способ отрыва яблок: не требует пояснения.
Возможность сбора других фруктов: не требует пояснения.
Место укладки яблок: куда укладываются собранные яблоки, наличие ящиков или другой тары.
Результаты решения МАИ по коммерческим роботам. Вычислены вектор приоритетов качественных характеристик и вектор глобальных приоритетов вариантов роботов по их качественным характеристикам, на базе последнего получен ранжированный ряд вариантов роботов: Tevel Aerobotics Technologies (0,228), Monash University (0,224), Ripe Robotics (0,180), FFRobotics (0,154), ФНАЦ ВИМ (0,135), Abundant Robotics (0,080).
Вектор приоритетов качественных характеристик получен следующий: «Манипуляционные системы» (0,385), «Форма деревьев» (0,236), «Подвижность» (0,170), «Финансовые условия» (0,089), «Способ отрыва яблок» (0,059), «Возможность сбора других фруктов» (0,037), «Место укладки яблок» (0,024).
5. Суммируем векторы приоритетов для количественных и качественных характеристик для каждого робота. Полученные обобщенные приоритеты дополнительно нормируются делением на 2. Полученные итоговые ранги роботов: Tevel Aerobotics Technologies (1), Monash University (2), Ripe Robotics (3), FFRobotics (4), ФНАЦ ВИМ (5), Abundant Robotics (6).
6. Построен упорядоченный ряд роботов по сумме оценок п. 5 (от большей суммы к меньшей). Tevel Aerobotics Technologies - 1 (0,1961), Monash University - 2 (0,1858), Ripe Robotics - 3 (0,1759), FFRobotics - 4 (0,1555), ФНАЦ ВИМ - 5 (0,1446), Abundant Robotics - 6 (0,1428).
7. По совокупности количественных и качественных характеристик наилучший робот - это робот Tevel Aerobotics Technologies (Израиль). Более подробный анализ будет представлен в разделе «Обсуждение».
Обсуждение
При сравнении роботов для сбора яблок на вербальном уровне было затруднительно выделить лучшие образцы как исследовательских, так и коммерческих роботов. Применение методики принятия решений по выбору наилучшей технической системы по набору её количественных и качественных характеристик для сравнительного анализа ро-
ботов для сбора яблок позволяет провести обоснованный, с помощью предложенного математического аппарата, анализ существующих роботов для сбора яблок.
Проанализируем полученные результаты по исследовательским роботам.
При оценке вариантов роботов только по количественным характеристикам (с помощью МСА) ранжированный ряд роботов следующий: Michigan State University, University of Florida, Hokkaido University, Washington State University, Tianjin University of Technology, Jiangs University, Ritsumeikan University. Наибольшее влияние на ранжирование оказали следующие характеристики: «Доля собранных фруктов»; «Доля обнаруживаемых фруктов», а «Масса собранных плодов»; «Общее время сбора плода»; «Время обнаружения» сыграли меньшую роль.
При построении ранжированного ряда роботов только по качественным характеристикам (с помощью МАИ) был получен следующий результат: Ritsumeikan University, Michigan State University, Tianjin University of Technology, Washington State University, Jiangsu University, University of Florida и Hokkaido University.
При этом на этот результат наибольшее влияние оказали такие качественные характеристики: «Манипуляционные системы», «Форма деревьев», «Сенсорные устройства и видеокамеры», «Метод распознавания фруктов», а характеристики «Способ отрыва яблок», «Место укладки яблок» оказали меньшее влияние, весомость же вклада в ранжирование характеристик «Подвижность» и «Финансовые условия» была совсем незначительной.
По совокупности количественных и качественных характеристик получен ранжированный ряд вариантов роботов: Michigan State University; Ritsumeikan University; Washington State University; Tianjin University of Technology; University of Florida и Hokkaido University; Jiangsu University.
Таким образом, на построение ранжированного ряда вариантов исследовательских роботов для сбора яблок по совокупности характеристик большее влияние оказали качественные характеристики, что привело к перемещению робота Ritsumeikan University, занимающего по количественным характеристикам 6-е место, на общее 2-е место, а робот University of Florida и Hokkaido University переместился с 2-го (по количественным характеристикам) - на общее 5-е место. Робот Washington State
технологии, машины и оборудование ] для агропромышленного комплекса
University, имея 3-е место по количественным характеристикам, остался на общем 3-м месте, хотя по качественным характеристикам занял 4-е место. Аналогично Tianjin University of Technology остался на общем 4-м месте. Суммарная общая оценка рангов данных роботов отличается незначительно: 3-е место - 0,1630, 4-е место - 0,1610, что указывает на эквивалентность данных роботов по совокупности представленных в открытой печати их характеристик. Наилучшим роботом оказался Michigan State University, худшим из рассмотренных роботов -Jiangsu University.
Проанализируем полученные результаты по коммерческим роботам.
При оценке вариантов роботов только по количественным характеристикам (с помощью МСА) ранжированный ряд коммерческих роботов следующий: Abundant Robotics, Ripe Robotics, Tevel Aerobotics Technologies, FFRobotics, ФНАЦ ВИМ, Monash University. Наибольшее влияние на ранжирование оказали следующие характеристики: «Доля обнаруживаемых фруктов» и «Доля собранных фруктов», а характеристики «Общее время сбора плода»; «Масса собранных плодов» оказали почти в два раза меньшее влияние.
При построении ранжированного ряда роботов только по качественным характеристикам (с помощью МАИ) был получен следующий результат: Tevel Aerobotics Technologies, Monash University, Ripe Robotics, FFRobotics, ФНАЦ ВИМ, Abundant Robotics.
При этом на этот результат наибольшее влияние оказали такие качественные характеристики: «Манипуляционные системы», «Форма деревьев», «Подвижность», характеристики «Финансовые условия» и «Способ отрыва яблок» оказали меньшее влияние, а «Возможность сбора других фруктов» и «Место укладки яблок» было совсем незначительным.
Таким образом, на построение ранжированного ряда вариантов коммерческих роботов для сбора яблок по совокупности характеристик большее влияние оказали качественные характеристики, что привело к перемещению робота Monash University, занимающего по количественным характеристикам 6-е место, на общее 2-е место, а робот Abundant Robotics переместился с 1-го (по количественным характеристикам) на общее последнее 6-е место, робот Tevel Aerobotics Technologies, имея 3-е место по количественным характеристикам, переместился
с 3-го места (по количественным характеристикам) на общее 1-е место, за счет 1-го места по качественным характеристикам. Роботы FFRobotics и ФНАЦ ВИМ остались на своих местах, соответственно 4 и 5, т. к. ранги по количественным и качественным характеристикам у них совпали, 4 и 5. Робот Ripe Robotics перешел со 2-го места (по количественным характеристикам) на общее 3-е место. Наилучшим коммерческим роботом оказался Tevel Aerobotics Technologies, худшим из рассмотренных роботов - Abundant Robotics.
Итак, наибольшее влияние на построение полученного обобщенного ранжированного ряда роботов (как исследовательских, так и коммерческих) по совокупности количественных и качественных характеристик оказали качественные характеристики. Причем как для исследовательских, так и для коммерческих роботов наиболее важными качественными характеристиками являются: «Манипуляци-онные системы», «Форма деревьев». Характеристика «Место укладки яблок» не играет существенной роли. Не такое значительное влияние качественной характеристики «Финансовые условия» возможно обусловлено недостаточными данными, полученными из печати.
Этот анализ может быть использован руководителями агропромышленных предприятий и фермерами при автоматизации процесса сбора яблок за счет применения роботов.
Заключение
Сравнительный анализ исследовательских прототипов роботов и коммерческих роботов проведен в два этапа. Первый этап анализа позволил рассмотреть наиболее популярные модели роботов для сбора яблок, определить основные их характеристики, а также известные на сегодняшний день достоинства и недостатки роботов. Но он не дал ясной картины по выбору наилучшего как исследовательского, так и коммерческого роботов и не позволил построить ранжированный их ряд. Это затрудняет выдачу рекомендаций по использованию роботов для автоматизации процесса сбора яблок. Поэтому на втором этапе была применена методика принятия решений по выбору наилучшей технической системы по набору её количественных и качественных характеристик. Она позволила получить интегральную количественную оценку по каждому из вариантов роботов для сбора яблок и построить ранжированные ряды вариантов исследовательских и коммерческих роботов. Методика основана на
i technologies, machines and equipment i for the agro-industrial complex
использовании совокупности двух методов: МСА и МАИ.
В результате первого этапа анализа были выбраны количественные и качественные характеристики роботов. На втором этапе алгоритм расчетов по указанной методике был реализован на Python. На основе расчетов установлено: наилучшим исследовательским роботом оказался Michigan State University, худшим - Jiangsu University; наилучшим коммерческим роботом оказался Tevel Aerobotics Technologies, худшим из рассмотренных роботов -Abundant Robotics. Лучшие роботы могут быть рекомендованы для использования в агрофирмах, занимающихся выращиванием яблок.
Кроме того, были построены ранжированные ряды исследовательских и коммерческих роботов, что также позволит руководителям агропромышленных предприятий выбрать наиболее устраивающий их вариант робота.
Анализ второго этапа также показал, что наибольшее влияние на построение полученного
обобщенного ранжированного ряда роботов (как исследовательских, так и коммерческих) по совокупности количественных и качественных характеристик оказали качественные характеристики. Причем как для исследовательских, так и для коммерческих роботов наиболее важными качественными характеристиками являются: «Манипуляционные системы», «Форма деревьев». Характеристика «Место укладки яблок» не играет существенной роли. Знание наиболее важных характеристик может способствовать выбору робота для сбора яблок.
Проведенный сравнительный анализ может быть использован руководителями агропромышленных предприятий и фермерами при автоматизации процесса сбора яблок за счет применения роботов.
Подход к сравнительному анализу роботов для сбора яблок, предложенный в статье, пригоден для реализации не только данного типа роботов, но и роботов, предназначенных для сбора других плодов с целью автоматизации процесса их сбора.
СПИСОК ИСТОЧНИКОВ
I. Abrosimov V. K., Eliseev V. V. Current state and development potential for the national agricultural robotics // Extreme Robotics. 2019. V. 1. № 1. P. 59-66. DOI: 10.31776/RTCJ.6402.
2Marinoudi V., S0rensen C.G., Pearson S., Bochtis D. Robotics and labour in agriculture // A context consideration. Biosystems Engineering. 2019. V. 184. P. 111-121. DOI: 10.1016/j.biosystemseng.2019.06.013.
3. Milella A., Reina G., FogliaM. Computer vision technology for agricultural robotics // Sensor Review. 2006. V. 26. P. 290-300. DOI: 10.1108/02602280610692006.
4. Onishi Y., Yoshida T., Kurita H. et al. An automated fruit harvesting robot by using deep learning // Ro-bomech Journal. 2019. V. 6. № 13. DOI: 10.1186/s40648-019-0141-2.
5. Gongal A., Amatya S., Karkee M., Zhang Q., Lewis K. Sensors and systems for fruit detection and localization: A review // Computers and Electronics in Agriculture. 2015. V. 116. P. 8-19. DOI: 10.1016/j.compag.2015.05.021.
6. Okamoto H., Lee W. S. Green citrus detection using hyper spectral imaging // Computers and electronics in agriculture. 2009. V. 66 (2). P. 201-208. DOI: 10.1016/j.compag.2009.02.004.
7. Stajnko D., Lakota M., Hocevar M. Estimation of number and diameter of apple fruits in an orchard during the growing season by thermal imaging // Computers and Electronics in Agriculture. 2004. V. 42 (1). P. 31-42. DOI: 10.1016/s0168-1699(03)00086-3.
8. Wang J. J., Zhao D. A., Ji W., Tu J. J., Zhang Y. Application of support vector machine to apple recognition using in apple harvesting robot // China International conference on information and automation. 2009. P. 22-25. DOI: 10.1109/ICINFA.2009.5205083.
9. Jia W., Mou S., Wang J., Liu X., Zheng Y., Lian J., Zhao D. Fruit recognition based on pulse coupled neural network and genetic Elman algorithm application in apple harvesting robot // International Journal of Advanced Robotic Systems. 2020. 17 (1). 172988141989747. DOI: 10.1177/1729881419897473.
10. Li H., Zhang G.C., Zhu Z. Color Image Segmentation Based on PCNN // Journal of Mathematics and Informatics. 2018. V. 13. P. 41-53. DOI: 10.22457/jmi.v13a5.
II. Jing Z., Manoj K., Qin Z., Xin Z., Majeed Y., Longsheng F., Shumao W. Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting // Computers and Electronics in Agriculture. 2020. V. 173. P. 105384. DOI: 10.1016/j.compag.2020.105384.
48
Вестник НГИЭИ. 2024. № 10 (161). C. 33-51. ISSN 2227-9407 (Print) Bulletin NGIEI. 2024. № 10 (161). P. 33-51. ISSN 2227-9407 (Print)
VWWWW^V TFYHHППГИИ MA ШИНЫ И ПКПРУПППй НИР VWWWWW
п па ЛГРППРПМЫШПРННПГП КПМППРКГА ¥¥¥¥¥¥¥¥¥¥¥
12. Paul A., Machavaram R., Kumar A. D., Nagar H. Smart solutions for capsicum Harvesting: Unleashing the power of YOLO for Detection, Segmentation, growth stage Classification, Counting, and real-time mobile identification // Computers and Electronics in Agriculture. 2024. V. 219. P. 108832. DOI: 10.1016/j.compag.2024.108832.
13. Wang J., Su Y., Yao J., Liu M., Du M., Wu X., Huang L., Zhao M. Apple rapid recognition and processing method based on an improved version of YOLOv5 // Ecological Informatics. 2023. V. 77. P. 102196. DOI: 10.1016/j.ecoinf.2023.102196.
14. Романов П. С., Романова И. П. Методика принятия решений по выбору наилучшей технической системы по набору её характеристик // Информационные технологии. 2018. Т. 24. № 7. С. 445-453. EDN XTUQQH.
15. Kafiev I., Romanov P., Romanov I. The method of selecting the best technical system by the set of characteristics // 2019 International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon. 2019. P. 8934392. EDN IHNXZI.
16. De-An Z., Jidong L., Wei J., Ying Z., Yu C. Design and control of an apple harvesting robot // Biosystems Engineering. 2011. V. 110. Issue 2. P. 112-122. DOI: 10.1016/j.biosystemseng.2011.07.005.
17. Chu P., Li Z., Zhang K., Lammers K., Lu R. High-precision fruit localization using active laser-camera scanning: Robust laser line extraction for 2D-3D transformation // Smart Agricultural Technology. 2023. V. 7. P. 100391. DOI: 10.1016/j.atech.2023.100391.
18. Silwal A., Davidson J. R., KarkeeM., Mo C., Zhang Q., Lewis K. Design, integration, and field evaluation of a robotic apple harvester // Journal of Field Robotics. 2017. V. 34 (2). DOI: 10.1002/rob.21715
19. Bulanon D. M., Kataoka T. Fruit detection system and an end effector for robotic harvesting of fuji apples // Agricultural Engineering International. 2010. V. 12 (1). P. 203-210.
20. Li T., Xie F., Zhao Z., Zhao H., Guo X., Feng Q.A multi-arm robot system for efficient apple harvesting: Perception, task plan and control // Computers and Electronics in Agriculture. 2023. V. 211. P. 107979. DOI: 10.1016/j.compag.2023.107979.
Дата поступления статьи в редакцию 18.07.2024; одобрена после рецензирования 19.08.2024;
принята к публикации 20.08.2024.
Информация об авторах:
И. Р. Кафиев - к.т.н., доцент кафедры «Электрические машины и электрооборудование», тел. +7-917-413-0238, Spin-код: 1540-8480;
П. С. Романов - д.т.н., профессор кафедры «Автоматизация производства и информационные технологии», тел. +7-916-584-91-65, Spin-код: 1407-6588;
И. П. Романова - к.т.н., доцент кафедры «Автоматизация производства и информационные технологии» Коломенского института (филиала) Московского политехнического университета; доцент кафедры «Информационные системы» Московского университета им. С. Ю. Витте, тел. +7-926-792-43-39, Spin-код: 6127-9592.
Заявленный вклад авторов: Кафиев И. Р. - решение организационных и технических вопросов по подготовке текста. Романов П. С. - общее руководство проектом, анализ и дополнение текста статьи. Романова И. П. - сбор и обработка материалов, подготовка первоначального варианта текста.
Авторы заявляют об отсутствии конфликта интересов.
REFERENCES
1. Abrosimov V. K., Eliseev V. V. Current state and development potential for the national agricultural robotics, Extreme Robotics, 2019, Vol. 1, No. 1. pp. 59-66, DOI: 10.31776/RTCJ.6402.
2.Marinoudi V., S0rensen C.G., Pearson S., Bochtis D. Robotics and labour in agriculture, A context consideration. Biosystems Engineering, 2019, Vol. 184, pp. 111-121, DOI: 10.1016/j.biosystemseng.2019.06.013.
^^^WWWWW MAmiMFÇ л лгп гл/томглгг^ЛЛЙЛЛЛЛЛЛЛ^
¿biflbirbilw млспичял суимгмым
F/11? THF IMTWIÇTBIAI гпмш
f t agru-u\u us înirtl, c итгьсл ^
3. Milella A., Reina G., Foglia M. Computer vision technology for agricultural robotics, Sensor Review, 2006, Vol. 26, pp. 290-300, DOI: 10.1108/02602280610692006.
4. Onishi Y., Yoshida T., Kurita H. et al. An automated fruit harvesting robot by using deep learning, Robomech Journal, 2019, Vol. 6, No. 13, DOI: 10.1186/s40648-019-0141-2.
5. Gongal A., Amatya S., Karkee M., Zhang Q., Lewis K. Sensors and systems for fruit detection and localization: A review, Computers and Electronics in Agriculture, 2015, Vol. 116, pp. 8-19, DOI: 10.1016/j.compag.2015.05.021.
6. Okamoto H., Lee W. S. Green citrus detection using hyper spectral imaging, Computers and electronics in agriculture, 2009, Vol. 66 (2), pp. 201-208, DOI: 10.1016/j.compag.2009.02.004.
7. Stajnko D., Lakota M., Hocevar M. Estimation of number and diameter of apple fruits in an orchard during the growing season by thermal imaging, Computers and Electronics in Agriculture, 2004, Vol. 42 (1), pp. 31-42, DOI: 10.1016/s0168-1699(03)00086-3.
8. Wang J. J., Zhao D. A., Ji W., Tu J. J., Zhang Y. Application of support vector machine to apple recognition using in apple harvesting robot, China International conference on information and automation, 2009, pp. 22-25, DOI: 10.1109/ICINFA.2009.5205083
9. Jia W., Mou S., Wang J., Liu X., Zheng Y., Lian J., Zhao D. Fruit recognition based on pulse coupled neural network and genetic Elman algorithm application in apple harvesting robot, International Journal of Advanced Robotic Systems, 2020, 17 (1), 172988141989747, DOI: 10.1177/1729881419897473.
10. Li H., Zhang G.C., Zhu Z. Color Image Segmentation Based on PCNN, Journal of Mathematics and Informatics, 2018,Vol. 13, pp. 41-53, DOI: 10.22457/jmi.v13a5.
11. Jing Z., Manoj K., Qin Z., Xin Z., Majeed Y., Longsheng F., Shumao W. Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting, Computers and Electronics in Agriculture, 2020, Vol. 173, pp. 105384, DOI: 10.1016/j.compag.2020.105384.
12. Paul A., Machavaram R., Kumar A.D., Nagar H. Smart solutions for capsicum Harvesting: Unleashing the power of YOLO for Detection, Segmentation, growth stage Classification, Counting, and real-time mobile identification, Computers and Electronics in Agriculture, 2024, Vol. 219, 108832, DOI: 10.1016/j.compag.2024.108832.
13. Wang J., Su Y., Yao J., Liu M., Du M., Wu X., Huang L., Zhao M. Apple rapid recognition and processing method based on an improved version of YOLOv5, Ecological Informatics, 2023, Vol. 77, pp. 102196, DOI: 10.1016/j .ecoinf.2023.102196.
14. Romanov P. S., Romanova I. P. Metodika prinyatiya reshenij po vyboru nailuchshej tekhnicheskoj sistemy po naboru ee harakteristik [Methodology for making decisions on choosing the best technical system based on its set of characteristics], Informacionnye tekhnologii [Information Technology], 2018, Vol. 24, No. 7, pp. 445-453, EDN XTUQQH.
15. Kafiev I., Romanov P., Romanov I. The method of selecting the best technical system by the set of characteristics, 2019 International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon, 2019, pp. 8934392, EDN IHNXZI.
16. De-An Z., Jidong L., Wei J., Ying Z., Yu C. Design and control of an apple harvesting robot, Biosystems Engineering, 2011, Vol. 110, Issue 2, pp. 112-122, DOI: 10.1016/j.biosystemseng.2011.07.005.
17. Chu P., Li Z., Zhang K., Lammers K., Lu R. High-precision fruit localization using active laser-camera scanning: Robust laser line extraction for 2D-3D transformation, Smart Agricultural Technology, 2023, Vol. 7, pp. 100391, DOI: 10.1016/j.atech.2023.100391.
18. Silwal A., Davidson J. R., Karkee M., Mo C., Zhang Q., Lewis K. Design, integration, and field evaluation of a robotic apple harvester, Journal of Field Robotics, 2017, Vol. 34 (2), DOI: 10.1002/rob.21715.
19. Bulanon D. M., Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples, Agricultural Engineering International, 2010, Vol. 12 (1), pp. 203-210.
20. Li T., Xie F., Zhao Z., Zhao H., Guo X., Feng Q. A multi-arm robot system for efficient apple harvesting: Perception, task plan and control, Computers and Electronics in Agriculture, 2023, Vol. 211, pp. 107979, DOI: 10.1016/j.compag.2023.107979.
The article was submitted 18.07.2024; approved after reviewing 19.08.2024; accepted for publication 20.08.2024.
Вестник НГИЭИ. 2024. № 10 (161). C. 33-51. ISSN 2227-9407 (Print) Bulletin NGIEI. 2024. № 10 (161). P. 33-51. ISSN 2227-9407 (Print)
VWWWW^V TFYHHППГИИ MA ШИНЫ И ПКПРУПППА НИР VWWWWW
V^WVVWVW ППЯ ЛГРППРПМЫШПРННПГП КПМППРКГА
Information about the authors: I. R. Kafiev - Ph. D. (Engineering), Associate Professor of the Department «Electric Machines and Equipment», phone: +7-917-413-02-38, Spin-code: 1540-8480;
P. S. Romanov - Dr. Sci. (Engineering), Professor of the Department «Production automation and information technology», phone: +7-916-584-91-65, Spin-code: 1407-6588;
I. P. Romanova - Ph. D. (Engineering), Associate Professor of the Department «Production automation and information technology», Kolomna Institute (branch) of Moscow Polytechnic University; Associate Professor of the Department of «Information systems» Moscow Witte University, phone: +7-926-792-43-39, Spin-code: 6127-9592.
Contribution of the authors: Kafiev I. R. - solved organizational and technical questions for the preparation of the text. Romanov P. S. - managed the research project, analyzing and supplementing the text. Romanova I. P. - collection and processing of materials, preparation of the initial version of the text.
The authors declare no conflicts of interests.
