CC BY
68
УДК 004.93.11:681.51
DOI: 10.17277/vestnik.2017.04.pp.601-608
МАКЕТ РОБОТИЗИРОВАННОГО КОМПЛЕКСА ДЛЯ СОРТИРОВКИ СЕЛЬСКОХОЗЯЙСТВЕННОЙ ПРОДУКЦИИ
А. Г. Дивин, П. В. Балабанов, Г. В. Шишкина, Г. В. Мозгова
Кафедра «Мехатроника и технологические измерения», ФГБОУ ВО «ТГТУ», г. Тамбов, Россия; [email protected]
Ключевые слова: алгоритм функционирования; программное обеспечение; робот Балис; роботизированный комплекс; сортировка сельскохозяйственной продукции; техническое зрение.
Аннотация: Разработан макет роботизированного комплекса для сортировки сельскохозяйственной продукции. Показана процедура настройки системы технического зрения. Приведен алгоритм функционирования и листинг программы сортировки картофеля по размеру.
Сортировка овощей и фруктов является обязательной процедурой перед закладкой продукции на хранение или перед отправкой потребителю. Происходит выбраковка из исходной массы образцов, имеющих несоответствующие размеры, а также повреждения, полученные вследствие механических воздействий или фи-тозаболеваний. В настоящее время сортировка, как правило, предусматривает ручной труд, при котором человек длительное время совершает монотонную и утомительную работу. Поэтому поиск альтернативных методов сортировки сельскохозяйственной продукции является актуальной задачей.
Анализ разработанных роботизированных комплексов для отбраковки объектов растительного происхождения [1-8] позволяет сделать вывод о том, что наиболее перспективное направление в данной сфере - это применение систем технического зрения в видимом и инфракрасном диапазонах длин волн электромагнитного спектра. Также в последнее время применение нейронных сетей и нечеткой логики в алгоритмах обработки изображений становится более востребовано.
Несмотря на достаточно большое число разработанных систем технического зрения, все они далеки от совершенства. В частности, решения об отбраковке несоответствующей по качеству продукции в процессе сортировки могут оказаться неверными в силу того, например, что яблоки разного сорта отличаются размерами и структурой, а их качество варьируется от сезона. Поэтому необходимо создание новых методов и алгоритмов сортировки. Также существует явная нехватка математических алгоритмов, ориентированных на компьютеры с высокой производительностью, поддерживающих параллельную обработку для анализа одновременно нескольких объектов.
Предлагаемый роботизированный комплекс для сортировки сельскохозяйственной продукции позволяет распознавать в видимой, ультрафиолетовой и ин-
фракрасной [9 - 10] областях спектра объекты, имеющие поверхностные или подповерхностные дефекты, механические повреждения, несоответствующие форму, размер или цвет. Важным элементом разрабатываемого сортировочного комплекса является система технического зрения, которая получает, обрабатывает и анализирует цифровое изображение объекта при помощи оптического тепловизора, видеокамер, компьютера и других электромеханических устройств. Схема макета роботизированного комплекса для сортировки картофеля показана на рис. 1.
Клубни картофеля 7 перемещаются по роликовому конвейеру, причем каждый клубень находится в ложе между соседними роликами 2, которые совершают линейное перемещение и одновременно вращаются благодаря жестко закрепленной на одной оси зубчатой шестерни 3, перемещающейся по рейке 1. Вращение роликов вызывает вращение клубня, благодаря чему камеры 4, 5 и 6 просматривают большую часть поверхности клубня. При этом камеры 4 и 5 типа Basler acA1920-155um имеют чувствительность в видимом диапазоне длин волн электромагнитного излучения, а камера 6 FLIR A 35 в интервале 8... 14 мкм инфракрасного диапазона длин волн. Камера 4 предназначена для регистрации эмиссионного излучения от клубней картофеля, испытывающих воздействие от источника 8 ультрафиолетового излучения. Камера 5 регистрирует отраженный от клубней свет видимого диапазона источников 9, а тепловизор 6 с адаптером 12 -излучение от клубней, испытавших воздействие от инфракрасного нагревателя 10. Система технического зрения, реализованная в среде LabView c библиотекой NI Vision, служит для обработки изображений, поступающих с камер, поиска дефектов и регистрации координат несоответствующих объектов. Используя сигнал энкодера конвейера (на рис. 1 не показан), программно рассчитывается момент времени, в который с компьютера 11 через модуль дискретного выхода 13 поступает сигнал на контроллер 15 манипулятора 16 (Fanuc LRM-200id/4S), благодаря чему возможно удаление дефектного объекта с конвейера. Манипулятор данного типа
Рис. 1. Схема макета роботизированного комплекса для сортировки картофеля:
1 - рейка; 2 - ролик; 3 - зубчатая шестерня; 4, 5, 6,14 - камеры; 7 - клубни картофеля; 8 - источник ультрафиолетового излучения; 9 - источник света видимого диапазона; 10 - инфракрасный нагреватель; 11 - компьютер; 12 - адаптер; 13 - модуль дискретного выхода; 15 - контроллер; 16 - манипулятор
имеет также возможность работы с видеокамерой 14, что позволяет ему сортировать клубни по размерам.
Технические средства подсистемы сортировки по размеру включают робот Балис и камеру 14, оптическая ось которой расположена над объектом контроля. Если камера установлена на руке робота, то в процессе работы необходимо обеспечить перпендикулярность оптической оси камеры к плоскости ХУ, когда робот двигается для захвата объекта. Программное обеспечение роботизированной системы сортировки создано в приложении ЖР1скТоо1, установленном в контроллера Я-301Б.
Процедура настройки системы технического зрения включает несколько этапов: установка центральной точки схвата (ЦТС) робота (точки касания пальцев схвата с захватываемым объектом); установка калибровочной сетки (для настройки камеры); установка системы координат (для определения взаимного расположения камеры и схвата); создание видеопроцесса (где задается форма и размеры распознаваемого объекта); создание управляющей программы для робота.
В качестве рабочего органа предложено использовать пневматический схват РеБЮ, для которого расстояние от фланца крепления на роботе до ЦТС составляет 70 мм. Данное значение при написании программы сохранено в позиционном регистре РЯ [10] (рис. 2) в целях компенсации размера схвата. Процедура установки ЦТС робота Балис стандартная, поэтому в рамках данной работы не приводится.
При установке камеры использовалась типовая процедура, осуществляемая в программе Ж^бюп, а также калибровочная сетка (см. рис. 2) с расстоянием между соседними кругами 25 мм. Параметры видео процесса, задаваемые в данной программе, задавались таким образом, чтобы системой распознавались объекты, имеющие форму, близкую к форме круга или эллипса с радиусом или размером полуоси, равными или меньшими 17 мм.
Управляющая программа имеет структуру, представленную на рис. 3. Она включает основную программу РК_МАШ, программу инициализации РК_ШГТ, программу захвата объекта РК_Р1СК и программу РК_БЯОР укладки отбракованного объекта. Вызов подпрограмм осуществляется из программы РК_МАШ в соответствии с алгоритмом, представленном на рис. 3.
11 10=% J
Rh- -Т'"' T2 WBMiffffT
iRvlilon setup main VTCЛLГB
ZGDrn; 5DX v
• 4 1 • • —-1
• I » ^ •
• « • < • ( » • •
• i > • • t • • 1
1 BESET 1 1 OK CANCEL
Рис. 2. Изображение калибровочной сетки в программе 1КУ1«шп
Рис. 3. Алгоритм функционирования программы РК_МЛШ сортировки картофеля по размеру
При вызове программы РК_Ш1Т (листинг 1.2) происходит сброс всех используемых в программах регистров, инициализация регистра РЯ [10], а также вызов функций, считывающих сигнал энкодера двигателя транспортера infeed и сигнал с камеры Р8ТШ. Далее робот переходит в режим ожидания. Схват робота расположен в точке Р [1], определяемой координатами ХУ2, и заданной в режиме обучения. Далее вызывается программа РК_Р1СК (листинг 1.3), отвечающая за распознавание объекта контроля и захват объекта, удовлетворяющего требованиям отбраковки (т.е. объекта округлой формы с диаметром меньшим 35 мм).
В программе РК_Р1СК осуществляется периодическое (с периодом 50 мс) фотографирование области конвейерной ленты, расположенной перпендикулярно оптической оси камеры. В созданном видеопроцессе осуществляется сравнивание объектов на фотографии с эталонным образом, представляющем собой круг диаметром 35 мм. Если на фотографии имеются объекты, форма которых близка к форме
эталонного образа, а их размер не больше размера образа, то координаты распознанного объекта, подлежащего отбраковке, с учетом скорости движения конвейерной ленты, записываются в видеорегистр VR [1]. Полученные координаты в качестве сигнала смещения voffset передаются роботу, который с заданной скоростью 1000 мм/с перемещает схват к объекту и сопровождает объект в течение времени 0,3 с (оператор wait), достаточного для закрытия схвата и захвата объекта.
Листинг 1.1 Программа PK MAIN:
Программный код Комментарий
CALL PK INIT Вызов функции инициализации
CALL PKWCSTART
CALL PK PERCH
LBL [100]
UTOOL NUM=0 Задание параметров инструмента
UFRAME NUM=0
J P [1] 50% CNT10 0 Переход в позицию ожидания
CALL PK PICK Вызов функции захвата
IF R [1]>0, jMP [10000]
CALL PK DROP Вызов функции укладки
IF R [1]>0, jMP [10000]
jMP LBL [100]
LBL [10000]
CALL PKWCEND Конец задачи
end
Листинг 1.2 Программа PK INIT:
Программный код Комментарий
PR [10]=LPOS-LPOS PR [10,3]=(-70) R [1]=0 CALL PKCS GETID ('infeed', CStn ID Reg=11) CALL PKFS GETID ( 'FSTN1' , FStn ID Reg=12) CALL PKFS PUT QUE (Fstn ID=R[12]) end Обнуление позиционного регистра Считывание сигнала с энкодера двигателя ленточного транспортера Считывание сигнала с камеры
Листинг 1.3 Фрагмент программы PK PICK:
Программный код Комментарий
UFRAME NUM=0 UTOOL NUM=R [3] LBL [100] L P [1] 1000 mm/sec CNT100 VOFFSET, VR [1] Tool Offset, PR [10] L P [1] 500 mm/sec CNT0 VOFFSET, VR [1] Tool Offset, PR [15] WAIT. 30(sec) end Задание параметров инструмента и рабочей области Перемещение к объекту Выдержка времени, необходимого на закрытие схвата
После схватывания объекта вызывается программа PK_DROP, в соответствии с которой он помещается в емкость для брака.
В связи с утвержденной Правительством программой «Цифровая экономика Российской Федерации» применение роботизированных комплексов, в том числе и в сельском хозяйстве, имеет большие перспективы. Благодаря высоким показателям скорости, грузоподъемности и маневренности роботы успешно заменяют ручной труд, они не знают усталости и не требуют специальных условий труда. К тому же в последнее время цена роботов имеет устойчивую тенденцию к снижению. Уже сейчас в робототехнике достигнуты огромные высоты, и с каждым годом данная сфера будет все больше развиваться, потому что будущее именно за ней.
Работа выполнена в рамках Соглашения № 14.577.21.0214 с Министерством образования и науки Российской Федерации (уникальный идентификатор RFMEFI57716X0214).
Список литературы
1. Polder, G. Calibration and characterization of spectral imaging systems /
G. Polder, G. W. van der Heijden // Journal of Multispectral and Hyperspectral Image Acquisition and Processing. - 2001. - Р. 10 - 17.
2. Di, W. Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: - Part II: Applications / W. Di, D.-W. Sun // Journal of Innovative Food Science and Emerging Technologies. - 2013. - No. 19. -Р. 15 - 28.
3. Toylan, H. A Real-Time Apple Grading System Using Multicolor Space /
H. Toylan, H. Kuscu // Journal of Scientific World Journal. - 2014. - Р. 10 - 13.
4. Razmjooy, N. A real-time mathematical computer method for potato inspection using machine vision / N. Razmjooy, B. Somayeh Mousavib, F. Soleymani // Computers and Mathematics with Applications. - 2011. - No. 63. - Р. 268 - 279.
5. Cubero, S. Advances in Machine Vision Applications for Automatic Inspection and Quality Evaluation of Fruits and Vegetables / S. Cubero, N. Aleixos, E. Molto, J. Gomez-Sanchis, J. Blasco // Journal of Food Bioprocess Technol. - 2011. - No. 4. -Р. 487 - 504.
6. Santosh, L. A review of vibrational spectroscopic techniques for the detection of food authenticity and adulteration / L. Santosh, L. Sangdae, L. Hoonsoo, Cho Byoung-Kwan // Journal of Trends in Food Science & Technology. - 2015. - No. 46. -P. 85 - 98.
7. Mahendran, R. Application of Computer Vision Technique on Sorting and Grading of Fruits and Vegetables / R. Mahendran, G. C. Jayashree, K. Alagusundaram // Journal of Food Processing & Technology. - 2012. - P. 1 - 7.
8. Panitnat, Y. Agricultural Produce Grading by Computer Vision Based on Genetic Programming / Y. Panitnat // International Conference on Robotics and Biomimetics. - 2015.
9. Филатова, А. Г. Температурное поле дисперсного материала в системе контактирующих тел / А. Г. Филатова, А. А. Чуриков, А. Г. Дивин // Вестн. Тамб. гос. техн. ун-та. - 2015. - Т. 21, № 1. - С. 16 - 21.
10. Чуриков, А. А. Проектирование оптимального режима проведения нераз-рушающего теплового контроля малогабаритных изделий / А. А. Чуриков, Н. А. Конышева, Г. В. Шишкина // Вестн. Тамб. гос. техн. ун-та. - 2016. - Т. 22, № 1. - С. 6 - 14.
A Model of Robotic Sorting Facility for Agricultural Products
A. G. Divin, P. V. Balabanov, G. V. Shishkina, G. V. Mozgova
Department of Mechatronics and Technological Measurements, TSTU, Tambov, Russia; [email protected]
Keywords: algorithm of functioning; software; Fanuc robot; robotic facility; sorting of agricultural products; technical vision.
Abstract: A model of a robotic sorting facility for agricultural products is developed. The procedure for setting up the vision system is shown. The algorithm of functioning and the program for sorting potatoes by size are described.
References
1. Polder G., Heijden van der G. W. Calibration and Characterization of Spectral Imaging Systems, Journal of Multispectral and Hyperspectral Image Acquisition and Processing, 2001, pp. 10-17.
2. Di W., Sun D.-W. Advanced Applications of Hyperspectral Imaging Technology for Food Quality and Safety Analysis and Assessment, Part II: Applications, Journal of Innovative Food Science and Emerging Technologies, 2013, no. 19, pp. 15-28.
3. Toylan H., Kuscu H. A Real-Time Apple Grading System Using Multicolor Space, Journal of Scientific World Journal, 2014, pp. 10-13.
4. Razmjooy N., Somayeh Mousavib B., Soleymani F. A Real-Time Mathematical Computer Method for Potato Inspection using Machine Vision, Computers and Mathematics with Applications, 2011, no. 63, pp. 268-279.
5. Cubero S., Aleixos N., Molto E., Gomez-Sanchis J., Blasco J. Advances in Machine Vision Applications for Automatic Inspection and Quality Evaluation of Fruits and Vegetables, Journal of Food Bioprocess Technol, 2011, no. 4, pp. 487-504.
6. Santosh L., Sangdae L., Hoonsoo L., Byoung-Kwan Cho. A Review of Vibrational Spectroscopic Techniques for The Detection Of Food Authenticity and Adulteration, Journal of Trends in Food Science & Technology, 2015, no. 46, pp. 85-98.
7. Mahendran R., Jayashree G. C., Alagusundaram K. Application of Computer Vision Technique on Sorting and Grading of Fruits and Vegetables, Journal of Food Processing & Technology, 2012, pp. 1-7.
8. Panitnat Y. Agricultural Produce Grading by Computer Vision Based on Genetic, International Conference on Robotics andBiomimetics, 2015.
9. Filatova A.G., Churikov A.A., Divin A.G. [Temperature Field of a Dispersed Material in a System of Contacting Bodies], Transactions of the Tambov State Technical University, 2015, vol. 21, no. 1, pp. 16-21. (In Russ., abstract in Eng.)
10. Churikov A.A., Konysheva N.A., Shishkina G.V. [Designing the Optimal Mode for Conducting Non-Destructive Thermal Control of Small-Sized Products], Transactions of the Tambov State Technical University, 2016, vol. 22., no. 1, pp. 6-14. (In Russ., abstract in Eng.)
Das Modell des Roboterkomplexes zum Sortieren landwirtschaftlicher Produkte
Zusammenfassung: Es ist ein Modell des Roboterkomplexes zum Sortieren landwirtschaftlicher Produkte entwickelt. Die Vorgehensweise des Einrichtens des Sichtsystems ist angezeigt worden. Angegeben sind der Algorithmus des Funktionierens und die Auflistung des Kartoffelsortierungsprogramms nach der Größe.
Maquette de l'ensemble industriel robotisé pour le triage des produits agricoles
Résumé: Est conçue la maquette de l'ensemble robotisé pour le triage des produits agricoles. Est montrée la procédure du réglage du système de la vision technique. Est cité l'algorithme du fonctionnement et le listing du programme de triage des pommes de terre suivant les dimensions.
Авторы: Дивин Александр Георгиевич - доктор технических наук, доцент, заведующий кафедрой «Мехатроника и технологические измерения»; Балабанов Павел Владимирович - доктор технических наук, доцент кафедры «Мехатроника и технологические измерения»; Шишкина Галина Викторовна - кандидат технических наук, доцент кафедры «Мехатроника и технологические измерения»; Мозгова Галина Владимировна - кандидат технических наук, доцент кафедры «Мехатроника и технологические измерения», ФГБОУ ВО «ТГТУ», г. Тамбов, Россия.
Рецензент: Беляев Павел Серафимович - доктор технических наук, профессор кафедры «Материалы и технология», ФГБОУ ВО «ТГТУ», г. Тамбов, Россия.
