CC BY
42Робототехника и искусственный интеллект
УДК 632
DOI: 10.24412/CL-35807-2022-1-50-54
СИСТЕМА ОПТИЧЕСКОГО КОНТРОЛЯ КАЧЕСТВА ЯБЛОК
OPTICAL QUALITY CONTROL SYSTEM FOR APPLES
Жиркова А. А., аспирант кафедры «Мехатроника и технологические измерения» ФГБОУ ВО «Тамбовский государственный технический университет», г. Тамбов, Балабанов П. В., д. т. н, доцент кафедры «Мехатроника и технологические измерения» ФГБОУ ВО «Тамбовский государственный технический университет», г. Тамбов, Дивин А. Г., д. т. н, профессор кафедры «Мехатроника и технологические измерения» ФГБОУ ВО «Тамбовский государственный технический университет», г. Тамбов, Егоров А. С., к. т. н., доцент кафедры «Мехатроника и технологические измерения» ФГБОУ ВО «Тамбовский государственный технический университет», г. Тамбов
Zhirkova A. A., postgraduate student of the Department of "Mechatronics and Technological Measurements", Tambov State Technical University, Tambov, Balabanov P. V., Doctor of Technical Sciences, Associate Professor of the Department of "Mechatronics and Technological Measurements", Tambov State Technical University, Tambov, Divin A. G., Doctor of Technical Sciences, Professor of the Department of "Mechatronics and Technological Measurements", Tambov State Technical University, Tambov, Egorov A. S., Candidate of Technical Sciences, Associate Professor of the Department of "Mechatronics and Technological Measurements", Tambov State Technical University, Tambov
Аннотация: в статье дано описание системы оптического контроля качества яблок, приведена подробная функциональная схема системы оптического контроля качества, представлен алгоритм обработки спектрограмм, а также выборка яблок по типу «годен — не годен», сделан вывод о точности распознавания дефектов с помощью данного метода.
Abstract: the article describes the system of optical quality control of apples, provides a detailed functional diagram of the optical quality control system, presents an algorithm for processing spectrograms, as well as a sample of apples of the «fit — not fit» type, and concludes about the accuracy of defect recognition using this method.
Ключевые слова: гиперспектральный контроль, дефекты плодов, объекты растительного происхождения, роботизированный комплекс, сортировка, сохранность продуктов, система технического зрения, спектроскопия.
Keywords: hyperspectral control, fruit defects, objects of plant origin, robotic complex, sorting, safety of products, technical vision system, spectroscopy.
Современные гиперспектрометры позволяют получать качественную информацию об объекте исследования. В настоящее время они применяются в различных областях науки и отраслях экономики [1—8]. Гиперспектральный контроль превосходит другие методы контроля по показателям точности и объему получаемой информации. При построении гиперспектральных изображений регистрируемые спектры имеют высокое разрешение по длине волны и охватывают широкий диапазон длин волн.
На кафедре «Мехатроника и технологические измерения» ФГБОУ ВО «ТГТУ» был создан макет роботизированного комплекса, позволяющий
автоматизировать процесс выявления дефектов яблок.
Роботизированный комплекс состоит из загрузочного бункера, куда помещают сортируемые яблоки одного сорта, а также рольгангового конвейера и системы технического зрения. Последняя включает в себя гиперспектральную камеру Specim-FX10, камеру видимого диапазона Basler acA1920-155uc с интерфейсом GigE, CMOS-матрицей Sony IMX174 и частотой 164 кадра в секунду при разрешении 2,3 Мп, а также персональный компьютер (ноутбук) с установленным программным обеспечением. Гиперспектральная камера имеет спектральный диапазон 400—1000 нм, 224 спектральных полос, разрешение 2,5 нм, пространственную дискретизацию 1024 пикселя, частоту 330 fps. Оптическое воздействие на объекты контроля осуществляют две галогеновые лампы типа R7S Haloline Eco 64690 Osram, 80 W 2900 К. Для визуализации и обработки спектрограмм используется ноутбук с процессором Intel Core i5 8300H (2,3—4,0 ГГц в режиме Turbo), 8Гб ОЗУ, видеокартой GeForce GTX 1050 3Гб. Использованный комплекс оснащен промышленным коллаборативным роботом UR3 Universal Robots, предназначенным для отбраковки дефектных яблок.
Сортируемые объекты сельскохозяйственной продукции круглой формы 2 совершают поступательное перемещение вдоль оси х на рольганговом конвейере 1 и одновременно вращаются. При помощи поворотного зеркала 5 отраженный от поверхности объекта контроля свет фокусируется на чувствительных элементах гиперспектральной камеры 4 с линейкой оптических сенсоров.
Поворот зеркала согласован с координатами объекта на конвейере в течение времени, за ко-
Рис. 1. Функциональная схема системы оптического контроля качества: 1 — рольганговый конвейер; 2 — объект исследования; 3, 4 — камера; 5 — поворотное зеркало; 6 — привод; 7 — манипулятор; 8 — система управления; 9 — ПК
торое он совершит полный оборот. Это время рассчитывается по среднему диаметру объекта, скорости протяжки роликов, а также по их геометрическим параметрам. Для определения координат, а также среднего диаметра объекта контроля используется камера 3 видимого диапазона спектра. Изменение положения зеркала (угла поворота к оси х) осуществляется приводом 6, подключенным к системе управления 8 и персональному компьютеру (ноутбуку) 9. Несоответствующие объекты отбраковываются с конвейера манипулятором 7.
Программное обеспечение ноутбука при этом выполняет следующие функции:
— обнаружения объекта контроля на линии транспортировки (на конвейере) и определения координат поврежденного объекта контроля на линии транспортировки;
— обработки спектрограмм яблок, позволяющей осуществлять отбраковку в зависимости от наличия дефектов на их поверхности;
— передача управляющих команд контроллеру манипулятора UR3, осуществляющего сортировку фруктов.
На рисунке 2 представлен алгоритм обработки спектрограмм.
Входными данными алгоритма являются информация, поступающая с гиперспектральной камеры Specim FX10, а также с камеры видимого спектра Basler. При обнаружении дефектного объекта на линии транспортировки определяются его координаты, которые вносятся в массив дефектных объектов. Входными данными алгоритма являются: массив, содержащий классифицированные области объекта контроля (A); массив, содержащий время обнаружения каждого из дефектных объектов контроля, отсортированных в порядке возрастания времени обнаружения (B); объект-соединение по последовательному интерфейсу с модулем ввода-вывода. Массив B содержит значения системного времени обнаружения дефектного объекта. Если в массиве A присутствует дефектный объект и массив B пустой, то в массиве B сохраняется текущее системное время обнаружения дефектного объекта. Если в массиве A присутствует дефектный объект и массив B непустой, то новое время обнаружения дефектного объекта добавляется в массив B при условии, что со времени обнаружения последнего дефектного объекта прошло не менее, чем необходимо для полного прохождения объекта контроля через зону контроля системы технического зрения, которое вычисляется как отношение максимального диаметра объекта контроля к скорости движения конвейерной ленты. Далее при условии непустого массива B, если наступило время от-
2
1
браковки текущего дефектного объекта, то генерируется сигнал на модуль ввода-вывода по последовательному интерфейсу. Цифровой сигнал с модуля ввода-вывода передается на цифровой вход контроллера робота-манипулятора, который выполняет один цикл перемещений по заранее заданной траектории для отбраковки текущего дефектного объекта.
Программа позволяет:
— получать кадры с гиперспектральной камеры Зрешш БХ10;
— анализировать полученную спектрограмму;
— классифицировать дефекты объекта контроля в соответствии с выбранным сортом (высший, 1, 2, 3).
Область применения программы ограничена следующими условиями:
— объект контроля — яблоко любого сорта со средним диаметром в диапазоне 25—150 мм;
— допускается наличие незначительных загрязнений на поверхности объекта контроля, а также отдельных листьев в области плодоножки;
— скорость транспортировки объекта контроля не более 5 см/с.
— - - — ■ Импортирование производится из файла ш.ру
Импортирование программных компонент Ки.БПАГ.00021—01, Ки.БПАГ.327 119.000—01 и ИИ 202061 130 16 «Обработка изображений объектоов растительного происхождения в оптическом (видимом) диапазоне спектра излучения»
Выполняется по алгоритму обработки спектрограмм яблок для отбраковки при наличии видимых повреждений поверхностей
Выполняется по алгоритму программы ИИ 2020613018
Рис. 2. Алгоритм обработки спектрограмм
| 2000
I
р
1500 -
о
I 1000
500 -
600 700 800 Длина волны, нм
Рис. 3. Яблоко без дефектов
800
| 700 600
500
400
300
400 500
Рис. 4. Яблоко с гнилью
600 700 800 900 Длина волны, нм
1000
400 500 600 700 800 900 Длина волны, нм
1000
Рис. 5. Яблоко без дефектов размороженное
600 700 800 Длина волны, нм
Рис. 6. Яблоко без дефектов увядшее
800 -
I 700 а
600
500
S 400
к
s
500
200
400 500 600 700 800 900 Длина волны, нм
1000
Рис. 7. Яблоко больное (парша)
J0
700 -
\
:: ■]
600 -
Й 500 -
ив 400
к 300 -
400 500 600 700 800 Длина волны, нм
Рис. 8. Яблоко больное (джонатановая пятнистость)
900
1000
С помощь гиперспектральной камеры была получена выборка из более чем 500 000 спектрограмм (рис. 3—8), которые в ходе исследований были проанализированы, а затем с их помощью была обучена нейронная сеть.
Разработанный таким образом роботизированный комплекс позволил сортировать яблоки по принципу «годен — не годен». При этом точность распознавания дефектов яблок, движущихся по конвейеру, составила не менее 86 %.
Таким образом, обеспечивается возможность оптического контроля всей поверхности сельскохозяйственной продукции шарообразной формы (обнаружение не соответствующей по цвету, форме, размеру продукции, а также продукции, содержащей дефекты, вызванные фитозаболевани-ями, повреждениями вредителями, механически -ми воздействиями).
Финансирование: Исследование выполнено за счет гранта РФФИ (проект № 20-38-90235).
Список литературы
1. Solovchenko A. et al. Linking tissue damage to hyperspectral reflectance for non-invasive monitoring of apple fruit in orchards, Plants, vol. 10, no. 2, 2021, doi: 10.3390/plants10020310.
2. Yu Y., Velastin S. A., and Yin F. Automatic grading of apples based on multi-features and weighted K-means clustering algorithm, Inf. Process. Agric., vol. 7, no. 4, 2020, doi: 10.1016/j.inpa.2019.11.003.
3. Kondo N. Fruit grading robot in IEEE/ASME International Conference on Advanced Intelligent Mechatronics, AIM, 2003, vol. 2, doi: 10.1109/AIM.2003.1225542.
4. Jia W., Zhang Y., Lian J., Zheng Y., Zhao D., and Li C. Apple harvesting robot under information technology: A review. International Journal of Advanced Robotic Systems, vol. 17, no. 3. 2020, doi: 10.1177/1729881420925310.
5. Balabanov P. V. et al. Technical vision system for quality control of objects of the ball-shaped form when sorting on the conveyor, in Journal of Physics: Conference Series, 2020, vol. 1546, no. 1, doi: 10.1088/1742-6596/1546/1/012001.
