CC BY
30
Автоматика. Информатика. Управление. Приборы
УДК 004.896
DOI: 10.17277/vestnik.2022.04.pp.526-533
ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНАЯ СИСТЕМА ДЛЯ УПРАВЛЕНИЯ ПРОЦЕССОМ СОРТИРОВКИ ОВОЩЕЙ И ФРУКТОВ
П. В. Балабанов, А. А. Жиркова, А. Г. Дивин, А. С. Егоров, С. В. Мищенко, Г. В. Шишкина
Кафедра «Мехатроника и технологические измерения», miti@tstu.ru;
ФГБОУВО «ТГТУ», Тамбов, Россия
Ключевые слова: информационно-измерительная система; искусственные нейронные сети; система технического зрения; сортировка яблок.
Аннотация: Представлена функциональная схема информационно-измерительной системы для управления процессом сортировки яблок на основе обработки изображений яблок с использованием полносвязной искусственной нейронной сети прямого распространения. Основными элементами системы технического зрения является камера Basler aсA1920-155uc, гиперспектральная камера Spexim FX10, система сканирования яблок на основе вращающего зеркала. Представлены сведения о методе и результатах выбора оптимальных параметров нейронной сети, обеспечивающих точность классификации дефектов яблок, равную 86 %. При этом входными параметрами являлись вегетационные индексы NDVI, ARI1, CRI2, PSRI, а также индекс влагосодержания WBI.
Введение
Хранение овощей и фруктов после сбора урожая является одним из важнейших этапов их жизненного цикла. Следует учитывать, что в процессе хранения в растительных тканях фруктов и овощей происходят необратимые изменения вследствие физико-химических процессов, что приводит к потере качества и порче продукции. Поэтому продление срока годности и сокращение послеуборочных потерь скоропортящихся фруктов и овощей является актуальной задачей, решаемой путем совершенствования технологических процессов после сбора урожая. Такими процессами являются сушка, хранение растительных продуктов в контролируемой атмосфере при соответствующей температуре и влажности [1]. При этом важно в процессе сортировки удалить из общей массы продукции плоды и овощи, зараженные инфекционными фитозаболеваниями (вручную или автоматически) [2, 3].
Ручной контроль при сортировке отнимает много времени и сил. Для автоматизации сортировки пищевых и сельскохозяйственных продуктов широко используются системы технического зрения [4], которые за десятилетия интенсив-
ной работы зарекомендовали себя как эффективный инструмент. Результаты применения информационных технологий в области контроля внешнего и внутреннего качества фруктов в настоящее время опубликованы на основе целого ряда исследований, проведенных по обработке и анализу изображений и/или спектральных изображений яблок [5], манго [6], цитрусовых [4, 7], основанных на методах машинного обучения и искусственных нейронных сетях. Однако в данной области еще немало проблем, связанных с повышением точности классификации дефектов и снижения ошибок первого и второго рода при отбраковке.
Измерительная установка и алгоритм функционирования
Авторами данной статьи предложена информационно-измерительная система, предусматривающая получение данных о качестве сортируемых яблок в режиме реального времени при их движении по рольганговому конвейеру 1 (рис. 1). Конвейер приводится в движение мотор-редуктором 2, управляемым контролером 3 типа Segnetics SMH4, через частотный преобразователь 4. Изображения яблок 5, освещенные галогенными лампами и подсвеченные инфракрасным источником Microlight IR Plate-3-950 мощностью 10 W, получают от видеокамеры 6 типа Basler aсA-1920-155uc и гиперспектральной камеры 7Spеcim FX10, подключенных к компьютеру 8 [9]. Так как гиперспектральная камера имеет линейный детектор, то для получения двумерных изображений объектов на конвейере используют сканирующую систему на основе зеркала 11, способного вращаться благодаря шаговому двигателю 10.
Скорость вращения двигателя синхронизирована со скоростью движения конвейера, которая рассчитывается благодаря индуктивному датчику 12 по времени между импульсами его выходного сигнала, возникающими за счет движения втулок металлической приводной цепи. Отбраковка яблок в емкости 14 и 15, предназначенные соответственно для годных и дефектных плодов, осуществляется при помощи устройства сортировки 13 по сигналу с контроллера 9.
Алгоритм функционирования информационно-измерительной системы показан на рис. 2 и основан на использовании методов искусственного интеллекта.
> 9 *
10
/
1 6
LJ
фффффффф-фф-фф
Рис. 1. Информационно-измерительная система контроля качества яблок и их сортировки
8
1
2
4
3
Рис. 2. Блок-схема алгоритма функционирования информационно-измерительной системы
При этом использовалась искусственная нейронная сеть прямого распространения, на входы которой подавалась информация от гиперспектральной камеры. Для этого с помощью камеры Specim FX10 получены спектрограммы поверхностей конвейера (роликов черного матового цвета) и трех сортов яблок «Имрус», «Спартан», «Орловское», содержащих неповрежденную растительную ткань, загнившую растительную ткань, поврежденную паршой, джонатановой пятнистостью и сельхозвредителями. Как показал проведенный анализ полученных спектрограмм, вегетационные индексы NDVI, ARI1, CRI2, PSRI [8], рассчитанные по спектрограммам отраженного света от поверхности объекта контроля, несут информацию, достаточную для классификации яблок по видам дефектов. Дополнительно проведено исследование влияния влагосодержания яблока на его спектрограмму, которое показало, что поглощение излучения влагой, содержащейся в яблоке, наблюдается на длине волны 962 нм и увеличивается с повышением влагосодержания, а на длине волны 905 нм поглощение не зависит от влагосо-держания растительной ткани. В связи с этим предложено использовать индекс содержания влаги, вычисляемый по выражению RI905/ RI962.
По результатам выполненного анализа предложен подход к обработке спектрограмм яблок, состоящий в том, что полученные гиперспектральной камерой Specim FX10 спектрограммы (участки спектрограмм объекта контроля, соответствующие длинам волн, используемых при расчете вегетационных индексов, будут сравниваться с «эталонными» (участками спектрограмм, заранее полученных с поверхностей объектов /-го класса по табл. 1). Для реализации этого подхода использовалась полносвязная искусственная нейронная сеть, обученная по более чем 50 000 спектрограммам, соответствующим различному качеству растительной ткани яблок. Поскольку сенсор камеры Specim FX10, применяемой для получения спектрограмм, включает 1024 чувствительных элемента, расположенных в линию, было получено 1024 спектрограммы для точек, лежащих в области измерения вдоль роликов конвейера. При этом шаг по длине конвейера составил менее 0,3 мм, что позволяет выявлять даже самые мелкие дефекты на поверхности яблока.
Указанные выше вегетационные индексы являются входами Ii, i = 1...5, нейронной сети с двумя скрытыми слоями и используются для расчета входных (input) и выходных (output) значений нейронов каждого скрытого слоя по весам и смещениям, которые были вычислены в процессе обучения нейросети.
Таблица 1
Классы поверхностей контроля
Вид объекта контроля, с которого получена спектрограмма Класс объекта
Не поврежденная растительная ткань 0
Увядший плод 1
Плоды:
с загнившими растительными тканями 2
с джонатановой пятнистостью 3
поврежденные сельхозвредителями 4
с пятнами парши 5
Не поврежденная растительная ткань, содержащая:
плодоножку 6
чашелистики 7
Поверхность конвейера 8
Выходом нейросети является класс поверхности объекта контроля в соответствие с табл. 1.
Разработанный алгоритм обработки спектрограммы включает: вычисление индексов NDVI, ARI1, CRI2, PSRI, а также WBI = RI905/RI962, обработку их при помощи полносвязной нейронной сети прямого распространения с двумя скрытыми слоями (см. табл. 1).
Параметры нейросети выбирались исходя из достижения наибольшего значение параметра Ac, вычисляемого по формуле
Ac = 1 - P,
где P = N\/N + N2/n; Ni, N2, n - число ошибок соответственно первого, второго рода и общее число испытаний; под ошибками первого рода понимается случай, когда спектрограммы классов 0, 6, l (по табл. 1) нейросеть относит к классам 1 - 5, 8, то есть яблоко без дефектов будет считаться дефектным.
Под ошибкой второго рода понимаем случай, когда спектрограммы классов 1 - 5, 8 нейросеть относит к классам 0, 6, l, то есть яблоко с дефектом будет определено как бездефектное.
Варьируемые параметры нейросети:
- количество скрытых слоев (1 - 4);
- функции активации для каждого слоя (relu, sigmoid, softmax);
- количество эпох обучения (10.. .30);
- размер партии обучения (250 .1000);
- количество нейронов в каждом скрытом слое (16.. 128).
Алгоритм поиска оптимальных параметров нейросети заключался в том, что на вход нейросети передавалось N = 1000 спектрограмм и для заданной комбинации параметров нейросети вычислялось значение параметра Ac. Оптимальными считались параметры из множества, для которого параметр Ac принимает наибольшее значение. В результате перебора множества комбинаций и расчета параметра Ас получены следующие оптимальные значения: количество эпох - 30, скрытых слоев - 2, число нейронов в первом слое - 128, во втором - 64. Диапазоны варьируемых параметров выбраны, исходя из рекомендованных в работах [10 - 12].
При этом значение параметра оказалось равным 0,84, количество ошибок первого и второго рода при классификации поверхности равнялось при этом 16 %, что сопоставимо с результатами исследований зарубежных авторов [11, 12]. Повышение точности классификации возможно при увеличении объема обучающей выборки.
Результаты исследований получены при поддержке РФФИ, грант № 20-38-90235.
Список литературы
1. Primary Metabolism in Fresh Fruits During Storage / S. Brizzolara, G. A. Manganaris, V. Fotopoulos [et al.] // Frontiers in Plant Science. - 2020. - Vol. 11. -Art. 80. doi: 10.3389/fpls.2020.00080
2. Application of Infrared Vision System for Potato Thermal Control / A. Churikov, A. Divin, A. Egorov, L. Podestà // Journal of Physics: Conference Series. - 2018. - Vol. 1084, No. 1. - P. 012002. doi: 10.1088/1l42-6596/1084/1/012002
3. Mohammadi Baneh, N. Mechatronic Components in Apple Sorting Machines with Computer Vision / N. Mohammadi Baneh, H. Navid, J. Kafashan // Journal of Food Measurement and Characterization. - 2018. - Vol. 12, No. 2. - P. 1135 - 1155. doi: 10.100l/s11694-018-9l28-1
4. Blasco, J. Machine Vision System for Automatic Quality Grading of Fruit / J. Blasco, N. Aleixos, E. Moltó // Biosystems Engineering. - 2003. - Vol. 85, No. 4. -P. 415 - 423. doi: 10.1016/S153l-5110(03)00088-6
5. Qin, J. Measurement of the Optical Properties of Fruits and Vegetables Using Spatially Resolved Hyperspectral Diffuse Reflectance Imaging Technique / J. Qin, R. Lu // Postharvest Biology and Technology. - 2008. - Vol. 49, No. 3. - P. 355 - 365. doi: 10.1016/j.postharvbio.2008.03.010
6. Long, N. T. M. Using Machine Learning to Grade the Mango's Quality Based on External Features Captured by Vision System / N. T. M. Long, N. T. Thinh // Applied Sciences. - 2020. - Vol. 10, No. 17. - P. 5775. doi: 10.3390/APP10175775
7. Khairullah, K. Identifikasi Kematangan Cabai Menggunakan Operasi Morfologi (Opening dan Closing) dan Metode Backpropagation / K. Khairullah, E. D. Putra // SISTEMASI. - 2021. - Vol. 10, No. 1. - P. 96 - 105. doi: 10.32520/stmsi.v10i1.1094
8. Vision System for Detection of Defects on Apples Using Hyperspectral Imaging Coupled with Neural Network and Haar Cascade Algorithm / P. V. Balabanov, A. G. Divin, A. S. Egorov [et al.] // IOP Conference Series: Materials Science and Engineering. - 2020. - Vol. 862, No. 5. - P. 052058. doi: 10.1088/1757-899X/862/5/052058
9. Жиркова, А. А. Выбор источников освещения при оптико-электронном контроле качества фруктов / А. А. Жиркова, П. В. Балабанов, А. Г. Дивин // Вестн. Тамб. гос. техн. ун-та. - 2021. - Т. 27, № 4. - С. 536 - 542. doi: 10.17277/vestnik.2021.04.pp.536-542
10. Marpu, P. R. Hyperspectral Data Classification Using an Ensemble of Class-Dependent Neural Networks / P. R. Marpu, P. Gamba, I. Niemeyer // First Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, 26 - 28 August, 2009, Grenoble, France. - IEEE, 2009. doi: 10.1109/whispers.2009.5289013
11. Design of an Automatic Apple Sorting System Using Machine Vision / M. M. Sofu, O. Er, M. C. Kayacan, B. Ceti§li // Computers and Electronics in Agriculture. - 2016. - Vol. 127. - P. 395 - 405. doi: 10.1016/j.compag.2016.06.030
12. Wu, A. Detection of Apple Defect Using Laser-Induced Light Backscattering Imaging and Convolutional Neural Network / A. Wu, J. Zhu, T. Ren // Computers & Electrical Engineering. - 2020. - Vol. 81. - P. 106454. doi: 10.1016/ j.compeleceng.2019.106454
An Information-Measuring System to Monitor Vegetable and Fruit Sorting Process
P. V. Balabanov, A. A. Zhirkova, A. G. Divin, A. S. Egorov, S. V. Mishchenko, G. V. Shishkina
Department of Mechatronics and Technological Measurements, miti@tstu.ru;
TSTU, Tambov, Russia
Keywords: information-measuring system; artificial neural networks; vision system; sorting apples.
Abstract: The paper presents a functional diagram of an information-measuring system to monitor the process of sorting apples through the processing of images of apples using a fully connected artificial neural network of direct propagation. The main components of the technical perspective system are the Basler acA1920-155uc camera, the Spexim FX 10 hyperspectral camera, the apple spinning mirror system. Presenting information about the method and choosing the optimal parameters of the neural network makes it possible to identify cases of infection with apples equal to 86 %. In this case, the input parameters were the vegetative indices NDVI, ARI1, CRI2, PSRI, as well as the moisture content index WBI.
References
1. Brizzolara S., Manganaris G.A., Fotopoulos V., Watkins C.B., Tonutti P. Primary Metabolism in Fresh Fruits During Storage, Frontiers in Plant Science, 2020, vol. 11, art. 80, doi: 10.3389/fpls.2020.00080
2. Churikov A., Divin A., Egorov A., Podesta L. Application of Infrared Vision System for Potato Thermal Control, Journal of Physics: Conference Series, 2018, vol. 1084, no. 1, p. 012002, doi: 10.1088/1742-6596/1084/1/012002
3. Mohammadi Baneh N., Navid H., Kafashan J. Mechatronic Components in Apple Sorting Machines with Computer Vision, Journal of Food Measurement and Characterization, 2018, vol. 12, no. 2, pp. 1135-1155, doi: 10.1007/s11694-018-9728-1
4. Blasco J., Aleixos N., Molto E. Machine Vision System for Automatic Quality Grading of Fruit, Biosystems Engineering, 2003, vol. 85, no. 4, pp. 415-423, doi: 10.1016/S1537-5110(03)00088-6
5. Qin J., Lu R. Measurement of the Optical Properties of Fruits and Vegetables Using Spatially Resolved Hyperspectral Diffuse Reflectance Imaging Technique, Postharvest Biology and Technology, 2008, vol. 49, no. 3, pp. 355-365, doi: 10.1016/j.postharvbio.2008.03.010
6. Long N.T.M., Thinh N.T. Using Machine Learning to Grade the Mango's Quality Based on External Features Captured by Vision System, Applied Sciences, 2020, vol. 10, no. 17, p. 5775, doi: 10.3390/APP10175775
7. Khairullah K., Putra E.D. Identifikasi Kematangan Cabai Menggunakan Operasi Morfologi (Opening dan Closing) dan Metode Backpropagation, SISTEMASI, 2021, vol. 10, no. 1, pp. 96-105, doi: 10.32520/stmsi.v10i1.1094
8. Balabanov P.V., Divin A.G., Egorov A.S., Yudaev V.A., Lyubimova D.A. Vision System for Detection of Defects on Apples Using Hyperspectral Imaging Coupled with Neural Network and Haar Cascade Algorithm, IOP Conference Series: Materials Science and Engineering, 2020, vol. 862, no. 5, p. 052058, doi: 10.1088/1757-899X/862/5/052058
9. Zhirkova A.A., Balabanov P.V., Divin A.G. [Choice of lighting sources in optoelectronic fruit quality control], Transactions of the Tambov State Technical University, 2021, vol. 27, no. 4, pp. 536-542, doi: 10.17277/vestnik.2021.04.pp.536-542 (In Russ., abstract in Eng.)
10. Marpu P.R., Gamba P., Niemeyer I. Hyperspectral Data Classification Using an Ensemble of Class-Dependent Neural Networks, First Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, 26 - 28 August, 2009, Grenoble, France, IEEE, 2009, doi: 10.1109/whispers.2009.5289013
11. Sofu M.M., Er O., Kayacan M.C., Ceti§li B. Design of an Automatic Apple Sorting System Using Machine Vision, Computers and Electronics in Agriculture, 2016, vol. 127, pp. 395-405, doi: 10.1016/j.compag.2016.06.030
12. Wu A., Zhu J., Ren T. Detection of Apple Defect Using Laser-Induced Light Backscattering Imaging and Convolutional Neural Network, Computers & Electrical Engineering, 2020, vol. 81, p. 106454, doi: 10.1016/j.compeleceng.2019.106454
Informations- und Messsystem für die Steuerung des Sortierablaufs von Gemüse und Obst
Zusammenfassung: Es ist ein Funktionsdiagramm des Informationsmesssystems zur Steuerung des Prozesses des Sortierens von Äpfeln anhand der Bildverarbeitung von Äpfeln unter Verwendung eines voll vernetzten, künstlichen neuronalen Direktverbreitungsnetzwerks vorgestellt. Die Hauptelemente
des Bildverarbeitungssystems sind die Basler acA1920-155uc-Kamera, die Hyperspektralkamera Spexim FX10 und das Apfel-Scansystem mit rotierendem Spiegel. Es sind Informationen über die Methode und die Ergebnisse der Auswahl der optimalen Parameter des neuronalen Netzes präsentiert, die eine Genauigkeit der Klassifizierung von Äpfelfehlern von 86 % gewährleisten. Eingangsparameter sind in diesem Fall die Vegetationsindizes NDVI, ARI1, CRI2, PSRI sowie der Feuchteindex WBI.
Système d'information et de mesure pour la gestion du processus de tri des légumes et des fruits
Résumé: Est présenté un schéma fonctionnel du système d'information et de mesure pour la gestion du processus de tri des pommes à la base du traitement des images des pommes à l'aide d'un réseau neuronal artificiel à distribution directe entièrement connecté. Les principaux éléments du système de vision sont la caméra Basler acA1920-155uc, la caméra hyperspectrale Spexim FX10, le système de balayage des pommes basé sur un miroir rotatif. Sont données les informations sur la méthode et les résultats de la sélection des paramètres optimaux du réseau neuronal qui permettent de classer les défauts avec une précision de 86 %. Dans ce cas, les paramètres d'entrée sont les indices de végétation NDVI, ARI1, CRI2, PSRI, ainsi que l'indice de teneur en humidité WBI.
Авторы: Балабанов Павел Владимирович - доктор технических наук, доцент, заведующий кафедрой «Мехатроника и технологические измерения»; Жиркова Александра Александровна - аспирант кафедры «Мехатроника и технологические измерения»; Дивин Александр Георгиевич - доктор технических наук, профессор кафедры «Мехатроника и технологические измерения»; Егоров Андрей Сергеевич - кандидат технических наук, доцент кафедры «Мехатроника и технологические измерения»; Мищенко Сергей Владимирович - доктор технических наук, профессор, советник при ректорате; Шишкина Галина Викторовна -кандидат технических наук, доцент кафедры «Мехатроника и технологические измерения», ФГБОУ ВО «ТГТУ», Тамбов, Россия.
