CC BY
17ПИТАНИЕ
УДК 664-405
Определение эффективности процесса сепарирования семян подсолнечника в потоке с использованием компьютерного зрения
Благовещенский Владислав Германович1, Петряков Александр Николаевич1, Сумерин Вячеслав Андреевич1
1 ФГБОУ ВО «Московский государственный университет пищевых производств»
Корреспонденция, касающаяся этой статьи, должна быть адресована Благовещенскому Владислава Германовичу, ФГБОУ «Московский государственный университет пищевых производств», Волоколамское шоссе, д. 11, Сокол район, г. Москва, Российская Федерация, 125080, e-mail: bvg1996@mail.ru
Представленная работа рассматривает решение задачи контроля содержания лузги семян подсолнечника в потоке после сепарирования, при помощи системы компьютерного зрения. Данная задача обуславливается нестабильностью свойств поступающего на переработку сырья. Поскольку при подготовке семян подсолнечника к производству кондитерских изделий используют семена разного сорта из различных регионов России, каждая партии семян будет разного размера, с различными свойствами и с различной степенью содержания лузги. Все это приводит к нестабильности процесса производства кондитерских изделий и влияет на качество готового продукта, поскольку для каждой партии сырья необходимо подбирать свои оптимальные режимы работы оборудования. Одним из основных показателей качества процесса сепарирования является коэффициент содержания примесей в исследуемом сырье, который необходимо определять в потоке. В статье представлен метод определения в потоке содержания лузги.
Ключевые слова: процесс сепарирования, семена подсолнечника, автоматизация контроля качества, компьютерное зрение.
Введение
В ходе исследования технологического процесса подготовки семян подсолнечника к производству пищевых изделий, обнаружились участки, на которых необходимо производить непрерывно контроль качества сырья на промежуточных технологических операциях. Одним из таких участков является процесс сепарирования семян подсолнечника и степень их очистка от примесей. Стоит отметить, что от влажности, сорта и геометрических размеров семян зависят режимы работы оборудования для сепарирования семян подсолнечника. Следовательно, эффективность процесса очистки семян подсолнечника (коэффициент извлечения примесей) может варьироваться в ходе технологического процесса, что влияет на качество готовых кондитерских изделий, например, подсолнечной халвы. Согласно стандарту, при производстве халвы допускается наличие не более 0,8 % лузги.
Задачи:
• разработать метод автоматического определения наличия лузги в семенах подсолнечника после процесса сепарирования с использованием системы компьютерного зрения;
• создать компьютерную программу, способную распознать наличие примесей в кадре и рассчитать коэффициент извлечения примесей при сепарировании этого сырья;
• провести проверку работоспособности созданной компьютерной программы.
В научной литературе известно значительное количество работ, авторы которых ставили и решали задачи контроля качества пищевого сырья в потоке. В иностранной статье (Bader & Rahimifard, 2020) предлагается улучшение лабораторного анализа сырья, что даст высокую вероятность выявление примесей, но у данного метода очень большое время на проверку проб. Также решением данной задачи рассматривалось в статье (Благовещенский,
_II_/
_ Как цитировать _
Благовещенский, В. Г., Петряков, А. Н., & Сумерин, В. А. (2020). Определение эффективности процесса сепарирования семян подсолнечника в потоке с использованием компьютерного зрения. Health, Food & Biotechnology, 2(3). https://doi.org/10.36107/hfb.2020.i3.s70
Материал опубликован в соответствии с международной . „
лицензией Creative Commons Attribution 4.0. 40
2015) в ней предлагается применение компьютерного зрения для анализа качества сырья с применением алгоритмов компьютерного зрения, которые анализируют органолептические показания сырья. Стоит отметить, что данные алгоритмы показывают высокую эффективность для идентификации позиции объекта в условиях, когда в кадре присутствует некоторое количество объектов, удаленных друг от друга на определенном расстоянии. Другими словами, исследуемые объекты в кадре не должны соприкасаться. В случае соприкосновения объектов данные алгоритмы могут выдавать результаты с недостаточной точностью, так как для определении позиции используется операция выделения границ объекта относительно заднего фона. Поэтому при соприкосновении двух или более объектов исследования в кадре данные алгоритмы могут принять все соприкасающиеся объекты за один. Такой результат в рамках большого потока исследуемых объектов в кадре, например на конвейерной линии, будет давать неправильный результат оператору или исполнительному устройство, такому как робот-манипулятор или дельта-робот.
Однако, несмотря на большое число опубликованных работ, в указанной области все еще остаются нерешенные проблемы, касающиеся вопросов процесса сепарирования сыпучих масс и повышения эффективности управления этими процессами на базе применения современных интеллектуальных технологий.
Поэтому актуальной задачей повышения эффективности таких многостадийных, многомерных, нелинейных процессов как сепарирование сыпучих материалов является разработка методов автоматического распознавания в потоке лузги семян подсолнечника с использованием системы компьютерного зрения и разработка специализированного информационного обеспечения для определения коэффициента извлечения примесей после проведения исследуемого процесса.
Цель исследования: разработка метода автоматического определения наличия лузги в семенах подсолнечника после процесса сепарирования с использованием системы компьютерного зрения и создание компьютерной программы для автоматического расчета коэффициента извлечения примесей при сепарировании этого сырья.
Материал и методика исследования
В настоящее время качество проведения процесса сепарирования определяется органолеп-тическими методами в лабораториях предпри-
ятий (Крылова et al., 2017; Донник et al., 2018). Лабораторный анализ позволяет точно определить все химико-физические свойства пробы, такие как влажность сырья, засоренность (сорная, минеральная и масличная примеси), коэффициент содержания примесей, зараженность, размер, цвет, запах и вкус с помощью взятия проб (Miranda et al., 2019; Yu et al., 2020).
Органолептический анализ представляет собой исследование качества продукции с помощью органов чувств - зрения, обоняния, вкуса, осязания. При соблюдении научно-обоснованных правил результаты органолептической оценки качества продукции по точности и воспроизводимой равноценны результатам, полученным при использовании инструментальных методов контроля. Благодаря данному методу анализа можно достаточно точно оценить качество сырья, полуфабрикатов и кулинарной продукции, обнаружить нарушения рецептуры, технологии приготовления. Недостатком такого метода является длительность, субъективность. Органолептическая оценка показателей качества сырья не может быть использована в системах автоматического контроля и управления (Nayak et al., 2020).
В данной работе исследована возможность применения методов и шаблонов проектирования объектно-ориентированных языков программирования в системе технического зрения в качестве инструмента автоматического определения орга-нолептических показателей качества семян подсолнечника в потоке.
На сегодняшний день системы компьютерного зрения часто используются в связке с промышленными роботами, и роботами-манипуляторами, что существенного облегчает нагрузку на производство, в частности они широко применяются для транспортировки, перемещения, захвата движущихся объектов.
Таким образом, на текущий момент компьютерное зрение является неотъемлемой частью любой современной технологической линии производства пищевой продукции.
Для решения задачи определения наличия лузги в семенах подсолнечника в потоке предлагается разработка системы мониторинга процесса сепарирования с использованием системы компьютерного зрения.
Тестирование работы алгоритмов системы компьютерного зрения проводилось при помощи специ-
ального программного обеспечения, написанного на языке программирования Java в среде разработки Intellij Idea с использованием фреймворка JavaFX. Помимо этого, была использована библиотека OpenCV для языка программирования Java.
В библиотеке OpenCV (Open Computer Vision) ключевым используемым классом является класс Mat, который является трехмерной матрицей с большим количеством дополнительных параметров. Класс Mat используется для хранения изображений. При каждой итерации алгоритма для нового изображения создается новый экземпляр класса Mat, в котором содержится информация о новом изображении. Программа содержит три основных метода: doBinarization, который используется для бинаризации изображения, и два метода erode и dilate, который относятся к так называемым морфологическим преобразованиям цифрового изображения. В качестве конечного результата необходимо получить такое цифровое изображение, на котором можно однозначно выявить местонахождение неочищенных семян. В данном исследовании принимается за конечный результат - бина-ризированное цифровое изображение, на котором имеются группы черных пикселей, которые характеризуют положение неочищенной семечки.
Для более подробного описания необходимо обратить внимание на ход алгоритма:
1) Операция конвертации цифрового изображения. Данная операция происходит после загрузки изображения из файловой системы в оперативную память программы. Так как исходный файл имеет формат цветного изображения (RGB), а применяемые в исследовании алгоритмы используют изображение в градациях серого (greyscale), то необходимо совершить конвертацию цветного изображения в градации серого. Одной из особенностью данной операции является то, каким методом будет производится конвертация, так как это очень влияет на конечный результат.
В пространстве RGB каждый пиксель имеет значение в каждом из цветовых каналов (красном, зеленом, синем), и при преобразовании в градации серого стандартные алгоритмы учитывают значения каждого канала. Такой алгоритм даст одинаковое значение градаций серого для пикселей, у которых одинаковый цветовой тон. В качестве примера можно рассмотреть два пикселя, в каждом из которых значения каждого из трех цветовых каналов совпадают со значениями каналов другого пикселя в случайном порядке. В таком случае результат стандартного алгоритма преобразования цветного изображения
в градации серого составит одинаковые значения для каждого пикселя. Поэтому при преобразовании цифрового изображения в градации серого нужно производить предварительный визуальный анализ результатов преобразования алгоритма, и в случае недостаточного результата производить ручное изменение каждого из цветовых каналов всех пикселей изображения (Гончаров et al., 2019).
В настоящее время не решена задача автоматизированного подбора коэффициентов функции преобразования RGB-изображения в цветовой режим greyscale. Решение этой задачи позволит выделять границы в случае, когда результат функции преобразования возвращает одинаковую яркость цвета для пикселей разного цветового тона.
2) Операция бинаризации. Преобразует цифровое изображение в градациях серого в бинаризирован-ное изображение с определенными пороговыми значениями. Данные входные параметры алгоритма бинаризации подбираются визуально для разных степеней освещенности исследуемого объекта.
3) Морфологические операции размывания и растягивания, которые в программе называются erode и dilate. Метод erode позволяет производить размытие цифрового изображения для того, чтобы более явно выделить темные участки пикселей, которые характеризуют неочищенную лузгу. Метод dilate позволяет производить увеличение светлых областей полученного изображения, он необходим для более точного определения позиции лузги.
Фрагмент разработанной программы для обработки изображения семян подсолнечника представлен на Рисунке 1.
Помимо всего прочего, интерфейс программы, показанный на рисунке 1 справа, реализован при помощи библиотеки JavaFX, где каждый элемент также представляет собой экземпляр определенного класса интерфейса. Например, класс Button реализует экземпляры кнопок. В окне программы может находится множество кнопок, каждая из которых является экземпляром класса Button, но с разными параметрами, такими как высота, ширина, цвет, градиент, текст на кнопке и пр. Аналогично можно сказать про ползунки-слайдеры, при перемещении которых можно изменять параметры методов бинаризации. При каждом передвижении ползунка вызывается метод moveSliderErode, либо метод moveSliderDilate, которые изменяют локальные значения переменных для алгоритмов Erode и Dilate. Таким образом предлагаемая программа Java работает с объектами.
Рисунок 1
Фрагмент программы для обработки изображения
Схема автоматического определения в потоке содержания лузги семян подсолнечника в процессе сепарирования работает следующим образом. В первую очередь поступившее изображение заносится в оперативную память, затем клонируется, т.к. дальнейшие действия будут связаны с изменением клона изображения. Это необходимо для возможности возврата к исходным данным, в случае некорректно полученного результата работы промежуточных вычислений.
Затем производится бинаризация изображения -операция, которая преобразует исходное изображение: градации серого в изображение, состоящее только из белых (#FFFFFF) либо из черных (#000000) пикселей. Суть операции бинаризации заключается в том, чтобы отсеять ненужную для работы информацию в изображении. Это позво-
Рисунок 2
Бинаризация изображения
ляет упростить последующие операции. Важно отметить, что алгоритм бинаризации на примере алгоритма Брэдли имеет ряд входных параметров, которые необходимо правильно подбирать под конкретную задачу. В противном случае результат может привести к искажениям изображения. На Рисунке 2 представлен результат разработанного алгоритма бинаризации, позволяющего провести операцию по отделению символов от фона на изображении 1, где необходимо дополнительно отсечь изображение от шума, теней, полутонов, бликов и прочего информационного мусора.
После оптимального подбора пороговых значений бинаризации выполнялись операции размывания (erode) и растягивания (dilate) с применением методов Erode и Dilate.
Результаты и выводы исследования
Результат работы данных алгоритмов представлен на Рисунке 3. Как видно на рисунке 3 - на месте расположения лузги появились черные прямоугольники, совпадающие с их эталонным изображением. Далее полученная информация используется для автоматического подсчета в программно-аппаратном комплексе количества неочищенной продукции в кадре.
Таким образом, было разработано программное и алгоритмическое обеспечение, которое позволяет производить более быстрый расчет позиции лузги в кадре, по сравнению с алгоритмами на основе выделения границ объекта, таких как оператор Кэнни или преобразования Хафа. В дальнейшем планируется дополнить данное исследование алгоритмом автоматизированного расчета коэффициентов функции преобразования цветного изображения в бинаризи-рованный вид, поскольку на сегодняшний день эта операция производится при помощи оператора.
Рисунок 3
Результат применения методов Erode и Dilate
Использование разработанного метода контроля эффективности процесса сепарирования и создание компьютерной программы для определения содержания лузги семян подсолнечника позволит решить одну из важнейших и актуальных проблем современных предприятий пищевой промышленности - автоматизация контроля качества сырья (семян подсолнечника) с использованием компьютерного зрения. Полученные исследования позволяют автоматизировать определение дефектов исследуемого сырья и готовых пищевых изделий.
Также стоит отметить, что автоматическое определение содержания лузги в семенах подсолнечника позволит снизить количество ручного труда при проверке его качества, снизить издержки производства, осуществлять непрерывный мониторинг качества выпускаемой готовой продукции и повысить долю продукции надлежащего качества, а также разработать интеллектуальную автоматизированную систему управления качеством процесса сепарирования семян подсолнечника.
В^ч'чглл
DUfriCidMrtt: б
i ] Ч Ч ■» » bUttanfeHii
О
О 1 1» и » ь МИМ
ИвЗич
Список литературы
Балыхин, М. Г., Борзов, А. Б., & Благовещенский, И. Г. (2017). Методологические основы создания экспертных систем контроля и прогнозирования качества пищевой продукции с использованием интеллектуальных технологий. Франтера.
Балыхин, М. Г., Борзов, А. Б., & Благовещенский, И. Г. (2017). Архитектура и основная концепция создания интеллектуальной экспертной системы контроля качества пищевой продукции. Пищевая промышленность,11, 60 - 63.
Благовещенская, М. М., Костин, А. М., Благовещенский, И. Г., & Татаринов, А. В. (2017). Распределенные автоматизированные системы интеллектуального мониторинга оборудования зерноперерабатывающих предприятий. В Развитие пищевой и перерабатывающей промышленности России: кадры и наука,(с. 171-175).
Благовещенская, М. М., Благовещенский, И. Г., Назойкин, Е. А., Бабин, Ю. В. (2018). Адаптивный подход к идентификации нестационарных технологических процессов в отраслях пище-
вой промышленности. В Передовые пищевые технологии: состояние, тренды, точки роста, (c.651-654).
Благовещенский, И. Г. (2015). Использование системы компьютерного зрения для контроля в режиме онлайн качества сырья и готовой продукции пищевой промышленности. Пищевая промышленность, 6 , 18 - 20.
Благовещенский, И. Г., Карелина, Е. Б., Петря-ков, А. Н., Фомушкин, В. И., & Благовещенский, В. Г. (2016). Обзор используемых на пищевых предприятиях в АСУТП рабочих станций, операторских пультов и перспективы их применения. В Автоматизация и управление технологическими и бизнес- процессами в пищевой промышленности, (с. 16 - 20).
Гончаров, К. А., Благовещенский, И. Г., Назойкин, Е. А., Благовещенский, В. Г., & Макаровская, З. В. (2019). Использование библиотеки OPENCV для работы с техническим зрением. В Интеллектуальные системы и технологии в отраслях пищевой промышленности, (c. 53-60).
Донник, И. М., Балыхин, М. Г., Благовещенский, И. Г., & Благовещенская, М. М. (2018). Разработка баз данных интеллектуальных экспертных систем автоматического контроля показателей качества пищевой продукции. Хранение и переработка сельхозсырья, 4, 126-138.
Крылова, Л. А., Благовещенский, В. Г., & Татари-нов, А. В. (2017). Разработка интеллектуальных ап-паратно- программных комплексов мониторинга
процессов сепарирования дисперсных пищевых масс на основе интеллектуальных технологий. В Развитие пищевой и перерабатывающей промышленности России: кадры и наука, (с. 199-201). Петряков, А. Н., Благовещенская, М. М., Благовещенский, В. Г., Митин, В. В., & Благовещенский, И. Г. (2019). Повышение качества идентификации и позиционирования объекта на цифровых стерео изображениях при помощи алгоритмов построения карты глубины. В Интеллектуальные системы и технологии в отраслях пищевой промышленности, (с. 133-138). Bader, F., & Rahimifard, S. (2020). A methodology for the selection of industrial robots in food handling. Innovative Food Science and Emerging Technologies, 64, 102379. https://doi.org/10.10Wj. ifset.2020.102379 Miranda, J., Ponce, P., Molina, A., & Wright, P. (2019). Sensing, smart and sustainable technologies for Agri-Food 4.0. Computers in Industry, 108, 21-36. https://doi.org/10.1016/j~.compind.2019.02.002 Singh, G., Singh, P. J., Tyagi, V. V., & Pandey, A. K. (2019). Thermal and exergoeconomic analysis of a dairy food processing plant. Journal of Thermal Analysis and Calorimetry, 136(3), 1365-1382. https://doi.org/10.1007/s10973-018-7781-y Yu, B., Zhan, P., Lei, M., Zhou, F., & Wang, P. (2020). Food Quality Monitoring System Based on Smart Contracts and Evaluation Models. IEEE Access, 8, 8957120, 12479-12490. https://doi.org/10.1109/ access.2020.2966020
FOOD
/ \
Determination of the efficiency of the process of separating sunflower seeds in a stream using computer vision
Vladislav G. Blagoveshchenskiy1, Alexander N. Petryakov1, Vyacheslav A. Sumerin1
1 Moscow State University of Food Production, 11 Volokolamskoe highway, Moscow, 125080, Russian Federation
Correspondence relating to this article should be addressed to Blagoveshchenskiy Vladislav Germanovich, no degree, Federal State Budgetary Educational Institution of Higher Education "Moscow State University of Food Production", 11 Volokolamsk Highway, Sokol district, Moscow, Russian Federation, 125080, email: bvg1996@mail.ru
The presented work considers the solution of the problem of controlling the content of sunflower seed husk in the stream after separation, using a computer vision system. This problem is caused by the instability of the properties of the raw materials received for processing. Since the preparation of sunflower seeds for the production of confectionery products uses seeds of different varieties from different regions of Russia, each batch of seeds will be of different sizes, with different properties and with different degrees of husk content. All this leads to instability of the confectionery production process and affects the quality of the finished product, since for each batch of raw materials it is necessary to select their optimal operating modes of the equipment. One of the main indicators of the quality of the separation process is the impurity content coefficient in the raw material under study, which must be determined in the flow. The article presents a method for determining the content of husk in the flow.
Keywords: separation process, sunflower seeds, quality control automation, computer vision.
References
Balykhin, M. G., Borzov, A.B., & Blagoveshchensky, I.G. (2017). Metodologicheskie osnovy sozdaniya ekspert-nyh sistem kontrolya i prognozirovaniya kachest-va pishchevoj produkcii s ispol'zovaniem intellektu-al'nyh tekhnologij [Methodological foundations for the creation of expert systems for monitoring and predicting the quality of food products using intelligent technologies]. Frantera.
Balykhin, M. G., Borzov, A. B., & Blagoveshchensky, I. G. (2017). Architecture and basic concept of creating an intelligent expert system for food quality control. Pishchevaya promyshlennost' [Food industry], 11, 60 - 63.
Blagoveshchenskaya, M. M., Kostin, A. M., Blagoveshchenskiy, I. G., & Tatarinov, A. V. (2017) Distributed automated systems for intelligent monitoring of equipment of grain processing enterprises. In Razvitie pishchevoj i pererabatyvay-ushchej promyshlennosti Rossii: kadry i nauka [Development of the food and processing industry in Russia: personnel and science], (p. 171-175).
Blagoveshchenskaya, M. M., Blagoveshchensky, I. G., Nazoikin, E. A., Babin, Yu. V. (2018). An adaptive approach to the identification of non-stationary technological processes in the food industry. In Peredovye pishchevye tekhnologii: sostoyanie, trendy, tochki rosta [Advanced food technologies: state, trends, points of growth], (p. 651-654).
Blagoveshchensky, I. G. (2015). The use of a computer vision system for online control of the quality of raw materials and finished products of the food industry. Pishchevaya promyshlennost' [Food industry], (6), 18 - 20.
Blagoveshchensky, I. G., Karelina, E. B., Petryakov, A. N., Fomushkin, V. I., & Blagoveshchensky, V. G. (2016). An overview of workstations, operator consoles used in food enterprises in the process control system and the prospects for their application. In Avtomatizaciya i upravlenie tekhnologicheskimi i biznes- processami v pishchevoj promyshlennosti [Automation and management of technological and business processes in the food industry], (p. 16 - 20).
Goncharov, K. A., Blagoveshchensky, I. G., Nazoikin, E. A., Blagoveshchensky, V. G., & Makarovskaya, Z. V.
This article is published under the Creative Commons Attribution 4.0 International License.
_ How to Cite _
46 Blagoveshchenskiy, V. G., Petryakov, A. N., & Sumerin, V. A. (2020).
Determination of the efficiency of the process of separating sunflower seeds in a stream using computer vision. Health, Food & Biotechnology, 2(3). https://doi.org/10.36107/hfb.2020.i3.s70
(2019). Using the OPENCV library for working with technical vision. In Intellektual'nye sistemy i tekhnologii v otraslyah pishchevoj promyshlennosti [Intelligent systems and technologies in the food industry], (p. 53-60).
Donnik, I. M., Balykhin, M. G., Blagoveshchensky, I. G., & Blagoveshchenskaya, M. M. (2018). Development of databases of intelligent expert systems for automatic control of food quality indicators. Hranenie i pererabotka sel'hozsyr'ya [Storage and processing of agricultural raw materials], 4, 126-138.
Krylova, L. A., Blagoveshchensky, V. G., & Tatarinov, A. V. (2017). Development of intelligent hardware and software systems for monitoring processes of separation of dispersed food masses based on intelligent technologies. In Razvitie pishchevoj i pereraba-tyvayushchej promyshlennosti Rossii: kadry i nauka [Development of the food and processing industry in Russia: personnel and science], (p. 199-201).
Petryakov, A. N., Blagoveshchenskaya, M. M., Blagoveshchensky, V. G., Mitin, V. V., & Blagoveshchensky, I. G. (2019). Improving the quality of object identification and positioning on digital stereo images
using depth mapping algorithms. In Intellektual'nye sistemy i tekhnologii v otraslyah pishchevoj promyshlennosti [Intelligent systems and technologies in the food industry], (p. 133-138). Bader, F., & Rahimifard, S. (2020). A methodology for the selection of industrial robots in food handling. Innovative Food Science and Emerging Technologies, 64, 102379. https://doi.org/10.1016/)'. ifset.2020.102379 Miranda, J., Ponce, P., Molina, A., & Wright, P. (2019). Sensing, smart and sustainable technologies for Agri-Food 4.0. Computers in Industry, 108, 21-36. https://doi.org/10.1016/jj.compind.2019.02.002 Singh, G., Singh, P. J., Tyagi, V. V., & Pandey, A. K. (2019). Thermal and exergoeconomic analysis of a dairy food processing plant. Journal of Thermal Analysis and Calorimetry, 136(3), 1365-1382. https://doi.org/10.1007/s10973-018-7781-y Yu, B., Zhan, P., Lei, M., Zhou, F., & Wang, P. (2020). Food Quality Monitoring System Based on Smart Contracts and Evaluation Models. IEEE Access, 8, 8957120, 12479-12490. https://doi.org/10.1109/ access.2020.2966020
