CC BY
4
2023 Т. 53 № 3 / Техника и технология пищевых производств / Food Processing: Techniques and Technology
ISSN 2074-9414 (Print) ISSN 2313-1748 (Online)
https://doi.org/10.21603/2074-9414-2023-3-2448 https://elibrary.ru/EJOPLM
Оригинальная статья https://fptt.ru
Автоматизированное определение дисперсности воздушной фазы в мороженом с применением методов
машинного обучения
^ И. А. Королев
Всероссийский научно-исследовательский институт холодильной промышленности11®*, Москва, Россия
Поступила в редакцию: 29.11.2022 И. А. Королев: [email protected],
Принята после рецензирования: 22.12.2022 https://orcid.org/0000-0003-3166-2827
Принята к публикации: 10.01.2023
© И. А. Королев, 2023
Аннотация.
Мороженое - популярный замороженный десерт, характеризующийся присутствием воздушной фазы в виде мельчайших пузырьков (средний диаметр 15-60 мкм). При создании новых рецептур мороженого необходимо учитывать влияние композиционного состава и производственных факторов на состояние воздушной фазы. Важно достоверно и с минимальными затратами времени определять ее дисперсность. Цель исследования - разработка и оптимизация алгоритма для автоматической разметки положения центров и диаметра воздушных пузырьков на микроскопических изображениях типа ограничивающая окружность на примере мороженого, а также создание компьютерной программы. Провел поиск и анализ статей по применению микроскопического метода исследований для оптимизации технологических параметров работы оборудования или рецептуры мороженого и замороженных десертов, опубликованных на русском и английском языках в базах данных WoS и RSCI за последние 20 лет. Выполнил сбор микроскопических изображений воздушной фазы в мороженом при помощи микроскопа Olympus CX41RF. Для написания автоматической программы разметки использовал язык программирования Python, библиотеку машинного обучения Keras и фреймворк TensorFlow. Обучение моделей выполнено при помощи видеоускорителя NVIDIA GTX.
Анализ научной литературы показал, что дисперсность воздушной фазы в мороженом зависит от его состава и параметров процесса фризерования и закаливания, а формирование воздушных пузырьков описывается теориями пенообразования. На основе ручной разметки микроскопических изображений пузырьков воздуха в мороженом создал обучающий массив данных. Определил оптимальное количество каналов в конволюционных слоях нейронной сети на базе архитектуры LeNet, которая позволила классифицировать изображения сфер/не сфер с точностью более 0,995. Установил пределы срабатывания нейронной сети при использовании метода скользящего окна: 7,5 % диаметра при боковом смещении, 12,5 % при масштабировании. Разработанный алгоритм позволяет автоматически размечать пузырьки на микроскопических изображениях. Погрешность определения среднего диаметра сфер не превышала 1,8 %.
Разработал метод автоматизированного подсчета количества и диаметра пузырьков воздуха в мороженом, который позволяет снизить трудоемкость проводимых исследований. Исходный код проекта размещен в открытом доступе и может быть адаптирован исследователями для решения своих задач в области компьютерного зрения.
Ключевые слова. Мороженое, дисперсность, пузырьки воздуха, микроскопия, машинное обучение, нейронная сеть
Финансирование. Статья подготовлена в рамках выполнения исследований по государственному заданию Федерального научного центра пищевых систем им. В. М. Горбатова РАН.
Для цитирования: Королев И. А. Автоматизированное определение дисперсности воздушной фазы в мороженом с применением методов машинного обучения // Техника и технология пищевых производств. 2023. Т. 53. № 3. С. 455-464. https://doi.org/10.21603/2074-9414-2023-3-2448
https://doi.org/10.21603/2074-9414-2023-3-2448 Original article
https://elibrary.ru/EJOPLM Available online at https://fptt.ru/en
Automated Measurement of Air Bubbles Dispersion in Ice Cream Using Machine Learning Methods
®
Igor A. Korolev
All-Russian Scientific Research Institute of Refrigeration Industry*^, Moscow, Russia
Received: 29.11.2022 Igor A. Korolev: [email protected],
Revised: 22.12.2022 https://orcid.org/0000-0003-3166-2827
Accepted: 10.01.2023
© I.A. Korolev, 2023
Abstract.
Ice cream is a popular cold dessert. Its air phase consists of tiny bubbles with an average diameter of 15-60 ^m. New ice cream formulations depend on the way the composition and production factors affect the air phase. As a result, ice cream producers need new time-saving and reliable methods to determine dispersion. The research objective was to create a computer program for marking the position of centers and diameter of air bubbles on microscopic images of a bounding circle type. The review part included 20 years of Russian and English publications on microscopic research methods in ice cream production indexed in Web of Science and Russian Research Citation Index. Microscopic images of ice cream air phase were obtained using an Olympus CX41RF microscope with a magnification of x100. The automatic markup program employed the Python programming language, the Keras machine learning library, and the TensorFlow framework. The models were trained using the NVIDIA GTX video accelerator.
The review showed that the dispersion of ice cream air phase depends on its composition and the freezing parameters whereas bubble formation is usually described in line with the existing foaming theories. A training data set was obtained by manual labeling of microscopic images. The optimal number channels in the convolutional layers of a neural network with LeNet-type architecture was determined, which made it possible to classify images as spheres or non-spheres with an accuracy of > 0.995. The sliding window method helped to determine the limits of the neural network triggering for the sliding window method were determined, which reached 7.5% of the diameter with lateral displacement and 12.5% with scaling. The developed algorithm automatically marked bubbles on microscopic images. The error in determining the average diameter was below 1.8%. The new method for automated calculation of the number and diameter of air bubbles in ice cream proved to be user-friendly. It can be found in public domain, and researchers are free to adapt it to solve various computer vision issues.
Keywords. Ice cream, microscopy, machine learning, markup, bounding circle, air bubbles
Funding. The article was part of state assignment to the V.M. Gorbatov Federal Research Center for Food Systems of Russian Academy of Science.
For citation: Korolev IA. Automated Measurement of Air Bubbles Dispersion in Ice Cream Using Machine Learning Methods. Food Processing: Techniques and Technology. 2023;53(3):455-464. (In Russ.). https://doi.org/10.21603/2074-9414-2023-3-2448
Введение
В настоящее время широко исследуются аспекты создания мороженого функциональной направленности [1]. Одними из основных задач при создании новых рецептур являются замена молочного жира или сахарозы на их заменители и внесение дополнительных ингредиентов для обогащения, обладающих биологически активными и антиоксидант-ными свойствами [2-5].
При исследовании влияния новых ингредиентов на качество мороженого значимость для совершенствования рецептур имеет анализ состояния микроструктурных элементов, особенно воздушной и жировой фаз [6, 7]. Для описания воздушной
фазы в мороженом в технологической практике наибольшее распространение получили два метода: макроскопический, основанный на измерении величины взбитости мороженого, и микроскопический, включающий получение и последующую обработку микрофотографий с увеличением 50200 крат [7-9]. Иногда микроскопический метод применяется при анализе дисперсности жировой фазы, влияющей на стабильность воздушной фазы [10]. Известно использование методов трансмиссионной и криосканируюшей электромикроскопии, которые применяются для анализа состояния эмульсии жира на поверхностях разделов фаз [7, 11].
Учитывая широкий ассортимент мороженого, диаметр его воздушных пузырьков может варьироваться в широких пределах: от 5-10 до 500-600 мкм, в среднем - от 15 до 60 мкм [6, 10, 12-15]. При анализе микроскопических изображений исследователи ограничиваются 200-250 сферами для одного образца из-за высокой трудоемкости использования метода ручной разметки, а в некоторых случаях используют лишь зрительную оценку без подсчета размеров [6, 10, 16].
Несмотря на наличие различного программного обеспечения, в частности ImageJ, автоматическая разметка пузырьков воздуха зачастую невозможна без применения методов машинного обучения [17]. Основными сложностями при автоматическом распознавании воздушных сфер в образцах мороже-го являются отсутствие ярко выраженного градиентного перехода цветов на их границах (цвет сфер очень близок к цвету фона), возможные дефекты формы и оптические эффекты преломления света. Это приводит к погрешности такого метода, как преобразование Хоффа и более совершенных его аналогов [18].
При разработке методов автоматического анализа микроскопических изображений точность распознавания является более значимой, чем быстродействие. Ряд исследователей активно занимается разработкой методов сегментации и разметки воздушных пузырьков для химических реакторов [19, 20]. Для использования данных методов на микроскопических изображениях пузырьков воздуха в мороженом требуется их доработка, заключающаяся в необходимости переобучения нейронных сетей для новых условий их работы. Даже простое повторение полученных специалистами в области машинного обучения результатов на практике вызовет трудности.
Целью исследования являлась разработка и оптимизация современного и сравнительно простого алгоритма для автоматической разметки положения центров и диаметра воздушных пузырьков на микроскопических изображениях мороженого и замороженных десертов (микроструктурный метод), а также создание компьютерной программы, позволяющей сократить трудозатраты исследователей за счет отказа от ручной разметки. Компьютерный код, разработанный автором, находится в открытом доступе на сайте https://github.com/fignja/ microscopy-bubbles-recognition. Он может быть применен для автоматического определения среднего размера воздушных сфер в мороженом или адаптирован исследователями для решения схожих задач.
Отдельный интерес представляет проведение обзора и анализа технологических факторов, влияющих на дисперсность воздушной фазы в мороженом.
Объекты и методы исследования
Объектом исследования выступили микроскопические изображения воздушной фазы в мороженом. Для их сбора с внутренней части порции с температурой не выше -18 °С при помощи предварительно охлажденного шпателя отбирался кусочек массой 40-60 мг. Он помещался на предметное стекло и накрывался покровным стеклом. На микроскопе О1ушрш CX41RF осуществлялась ручная фокусировка и съемка микрофотографий воздушной фазы мороженого с увеличением ><100. В каждом из образцов мороженого фотографировались не менее 10 полей в течение не более 2 мин с момента помещения образца в микроскоп. При измерениях диаметра воздушных сфер допускалось отклонение величины их среднего диаметра не более ± 2 % для каждой из микрофотографий одного образца. Для ручной разметки и подсчета сфер использовалось программное обеспечение IMAGESCOPE M. В зависимости от сложности микроизображения на его обработку ручным методом затрачивается от 2 до 30 мин [13, 14].
Для написания автоматической программы разметки воздушной фазы на изображениях использовали язык программирования Python, библиотеку машинного обучения Keras и фреймворк TensorFlow. Учитывая сравнительно малое число обучаемых параметров для представленной задачи, достаточно любой видеокарты, поддерживающей технологию CUDA и оснащенной не менее чем 4 гигабайтами видеопамяти. Однако для исследователей, желающих заняться машинным обучением, при выборе оборудования следует придерживаться принципа: чем больше видеопамяти, тем лучше, поскольку именно ее объем определяет возможность обучения глубоких нейронных сетей (состоящих из множества скрытых слоев).
Для проведения обзора литературы и анализа влияния основных технологических факторов на дисперсность воздушной фазы провели поиск статей на русском и английском языках в базах WoS и RSCI, опубликованных за последние 20 лет. Основным критерием для отбора статей было использование их авторами микроскопического метода исследований для оптимизации технологических параметров работы оборудования или рецептуры мороженого и замороженных десертов.
Анализ основных технологических параметров, влияющих на дисперсность воздушной фазы в мороженом. Существующие теории пенообразования рассматривают явление формирования и развития пузырьков воздуха как динамический баланс двух противоположенных процессов: коалесценции, возникающей под действием их внутреннего давления Лапласа, и дисперсии, возникающей под действием напряжений сдвига в движущейся жидкости [21]. Таким образом, наиболее значимыми факторами,
влияющими на размер пузырьков воздуха, являются вязкость смесей для мороженого и величина возникающих в процессе фризерования напряжений сдвига.
При фризеровании основными изменяемыми параметрами могут являться продолжительность и скорость вращения мешалки фризера, а также температура выгрузки мороженого. Увеличивая скорость вращения мешалки становится возможным сниже-жение размера воздушных пузырьков [21]. Однако чрезмерное увеличение скорости вращения вызывает нежелательный рост размеров кристаллов льда из-за локальных колебаний температуры, обусловленных теплотой от трения при интенсивном перемешивании смеси [22]. При использовании фризера периодического действия перемешивание с выключенной холодильной установкой способствует достижению меньшей взбитости мороженого в сравнении с использованием фризера с непрерывным охлаждением [7]. Если отключение охлаждения происходит в середине процесса фризерования, то величина взбитости мороженого продолжает увеличиваться. В этом случае на дисперсность воздушной фазы влияет возросшая за счет кристаллов льда вязкость продукта.
С понижением температуры выгрузки мороженого из фризера наблюдается снижение среднего размера пузырьков воздуха [23]. Однако высокая длительность процесса фризерования может способствовать росту размера кристаллов льда. В таких случаях может быть рекомендовано предварительное взбивание смеси для мороженого. Интересным техническим решением является процесс низкотемпературной экструзии мороженого при фризе-ровании с понижением его температуры от -5 до -12 °С [24]. За счет роста вязкости мороженого с понижением температуры становится возможным почти трехкратное снижение среднего размера пузырьков воздуха: с 35 до 12 мкм, что положительно сказывается на потребительских свойствах мороженого. При низкотемпературной экструзии возрастает средний размер агломерированных частиц жира (до 2-х раз), хотя линейные размеры наибольших из них остаются близки между собой. Появляется возможность отказаться от последующего закаливания мороженого в условиях скороморозильных камер и туннелей. Сложностью при внедрении данной технологии является излишне твердая консистенция мороженого, затрудняющая процесс его формования. Исследования технологического режима фризерования сорбетов показали, что с понижением температуры кипения хладагента наблюдалось снижение размеров воздушных пузырьков и кристаллов льда за счет быстрого повышения вязкости смеси [25]. Снижению характерного размера воздушной фазы способствовала дополнительная подача воздуха во фризер.
Исследования влияния состава мороженого на дисперсность воздушной фазы разнообразны. R. K. Goraya и др. исследовали влияние внесения в состав альгината натрия на стабильность структуры мороженого [26]. Установлено, что при производстве мороженого значение имеет не только качественный и количественный состав ингредиентов, но и технология их смешивания. Термомеханическое воздействие во фризере, кристаллообразование и коалесценция жировой фазы позволяют создать стабильную структуру мороженого и добиться его взбитости. Для мороженого на молочной основе величина взбитости может достигать 130 % и более. Известно влияние белков на вязкость смесей и величину взбитости мороженого. Опыты с замещением СОМО сывороточным концентратом, проведенные В. Н. Шохаловой с соавторами, подтвердили, что возможно добиться снижения размера пузырьков почти на 35 % при доле замещения 20 %. Повышается формоустойчивость мороженого при таянии и улучшается его консистенция [12].
В работе A. S. Akalin и др. показано, что отсутствие гомогенизации может снижать способность смеси к насыщению воздухом (взбитость), а внесение пищевых волокон способствует росту вязкости смеси и увеличению взбитости [27]. При сниженном количестве жира внесение инулина позволяет повысить вязкость смеси и взбитость мороженого [28]. Однако полная замена жира инулином приводит к снижению взбитости мороженого из-за роли жировых глобул в формировании стабилизирующей мембраны на поверхности воздушных сфер [29].
Интерес представляют наблюдения за распределением воздушных пузырьков по размерам в зависимости от рецептуры мороженого, продолжительности и условий его хранения. При хранении мороженого могут быть выделены четыре основных процесса, влияющих на дисперсность воздушной фазы: слияние (коалесценция) воздушных пузырьков, их перераспределение при повышенных температурах хранения (дренаж), созревание Оствальда и деформация под действием роста ледяных кристаллов [13].
На основании вышеизложенного следует, что на дисперсность воздушной фазы влияют качественный и количественный ингредиентный состав мороженого, способы насыщения смеси воздухом и замораживания, наличие агломерированного жира, вязкость смеси и мороженого при фризеровании, температура выгрузки продукта из фризера и т. д. Для количественной оценки влияния различных факторов на дисперсность воздушной фазы необходимо достоверно измерять размер ее структурных элементов. Этому будет способствовать применение методов машинного обучения для автоматической разметки и измерения размеров пузырьков воздуха в мороженом.
Результаты и их обсуждение
Представленная к решению задача имеет ряд схожих особенностей с набором данных изображений цифр MNIST и подходов к его распознаванию [3032]. Для обучения нейронной сети методом «с учителем» был подготовлен массив из 2300 изображений размером 32*32 пикселя с воздушными пузырьками, расположенными строго по центру, и 530 000 изображений, содержащих прочие фрагменты изображений, где воздушные сферы не находятся в центре рисунка и/или не соответствуют ему по размеру. Вид некоторых из этих изображений представлен на рисунке 1. Для аугментации обучающих данных использовалось вертикальное и горизонтальное отражение изображений сфер, а также их поворот на 90°. Это позволило увеличить количество изображений со сферами до 18 500. Полученный массив данных был разбит в соотношении 98:2 на тренировочный и тестовый.
При подготовке массива данных значение имеет выбор соотношения размеров фрагмента изображения s, передающегося для анализа, и диаметр расположенной на нем сферы воздуха й, используемых для обучения модели. При принятом нами соотношении = 1,4 на изображении с размером 32 пикселей диаметр обнаруживаемой сферы составляет 23 пикселя. Для обнаружения сфер меньшего размера (6-20 пикселей) необходимо увеличивать фрагмент изображения, что негативно сказывается на точности работы алгоритма, или использовать другое соотношение при обучении модели. Соотношение = 3 позволяет обнаруживать сферы с диаметром 7-8 пикселей. При последующей обработке изображений возможно одновременно использовать несколько моделей, что положительно сказывается на точности и скорости работы алгоритма.
Общий вид структуры применяемой нейронной сети представлен в таблице 1 и соответствует
основным рекомендациям к проектированию нейронных сетей с архитектурой LeNet, а именно последовательное расположение слоев «2D convolution» (Conv2D + RELU), «Batch Normalization» (BN), «Maxpooling» (MP) и «Dropout» (DO) c постепенным снижением размерности слоя и пропорциональным увеличением количества конволюцион-ных слоев [31, 32]. Выбор данной архитектуры обоснован работами [31, 32], а также результатами регулярно обновляемой таблицы лидеров MNIST с сайта kaggle.com. Для сравнительно простой задачи распознавания сфер и небольшого количества обучающих данных применение сетей ALEXNET, VGG и GoogleNet выглядит избыточным, поскольку они были созданы для классификации набора изображений ImageNet [31]. Иной порядок расположения слоев относительно используемой
Таблица 1. Структура обучаемых нейронных сетей Table 1. Structure of trained neural networks
Слой Размер выходных данных
Input (None, 32, 32, 1)
Conv2D + RELU (None, 32, 32, dim)
BatchN (None, 32, 32, dim)
MaxPooling2D (None, 16, 16, dim)
Dropout (None, 16, 16, dim)
Conv2D 1 + RELU (None, 16, 16, 2*dim)
BatchN 1 (None, 16, 16, 2*dim)
MaxPooling2D 1 (None, 8, 8, 2*dim)
Dropout_1 (None, 8, 8, 2*dim)
Conv2D 2 + RELU (None, 8, 8, 4*dim)
BatchN 2 (None, 8, 8, 4*dim)
MaxPooling2D_2 (None, 4, 4, 4*dim)
Dropout_2 (None, 4, 4, 4*dim)
Flatten (None, 64*dim)
Dense + RELU (None, 32)
Dense + SIGMOID (None, 1)
□ о\ m **
[5] Ш >>■ -ы M
M ж A W m H
КШШ ъ
а и <9
V4 № t * _ и
а <• s- Г ' ш
и Eg! ♦J m □ ■
Рисунок 1. Фрагмент подготовленных для обучения модели данных: a - изображения сфер в центре фрагмента;
b - изображения не сфер
Figure 1. Model training data: a - spheres; b - non-spheres
b
a
архитектуры (табл. 1) может дать небольшой положительный эффект, но при достигнутой в представленной работе точности распознавания 0,995 это не является критически значимым и может быть исследовано в дальнейших работах при одновременном увеличении массива обучающих данных.
Для анализа влияния «глубины» модели на точность распознавания варьировался параметр dim, отвечающий за количество каналов в каждом кон-волюционном слое. Более подробную информацию о предназначении слоев можно получить в трехтомнике [31]. Всего для оптимизации производительности обучалось четырнадцать моделей нейронных сетей. Параметр dim варьировался кратно 2 - от 1 до 64, а s/d был принят 1,4 и 3.
На рисунке 2 представлены кривые обучения, описывающие точность определения сфер для тестового массива данных с s/d = 1,4 в зависимости от количества обучаемых параметров модели. Все модели обучались в течение 50 эпох методом стохастического градиентного спуска с темпом обучения lr = 0,01. С увеличением параметра dim и глубины нейронной сети даже при неполном обучении наблюдается рост точности распознавания сфер, а при достижении dim = 8 точность алгоритма становится близка к 0,99. За счет объемной выборки обучающих данных и применения слоев «Dropout» переобучения модели для представленного набора данных не наблюдается.
Можно утверждать, что увеличение параметра dim больше 32 не имеет практического смысла для данной задачи, что соответствует ~ 160* 103 параметров в обучаемой модели. В итоговом алгоритме использованы нейронные сети с dim = 16 Точность их работы на тестовом и обучающем наборе данных в результате длительного обучения достигла 0,997. Уменьшение размерности модели при сохранении точности обеспечивает лучшую обобщающую способность модели и меньшие вычислительные затраты при работе алгоритма.
Для выбора параметров работы алгоритма скользящего окна при обработке микроизображений представляет интерес проанализировать, как разработанные нейронные сети при s/d = 1,4 реагируют на присутствие отдельного пузырька воздуха с точки зрения прогнозируемой вероятности его присутствия: при его смещении от центра изображения на заданное количество пикселей a или на его отклонение по диаметру s/d [31]. Соответствующие данные для обученных моделей при s/d = 1,4 показаны на рисунках 3 и 4.
Одной из особенностей воздушной сферы, взятой для данного анализа, является пятно света в центральной части. Данная особенность приводит к ложным срабатываниям у моделей c dim = 1-4 при s/d = 1,6-1,9. Для остальных моделей диапазон
срабатывания составляет 16-24 % относительно исходного диаметра сферы и снижается с каждым увеличением глубины нейронной сети. Боковое смешение скользящего окна более чем на 16 пикселей относительно центра сферы с диаметром ё = 158 пикселей (рис. 4) является границей срабатывания
0,92 -0,91 -[
0 10 20 30 40 50
Эпоха
dim = 1 -dim = 2 - dim = 4 -dim = 8
-dim = 16 - dim = 32-dim = 64
Рисунок 2. Точность распознавания воздушных сфер с s/d = 1,4 у нейронных сетей различной глубины на тестовой выборке
Figure 2. Labeling accuracy of the test set for air spheres with s/d = 1.4 during training of neural networks with different depths
s/d
dim = 1 -dim = 2 -dim = 4 -dim = 8
-dim = 16- dim = 32-dim = 64
Рисунок 3. Вероятность присутствия сферы для различных моделей с учетом масштабирования скользящего окна
Figure 3. Sphere probability for various models: sliding window scaling
dim = 1 ■dim = 16
-dim = 2 dim = 32
dim = 4 -dim = 64
-dim = 8
Рисунок 4. Вероятность присутствия сферы для различных моделей с учетом смещения скользящего окна от центрасферы
Figure 4. Sphere probability for various models: sliding window from the sphere center
модели. Таким образом, при последующей обработке изображений можно рекомендовать использовать шаг смещения с ко ль зящего окна не более 7,5 % от диаметра сферы и шаг масштабирования размера скользящего окна не более 12,5 %. Оптимальной величиной параметра глубаны нейронной сети для данной задачи является Уim = 16. Дальнейшее увеличение глубины модели не приведет к повышению точности работы алгоритма для имеющегося объема обучающих данных.
Учитывая проведенный анализ, был разработан следующий алгоритм разметки микроскопического изображения: шаг смешения й = тах(2, ш^я/3 х 1,07)), начальный размер скользящего окна 5 = 20 пикселей, нейронная сеть с я/й = 3. Скользящим окном с шагом по вертикали и горизонтали изображение нарезается на фрагменты, на которых нейронная сеть оценивает вероятность присутствия сфер р.. Если р. > ркр, то координаты центра скользящего окна xi,yi и соответствующего диаметра сферы й, а также вероятность присутствия сферы р. заносятся в отдельный массив для дальнейшей обработки. После пошагового прохода всего микроскопического изображения размер скользящего окна увеличивается на 10 %: я = ш^я х 1,1) , затем анализ повторяется. При достижении размером скользящего окна я > 68 происходит переключение на нейронную сеть с я/й = 1,4. Размер скользящего окна задается я = 32, а шаг й = тах(2, М(я/1,4 х 1,07)). Работа алгоритма продолжается с увеличением размера
скользящего окна на 10 % после каждого цикла нарезки изображения. При достижении размером скользящего окна я > 330 цикл останавливается.
Проведенные опыты показали, что наилучшим образом для данного алгоритма зарекомендовал себя диапазон вероятностей ркр = 0,9975-0,9999. При больших значениях вероятности начинается пропуски сфер, а при меньших - ложные срабатывания. Независимо от заданной вероятности присутствия воздушной сферы рсф > р наблюдается несколько положительных срабатываний вблизи с ее центром и требуется дополнительная численная обработка данных. В списке координат центров сфер х.,у. и их диаметров й., полученных в результате работы скользящего окна и нейронной сети, необходимо провестиобъ единение некоторых строк в массиве, описывающих одну и ту же сферу по следующему алгоритму.
Если
1 ф
j&pi > 0,5&p. > 0,5&^(x -x)2-(y -yj)2 < 0,3 \di - &
3xmax(d1, dj)& —-:—— < 0,3
то
m1n(d1, d
d =-
(Pj
Pi + Pj
x1 x p1 + Xj x Pj
Уп =
Pi+Pj
У x Pi + Ух Py
Pi + Pj
то где ^ j - номера сравниваемых между собой строк; п - индекс новой строки, создаваемой взамен сравниваемых; р - вероятность присутствия сферы, полученная в результате работы нейронной сети.
Результат работы программы для разметки центров и диаметров (опоясывающих окружностей) воздушных сфер, разработанной на основе алгоритма, представлен на рисунке 5 а-± Алгоритм работает с изображениями, полученными на любом микроскопе, не только для воздушных сфер, но и для жировой фазы (рис. 5с), а также на изображениях из статей независимых исследователей (рис. 5ф.
При дальнейшем анализе экспериментальных данных (на основе рис. 5а) могут быть построены графики (гистограммы) распределения количества воздушных сфер в зависимости от их диаметра: функция плотности вероятности, общий вид которой представлен на рисунке 6, и функция распределения F(d) (рис. 7).
Сравнение результатов работы автоматического распознавания с помощью предложенной модели и ручной разметки (на основе рис. 5а) подтверждает адекватность работы предложенного алгоритма.
Xn =
ШШ)
^оОЪО.оСШ,
Рисунок 5. Результат работы описанного алгоритма: a, b - на воздушной фазе в образцах мороженого; с -на жировых глобулах в образце сливок; d - на воздушной фазе на микроскопическом изображении, полученном
независимыми исследователями [9]
Figure 5. Algorithm at work: a, b - ice-cream air-phase samples; с - fat globules in cream samples; d - air phase on a microscopic image
obtained by independent researchers [9]
4,7 6,1 7,8 9,7 12,0 14,0 10,0 20,0 233,0 25,0 28,0 31,0 34,0 37,0 39,0 42,0 415,0 48,0 51,0 56,0
Диаметр d, мкм I Автомавическая сегментация ■ Ручная разметка
Рисунок 6. Пример гистограммы распределения пузырьков воздуха по диаметру Figure 6. Air-bubble diameter distribution
§
1,2
1,0 0,8 0,(5 0,4 0,2 0
0 10 20 30 40 50 60
Диаметр d, мкм
-Автоматическая сегментация
---Ручная разметка
Рисунок 7. Функция вероятности распределения сфер по диаметру
Figure 7. Probability function for sphere diameter distribution
центного количества пузырьков воздуха меньше заданного характерного диаметра, а также простоту ее аппроксимации соответствующими математическими функциями. В отличие от гистограммы она не чувствительна к выбранной ширине интервалов, которая иногда может приводить к нежелательной «шумности» графиков при малой величине выборки данных. Дальнейшие тесты на различных микроскопических изображениях мороженого подтвердили, что количество не обнаруженных воздушных сфер обычно не превышает 3-5 % от общего их числа и легко исправляется вручную. На это уходит приблизительно в 15-20 раз меньше трудозатрат, чем при ручной разметке. Погрешность определения среднего диаметра сфер (без ручных правок результатов работы автоматической разметки) не превышала 1,8 %.
Результирующие отклонения среднего диаметра для рисунка 5а составляет 0,8 %, а общее количество неправильно распознанных сфер - 15 штук при общем их количестве 443. К достоинствам использования функции вероятности распределения следует отнести возможность быстрой оценки про-
Выводы
Дисперсность воздушной фазы влияет на текстуру (органолептическое восприятие потребителем консистенции и структуры) мороженого и замороженных десертов. Был проведен анализ факторов, влияющих на характерный размер воздушной фазы
b
d
a
c
в мороженом. Установлено, что дисперсность воздушной фазы в мороженом зависит от его состава и параметров процесса фризерования и закаливания. Формирование и диспергирование в продукте воздушных пузырьков подчиняется существующим теориям пенообразования, учитывающим влияние на этот процесс вязкости среды, величину и продолжительность создаваемых сдвиговых усилий и присутствие стабилизирующих агентов (применительно к мороженому агломерированных частичек жира).
Для определения дисперсности воздушной фазы в мороженом с помощью микроструктурных исследований предложено использование методов машинного обучения. На основе снятых микроскопических изображений пузырьков воздуха в мороженом создан массив данных для обучения нейронной сети. Провел оптимизацию глубины нейронной сети и на ее основе разработал алгоритм для автоматической разметки сфер на микроскопических изображениях. Определил оптимальное количество каналов в конволюционных слоях нейронной сети архитектуры близкой к LeNet, которая позволила с точностью более 0,995 классифицировать изображения сфер/не сфер.
Представленный алгоритм автоматической разметки позволяет снизить трудоемкость последующей обработки микроскопических изображений,
а количество не обнаруженных или неправильно помеченных сфер для большинства из изображений не превышает 3-5 % и легко исправляется вручную с помощью дополнительно разработанного редактора. Алгоритм легко адаптируется и работает не только с изображениями воздушных сфер, но и с жировыми глобулами в сливках, молоке и мороженом. Исходный код проекта размещен в открытом доступе и может быть адаптирован исследователями для решения своих задач в области компьютерного зрения.
Критерии авторства
И. А. Королев - обзор литературы, разметка данных для машинного обучения и разработка программы для автоматической разметки пузырьков воздуха.
Конфликт интересов
Автор заявляет об отсутствии конфликта интересов.
Contribution
I.A. Korolev reviewed scientific publications, labeled the data for machine learning, and developed the automatic markup program for ice-cream air bubbles.
Conflict of interest
The author declared no conflict of interest regarding the publication of this article.
References/Список литературы
1. Genovese A, Balivo A, Salvati A, Sacchi R. Functional ice cream health benefits and sensory implications. Food Research International. 2022;161. https://doi.org/10.1016/j.foodres.2022.111858
2. Akbari M, Eskandari MH, Davoudi Z. Application and functions of fat replacers in low-fat ice cream: A review. Trends in Food Science and Technology. 2019;86:34-40. https://doi.org/10.1016/j.tifs.2019.02.036
3. Gheisari HR, Heydari S, Basiri S. The effect of date versus sugar on sensory, physicochemical, and antioxidant properties of ice cream. Iranian Journal of Veterinary Research. 2020;21(1):9-14.
4. Arslaner A, Salik MA. Functional ice cream technology. Akademik Gida. 2020;18(2):180-189. https://doi.org/10.24323/ akademik-gida.758835
5. Ademosun AO. Glycemic properties of soursop-based ice cream enriched with moringa leaf powder. Foods and Raw Materials. 2021;9(2):207-214. https://doi.org/10.21603/2308-4057-2021-2-207-214
6. Wu B, Freire DO, Hartel RW. The effect of overrun, fat destabilization, and ice cream mix viscosity on entire meltdown behavior. Journal of Food Science. 2019;84(9):2562-2571. https://doi.org/10.1111/1750-3841.14743
7. Cheng J, Ma Y, Li X, Yan T, Cui J. Effects of milk protein-polysaccharide interactions on the stability of ice cream mix model systems. Food Hydrocolloids. 2015;45:327-336. https://doi.org/10.1016/j.foodhyd.2014.11.027
8. da Silva Faresin L, Devos RJB, Reinehr CO, Colla LM. Development of ice cream with reduction of sugar and fat by the addition of inulin, Spirulinaplatensis or phycocyanin. International Journal of Gastronomy and Food Science. 2022;27. https://doi.org/10.1016/j.ijgfs.2021.100445
9. Chang Y, Hartel RW. Development of air cells in a batch ice cream freezer. Journal of Food Engineering. 2002;55(1):71-78. https://doi.org/10.1016/S0260-8774(01)00243-6
10. Warren MM, Richard WH. Structural, compositional, and sensorial properties of United States commercial ice cream products. Journal of Food Science. 2014;79(10):E2005-E2013. https://doi.org/10.1111/1750-3841.12592
11. Yan G, Cui Y, Lia D, Ding Y, Han J, Wang S, et al. The characteristics of soybean protein isolate obtained by synergistic modification of high hydrostatic pressure and phospholipids as a promising replacement of milk in ice cream. LWT. 2022;160. https://doi.org/10.1016/j.lwt.2022.113223
12. Shokhalova VN, Kusin AA, Shokhalov VA, Kostyukov EM. Investigation of ice-cream air phase with a curd whey NF concentrate. Molochnokhozayistvenny Vestnik. 2017;26(2):130-137. (In Russ.). [Исследование воздушной фазы мороженого, содержащего НФ-концентрат творожной сыворотки / В. Н. Шохалова [и др.] // Молочнохозяйственный вестник. 2017. Т. 26. № 2. С. 130-137.]. https://www.elibrary.ru/ZBFZXF
13. Gurskiy IA, Tvorogova AA, Shobanova TV. The condition of the structure of the thawed aerated sour-milk desserts during its storage. Proceedings of the Voronezh State University of Engineering Technologies. 2020;82(2):94-100. (In Russ.). https://doi.org/10.20914/2310-1202-2020-2-94-100
14. Landikhovskaya AV, Tvorogova AA, Kazakova NV, Gursky IA. The effect of trehalose on dispersion of ice crystals and consistency of low-fat ice cream. Food Processing: Techniques and Technology. 2020;50(3):450-459. (In Russ.). https:// doi.org/10.21603/2074-9414-2020-3-450-459
15. Gurskiy IA, Tvorogova AA. The effect of whey protein concentrates on technological and sensory quality indicators of ice cream. Food Processing: Techniques and Technology. 2022;52(3):439-448. (In Russ.). https://doi.org/10.21603/2074-9414-2022-3-2376
16. Jing X, Chen Z, Tang Z, Tao Y, Huang Q, Wu Y, et al. Preparation of camellia oil oleogel and its application in an ice cream system. LWT. 2022;169. https://doi.org/10.1016/j.lwt.2022.113985
17. Schroeder AB, Dobson ETA, Rueden CT, Tomancak P, Jug F, Eliceiri KW. The ImageJ ecosystem: Open-source software for image visualization, processing, and analysis. Protein Science. 2021;30(1):234-249. https://doi.org/10.1002/pro.3993
18. Ilonen J, Juranek R, Eerola T, Lensu L, Dubska M, Zemcik P, et al. Comparison of bubble detectors and size distribution estimators. Pattern Recognition Letters. 2018;101:60-66. https://doi.org/10.1016/j.patrec.2017.11.014
19. Cui Y, Li C, Zhang W, Ning X, Shi X, Gao J, et al. A deep learning-based image processing method for bubble detection, segmentation, and shape reconstruction in high gas holdup sub-millimeter bubbly flows. Chemical Engineering Journal. 2022;449. https://doi.org/10.1016/j.cej.2022.137859
20. Cerqueira RFL, Paladino EE. Development of a deep learning-based image processing technique for bubble pattern recognition and shape reconstruction in dense bubbly flows. Chemical Engineering Science. 2021;230. https://doi.org/10.1016/ j.ces.2020.116163
21. Jabarkhyl S, Barigou M, Zhu S, Rayment P, Lloyd DM, Rossetti D. Foams generated from viscous non-Newtonian shear-thinning liquids in a continuous multi rotor-stator device. Innovative Food Science and Emerging Technologies. 2020;59. https://doi.org/10.1016/j.ifset.2019.102231
22. Cook KLK, Hartel RW. Mechanisms of ice crystallisation in ice cream production. Comprehensive Reviews in Food Science and Food Safety. 2010;9(2):213-222. https://doi.org/10.1111/j.1541-4337.2009.00101.x
23. Caillet A, Cogné C, Andrieu J, Laurent P, Rivoire A. Characterization of ice cream structure by direct optical microscopy. Influence of freezing parameters. LWT - Food Science and Technology. 2003;36(8):743-749. https://doi.org/10.1016/ S0023-6438(03)00094-X
24. Eisner MD, Wildmoser H, Windhab EJ. Air cell microstructuring in a high viscous ice cream matrix. Colloids and Surfaces A: Physicochemical and Engineering Aspects. 2005;263(1-3):390-399. https://doi.org/10.1016/j.colsurfa.2004.12.017
25. Parra ODH, Ndoye F-T, Benkhelifa H, Flick D, Alvarez G. Effect of process parameters on ice crystals and air bubbles size distributions of sorbets in a scraped surface heat exchanger. International Journal of Refrigeration. 2018;92:225-234. https://doi.org/10.1016/j.ijrefrig.2018.02.013
26. Goraya RK, Singla M, Bajwa U, Kaur A, Pathania S. Impact of sodium alginate gelling and ingredient amalgamating order on ingredient interactions and structural stability of ice cream. LWT. 2021;147. https://doi.org/10.1016/j.lwt.2021.111558
27. Akalin AS, Kesenkas H, Dinkci N, Unal G, Ozer E, Kinik O. Enrichment of probiotic ice cream with different dietary fibers: Structural characteristics and culture viability. Journal of Dairy Science. 2018;101(1):37-46. https://doi.org/10.3168/ jds.2017-13468
28. Samakradhamrongthai RS, Jannu T, Supawan T, Khawsud A, Aumpa P, Renaldi G. Inulin application on the optimization of reduced-fat ice cream using response surface methodology. Food Hydrocolloids. 2021;119. https://doi.org/ 10.1016/j.foodhyd.2021.106873
29. Narala VR, Orlovs I, Jugbarde MA, Masin M. Inulin as a fat replacer in pea protein vegan ice cream and its influence on textural properties and sensory attributes. Applied Food Research. 2022;2(1). https://doi.org/10.1016/j.afres.2022.100066
30. Baldominos A, Saez Y, Isasi P. A survey of handwritten character recognition with MNIST and EMNIST. Applied Sciences. 2019;9(15). https://doi.org/10.3390/app9153169
31. Rosebrock A. Deep learning for computer vision with python: Starter bundle. PyImageSearch; 2017. 330 p.
32. Prashanth DS, Mehta RVK, Ramana K, Bhaskar V. Handwritten Devanagari Character Recognition using modified lenet and alexnet convolution neural networks. Wireless Personal Communications. 2022;122:349-378. https://doi.org/10.1007/ s11277-021-08903-4
