CC BY
0
Нейросетевая модель для идентификации пыльцевых зёрен в
микропрепарате мёда
М.А. Овчинникова, Д.Ю. Романюта, А.В. Коваленко Кубанский государственный университет, Краснодар
Аннотация: В данной работе рассматривается разработка и обучение нейросетевой модели для идентификации видового и количественного состава пыльцы, которая впоследствии будет использоваться для определения ботанического происхождения медов и количественных подсчётов зёрен пыльцы, содержащихся в определённой массе мёда. Основной целью исследования является создание модели, способной эффективно различать морфологию пыльцевых зёрен, присутствующих в мёде, определять их количественный и качественный состав, что позволит улучшить контроль качества продукта, а также выявлять его ботаническое и географическое происхождение. Для этого были проанализированы похожие работы по классификации пыльцы. В качестве фреймворка для создания нейросетевой модели был выбран Pytorch, обеспечивающий возможность детальной настройки модели. Результатом работы является обученная модель, способная классифицировать пыльцевые зерна.
Ключевые слова: Нейронные сети, задача классификации, классификации пыльцы, сверточные нейронные сети, PyTorch.
Введение
Пыльцевые зерна имеют различный размер, вид и строение. Зрелое пыльцевое зерно состоит из двух клеток - вегетативной и генеративной [1]. Эти клетки окружены тонкой стенкой из неизмененной целлюлозы называемой интиной (внутренний слой), и жесткой - называемой экзиной (наружный слой). Экзина часто имеет углубления, шипы, бородавки, различные скульптуры и характер отметин - апертуры. Апертуры бывают простые (бороздки, щели, поры и т.д.) и сложные, у которых в строении присутствуют дополнительные апертуры - оры. Строение апертур, их число и расположение на поверхности пыльцевого зерна является важнейшими признаками для идентификации рода, вида, сорта пыльцы, а также для создания и обучения нейросетевой модели.
В работе представлены этапы сбора и подготовки данных, архитектура используемой нейросети, методология обучения и тестирования модели, а также результаты экспериментов.
Идентификация пыльцы является важной задачей в области пчеловодства и производства мёда, так как позволяет определить ботаническое и географическое происхождение продукта, а также его подлинность и качество. Традиционные методы анализа пыльцы требуют значительных временных и трудовых затрат, а также участия высококвалифицированных специалистов. В связи с этим актуальность применения методов машинного обучения, в частности нейросетевых моделей, значительно возрастает.
Задача распознавания пыльцевых зерен актуальна в настоящее время ввиду отсутствия всеобщей международной базы данных пыльцевых зерен, которая могла бы в дальнейшем пополняться. Также, данная задача представляет научный интерес в связи с развитием способов и технологий компьютерного распознавания, разработок новых видов нейронных сетей. Пыльцевой анализ меда используется для дифференциации цветочного источника (пыльцы), используемого пчелами, с целью определения ботанического происхождения меда.
На сегодняшний день пыльцевой анализ мёда проводится в соответствии с ГОСТ 31769-2012 «Мед. Метод определения частоты встречаемости пыльцевых зерен». Количественный и видовой состав пыльцевых зерен определяется специалистом вручную под микроскопом, что является очень трудоемкой и ресурсно-затратной задачей. Просмотр и подсчет пыльцевых зерен под микроскопом проводят при увеличении 100х. Идентифицируют пыльцевые зерна под микроскопом при увеличении 400 и 600х.
При подсчете пыльцевых зерен под микроскопом с увеличением 100х счетное поле, попадающее в поле зрения оператора на панели, составляет 2 мм как по горизонтали, так и по вертикали. В объеме меда 100 мкл под покровным стеклом площадью 18х18 мм счетных полей 81 - 9 по
горизонтали и 9 по вертикали. (18 мм - длину покровного стекла надо разделить на 2 мм - поле зрения оператора, получается 9 счетных полей.). Всего специалист должен насчитать вручную минимум 500 и более пыльцевых зерен.
При идентификации пыльцевых зерен подсчитывают их количество в каждом счетном поле при увеличении 100х, затем 400х, а при необходимости и 600х. В настоящее время, благодаря возможностям нейронных сетей, можно значительно сократить работу оператора, если распознавание известных видов пыльцевых зерен на пробе будет проходить автоматически. Для начало можно идентифицировать 5 таксонов, установленных в ГОСТ 31766-2022 «Меды монофлорные. Технические условия»: липовый, подсолничниковый, акациевый, гречишный, каштановый, а в дальнейшем расширить базу по медам России.
Данная программа была бы полезна для сотрудников ветеринарных лабораторий, научно-исследовательских институтов, университетов, палинологов.
Использование нейронных сетей для решения задачи классификации становится наиболее удобным выходом. Например, с помощью нейросетей была успешно решена задача классификации состоянии объектов городской инфраструктуры [2]. Также их успешно использовали в сельском хозяйстве для сегментации проблемных участков на полях [3]. В последние годы задачу классификации пыльцы успешно решали для проблем, связанных с аллергенной пыльцой. Одной из первых работ по автоматизации распознавания пыльцы реализовали модель с помощью сверточных нейронных сетей [4]. В работе [5] осуществляется попытка построения сверточной нейронной сети для классификации пыльцы, которая будет использоваться в пчеловодстве. В работе [6] успешно обучили сверточную нейронную сеть для классификации вредной пыльцы, используя технологии
специальной стратегии обучения и детектор Rapid-E. В работе [7] также построили нейросетевой классификатор для пыльцы в рамках борьбы с аллергией.
Попытка создать базу данных, которую можно использовать для классификации аллергенной пыльцы была успешно предпринята в работе [8]. В ней была собрана база, насчитывающая более 10000 изображений. С помощью такого датасета была успешно обучена нейросетевая модель для классификации на базе модели ResNetSt-110.
Для создания нейросетевой модели классификации пыльцы использовался фреймворк Pytorch для языка программирования Python. PyTorch — это библиотека с открытым исходным кодом для машинного обучения на языке Python, разработанная на базе Torch [9]. Она широко используется для решения разнообразных задач, включая компьютерное зрение, обработку естественного языка и другие области искусственного интеллекта. Благодаря гибкости и удобству PyTorch, разработчики могут легко создавать и тренировать сложные модели. В данном случае, с использованием PyTorch была разработана и обучена модель, сохраненная в формате PTH, которая готова к интеграции и применению в реальном приложении для классификации пыльцевых зёрен. В данной работе была проведена попытка реализации собственной модели для классификации пыльцы с учетом собранного датасета.
В качестве датасета для обучения были собраны изображения пыльцы под микроскопом для следующих видов растений, которые участвуют в производстве меда: акация, гречиха, каштан, липа, подсолнечник (рис.1). Всего было собрано около 500 изображений по 100 на каждое растение.
Прежде чем обучать модель, необходимо применить некоторую предварительную обработку к обрезанным изображениям. Каждое изображение пыльцы встроено в центр черной фоновой рамки размером
128x128 пикселей. Набор данных преобразуется в dataloader и разбивается на три набора: обучающий набор, содержащий 80% всех выборок каждого
Рис. 1. - Примеры изображений пыльцы из датасета Архитектура сверточной нейронной сети для классификации пыльцевых зёрен, показанная на рис. 2, включает в себя следующие элементы: входной слой, который принимает изображение размером 128x128, затем два сверточных слоя и два нормализующих слоя, используемых на этапе обучения модели. Далее идет один объединяющий слой, за которым следуют еще два сверточных и два нормализующих слоя. На этапе классификации применяются три полносвязных слоя для оптимизации оценки классов. Заключительный слой softmax отвечает за
окончательную классификацию.
Рис. 2. - Архитектура сверточной нейронной сети для классификации
Прежде чем обучать модель, необходимо применить некоторую предварительную обработку к обрезанным изображениям. Каждое изображение пыльцы встроено в центр черной фоновой рамки размером 128x128 пикселей. Набор данных преобразуется в dataloader и разбивается на три набора: обучающий набор, содержащий 80 % всех выборок каждого класса и тестовый набор, содержащий оставшиеся 20 %. Класс Dataset позволяет удобно работать с обучающими и тестовыми данными, а загрузчик данных эффективно разбивает эти данные на пакеты (батчи) для использования в процессе обучения. [10].
Для построения модели классификации с использованием бибилиотеки Pytorch использовались следующие классы: вышеуказанный Dataset, Module, CrossEntropyLoss. Архитектура модели определяется с помощью класса Module. Реализуя данный класс, необходимо определить слои, функции активации и нормализации. Класс CrossEntropyLoss используется для реализации функции потерь.
^ C:\U5ers\Dmitry\anaconda3\python.exe — □ X
For epoch 30 the test accuracy over the whole test set is 93 %
For epoch 31 the test accuracy oyer the whole test set is 93
For epoch 32 the test accuracy over the whole test set is 93
For epoch 33 the test accuracy over the whole test set is 93
For epoch 34 the test accuracy oyer the whole test set is 93
For epoch 35 the test accuracy over the whole test set is 93
For epoch 36 the test accuracy over the whole test set is 93
For epoch 37 the test accuracy over the whole test set is 93
For epoch 33 the test accuracy over the whole test set is 93
For epoch 39 the test accuracy over the whole test set is 93
For epoch 40 the test accuracy over the whole test set is 93
For epoch 41 the test accuracy over the whole test set is 93
For epoch 42 the test accuracy over the whole test set is 93
For epoch 43 the test accuracy over the whole test set is 92
For epoch 44 the test accuracy over the whole test set is 93
For epoch 45 the test accuracy over the whole test set is 93
For epoch 46 the test accuracy over the whole test set is 93
For epoch 47 the test accuracy over the whole test set is 93
For epoch 43 the test accuracy over the whole test set is 92
For epoch 49 the test accuracy over the whole test set is 93
For epoch 50 the test accuracy over the whole test set is 93
Finished Training
Real labels: Sunflower Sunflower Chestnut Chestnut Sunflower acacia linden linden linden linden
Predicted: Sunflower Sunflower 1 Chestnut Sunflower Sunflower acacia linden linden linden linden
Accuracy of acacia : 100 %
Accuracy of buckwheat : 100 %
Accuracy of Chestnut : 70 %
Accuracy of linden : 100 %
Accuracy of Sunflower : 95 %
Press any key to continue . . .
Рис. 3. - Результаты обучения классификатора для пыльцы Процесс обучения модели состоит из двух основных этапов: первоначального и тестового обучения, каждый из которых включает по 50 эпох. В ходе первого этапа обучение завершилось с точностью 0.8037, что
показывает хорошие начальные результаты. По мере продолжения обучения и в ходе тестового этапа, точность модели продолжала улучшаться и в итоге достигла около 93.9%. Эти показатели свидетельствуют о том, что параметры модели были удачно подобраны, обеспечивая высокую эффективность и точность предсказаний. Итоговые результаты обучения вместе с точностью определения каждого вида пыльцы показаны на рис. 3.
В данной работе была успешно разработана и обучена нейросетевая модель для классификации пыльцы, достигающая точности 93%. Данный результат демонстрирует высокую эффективность предложенного подхода, основанного на использовании сверточных нейронных сетей, для автоматической идентификации различных видов пыльцы, присутствующих в мёде. Результаты исследования открывают перспективы для дальнейшего улучшения модели и расширения её применения. Возможные направления будущих исследований включают увеличение объема данных для обучения, использование более сложных архитектур нейронных сетей и интеграцию дополнительных методов обработки и анализа данных. Изображения, которые будут добавляться в датасет, будут также содержать различные побочные элементы. Такие элементы важно разметить при обучении, для повышения точности работы модели. Необходимыми направлениями работы в будущем станут проектирование и реализация приложения, которое будет использовать обученную модель.
Литература
1. Овчинникова, М.А., Морева, Л.Я. Монофлорные мёды фитоценозов Северо-Западного Кавказа и Предкавказья: монография. Краснодар: Кубанский гос. ун-т, 2022. — 155 с.
2. Глухин И.Н., Карякин Ю.Е., Березовский А.К., Дудина А.А. Классификация состояний объектов городской инфраструктуры с
использованием нейронных сетей // Инженерный вестник Дона, 2021, №8. URL: ivdon.ru/ru/magazine/archive/n1y2023/8151/.
3. Белоусов И.С., Рогачев А.Ф. Разработка глубокой нейронной сети для сегментации проблемных участков сельскохозяйственных полей // Инженерный вестник Дона, 2022, №8. URL: ivdon.ru/ru/magazine/archive/n8y2022/7864/.
4. Khanzhina, N., E. Putin, A. Filchenkov and E. Zamyatina, 2018. Pollen Grain Recognition Using Convolutional Neural Network. Proceedings of European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, 25-27 April 2018, ESANN, pp: 409-414.
5. Deep Convolutional Neural Network for Pollen Grains Classification. URL: semanticscholar.org/paper/Deep-Convolutional-Neural-Network-for-Pollen-Grains-Menad-Ben-Naoum/10a3102ce3923ec83bc298de3b 19 211d4329eb3a, Date accessed 12.05.2024.
6. Panica, M., B. Sikoparija, D. Tesendic, M. Radovanovic and S. Brdar,
2022. Advanced CNN Architectures for Pollen Classification: Design and Comprehensive Evaluation. Applied Artificaial Intelligence, 37. URL: tandfonline.com/doi/full/10.1080/08839514.2022.2157593. Date accessed 12.05.2024.
7. Automated Classification of Airborne Pollen using Neural Networks. URL: ieeexplore.ieee.org/document/8856910, Date accessed 15.05.2024.
8. Rostami, M.A., B. Balmaki, L.A. Dyer, J.M. Allen and M.F. Sallam,
2023. Efficient pollen grain classification using pre-trained Convolutional Neural Networks: a comprehensive study. Jornal of Big Data, 151. URL: journalofbigdata.springeropen.com/articles/10.1186/s40537-023-00815-3, Date accessed 16.05.2024.
9. Пойтер, Я. Программируем с PyTorch: создание приложений глубокого обучения. - Санкт-Петербург: ПИТЕР, 2020. - 256с.
10. Елисеев А.И., Минин Ю.В., Кулаков Ю.В. Решение задач глубокого обучения с использованием фреймворков Pytorch и Pytorch Lightning. Тамбов: Издательский центр ФГБОУ ВО "ТГТУ", 2022. 160 с.
References
1. Ovchinnikova, M.A. and L.Ya. Moreva, Monoflornyye mёdy fitotsenozov Severo-Zapadnogo Kavkaza i Predkavkaz'ya: monografiya [Monoflora honey of phytocenoses of the Northwestern Caucasus and the Caucasus: a monograph]. Krasnodar: Kuban State University, 2022. 155p.
2. Glukhikh I.N., Karyakin Yu.E., Berezovsky A.K., Dudina A.A. Inzhenernyj vestnik Dona, 2021, №8. URL: ivdon.ru/ru/magazine/archive/n1y2023/8151/
3. E Belousov I.S., Rogachev A.F. Inzhenernyj vestnik Dona, 2022, №8. URL: ivdon.ru/ru/magazine/archive/n8y2022/7864/.
4. Khanzhina, N., E. Putin, A. Filchenkov and E. Zamyatina, 2018. Pollen Grain Recognition Using Convolutional Neural Network. Proceedings of European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, 25-27 April 2018, ESANN, pp. 409-414.
5. Deep Convolutional Neural Network for Pollen Grains Classification. URL: semanticscholar.org/paper/Deep-Convolutional-Neural-Network-for-Pollen-Grains-Menad-Ben-Naoum/10a3102ce3923ec83bc298de3b 19 211d4329eb3a, Date accessed 12.05.2024.
6. Panica, M., B. Sikoparija, D. Tesendic, M. Radovanovic and S. Brdar, 2022. Advanced CNN Architectures for Pollen Classification: Design and Comprehensive Evaluation. Applied Artificaial Intelligence, 37. URL: tandfonline.com/doi/full/10.1080/08839514.2022.2157593. Date accessed 12.05.2024.
7. Automated Classification of Airborne Pollen using Neural Networks. URL: ieeexplore.ieee.org/document/8856910. Date accessed 15.05.2024.
8. Rostami, M.A., B. Balmaki, L.A. Dyer, J.M. Allen and M.F. Sallam, 2023. Efficient pollen grain classification using pre-trained Convolutional Neural Networks: a comprehensive study. Jornal of Big Data, 151. URL: journalofbigdata.springeropen.com/articles/10.1186/s40537-023-00815-3. Date accessed 16.05.2024.
9. Pojter, Ja. Programmiruem s PyTorch: sozdanie prilozhenij glubokogo obuchenija [Programming with PyTorch: Creating Deep Learning applications]. Sankt-Peterburg: PITER, 2020. 256p.
10. Eliseev A.I., Minin Ju.V, Kulakov Ju.V. Reshenie zadach glubokogo obuchenija s ispol'zovaniem frejmvorkov Pytorch i Pytorch Lightning [Solving deep learning problems using the Pytorch and Pytorch Lightning frameworks]. Tambov: Izdatel'skij centr FGBOU VO "TGTU", 2022. 160p.
Дата поступления: 13.05.2024 Дата публикации: 22.06.2024
