CC BY
35Научная статья УДК 004.85:58
DOI 10.35266/1999-7604-2023 -1 -29-35
АНАЛИЗ РАЗВИТИЯ РАСТЕНИЙ С ПОМОЩЬЮ МЕТОДОВ КОМПЬЮТЕРНОГО ЗРЕНИЯ
Анна Владимировна Матохина1, Всеволод Витальевич Тищенко
1 2 Волгоградский государственный технический университет, Волгоград, Россия
1 matokhina.a.v@gmail.com, https://orcid.org/0000-0001-9828-7051
2 vsevolutionlord@gmail.com s, https://orcid.org/0000-0001-6104-8145
Аннотация. Представлено описание разработки сервиса для мониторинга развития растений в комнатной теплице с использованием моделей компьютерного зрения, сбора визуальных данных с использованием платы esp32-cam и камеры OV5640 и извлечения отдельных растений из получаемых изображений с помощью модели детектирования YOLO v4. Трекинг высаженных растений выполнен с помощью библиотеки DeepSORT. Исходя из определяемой культуры оценивается возраст для вычисления скорости развития высаженных растений, а также оповещения пользователя о достижении заданных показателей. Методы компьютерного зрения реализованы с помощью фреймворка TensorFlow 2, полученная точность классификации - 99 %, коэффициент детерминации модели Random Forest для регрессии возраста растения - 0,94.
Ключевые слова: сельское хозяйство, комнатная теплица, мониторинг, нейронные сети
Для цитирования: Матохина А. В., Тищенко В. В. Анализ развития растений с помощью методов компьютерного зрения //Вестник кибернетики. 2023. Т. 22, № 1. С. 29-35. DOI 10.35266/19997604-2023-1-29-35.
Original article
ANALYSIS OF PLANTS' GROWTH USING COMPUTER VISION METHODS
Anna V. Matokhina1, Vsevolod V. Tishchenko
1 2 Volgograd State Technical University, Volgograd, Russia
1 matokhina.a.v@gmail.com, https://orcid.org/0000-0001-9828-7051
2 vsevolutionlord@gmail.com s, https://orcid.org/0000-0001-6104-8145
Abstract. The study describes the development of a service for monitoring plants' growth in an indoor greenhouse using computer vision models, visual data collection with the esp32-cam card, the OV5640 camera, and the YOLO v4 detection model for extracting individual plants from the images. The plants tracking was performed by the DeepSORT library. The study determined the age of plants according to their type in order to identify their growth rate and notify the user when the parameters achieved. The computer vision methods are implemented through the TensorFlow 2 framework, with 99 % of classification accuracy, and Random Forest coefficient of determination of 0.94 for the regression of a plant's age. Keywords: agriculture, indoor greenhouse, monitoring, neural networks
For citation: Matokhina A. V., Tishchenko V. V. Analysis of Plants' Growth Using Computer Vision Methods. Proceedings in Cybernetics. 2023. Vol. 22, No. 1. P. 29-35. DOI 10.35266/1999-7604-2023-1-29-35.
ВВЕДЕНИЕ
Проблема развития сельского хозяйства актуальна для множества стран. В 2018 г. численность городского населения в мире составляла 4,2 млрд (55 %), а к 2050 г., по про-
гнозам, эта доля в связи с оттоком сельского населения увеличится до 68 % [1]. Создание городских ферм позволит увеличить производство свежих овощей, что важно особенно для стран с большой плотностью населения.
Первая городская ферма была построена еще в 2002 г. в Китае, а на сегодняшний день их более 200 и это число постоянно увеличивается [2].
С каждым годом появляются новые технологические решения, основанные на парадигме интернета вещей, в том числе и в сельском хозяйстве. При увеличении объемов выращивания растений у фермера возрастает сложность анализа и прогноза их развития, учета непредвиденных критических ситуаций.
Параметры окружающей среды могут быть собраны с помощью датчиков влажности, температуры, освещенности, состава воздуха и воды, а культуру, возраст, наличие повреждений у растения возможно оценивать по визуальным данным, что и является целью новейших разработок - разработка методов компьютерного зрения для автоматизированного анализа развития растения или их группы в теплице. Отслеживание возраста позволяет прогнозировать и оптимизировать время, затрачиваемое на выращивание, определять отклонения. В работе О. ОапуИ^у и соавт., посвященной мониторингу развития растений в комнатной теплице, описаны типы нейронных сетей, виды обучения и полюсы их применения, приведен пример оценки по изображениям состояния листьев растения [3].
В статье Ю. А. Прошкина и соавт. описаны способы сегментации урожая и поврежденных зон растений с помощью выделения каналов изображений в различных цветовых моделях [4]. Существует ряд работ, в которых сегментация пораженных областей выполнена с помощью методов машинного обучения [5, 6].
Нейронные сети позволяют с высокой точностью определять культуру, идентифицировать болезни растений [7], классифицировать отдельные пораженные болезнью листья [8].
МАТЕРИАЛЫ И МЕТОДЫ
Получаемые с помощью камеры изображения содержат несколько растений, поэтому на первом этапе для проведения анализа необходимо их разделение с помощью моделей детектирования. На втором этапе для каждой области выполняется классификация культур растений с помощью моделей компьютерного
зрения. На следующем этапе выполняется регрессия визуального возраста растения. Так как культуры отличаются, для каждой создается отдельная модель прогнозирования. Из изображения выделяется область, содержащая диапазон цветов растения, площадь которой является предиктором возраста растения.
Под визуальным возрастом понимается вид среднестатистического растения к определенному моменту выращивания, которое имеет среднее время выращивания в выборке. Соответственно, отношение визуального возраста растения к полученному на изображении показывает отклонение развития реального растения от среднестатистического.
Выращивание состоит из двух фаз - темной и светлой. В первой осуществляется замачивание и проращивание семян, во второй растения выставляют на свет, где и возможен анализ визуального возраста. Время выращивания растения измеряется в часах с начала его выставления на свет до готовности.
В качестве датасета использовали изображения, полученные из теплицы с помощью камеры OV5640 на 200 градусов. В теплице выращивались саженцы, листовой салат и различные культуры микрозелени. Объем собранных данных составляет 3 277 изображений.
Для формирования обучающей выборки для детектирования разметка изображений выполнена с помощью программы LabelImg. Все области разделены на 3 класса: «пустая область», «одно растение», «группа растений». Число выделенных изображений класса «группа растений» равно 7 271 (рис. 1). Среди них выделено 9 культур: базилик, горох, горчица, капуста мизуна, маш, подсолнечник, редис, редька, листовой салат.
Число изображений для каждого класса существенно различается, для компенсации этого при обучении используются весовые коэффициенты, для увеличения объема выборки - методы искажения изображений. Для регрессии возраста растения при фор -мировании датасета определяется среднестатистическое растение, и относительно его изображения идет подбор возраста остальных растений. В результате формируется список изображений соответствующего возраста.
Рис. 1. Разметка изображений
Примечание: составлено авторами на основании данных, полученных в исследовании.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
Детектирование растений реализовано с использованием фреймворка TensorFlow 2, а также встроенного в него Keras. Данный
выбор обусловлен большим функционалом, простотой реализации Keras и низкоуровне-востью TensorFlow [9]. Сравнение моделей детектирования показано на рис. 2.
MS COCO Object Detection
Eflicie eiIDiI (1)111)4) 1 eal-time
t \
YOLOv4 (ours)
AS FF*
—♦—YOLO\ 4 (ours)
—•— YOLO1 3 163]
—•—Efílciei -•-ATSS [ tDet [77] >4]
—A—ASEF" [48] YOLOv3
-•-CenteiO Л ask* [40]
FPS (Л'100)
Рис. 2. Сравнительный график моделей детектирования
Примечание: составлено по [10].
В данном решении использована модель YOLO v4, предварительно обученная на дата-сете COCO 2017, обладающая оптимальными показателями точности и скорости. Итоговая точность mAP модели составила 99 % при значении функции потерь ниже 1.
Если необходим не только общий анализ посадок, но и оценка каждого растения в отдельности, то требуется добавление трекинга с помощью библиотеки DeepSORT для отслеживания объектов при их перемещении
с использованием расстояния Махалонобиса и фильтра Калмана [11].
Для классификации культур растений используются предобученные модели из набора Keras Applications [12]. Среди них выбраны структуры VGG19, MobileNetV2, InceptionResNetV2. Сверточная нейронная сеть VGG19 обладает относительно высокой точностью, однако из-за большой глубины и веса имеет медленную скорость обучения. MobileNetV2 является сверточной нейронной
сетью, которая имеет существенно меньшее число параметров при примерно той же точности. InceptionResNetV2 является одной из самых точных сверточных нейронных сетей, которая объединяет в себе архитектуры Inception и Residual.
Классификация выполняется заранее предобученными моделями, полносвязные и входной слои заменяются. Это позволяет задавать любой размер входных изображений и число возможных классов. При этом «замо-
Сравнение эффективности
раживаются» сверточные слои и обучаются только внешние, что позволяет сохранить целостность основной части и минимизировать переобучение. Для повышения точности применяется Fine tuning.
При высокой точности всех моделей наибольшим значением метрики Matthews correlation и меньшими потерями обладает модель InceptionResNetV2, однако и наибольшим весом. Сравнение обученных моделей на тестовых данных показано табл. 1.
Таблица 1
моделей на тестовых данных
Модель Вес модели Val. loss Val. accuracy Val. Matthews correlation
VGG19 230 Мб 0,1381 0,9710 0,9663
MobileNetV2 30 Мб 0,1439 0,9517 0,9485
InceptionResNetV2 625 Мб 0,0502 0,9931 0,9920
Примечание: составлено авторами на основании данных, полученных в исследовании.
Для оценки эффективности моделей выполнена визуализация распределения классов с использованием алгоритма ^ЫЕ для уменьшения размерности векторов признаков, извлекаемых из изображений путем применения промежуточных слоев нейронной
сети (рис. 3). В результате получен массив точек в пространстве, цвет которых указывает на принадлежность объекта к классу. Лучшее разделение выполнено моделью InceptionResNetV2.
VGG16
MobileNetV2
InceptionResNetV2
Рис. 3. Сравнение диаграмм моделей классификации растений
Примечание: составлено авторами на основании данных, полученных в исследовании.
Для примера прогноза возраста взят полученный набор изображений микрозелени гороха. Из исходных изображений извлекается область, содержащая растение. В качестве цветовой модели используется HSV, где Hue -
цветовой тон, Saturation - насыщенность, Value - яркость. Это позволяет задавать диапазон цвета, в котором будет ограничена область, содержащая растения (рис. 4).
Рис. 4. Выделение области растения
Примечание: составлено авторами на основании данных, полученных в исследовании.
Площадь полученной области коррелирует со временем выращивания растения. Для осуществления регрессии использованы модели
Linear Regression, Random Forest, XGBoost. Сравнительный график спрогнозированных и тестовых значений показан на рис. 5.
Рис. 5. Сравнение спрогнозированных значений различных моделей
Примечание: составлено авторами на основании данных, полученных в исследовании.
Разброс времени, определяемого для конкретной площади, возрастает при его увеличении, что может быть компенсировано использованием линейной регрессии или усред-
нением обучающих данных. Наименьшими ошибками и наибольшим коэффициентом детерминации обладает модель Random Forest (табл. 2).
Таблица 2
Сравнение моделей регрессии возраста растений
Модель MAE MSE R2
Linear Regression 0,0806 0,0087 0,8738
Random Forest 0,0453 0,0038 0,9451
XGBoost 0,0474 0,0045 0,9380
Примечание: составлено авторами на основании данных, полученных в исследовании.
© Матохина А. В., Тищенко В. В., 2023 I I I I I 33
ЗАКЛЮЧЕНИЕ
Представлен общий алгоритм анализа растений в комнатной теплице для обеспечения мониторинга и контроля их развития. Лучшей моделью классификации является InceptionResNetV2, однако она также обладает и большим весом -625 Мб. Наиболее легкой моделью является MobileNetV2 - 10 Мб с точностью, по тестовым данным, - 0,95. Визуальный возраст является
Список источников
1. Bacic S., Tomic H., Andlar G., Roic M. Towards Integrated Land Management: The Role of Green Infrastructure. ISPRS Int J Geo-Inf. 2022. No. 10. P. 513. DOI 10.3390/ijgi11100513.
2. Kozai T., Niu G., Takagaki M. PFAL Business and R&D in Asia and North America: Status and Perspectives. Plant Factory: An Indoor Vertical Farming System for Efficient Quality Food Production. 2nd Ed. 2020. P. 35-76.
3. Danyltsiv O., Khomiak A., Nazarevych O. Usage of Artificial Intelligence Systems and Working with the Neural Network in Assessing the Condition of Plants in Smart Greenhouses. 3rd International Workshop on Modern Machine Learning Technologies and Data Science, June 5, 2021, Lviv-Shatsk, Ukraine. URL: https://ceur-ws.org/Vol-2917/paper20.pdf (дата обращения: 20.01.2023).
4. Прошкин Ю. А., Смирнов А. А., Соколов А. В. и др. Оптический мониторинг овощных культур на основе цифровой обработки RGB изображений // Инновации в сельском хозяйстве. 2019. № 4. С. 266-278.
5. Kerkecha M., Hafianea A., Canalsb R. Vine Disease Detection in UAV multispectral Images Using Optimized Image Registration and Deep Learning Segmentation Approach. Computers and Electronics in Agriculture. 2020. Vol. 174. P. 105446. URL: https://hal.science/hal-03299578/document (дата обращения: 20.01.2023).
6. Harakannanavara S. S., Rudagib J. M., Purani-kmathb V. I. et. al. Plant Leaf Disease Detection Using Computer Vision and Machine Learning Algorithms. Global Transitions Procee-dings. 2022. Vol. 3, No. 1. P. 305-310. DOI 10.1016/j.gltp. 2022.03.016.
7. Al-Gunaid M. A., Shcherbakov M. V., Tish-chenko V. V. et. al. The System of Intelligent Identification of Harmful Objects in the Field of Agriculture. Creativity in Intelligent Technologies and Data Science. CIT&DS 2021. Communications in Computer and Information Science. 2021. Vol. 1448. P. 177-189. DOI 10.1007/978-3-030-87034-8_14.
8. Брыкин В. В., Брагинский М. Я., Тараканова И. О. и др. Анализ состояния растений с применением технологий искусственного интеллекта // Вестник кибернетики. 2022. № 4. С. 6-13.
9. TensorFlow Core. URL: https://www.tensorflow.org/ overview (дата обращения: 20.01.2023).
универсальным параметром развития растений. Его уменьшение относительно действительного может свидетельствовать о заболевании, а увеличение - об улучшении параметров окружающей среды. Наилучшие показатели для решения задачи регрессии возраста растения получены с помощью модели Random Forest.
References
1. Bacic S., Tomic H., Andlar G., Roic M. Towards Integrated Land Management: The Role of Green Infrastructure. ISPRS Int J Geo-Inf. 2022. No. 10. P. 513. DOI 10.3390/ijgi11100513.
2. Kozai T., Niu G., Takagaki M. PFAL Business and R&D in Asia and North America: Status and Perspectives. Plant Factory: An Indoor Vertical Farming System for Efficient Quality Food Production. 2nd Ed. 2020. P. 35-76.
3. Danyltsiv O., Khomiak A., Nazarevych O. Usage of Artificial Intelligence Systems and Working with the Neural Network in Assessing the Condition of Plants in Smart Greenhouses. 3rd International Workshop on Modern Machine Learning Technologies and Data Science, June 5, 2021, Lviv-Shatsk, Ukraine. URL: https://ceur-ws.org/Vol-2917/paper20.pdf (accessed: 20.01.2023). (In Russian).
4. Proshkin Yu. A., Smirnov A. A., Sokolov A. V. et al. Optical Monitoring of Vegetable Crops Based on the Digital Processing of RGB Images. Innovatsii v selskom khoziaistve. 2019. No. 4. P. 266-278. (In Russian).
5. Kerkecha M., Hafianea A., Canalsb R. Vine Disease Detection in UAV multispectral Images Using Optimized Image Registration and Deep Learning Segmentation Approach. Computers and Electronics in Agriculture. 2020. Vol. 174. P. 105446. URL: https://hal.science/hal-03299578/document (accessed: 20.01.2023). (In Russian).
6. Harakannanavara S. S., Rudagib J. M., Purani-kmathb V. I. et. al. Plant Leaf Disease Detection Using Computer Vision and Machine Learning Algorithms. Global Transitions Proceedings. 2022. Vol. 3, No. 1. P. 305-310. DOI 10.1016/j.gltp.2022.03.016.
7. Al-Gunaid M. A., Shcherbakov M. V., Tish-chenko V. V. et. al The System of Intelligent Identification of Harmful Objects in the Field of Agriculture. Creativity in Intelligent Technologies and Data Science. CIT&DS 2021. Communications in Computer and Information Science. 2021. Vol. 1448. P. 177-189. DOI 10.1007/978-3-030-87034-8_14.
8. Brykin V. V., Braginsky M. Ya., Tarakanova I. O. et. al. Analysis of Plants Health Using Artificial Intelligence Technologies. Proceedings in Cybernetics. 2022. No. 4. P. 6-13. (In Russian).
10. Bochkovskiy A., Wang C., Liao H. M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv. 2020. URL: https://arxiv.org/pdf/2004.10934.pdf (дата обращения: 20.01.2023).
11. Pereira R., Carvalho G., Garrote L., Nunes U. J. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics. Appl Sci. 2022. Vol. 12, No. 3. P. 1319. DOI 10.3390/app12031319.
12. Keras Applications. URL: https://keras.io/api/appli cations/ (дата обращения: 20.01.2023).
9. TensorFlow Core. URL: https://www.tensorflow.org/ overview (accessed: 20.01.2023). (In Russian).
10. Bochkovskiy A., Wang C., Liao H. M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv. 2020. URL: https://arxiv.org/pdf/2004.10934.pdf (дата обращения: 20.01.2023).
11. Pereira R., Carvalho G., Garrote L., Nunes U. J. Sort and Deep-SORT Based Multi-Object Tracking for Mobile Robotics: Evaluation with New Data Association Metrics. Appl Sci. 2022. Vol. 12, No. 3. P. 1319. DOI 10.3390/app12031319.
12. Keras Applications. URL: https://keras.io/api/appli cations/ (accessed: 20.01.2023).
Information about the authors
Информация об авторах
A. В. Матохина - кандидат технических наук.
B. В. Тищенко - магистрант.
A. V. Matokhina - Candidate of Sciences (Engineering). V. V. Tishchenko - Master's Degree Student.
