CC BY
19
УДК 631.171.004.3:004.932
DOI 10.18286/1816-4501-2023-3-215-223
РАСПОЗНАВАНИЕ И КЛАССИФИКАЦИЯ БОЛЕЗНЕЙ ЛИСТЬЕВ ЯБЛОНИ НА ОСНОВЕ АНАЛИЗА ИХ ИЗОБРАЖЕНИЙ МОДЕЛЯМИ СВЕРТОЧНЫХ
НЕЙРОННЫХ СЕТЕЙ (CNN)
Кутырёв Алексей Игоревич, кандидат технических наук, старший научный сотрудник, заведующий лабораторией интеллектуальных цифровых систем мониторинга, диагностики и управления процессами в сельскохозяйственном производстве
ФГБНУ «Федеральный научный агроинженерный центр ВИМ» 109428, РФ, г. Москва, 1-й Институтский проезд, дом 5 Тел. +7 (965)-178-10-88 E-mail: [email protected]
Ключевые слова: мониторинг, сверточная нейронная сеть, классификация, распознавание, листья яблони, трансферное обучение, аугментация.
В статье представлены результаты исследований по оценке качества работы современных моделей сверточных нейронных сетей YOLO (You Only Look Once) при распознавании и классификация поражений листьев яблони. Для обучения и тестирования используемых моделей нейронных сетей собран набор данных, который включал в себя изображения поражений листьев яблони четырьмя заболеваниям, такими как парша, мучнистая роса, ржавчина, пятнистость. Проведена разметка изображений с помощью инструмента Computer Vision Annotation Tool (CVAT). Для достижения баланса классов в наборе данных проведена аугментация данных, которая позволила создать новые вариации изображений на основе исходного набора данных, увеличить объем выборки до 6000 тысяч изображений. Для оценки качества работы моделей нейронных сетей YOLO при распознавании поражений листьев яблони использованы известные метрики Precision (точность), Recall (полнота), AP (средняя точность) и F-score (F-мера). Анализ полученных кривых метрик бинарной и мультиклассовой классификации позволил определить оптимальное количество эпох, при которых модели достигают наилучшего баланса между точностью и полнотой. Наиболее сложным для распознавания оказался класс «spot» - пятнистость, средняя абсолютная процентная ошибка которого составила у модели YOLOv5 - 13,9 %, у модели YOLOv7-14,8 % и у модели YOLOv8 - 13,6 %. Наиболее низкая абсолютная процентная ошибка распознавания для класса ржавчина «rust» у модели YOLOv5 - 8,4 %, у модели YOLOv7 - 7,9 % и у модели YOLOv8 - 6,2 %. Анализ полученных результатов исследований показал, что автоматизированный мониторинг развития инфекционных грибковых поражений листьев яблони с использованием современных моделей нейронных сетей позволяет эффективно распознавать и классифицировать поражения на обследуемых площадях многолетних садовых насаждений, снизить популяцию возбудителей благодаря своевременной корректировке схем защиты растений.
Работа выполнена при поддержке Минобрнауки России в рамках Государственного задания ФГБНУ «Федеральный научный агроинженерный центр ВИМ» (тема № FGUN-2022-0011).
Введение
Исследования ученых указывают на перспективность применения оптических технологий для мониторинга состояния растений [1, 2]. Полученные данные мониторинга, распознавания и классификации поражений листьев яблони в режиме реального времени на основе различных моделей нейронных сетей могут быть использованы для принятия более обоснованных решений для управления продукционным процессом садовых культур [3 - 7].
В настоящее время для распознавания и классификации садовых растений и их генеративных частей применяют различные модели нейронных сетей. Сверточные модели нейронных сетей (CNN), такие как YOLO, SSD, Faster R-CNN, RetinaNet, EfficientDet, Mask R-CNN, VGGNet, ResNet, Inception и DenseNet широко
применяют в области компьютерного зрения и распознавания образов. Они эффективно работают с визуальными данными, включая изображения листьев яблони, имеют хорошую способность извлекать важные признаки из изображений и обеспечивать высокую точность классификации [8]. Рекуррентные нейронные сети (RNN) используют для анализа последовательностей данных в задачах классификации объектов на основе последовательности изображений. Такие сети позволяют обрабатывать информацию о поражениях болезнями на разных уровнях кроны дерева [9, 10]. Также применяют модели, основанные на механизме внимания (attention). Их используют для сосредоточения наиболее важных признаков или областей изображений [11]. Гибридные модели (Hybrid Models) используют для комбинирования различных типов мо-
делеи, таких как сверточные нейронные сети и рекуррентные нейронные сети [12].
Исследования, проведенные в области применения методов машинного обучения для распознавания биологических объектов, показывают, что среди различных моделей нейронных сетей наиболее производительными являются современные сверточные модели YOLO (You Only Look Once) [13]. Алгоритм YOLO обнаружения объектов на изображениях и видео в режиме реального времени представляет собой сверточную нейронную сеть, которая выполняет обработку изображения и предсказывает bounding boxes (прямоугольные рамки) и классы объектов, содержащихся на изображении [14].
Цель исследований - анализ качества работы современных моделей сверточных нейронных сетей YOLO при распознавании и классификация поражений листьев яблони на кроне деревьев с использованием трансферного обучения (transfer learning).
Материалы и методы исследований
Современные модели YOLOv5, YOLOv7 и YOLOv8, выпущенные компанией Ultralytics, имеют различные архитектуры. Они обеспечивают высокую точность и скорость обнаружения объектов при относительно низкой вычислительной сложности. Модели для обнаружения объектов на изображениях включают в себя сверточ-ные слои (convolutional layers), слои активации (activation layers) и слои объединения (pooling layers), а также слои, отвечающие за предсказания координат и классов объектов. Основные характеристики моделей YOLOv5, YOLOv7 и YOLOv8, используемых при проведении исследований, представлены в таблице 1. Эти модели используют фреймворк (набор используются в программировании правил, шаблонов и инструментов) PyTorch 2.0 при разрешении входного изображения 640x480 пикселей.
В исследованиях использован метод трансферного обучения (Transfer Learning) моделей [15]. Использована предварительно обученная модель на большом наборе данных COCO, которая содержит разнообразные объекты и сцены для распознавания объектов в новой области. Это позволяет модели извлекать общие признаки, которые могут быть применимы и на новых данных.
Для сбора данных (набора изображений) для обучения и тестирования нейронной сети использована камера Sony Alpha ILCE-7M3 с объективом Sony FE 24-240 mm, диафрагма f/7.1,
Таблица 1
Характеристики используемых в исследованиях моделей нейронных сетей YOLOv5, YOLOv7 и YOLOv8
Модель YOLOv5 YOLOv7 YOLOv8
Дата выхода 6 января 2020 6 июля 2022 10 января 2023 года
Архитектура YOLO (You Only Look Once), CNN (Con-volutional Neural Network), Ef-ficientDet YOLO (You Only Look Once), CNN (Convolu-tional Neural Network), ELAN (efficient layer aggregation network), ResNeXt YOLO (You Only Look Once), CNN (Convolu-tional Neural Network), ELAN (efficient layer aggregation network), ResNeXt, CSP Bottleneck with 3 convolutions
Количество слоев, шт 224 255 274
Количество обучаемых параметров, млн. шт. 7,2 9,6 11,2
Размер, Мб 170 136 130
фокусное расстояние 24 мм, разрешение изображений 4000x2672. Данные собирали в садовом центре ФГБНУ ФНЦ Садоводства и на плодово-ягодной станции ФГБНУ ВНИИСПК. Собранный набор данных включал в себя изображения поражений листьев яблони четырьмя видами болезней: парша, мучнистая роса, ржавчина и пятнистость. Освещенность во время съемки листьев яблони составляла 50000...120000 лк. Расстояние до листьев во время съемки изменялось от 100 мм до 250 мм. Общее количество изображений составило 4000 штук.
Для аннотирования и разметки изображений, выделения объектов на изображении путем наложения прямоугольной рамки вокруг каждого из них для обучения нейронной сети использован инструмент CVAT (Computer Vision Annotation Tool). Формат JSON (JavaScript Object Notation) использован для хранения данных о проведенной разметке (рис. 1).
В результате выделено 4 класса поражений листьев яблони для обучения нейронной сети: парша (класс «scab»), мучнистая роса (класс «powdery_mildew»), ржавчина (класс «rust), пятнистость (класс «spot»).
Для достижения баланса классов в наборе данных применен метод Oversampling, основанный на искусственном увеличении выборки (примеров изображений). Использован онлайн-
Рис. 1 - Аннотирование и разметка изображений с помощью инструмента CVAT
Ор* 2.5||К
Рис. 2 - Аугментация изображений для создания дополнительных примеров изображений листьев яблони
сервис Roboflow синтетической генерации данных (synthetic data generation), предоставляющий различные методы аугментации данных, что позволило увеличить объем выборки до 6000 тысяч изображений (рис. 2).
Для обеспечения оптимального баланса классов и избегания переобучения модели проведено разделение данных на тренировочный, валидационный и тестовый наборы. Тренировочный набор данных (70 %), включющий в себя 4200 изображений, использован для обучения модели. Валидационный набор данных (20 %)
из 1200 изображений использован для оценки производительности модели во время обучения. Тестовый набор данных (10 %), состоящий из 600 изображений, служил для окончательной оценки производительности модели после завершения обучения.
Оптимальное количество эпох (обучения нейронной сети всеми данными за один цикл) обучения моделей определяли с учетом размера обучающей выборки, сложности выбранной модели и ее архитектуры. Процесс обновления параметров модели, весовых коэффициентов
осуществляли после каждой эпохи с использованием алгоритма оптимизации - стохастического градиентного спуска (SGD). Данный алгоритм настраивает веса модели, учитывая градиенты функции потерь (ошибки модели) и применяет их для обновления весов с целью минимизации ошибки и достижения лучшей производительности.
Для оценки качества работы моделей YOLOv5, YOLOv7 и YOLOv8 при распознавании поражений листьев яблони использован ГОСТ Р 70462.1-2022 (Интеллект искусственный. Оценка робастности нейронных сетей) и известные метрики Precision (точность), Recall (полнота), AP (средняя точность) и F-score (F-мера), рассчитанные по формулам (1 - 7) [16]:
Precision (точность) =
tPi
tpi+fpi ;(1)
Recall (полнота) =
tp¡
tp¡ + fn¡
(2)
F — score (F — мера) = 2 ■
Pre с isi on ■ Ree all Precision +Recall
(3)
Average recall (средняя полнота) = si-iPrecisl(m'
(4)
Average precision (средняя точность) =
Recall;
(5)
mAP (mean average precision — среднее значение АР) :
CAPi +APa ч-----ьАРп )
(6)
Average F — score (средняя F — мера) =
n Precis ion j-Re callj i=i preci si о run-Recall:
(7)
где tPi - количество объектов класса i, которые были правильно распознаны моделью, шт.; fPi - количество объектов, которые модель неправильно отнесла к классу ¡, шт.; fll; - количество объектов i-го класса, которые не были распознаны, шт.
Проведена оценка показателей при распознавании как индивидуальных классов (бинарная классификация, Binary Classification), так и по всем классам в среднем (мультиклассавая классификация, Multi-Class Classification).
Для оценки точности прогнозирования идентификации поражений листьев яблони
рассчитана средняя абсолютная процентная ошибка (Mean Absolute Percentage Error, MAPE). Для анализируемых моделей нейронных сетей YOLOv5, YOLOv7 и YOLOv8 использовали формулу 8:
МАРЕ =
™ ' [ (8)
где Ф; — фактическое количество распознанных классов на тестовой выборке, шт. (классифицированных экспертами визуальным методом); П; — количество распознанных классов, верно идентифицированных с помощью модели сверточной нейронной сети, шт.
Для оценки средней скорости работы моделей нейронных сетей при обработке изображений с различными классами повреждений листьев яблони по формуле 9 рассчитана средняя частота кадров в секунду, AVG FPS (Frames Per Second):
AVGFPSiIuiacc=^f^
(9)
где ni класс - среднее количество кадров, распознанных за единицу времени, шт.; t -общее время, затраченное на обработку всех снимков, с.
Для обеспечения достоверности полученных результатов исследования моделей YOLO проведены на одной и той же программно-аппаратной среде. Аппаратная часть: центральный процессор Intel Core i9-10900X; графический процессор NVIDIA GeForce RTX 2080 Ti; видео память 11 Гб - 2 шт., материнская плата GIGABYTE X299 UD4 Pro; твердотельный накопитель SSD Intel PCI-E 1Tb 660P; оперативная память Kingston DDR4 DIMM, 128 Гб. Программная часть: операционная система Windows 10, фреймворк глубокого обучения PyTorch 1.11.0, программно-аппаратная архитектура Cuda 11.3, язык программирования Python 3.8. Результаты исследования В результате исследований проведено обучение моделей нейронных сетей YOLOv5, YOLOv7, YOLOv8. Результаты распознавания заданных классов поражений листьев яблони на изображениях представлены на рисунке 3.
Анализ графика Precision-Recall позволил определить оптимальные пороги (меры сходства между объектом и классами) классификации, которые обеспечивают наилучшее соотношение между точностью и полнотой для заданных классов: YOLOv5 - 0,58, YOLOv7 - 0,53, YOLOv8 - 0,55 (рис. 4).
Рис. 3 - Результаты распознавания заданных классов на изображениях
а б в
Рис. 4 - Зависимости точности предсказаний от полноты распознавания исследуемыми моделями нейронных сетей: а - модель YOLOv5, б - YOLOv7, в - YOLOv8
Таблица 2
Результаты расчетов метрик бинарной и мультиклассовой классификации поражений листьев яблони
Классификатор Precision (точность) Recall (полнота) mAP (среднее значение AP) F-score (F-мера) AVG FPS
Модель YOLOv5
Парша (класс «scab») 0,598 0,525 0,509 0,564 11,26
Мучнистая роса (класс «powdery_ mildew») 0,88 0,622 0,695 0,647 23,66
Ржавчина (класс «rust) 0,833 0,783 0,83 0,801 12,62
Пятнистость (класс «spot») 0,618 0,692 0,424 0,579 9,23
Average (все классы) 0,732 0,58 0,615 0,712 14,19
Модель YOLOv7
Парша (класс «scab») 0,481 0,575 0,486 0,685 12,32
Мучнистая роса (класс «powdery_ mildew») 0,644 0,422 0,45 0,512 25,54
Ржавчина (класс «rust) 0,78 0,754 0,798 0,593 15,22
Пятнистость (класс «spot») 0,508 0,428 0,39 0,544 10,12
Average (все классы) 0,603 0,545 0,531 0,584 15,8
Модель YOLOv8
Парша (класс «scab») 0,6 0,512 0,527 0,574 I 8,56
Мучнистая роса (класс «powdery_ mildew») 0,756 0,567 0,667 0,574 18,65
Ржавчина (класс «rust) 0,865 0,763 0,837 0,782 10,07
Пятнистость (класс «spot») 0,696 0,363 0,444 0,543 7,42
Average (все классы) 0,729 0,551 0,619 0,663 | 11,17
Построенная Precision-Confidence кривая позволила оценить точность предсказаний модели в зависимости от уверенности, с которой она делает свои предсказания. С помощью кривой Recall-Confidence можно оценить полноту предсказаний модели для положительного класса при различных значениях уверенности (рис. 5).
Построенные кривые F1-score-Confidence позволили оценить влияние изменения уровня уверенности моделей на метрики точности и полноты, а также выбрать оптимальный порог для их классификации с уровнем 0,54 (рис. 6).
Полученные графики позволили оценить чувствительность моделей, а также реакцию на наличие «шума» на изображениях. Также был выбран оптимальный порог уверенности с уровнем 0,47 для YOLOv5, 0,46 для YOLOv7 и 0,48 для YOLOv8 для классификации, что позволяет достичь наилучшего сочетания точности и полноты.
В таблице 2 представлены результаты расчета метрик для распознавания индивидуальных классов и для среднего значения по всем классам (мульти-классовая классификация, Multi-Class Classification).
Анализ кривых Precision-Epoch, Recall-Epoch и mAP-Epoch позволил определить оптимальное количество эпох, при которых модели достигают наилучшего баланса между точностью и полнотой (рис. 7).
щ
»4
Ш
5)0,4
pKiVidciyjnilvitwM^Hiirrai рдел
гам ржавчана
ьсцЬ пнраш - Spot I l*IJ I HClflClb
- ill classcs все МАССЫ
<vf w
Confidence Yuejwn носгь
0.8
It----S»,
Vs \ \ s\ \
S \ ■ ■чистая раса \ л V
- potwdery_mi Idttw
- fuSi рткЛичнлй \ ^
■scab иа^ша
— spot пятнистость
- ¡ill clasacs все классы
(J,4 0.6
Recall Пишота
pcivtcfeiy cniljew мучнистая роса rtlfr рж!1№ Hjja
scab парша
- Stmt IIH I MHC JCJCI-U
-- alj classcs Dee классы
U| 0.6
ti Гк1епс£ Yuetjei 11 lijcib
0,0
pciwdeT\ mi klev.1 му :ph ptpi pocii пшЕ ртклвчннл scab uj.t S]10l ISJJWHCTOCTb
al I classes все классы
0,6
ftwfllj Им нота
Общее время обучения модели YOLOv5 при использовании GPU составило 11 часов 5 минут, модели YOLOv7 - 7 часов 54 минуты, модели YOLOv8 - 7 часов 34 минуты.
Результаты расчетов средней абсолютной процентной ошибки моделей (MAPE, Mean absolute percentage error) нейронных сетей YOLOv5, YOLOv7 и YOLOv8 при распознавании всех классов представлены в таблице 3.
Рис. 5 - Кривые оценки уверенности предсказаний и определения их соответствия истинным значениям классов для моделей:
а -YOLOv5, б - YOLOv7, в - YOLOv8
Таблица 3
Результаты расчетов средней абсолютной процентной ошибки моделей нейронных сетей YOLOv5, YOLOv7 и YOLOv8 на тестовой выборке из 600 изображений
Модель Количество изображений верно классифицированных, шт. Средня абсолютная ошибка (Mean Absolute Percentage Error, MAPE), %
YOLOv5 535 10,83
YOLOv7 524 12,67
YOLOv8 551 8,17
а
б
в
а б в
Рис. 6 - Кривые метрики <^1-мера - Уверенность предсказаний» для моделей: а -YOLOv5, б -YOLOv7, в - YOLOv8
Rpoch in:-'::
Рис. 7 - Зависимости метрик Precision, Recall и mAP от эпохи обучения для моделей: а - YOLOv5, б - YOLOv7, в - YOLOv8
Наиболее сложным для распознавания оказался класс «spot» - пятнистость, средняя абсолютная процентная ошибка которого составила для модели YOLOv5 - 13,9 %, для модели YOLOv7 - 14,8 % и для модели YOLOv8 - 13,6 %. Наиболее низкая абсолютная процентная ошибка распознавания ржавчины «rust» для модели YOLOv5 составила 8,4 %, для модели YOLOv7 - 7,9 % и для модели YOLOv8 - 6,2 %.
Обсуждение
Одной из основных проблем, связанных с уменьшением точности распознавания и классификации поражений пятнистостью листьев яблони, является неоднородность внешнего
вида повреждений при увеличении степени поражения листьев болезнями с течением времени. С увеличением степени поражения качественные характеристики повреждений листьев существенно изменяются, в частности, их текстурные и цветовые особенности, что приводит к ухудшению распознавания и классификации. Существующие модели обучения сталкиваются с ограничениями в адаптации к такой неоднородной и динамичной природе повреждений листьев болезнями. Также важно учитывать действие окружающей среды и климатических условий на внешний вид повреждений листьев яблони. Одним из возможных подходов к увеличению точности классификации и распознавания является использование многомерных признаковых пространств и комбинирование нескольких источников информации, таких как спектральные данные, инфракрасные изображения и данных мультиспек-трального сканирования [17]. Это может помочь создать более комплексные модели, способные лучше адаптироваться к изменяющимся характеристикам поражений листьев яблони болезнями.
Для решения этой проблемы требуется дальнейшее совершенствование методов обработки изображений и анализа данных. Они могут включать в себя использование современных алгоритмов обучения с подкреплением, а также метода инкрементного обучения (incremental learning), который обеспечивает возможность
автоматического дообучения заранее обученной модели на новом наборе данных в режиме непрерывного обновления. Этот метод позволяет модели постепенно адаптироваться к новым данным, сохраняя ранее полученные знания.
Заключение
Анализ результатов исследований показал, что распознавание и классификация поражений болезнями листьев яблони в промышленном саду с применением для обработки полученных данных современных моделей свёрточных нейронных сетей YOLO позволяет определять наличие парши (класс «scab»), мучнистой росы (класс «powdery_mildew»), ржавчины (класс «rust), пятнистости (класс «spot») со средней точностью не менее 89,4 % при движении в рядах садовых насаждений и расстоянии до листьев во время съемки от 0,1 м до 0,25 м. Анализ качества работы современных моделей сверточных нейронных сетей YOLOv5, YOLOv7, YOLOv8 показал, что модели YOLOv5, YOLOv7, имеют меньшую точность и способность обнаруживать несколько объектов на одном изображении по сравнению с YOLOv8, но компенсируют это более высокой скоростью обработки изображений. Выбор между исследуемыми моделями зависит от компромисса между требованиями к скорости выполнения технологической операции мониторинга в полевых условиях и точностью, а также доступных вычислительных ресурсов.
Анализ полученных графиков, метрик бинарной и мультиклассовой классификации по оценке качества работы обученных моделей YOLOv5, YOLOv7, YOLOv8 позволил установить оптимальные параметры настройки, выбрать порог уверенности, на котором модель показывает оптимальную точность и полноту, сбалансированную с количеством распознанных объектов. Определены конфигурации алгоритма машинного обучения модели для распознавания заданных классов листьев яблони, пораженных болезнями: скорость обучения (learning rate) -0,01 LR (learning rate), количество эпох (epochs) - 100, размер мини-пакета (batch size) - 12.
Автоматизированный мониторинг развития инфекционных грибковых поражений листьев яблони с использованием современных моделей сверточных нейронных сетей позволит эффективно распознавать и классифицировать поражения на обследуемых площадях многолетних садовых насаждений, а также снизить популяцию возбудителей при своевременной корректировке схем защиты растений.
Библиографический список
1. Zhong, Y. Research on deep learning in apple leaf disease recognition / Y. Zhong, M.J.C. Zhao // Agriculture. - 2020. - 168. - 105146.
2. Bansal, P. Disease Detection in Apple Leaves Using Deep Convolutional Neural Network / P. Bansal, R. Kumar, S. Kumar // Agriculture. - 2021.
- 11. - 617.
3. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks / H. Sun, H. Xu, B. Liu,D. He, J. He, H. Zhang, N. Geng // Computers and Electronics in Agriculture. - 2021. - 189. -106379.
4. Разработка программно-аппаратного комплекса с мобильным приложением на основе нейронной сети для мониторинга плодов яблони в кроне дерева / И.Г. Смирнов, А.И. Ку-тырёв, Д.О. Хорт, Е.А. Тумаева, Ю.В. Бурменко // Садоводство и виноградарство. - 2023. - № 1. - С. 43 -51.
5. Khort, D. Computer vision system for recognizing the coordinates location and ripeness of strawberries / D. Khort, A. Kutyrev, I. Smirnov, V. Osypenko, N Kiktev // Communications in Computer and Information Science. - 2020. - 1158.
- P.334 - 343.
6. Повышение эффективности системы управления растениеводством на основе цифровых технологий / Г.С. Клычова, А.Р. Закирова, А.Р. Валиев, А.Р. Юсупова, А.С. Хусаинова // Вестник Казанского государственного аграрного университета. - 2021. - Т. 16. - № 3(63). - С. 121127.
7 Анализ и тенденции развития сельского хозяйства в условиях цифровизации / А.К. Су-баева, М.Н. Калимуллин, М.М. Низамутдинов, М.М. Залалтдинов, Н.М. Асадуллин // Вестник Казанского государственного аграрного университета. - 2022. - Т.17. - № 1(65). - С. 135-141.
8. Extraction of Multiple Diseases in Apple Leaf Using Machine Learning / S. Singh, S. Gupta,
A. Tanta, R. Gupta // International Journal of Image and Graphics. - 2021. - 21. - 2140009.
9. Prediction of Harvest Time of Apple Trees: An RNN-Based Approach / T. Boechel, L.M. Policarpo, G.d.O. Ramos, R. da Rosa Righi, D. Singh // Algorithms. - 2022. - 15. - 95.
10. Apple leaf diseases recognition based on an improved convolutional neural network / Q. Yan,
B.Yang, W. Wang, B. Wang, P. Chen, J. Zhang // Sensors. - 2020. -20. - 3535.
11. Sekharamantry, P.K Deep Learning-Based Apple Detection with Attention Module
and Improved Loss Function in YOLO / P.K. Sekharamantry, F. Melgani, J. Malacarne // Remote Sensing. - 2023. - 15. - 1516.12. Zhong, Y. Research on deep learning in apple leaf disease recognition / Y. Zhong, M. Zhao // Computers and Electronics in Agriculture. - 2020. - 168. - 105146.
13. Zhu, R.Apple-Net: A Model Based on Improved YOLOv5 to Detect the Apple Leaf Diseases /R. Zhu, Z. Hongyan, L. Zhenye, N. Ruitao // Plants. -2023. - 12. - 169.
14. A Multiscale Lightweight and Efficient Model Based on YOLOv7: Applied to Citrus Orchard / J. Chen, H. Liu, Y. Zhang, D. Zhang, H. Ouyang, X . Chen // Plants. - 2022. - 11. - 3260.
15. Pradhan, P. Comparison of various
deep convolutional neural network models to discriminate apple leaf diseases using transfer learning / P. Pradhan, B. Kumar, S. Mohan // Journal of Plant Diseases and Protection. - 2022. -129. - P. 1461-1473.
16. Maxwell, A.E. Accuracy Assessment in Convolutional Neural Network Based Deep Learning Remote Sensing Studies - Part 1: Literature Review / A.E. Maxwell, T.A. Warner, L.A. Guillen // Remote Sensing. - 2021. - 13(13). - 2450.
17. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages / B. Shurygin, I. Smirnov, A. Chilikin, D. Khort, A. Kutyrev, S. Zhukovskaya, A. Solovchenko // Horticulturae. - 2022. - 8. - 1111.
RECOGNITION AND CLASSIFICATION OF APPLE TREE LEAF DISEASES BASED ON IMAGE ANALYSIS WITH CONVOLUTIONAL NEURAL NETWORK MODELS (CNN) Kutyrev A. I.
Federal State Budgetary Scientific Institution «Federal Scientific Agroengineering Center VIM» 109428, Russia, Moscow, 109428, Russia, Moscow, 1st Institutsky proezd, 5.
Tel. +7 (965)-178-10-88 E-mail: [email protected]
Keywords: monitoring, convolutional neural network, classification, recognition, apple leaves, transfer learning, augmentation.
The article presents research results on evaluating the performance of modern convolutional neural network models YOLO (You Only Look Once) in the recognition and classification of apple leaf diseases. A dataset was collected for training and testing the neural network models, which included images of apple leaf diseases caused by four different conditions: scab, powdery mildew, rust, and spot. Image annotation was conducted using the Computer Vision Annotation Tool (CVAT). Data augmentation was performed to balance the classes in the dataset, generating new variations of images based on the original dataset, resulting in an increase in the dataset size to 6000 images.To assess the performance of YOLO neural network models in recognizing apple leaf diseases, well-known metrics such as Precision, Recall, Average Precision (AP), and F-score (F-measure) were used. Analyzing the metrics curves for binary and multi-class classification allowed determining the optimal number of epochs at which the models achieve the best balance between precision and recall. The class "spot" (spotting) proved to be the most challenging to recognize, with the average absolute percentage error of 13,9% for YOLOv5,14,8% for YOLOv7, and 13,6%for YOLOv8. On the other hand, the lowest absolute percentage error in recognition for the "rust" class was observed for YOLOv5 at 8,4%, YOLOv7 at 7,9%, and YOLOv8 at 6,2%. The analysis of the research results showed that automated monitoring of the development of fungal infections on apple leaves using modern neural network models allows for efficient recognition and classification of diseases in surveyed areas of perennial orchards. This approach can help reduce the population of pathogens through timely adjustment of plant protection schemes.
Bibliography:
1. Zhong, Y. Research on deep learning in apple leaf disease recognition / Y. Zhong, M.J.C. Zhao //Agriculture. - 2020. -168. -105146.
2. Bansal, P. Disease Detection in Apple Leaves Using Deep Convolutional Neural Network / P. Bansal, R. Kumar, S. Kumar //Agriculture. - 2021. -11. - 617.
3. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks / H. Sun, H. Xu, B. Liu,D. He, J. He, H. Zhang, N. Geng //Computers and Electronics in Agriculture. - 2021. -189. -106379.
4. Development of a hardware and software complex with a mobile application based on a neural network for monitoring apple fruit in the tree crown / I.G. Smirnov, A.I. Kutyrev, D.O. Khort, E.A. Tumaeva, Y.V. Burmenko//Horticulture and Viticulture. - 2023, - №. 1, - P. 43-51.
5. Khort, D. Computer vision system for recognizing the coordinates location and ripeness of strawberries / D. Khort, A. Kutyrev, I. Smirnov, V. Osypenko, N Kiktev//Communications in Computer and Information Science. - 2020. -1158. - P.334 - 343.
6. Enhancing the efficiency of crop management system based on digital technologies / G.S. Klychova, A.R. Zakirova, A.R. Valiev, A.R. Yusupova, A.S. Khusainova // Bulletin of Kazan State Agrarian University. - 2021. - Vol. 16. - № 3(63). - P. 121-127.
7. Analysis and development trends of agriculture in the era of digitalization / A.K. Subaeva, M.N. Kalimullin, M.M. Nizamutdinov, M.M. Zalaltdinov, N.M. Asadullin // Bulletin of Kazan State Agrarian University. - 2022. - Vol. 17. - №. 1(65). - P. 135-141.
8. Extraction ofMultiple Diseases in Apple Leaf Using Machine Learning / S. Singh, S. Gupta, A. Tanta, R. Gupta //International Journal ofImage and Graphics. - 2021. - 21. - 2140009.
9. Prediction of Harvest Time of Apple Trees: An RNN-Based Approach / T. Boechel, L.M. Policarpo, G.d.O. Ramos, R. da Rosa Righi, D. Singh // Algorithms. -2022. -15. - 95.
10. Apple leaf diseases recognition based on an improved convolutional neural network / Q. Yan, B.Yang, W. Wang, B. Wang, P. Chen, J. Zhang // Sensors. -2020. -20. - 3535.
11. Sekharamantry, P.K Deep Learning-Based Apple Detection with Attention Module and Improved Loss Function in YOLO /P.K. Sekharamantry, F. Melgani, J. Malacarne//Remote Sensing. - 2023. -15. -1516.
12. Zhong, Y. Research on deep learning in apple leaf disease recognition / Y. Zhong, M. Zhao // Computers and Electronics in Agriculture. - 2020. -168. -105146.
13. Zhu, R.Apple-Net: A Model Based on Improved YOLOv5 to Detect the Apple Leaf Diseases /R. Zhu, Z. Hongyan, L. Zhenye, N. Ruitao // Plants. - 2023. -12. -169.
14. A Multiscale Lightweight and Efficient Model Based on YOLOv7: Applied to Citrus Orchard / J. Chen, H. Liu, Y. Zhang, D. Zhang, H. Ouyang, X. Chen // Plants. - 2022. -11. - 3260.
15. Pradhan, P. Comparison of various deep convolutional neural network models to discriminate apple leaf diseases using transfer learning / P. Pradhan, B. Kumar, S. Mohan //Journal of Plant Diseases and Protection. - 2022. -129. - P. 1461-1473.
16. Maxwell, A.E. Accuracy Assessment in Convolutional Neural Network Based Deep Learning Remote Sensing Studies - Part 1: Literature Review / A.E. Maxwell, T.A. Warner, L.A. Guillen //Remote Sensing. - 2021. -13(13). - 2450.
17. Mutual Augmentation of Spectral Sensing and Machine Learning for Non-Invasive Detection of Apple Fruit Damages / B. Shurygin, I. Smirnov, A. Chilikin, D. Khort, A. Kutyrev, S. Zhukovskaya, A. Solovchenko //Horticulturae. - 2022. - 8. -1111.
