ОПРЕДЕЛЕНИЕ ЗАБОЛЕВАНИЙ МАНИОКА МЕТОДАМИ КОМПЬЮТЕРНОГО ЗРЕНИЯ

Терещенко Сергей Николаевич; Перов Артём Андреевич; Осипов Александр Леонидович

DOI: 10.12731/2658-6649-2021-13-1-144-155 УДК 632.08+004.8

ОПРЕДЕЛЕНИЕ ЗАБОЛЕВАНИЙ МАНИОКА МЕТОДАМИ КОМПЬЮТЕРНОГО ЗРЕНИЯ

С.Н. Терещенко, А.А. Перов, А.Л. Осипов

Цель. Разработка модели сверточной нейронной сети для определения заболеваний маниока по фотографии с мобильного телефона.

Методы и материалы исследования. Материалом для исследований послужили размеченные изображения с различными видами заболеваний маниока, опубликованные в открытом доступе платформы Kaggle. Методы исследования: теория проектирования и разработки информационных систем, программирования, методы аугментации и расширения датасетов для задач компьютерного зрения, методы настройки гиперпараметров обучения моделей нейронной сети.

Результаты. Маниок съедобный - одна из ключевых культур для сельского хозяйства многих регионов мира. Одной из главных причин плохой урожайности является различного вида заболевания. Для профилактики и раннего предупреждения распространения заболевания растений необходим инструмент в виде модели нейронной сети, позволяющей определить наличия заболевания по фотографии со смартфона. В работе использовались методы глубинного обучения сверточных нейронных сетей, а также концепция «transfer learning». На базе сети ResNet 50 была обучена нейронная сеть, позволяющая с точностью 0,93 по метрике F1-score определять наличие заболевания у растения маниок съедобный по изображению.

Заключение. Был подготовлен набор данных изображений маниоки, включающий пять классов, для эффективной классификации нейронной сетью. Четыре класса с признаками определенных заболеваний листьев маниоки и один класс для здоровых растений. Была построена и обучена модель для решения задачи классификации по обнаружению болезни листьев маниоки по изображениям со смартфона.

Ключевые слова: нейронные сети; искусственный интеллект; маниок; кассава; урожайность; заболевание растений; смартфон; глубинное обучение; аугментация

Для цитирования. Терещенко С.Н., Перов А.А., Осипов А.Л. Определение заболеваний маниока методами компьютерного зрения // Siberian Journal of Life Sciences and Agriculture. 2021. Т. 13, № 1. C. 144-155. DOI: 10.12731/26586649-2021-13-1-144-155

DETECT OF CASSAVA DISEASES BY COMPUTER VISION METHODS

S.N. Tereshchenko, A.A. Perov, A.L. Osipov

Background. Development of a convolutional neural network model for detecting cassava diseases from a mobile phone photo.

Materials and methods. The material for the research was taken images with various types of cassava diseases, published in open access of the Kaggle platform. Research methods: theory of design and development of information systems, programming, methods of augmentation and extension of datasets for computer vision problems, methods of tuning hyperparameters for training neural network models.

Results. Cassava is one of the key crops for agriculture in many regions of the world. One of the main reasons for poor yields is a different type of disease. For the prevention and early warning of the spread of plant diseases, a tool is needed in the form of a neural network model that allows to determine the presence of the disease from a photo from a smartphone. We used the methods of deep learning of convolutional neural networks, as well as the concept of "transfer learning". On the basis of the ResNet 50 network, the neural network model was trained that allows determining the presence of disease in the cassava plantfrom the image with accuracy 0,93 according to the Fl-score metric.

Conclusion. Has been prepared the dataset of cassava images, included five classes, for efficient classification by the neural network. Four classes with signs of certain cassava leafs diseases and one class for healthy plants. Has been built and trained model for the task of classification to detect cassava leafs disease by images from a smartphone.

Keywords: neural networks; artificial intelligence; manioc; cassava; productivity; plant disease; smartphone; deep learning; augmentation

For citation. Tereshchenko S.N., Perov A.A., Osipov A.L. Detect of Cassava Diseases by Computer Vision Methods. Siberian Journal of Life Sciences and Agriculture, 2021, vol. 13, no. 1, pp. 144-155. DOI: 10.12731/2658-6649-2021-131-144-155

Введение

Болезни растений оказывают неблагоприятное воздействие на сельскохозяйственное производство, что негативным образом влияет на продовольственную безопасность. Диагностика и выявление болезней растений играют весьма важную роль в обеспечении урожайности, высокого каче-

ства и достаточной эффективности сельскохозяйственной продукции, что является важной темой исследований в области информатизации сельского хозяйства. Технологии искусственного интеллекта активно используются во многих отраслях химии, биологии и экономики [1, 11, 18], в том числе и в сельскохозяйственной сфере. Компьютерное зрение, как одна из составляющих элементов искусственного интеллекта, уже доказало свою эффективность в таких широко распространенных направлениях как распознавание лиц и автомобильных номеров, а также нарушений правил дорожного движения. В данной статье рассмотрим использование технологий компьютерного зрения для определения заболеваний растения маниок.

Маниок съедобный (кассава - африканское название) - пищевое клубнеплодное тропическое растение. Первоначально происходит из Южной Америки и культивируется во многих тропических районах Земли с подходящим климатом. Хорошо выдерживает суровые условия и имеет важное хозяйственное значение [12]. В Африке маниок является вторым по величине поставщиком углеводов, что делает его ключевой культурой продовольственной безопасности. 80% домашних хозяйств (мелкие фермеры) в Африке к югу от Сахары выращивают маниоку.

Вирусные заболевания маниоки являются основными источниками плохой урожайности [12].

Существующие методы определения состояния посевных площадей требуют, чтобы фермеры обращались за помощью к специальным лабораториям (экспертам), которые производят диагностику растений. Данный подход является довольно трудоемким и дорогим. Это обусловлено сравнительно небольшим количеством лабораторий и экспертов. Инструмент в виде модели компьютерного зрения, позволяющий распознать наличие заболевания маниока по фотографии со смартфона, представляется важной задачей для прикладных исследований в сельскохозяйственной отрасли [10].

Методы и материалы исследования

В данной работе исходным материалом для проведения научных исследований послужили размеченные изображения с различными видами заболеваний маниока, опубликованные в открытом доступе на платформе Kaggle (kaggle.com). Методы исследования: теория проектирования и разработки информационных систем; программирования; аугментации и расширения датасетов для задач компьютерного зрения; алгоритмы настройки гиперпараметров обучения моделей нейронной сети.

Сотрудники Университета Макерере (Уганда) и Национального научно-исследовательского института сельскохозяйственных ресурсов (NaCRRI, Уганда) подготовили датасет для обучения модели компьютерного зрения. В датасет входит более 21 000 размеченных фотографий маниоки как с наличием заболевания, так и здоровых [4]. Ключевые болезни маниока следующие:

- Бактериальный ожог (CBB, англ. Cassava Bacterial Blight).

- Вирус коричневой полосы (CBSD, англ. Cassava Brown Streak Disease).

- Вирус зеленой крапчатости (CGM, англ. Cassava Green Mottle).

- Вирус мозаики (CMD, англ. Cassava Mosaic Disease).

Каждое заболевание имеет свои зрительные признаки, что представляется подходящей задачей для методов и инструментов компьютерного зрения.

Анализ существующих исследований

За последнее десятилетие было проведено много научных исследований по выявлению болезней растений с помощью компьютерного зрения [8-9]. Подходы машинного обучения включают традиционные алгоритмы компьютерного зрения: метод опорных векторов (англ. SVM); метод K-ближайших соседей (англ. KNN); алгоритм K-средних (англ. k-means) и другие. Все они успешно апробированы во многих задачах в разных предметных областях. Модели классификации заболеваний растений на основе глубинного обучения включают в себя использование различных моделей сверточных нейронных сетей (AlexNet, GoogleNet, VGGNet, ResNet). Во многих работах размер датасета был недостаточен, а также многоклассовая классификация требовала трудоемкой настройки гиперпараметров для предотвращения переобучения [14]. Данный подход использует методы извлечения признаков RGB, сегментации, методы гомогенизации и другие для идентификации заболеваний. В работе [13] используются методы сегментации изображений, включающие алгоритмы K-средних для обнаружения пораженных сегментов растений. В статье [5] определяются зеленые пиксели для маски на основе пороговых значений, которые вычисляются с помощью метода Otsu. В работе [15] была использована методика «transfer learning» на основе предобученной сети ResNet 50 с настройкой гиперпараметров. В работе [17] проанализированы различные методы сегментации, кластеризации и классификации с помощью применения пороговых значений изображений, метода K-средних и сверточных нейронных сетей. В работе [3] авторы используют предварительно обучен-

ную сверточную нейронную сеть с настройкой гиперпараметров. В работе [10] анализируется формирование датасета с изображениями заболеваний маниоки для конкурса Kaggle «iCassava 2019». Отмечено, что лучшие результаты конкурса (лето 2019) были получены при помощи сверточной нейронной сети семейства ResNet. В работе [2] используется матрица смежности GLCM и обработка результатов посредством бинаризации и мажоритарного голосования для определения заболеваний по фотографиям с беспилотного летательного аппарата. В вышеупомянутых работах точность классификации болезней растений колебалась от 83% до 94%. Но вирусные заболевания маниоки в этих работах не классифицировались.

Данная работа использует современные подходы в проблеме определения заболеваний маниока при помощи компьютерного зрения и опирается на описанные выше методы и подходы.

Результаты исследования

Открытый датасет представляет собой более 21000 изображений. Изображения размечены на пять классов. Четыре класса под заболевания (СВВ, CBSD, CGM, CMD) и один для здорового растения. Изображения различных размеров представлены в формате <ф^>. К датасету прилагается файл в формате «csv» с разметкой фотографий. Для обучения использовался фреймворк РуТогЛ и библиотека ЮгсЬжюп. В работе решается задача разнонаправленной классификации. Пример изображений из датасета представлен на рисунке 1.

Рис. 1. Размеченные изображения из датасета (пример)

Для задачи классификации в работе была использована концепция «transfer learning». Если современные нейронные сети используют анализ простейших графических примитивов на нижних слоях, то концепция «transfer learning» зарекомендовала себя уже на многих более сложных задачах [7, 16]. Предобученная на большом количестве изображений нейронная сеть дает преимущество в стоимости и скорости обучения. Пре-добученная модель начинает процесс обучения не с нуля, а с заданных паттернов, которые были получены при решении другой задачи, которая сходна по своей природе с решаемой. Предварительно обученная модель обучается на большом эталонном наборе данных (как правило несколько десятков миллионов) для решения задачи, аналогичной классификации заболеваний маниоки. Была выбрана предобученная модель ResNet 50.

Ключевой особенностью многослойной сверточной нейронной сети ResNet (сокр. от англ. Residual Network, «Остаточная нейронная сеть») является то, что она использует пропуск соединений или ярлыки для перехода через некоторые слои [6]. Типичные модели ResNet реализуются с двух или трехслойными пропусками, которые содержат нелинейности (ReLU) и пакетную нормализацию между ними. ResNet 50 является вариантом модели ResNet, которая имеет в общей сложности 50 слоев.

Для увеличения общего количества датасета была использована технология аугментации изображений. Изображения для обучения были изменены до размеров 256 х 256 пикселей, а затем из этого изображения случайно выбирался квадрат размером 224 х 224 пикселя. Была применена технология зеркалирования по вертикальной центральной оси и поворот изображения до 15 градусов в обе стороны. Затем использовалась техника изменения яркости и добавления отблесков на изображениях. Методы аугментации данных часто используются вместе с традиционными алгоритмами машинного обучения или алгоритмами глубокого обучения для повышения точности классификации. Для аугментации данных использовалась библиотека Albumentations. Пример применения к изображению методов добавления "вырезки" (англ. dropout) показан на рисунке 2.

В работе использовался метод стохастического градиентного спуска (SGD). В качестве настройки гиперпараметра шага обучения было подобрано значение «lr=0.0005», которое вычислено опытным путем. В качестве функции потерь была выбрана перекрестная энтропия (CrossEntropyLoss) с мультиклассовой функцией оценки логарифмических потерь. В качестве алгоритма оптимизации был использован Адам.

Рис. 2. Аугментация изображения маниока технологией "dropout"

Датасет был разделен на три выборки: обучающая; проверочная; тестовая. Использовалась предварительно обученная модель ResNet 50, которая включала механизм переобучения последних слоев.

Результаты научных исследований показали, что точность классификации на тестовой выборке по метрике F1-score оказалась равной 0,93.

Обсуждение

Очень важно получить точный диагноз заболевания растений для предотвращения экономического ущерба из-за падения урожайности. Ранняя профилактика заболеваний маниока крайне важна для предотвращения проблем, с которыми можно столкнуться в будущем.

Интеллектуальная система компьютерного зрения, предназначенная для выявления заболеваний маниока по визуальным симптомам, могла бы оказать большую помощь. Учитывая широкое распространение у фермеров смартфонов с возможностью выхода в интернет и наличием фотокамеры, подобная система может повсеместно применяться на сельскохозяйственных полях по всему миру. Это не только приведет к улучшению качества и скорости постановки диагноза заболевания, поскольку хорошо обученные глубинные нейронные сети могут выполнять эти избыточные задачи не хуже людей, но и повышению производительности фермерских хозяйств. Данная работа основана на проблеме автоматизации классификации болезней маниока с использованием методов компьютерного зрения. Разработанная модель может быть рекомендована для практического применения в фермерских хозяйствах, которые выращивают маниок съедобный.

Заключение

Заболевания представляют собой серьезную угрозу для урожайности маниока. В данной работе демонстрируется техническая осуществимость глубокого обучения с использованием сверточного нейросетевого подхода для

автоматической диагностики заболеваний с помощью классификации изображений. Используя общедоступный набор данных из более 21000 изображений больных и здоровых листьев растений маниока, глубокая сверточная нейронная сеть обучается классифицировать наличие заболеваний 4 видов, достигая точности распознавания 93%. В данной работе был исследован подход применения методов глубокого обучения для автоматической классификации и обнаружения заболеваний маниока по изображениям листьев. Модель позволила отличить здоровые листья от различных заболеваний, которые можно визуально диагностировать. Была описана методика подготовки изображений для обучения и валидации, аугментация, процедура обучения сверточной нейронной сетью и настройкой гиперпараметров обучения.

Информация о конфликте интересов. Отсутствие конфликта интересов.

Информация о спонсорстве. Исследование не имело спонсорской поддержки.

Список литературы

1. Перов А.А., Пестунов А.И. О возможности применения свёрточных нейронных сетей к построению универсальных атак на итеративные блочные шифры // Прикладная дискретная математика. 2020. №3 (49). С. 46-57. https://doi.org/10.17223/20710410/4974

2. Тутыгин В.С., Лелюхин Д.О. Система диагностики заболеваний листьев растений по фотоизображениям, полученным с помощью БПЛА // Неделя науки СПбПУ: материалы научной конференции с международным участием (г Санкт-Петербург, 19-24 ноября 2018 г.). Политех-Пресс, 2019. С. 209-214.

3. Angie K. Reyes, Juan C. Caicedo, Jorge E. Camargo. Fine-tuning Deep Con-volutional Networks for Plant Recognition // CLEF, 2015. http://ceur-ws.org/ Vol-1391/121-CR.pdf

4. Cassava Leaf Disease Classification. Identify the type of disease present on a Cassava Leaf image. https://www.kaggle.com/c/cassava-leaf-disease-classification/overview

5. Fast and Accurate Detection and Classification of Plant Diseases / H. Al-Hiary, S. Bani-Ahmad, M. Reyalat, M. Braik and Z. ALRahamneh // International Journal of Computer Applications, March 2011, vol. 17, no. 1, pp. 31-38. https://doi. org/10.5120/2183-2754

6. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778. https://doi.org/10.1109/CVPR.2016.90

7. Identification and Recognition of Rice Diseases and Pests Using Convolutional Neural Networks / Rahman C. R., Arko P. S., Ali M. E., Khan M. A. I., Apon S. H., Nowrin F., Wasif A. // Biosystems Engineering, June 2020, vol. 194, pp. 112-120. https://doi.org/10.1016/j.biosystemseng.2020.03.020

8. Khirade S.D., Patil A.B. Plant Disease Detection Using Image Processing // 2015 International Conference on Computing Communication Control and Automation, Pune, India, 2015, pp. 768-771, https://doi.org/10.1109/ICCUBEA.2015.153

9. Liu B., Zhang Y., He D., Li Y. Identification of Apple Leaf Diseases Based on Deep Convolutional Neural Networks // Symmetry, 2018, vol. 10, no. 1, 11. https://doi.org/10.3390/sym10010011

10. Mwebaze E., Gebru T., Frome A., Nsumba S., Tusubira J. iCassava 2019 FineGrained Visual Categorization Challenge. https://arxiv.org/abs/1908.02900 (accessed 08.08.2019).

11. OECD-FAO Agricultural Outlook 2016-2025, OECD Publishing, Paris, 2016. http://dx.doi.org/10.1787/agr_outlook-2016-en

12. Otim-Nape G.W., Alicai T., Thresh J.M. Changes in the incidence and severity of Cassava mosaic virus disease, varietal diversity and cassava production in Uganda // Annals ofApplied Biology, 2001, vol. 138, no. 3, pp. 313-327. https:// doi.org/10.1111/j.1744-7348.2001.tb00116.x

13. Phadikar S., Sil J. Rice disease identification using pattern recognition techniques // 2008 11th International Conference on Computer and Information Technology, Khulna, Bangladesh, 2008, pp. 420-423, https://doi.org/10.1109/ ICCITECHN.2008.4803079

14. Revathi P., Hemalatha M. Classification of cotton leaf spot diseases using image processing edge detection techniques // 2012 International Conference on Emerging Trends in Science, Engineering and Technology (INCOSET), Tiruchirappal-li, India, 2012, pp. 169-173, https://doi.org/10.1109/INCOSET.2012.6513900

15. Sagar A., Dheeba J. On Using Transfer Learning For Plant Disease Detection. https://doi.org/10.1101/2020.05.22.110957

16. Tea leaf diseases recognition using neural network ensemble / Karmokar B.C., Ullah M.S., Siddiquee M.K., Alam K.R. // International Journal of Computer Applications, March 2015. vol. 114, no. 17, pp. 27-30. https://doi. org/10.5120/20071-1993

17. Tete T.N., Kamlu S. Plant Disease Detection Using Different Algorithms // Proceedings of the Second International Conference on Research in Intelligent and Computing in Engineering, Vijender Kumar Solanki, Vijay Bhasker Semwal, Rubén González Crespo, Vishwanath Bijalwan (eds). ACSIS, 2017, vol. 10, pp. 103-106. https://doi.org/10.15439/2017R24

18. Osipov A.L., Bobrov L .K. The use of statistical models of recognition in the virtual screening of chemical compounds // Automatic Documentation and Mathematical Linguistics, 2012, vol. 46, no. 4, pp. 153-158. https://link.springer.com/ article/10.3103/S0005105512040024

References

1. Perov A.A., Pestunov A.I. Prikladnaya diskretnaya matematika, 2020, no. 3 (49), pp. 46-57. https://doi.org/10.17223/20710410/49/4

2. Tutygin V.S., Lelyukhin D.O. Nedelya nauki SPbPU: materialy nauchnoy konfer-entsii s mezhdunarodnym uchastiem (g. Sankt-Peterburg, 19-24 noyabrya 2018 g.) [SPbPU Week: proceedings of a scientific conference with international participation (St. Petersburg, November 19-24, 2018)]. Polytech-Press, 2019, pp. 209-214.

3. Reyes Angie K., Caicedo Juan C., Camargo Jorge E. Fine-tuning Deep Convo-lutional Networks for Plant Recognition. CLEF, 2015. http://ceur-ws.org/Vol-1391/121-CR.pdf

4. Cassava Leaf Disease Classification. Identify the type of disease present on a Cassava Leaf image. https://www.kaggle.com/c/cassava-leaf-disease-classifica-tion/overview

5. Al-Hiary H., Bani-Ahmad S., Reyalat M., Braik M., ALRahamneh Z. Fast and Accurate Detection and Classification of Plant Diseases. International Journal of Computer Applications, March 2011, vol. 17, no. 1, pp. 31-38. https://doi. org/10.5120/2183-2754

6. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778. https://doi.org/10.1109/CVPR.2016.90

7. Rahman C. R., Arko P. S., Ali M. E., Khan M. A. I., Apon S. H., Nowrin F., Wasif A. Identification and Recognition of Rice Diseases and Pests Using Con-volutional Neural Networks. Biosystems Engineering, June 2020, vol. 194, pp. 112-120. https://doi.org/10.1016/j.biosystemseng.2020.03.020

8. Khirade S.D., Patil A.B. Plant Disease Detection Using Image Processing. 2015 International Conference on Computing Communication Control and Automation, Pune, India, 2015, pp. 768-771, https://doi.org/10.1109/ICCUBEA.2015.153

9. Liu B., Zhang Y., He D., Li Y. Identification of Apple Leaf Diseases Based on Deep Convolutional Neural Networks. Symmetry, 2018, vol. 10, no. 1, 11. https://doi.org/10.3390/sym10010011

10. Mwebaze E., Gebru T., Frome A., Nsumba S., Tusubira J. iCassava 2019 FineGrained Visual Categorization Challenge. https://arxiv.org/abs/1908.02900 (accessed 08.08.2019).

11. OECD-FAO Agricultural Outlook 2016-2025, OECD Publishing, Paris, 2016. http://dx.doi.org/10.1787/agr_outlook-2016-en

12. Otim-Nape G.W., Alicai T., Thresh J.M. Changes in the incidence and severity of Cassava mosaic virus disease, varietal diversity and cassava production in Uganda. Annals of Applied Biology, 2001, vol. 138, no. 3, pp. 313-327. https:// doi.org/10.1111/j.1744-7348.2001.tb00116.x

13. Phadikar S., Sil J. Rice disease identification using pattern recognition techniques. 2008 11th International Conference on Computer and Information Technology, Khulna, Bangladesh, 2008, pp. 420-423, https://doi.org/10.1109/ ICCITECHN.2008.4803079

14. Revathi P., Hemalatha M. Classification of cotton leaf spot diseases using image processing edge detection techniques. 2012 International Conference on Emerging Trends in Science, Engineering and Technology (INCOSET), Tiruchirappalli, India, 2012, pp. 169-173, https://doi.org/10.1109/INC0SET.2012.6513900

15. Sagar A., Dheeba J. On Using Transfer Learning For Plant Disease Detection. https://doi.org/10.1101/2020.05.22.110957

16. Karmokar B.C., Ullah M.S., Siddiquee M.K., Alam K.R. Tea leaf diseases recognition using neural network ensemble. International Journal of Computer Applications, March 2015. vol. 114, no. 17, pp. 27-30. https://doi. org/10.5120/20071-1993

17. Tete T.N., Kamlu S. Plant Disease Detection Using Different Algorithms. Proceedings of the Second International Conference on Research in Intelligent and Computing in Engineering, Vijender Kumar Solanki, Vijay Bhasker Semwal, Rubén González Crespo, Vishwanath Bijalwan (eds). ACSIS, 2017, vol. 10, pp. 103-106. https://doi.org/10.15439/2017R24

18. Osipov A.L., Bobrov L.K. The use of statistical models of recognition in the virtual screening of chemical compounds. Automatic Documentation and Mathematical Linguistics, 2012, vol. 46, no. 4, pp. 153-158. https://link.springer.com/ article/10.3103/S0005105512040024

ДАННЫЕ ОБ АВТОРАХ

Терещенко Сергей Николаевич, кандидат технический наук, заведующий кафедрой «Прикладная информатика», доцент

ФГБОУ Новосибирский государственный университет экономики и управления

ул. Каменская, 56, г. Новосибирск, Новосибирская область, 630099,

Российская Федерация

[email protected]

Перов Артём Андреевич, ассистент кафедры «Информационная безопасность»

ФГБОУ ВО «Московский политехнический университет»

ул. Б. Семеновская, 38, Москва, 107023, Российская Федерация

[email protected]

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Осипов Александр Леонидович, кандидат технический наук, доцент