0Известия Кабардино-Балкарского научного центра РАН Том 26 № 2 2024
= АГРОХИМИЯ, АГРОПОЧВОВЕДЕНИЕ, ЗАЩИТА И КАРАНТИН РАСТЕНИЙ-
УДК 632.4+504.064.36+004.032.2 Научная статья
DOI: 10.35330/1991-6639-2024-26-2-72-79 EDN: XZSDTK
Компьютерное зрение для наблюдения и учета Pyrenophora teres озимого ячменя*
И. В. Ариничева1, Г. В. Волкова2, Я. В. Яхник2, И. В. Ариничев3
1 Кубанский государственный аграрный университет им. И. Т. Трубилина 350044, Россия, г. Краснодар, ул. Калинина, 13 2Федеральный научный центр биологической защиты растений 350039, Россия, г. Краснодар, ул. ВНИИБЗР, 1 3Кубанский государственный университет, 350040, Россия, г. Краснодар, ул. Ставропольская, 149
Аннотация. Традиционная практика диагностики болезни и определения экономического порога вредоносности основана на визуальной оценке. Но она является затруднительной и требует высокой квалификации специалистов, своевременный выезд которых не всегда возможен, особенно в небольшие фермерские хозяйства. Принципиально новым и крайне перспективным в диагностике развития сетчатой пятнистости листьев ячменя представляется подход, основанный на автоматическом (без участия человека-эксперта) распознавании патогена и степени его развития по изображению или серии изображений. В статье предлагается использование инновационного подхода к диагностике развития сетчатой пятнистости (Pyrenophora teres) озимого ячменя, который основан на прогрессивных технологиях компьютерного зрения. Этот подход предусматривает двухэтапный процесс анализа изображений, призванный улучшить эффективность и точность диагностики заболеваний растений. На первом этапе применяются две сверточные нейронные сети для выполнения двух ключевых задач: отделение листовой пластины ячменя от фона изображения и сегментация очагов сетчатой пятнистости. Это позволяет точно идентифицировать зоны поражения, что является критически важным для последующего анализа. На втором этапе происходит количественная оценка степени поражения, основанная на подсчете пикселей пораженных и здоровых участков листа. Определяется отношение площадей пораженных участков к общей площади листа, что обеспечивает точную и объективную оценку степени развития болезни. Данный способ демонстрирует значительное преимущество перед традиционными визуальными методами диагностики, в том числе повышенную точность и объективность, а также ускоренный процесс анализа. Полевые и лабораторные исследования были выполнены в 2021-2023 гг. на площадках ФГБНУ «Федеральный научный центр биологической защиты растений» (ФНЦБЗР).
Ключевые слова: озимый ячмень, болезни ячменя, диагностика развития заболевания, сетчатая пятнистость, патоген, защита зерновых культур, фитосанитарный мониторинг, компьютерное зрение, искусственный интеллект
Поступила 05.02.2024, одобрена после рецензирования 19.03.2024, принята к публикации 29.03.2024
Для цитирования. Ариничева И. В., Волкова Г. В., Яхник Я. В., Ариничев И. В. Компьютерное зрение для наблюдения и учета Pyrenophora teres озимого ячменя // Известия Кабардино-Балкарского научного центра РАН. 2024. Т. 26. № 2. С. 72-79. DOI: 10.35330/1991-6639-2024-26-2-72-79
© Ариничева И. В., Волкова Г. В., Яхник Я. В., Ариничев И. В., 2024
* Исследование выполнено при финансовой поддержке Кубанского научного фонда в рамках научного проекта № МФИ-20.1/121.
Original article
Computer vision for monitoring and accounting Pyrenophora teres of winter barley*
I.V. Arinicheva1, G.V. Volkova2, Ya.V. Yakhnik2, I.V. Arinichev3
1Kuban State Agrarian University named after I.T. Trubilin
350044, Russia, Krasnodar, 13 Kalinina street 2 Federal Scientific Center for Biological Plant Protection 350039, Russia, Krasnodar, 1 VNIIBZR 3 Kuban State University 350040, Russia, Krasnodar, 149 Stavropolskaya street
Abstract. The traditional practice of diagnosing a disease and determining the economic threshold of harmfulness is based on visual assessment. But it is difficult and requires highly qualified specialists, whose timely departure is not always possible, especially to small farms. A fundamentally new and extremely promising approach to diagnose the development of net leaf spot of barley is an approach based on automatic (without the participation of a human expert) recognition of the pathogen and the degree of its development from an image or series of images. The article proposes the use of an innovative approach to diagnosing the development of net blotch (Pyrenophora teres) of winter barley, based on advanced computer vision technologies. This approach involves a two-step image analysis process designed to improve the efficiency and accuracy of plant disease diagnosis. The first step uses two convolutional neural networks to perform two key tasks: separating barley leaf blades from the image background and segmenting net spot lesions. This allows for precise identification of affected areas, which is critical for subsequent analysis. At the second stage, a quantitative assessment of the degree of damage occurs, based on counting the pixels of affected and healthy areas of the leaf. The ratio of the areas of the affected areas to the total leaf area is determined, which provides an accurate and objective assessment of the degree of disease development. This method demonstrates significant advantages over traditional visual diagnostic methods, including increased accuracy and objectivity, as well as an accelerated analysis process. Field and laboratory studies were carried out in 2021-2023 at the sites of the Federal State Budgetary Institution Federal Research Center for Biological Plant Protection.
Keywords: winter barley, barley diseases, diagnosis of disease development, net spot, pathogen, protection of grain crops, phytosanitary monitoring, computer vision, artificial intelligence
Submitted 05.02.2024, approved after reviewing 19.03.2024, accepted for publication 29.03.2024
For citation. Arinicheva I.V., Volkova G.V., Yakhnik Ya.V., Arinichev I.V. Computer vision for monitoring and accounting Pyrenophora teres of winter barley. News of the Kabardino-Balkarian Scientific Center of RAS. 2024. Vol. 26. No. 2. Pp. 72-79. DOI: 10.35330/1991-6639-2024-26-2-72-79
Введение
Краснодарский край занимает лидирующие позиции среди регионов Российской Федерации по возделыванию озимого ячменя (Hordeum vulgare L.). На конец 2023 года валовой сбор ячменя составил 1110 тыс. тонн, уступив по объему лишь Воронежской области, где было намолочено 1356 тыс. тонн1. Посевная площадь озимого ячменя в Краснодарском крае непрерывно растет, достигнув в 2023 году 184 тыс. гектаров, что подчерки-
* The study was carried out with financial support from the Kuban Science Foundation within the framework of scientific project No. MFI-20.1/121
1 Уборка урожая зерновых и зернобобовых по областям РФ на 29 декабря 2023 года. Режим доступа:
https://zerno.ru/node/23178
вает важность данной культуры для аграрного производства региона. Озимый ячмень играет ключевую роль в экономике края, определяя не только значительную часть сбора зерновых культур, но и формируя основу для кормовой базы животноводства, а также производства продуктов питания.
Успех возделывания данной культуры напрямую зависит от эффективности борьбы с болезнями, в частности с сетчатой пятнистостью листьев, вызываемой грибом Pyrenophora teres Drechs, который является одним из доминантных патогенов в ценозе культуры как на юге России, так и в целом по стране [ 1]. Сетчатая пятнистость - серьезное заболевание, способное значительно снизить урожайность и качество зерна [2], борьба с ней требует комплексного подхода, включающего как создание и использование устойчивых к болезни сортов, протравливание семян, так и применение современных инструментов фитосанитарного контроля. По этой причине разработка эффективных методов диагностики сетчатой пятнистости приобретает актуальность и высокое практическое значение [3].
Традиционная практика диагностики развития болезней ячменя основана на визуальной оценке и широко используется в сельском хозяйстве, однако имеет ряд определенных ограничений. Визуальная оценка требует от специалиста, лица, принимающего решение, наличия значительного опыта и высокой квалификации, поскольку многие симптомы болезней ячменя могут быть схожими или перекрываться с проявлениями других проблем. Данный уровень экспертизы не всегда доступен, особенно для небольших колхозно-фермерских хозяйств.
Такое положение дел подталкивает к разработке новых, инновационных подходов, основанных на использовании цифровых технологий и искусственного интеллекта, способных произвести оценку развития заболевания без участия человека -эксперта. Дополнительную актуальность использования цифровых решений в процессе производства ячменя и диагностики сетчатой пятнистости придает растущая зависимость аграрной сферы от устойчивых и экологически безопасных подходов, где интеллектуальные технологии могут сыграть ключевую роль в снижении риска развития и распространения этой болезни на посевах озимого ячменя.
Цель исследования - разработка инновационного подхода, позволяющего на основе методов компьютерного зрения выполнить оценку сетчатой пятнистости озимого ячменя по изображению.
Материалы и методы
Для достижения поставленной цели в 2021-2023 гг. на площадках ФГБНУ ФНЦБЗР были выполнены полевые и лабораторные исследования. При проведении экспериментов использованы классические фитопатологические методы и подходы. Идентификация Pyrenophora teres осуществлялась по определителю В. И. Билай [4]. Наработка инокулюма гриба, инокуляция растений в фазу взрослого растения в условиях поля осуществлялись по стандартным методикам [5, 6]. В полевых условиях учет проводился с момента первичного проявления заболевания, последующие учеты - до фазы молочно-восковой спелости зерна с интервалом 10-12 суток. Степень пораженности листьев и других органов сетчатой пятнистостью определялась по шкале Э. Э. Гешеле. Ранжирование сортов по устойчивости к патогену производилось согласно шкале CIMMYT [7].
Фотоснимки пораженных сетчатой пятнистостью листьев получены при искусственном освещении, на белом фоне, под углом 90°, на расстоянии 30-50 см до объекта съемки. Разрешение каждого фотоснимка 1024 на 682 пикселей, формат хранения данных - растровый (png). В общей сложности объем выборки составил 161 изображение.
Чтобы обучить нейронные сети сегментировать пораженные области на листьях, исходные изображения были размечены. Аннотации всех фотоснимков производились вручную (рис. 1).
Рис. 1. Исходное изображение из полученной выборки (а) и соответствующие ему размеченные объекты: маска сетчатой пятнистости (б), маска листовой пластины (в)
Fig. 1. The original image from the resulting sample (a) and the corresponding marked objects:
net spot mask (b), leaf plate mask (c)
Из 161 объекта случайно отбирались 129 пар (изображение и маска) в качестве тренировочного набора и 32 пары в качестве тестового набора для оценки производительности модели.
Инновационный подход к оценке развития Pyrenophora teres, обсуждаемый в данной работе, опирается на использование технологии компьютерного зрения. Идея, стоящая за предлагаемым способом, состоит в использовании нейронной сети, которая на основе размеченных данных учится распознавать и сегментировать участки поражения на листовой поверхности без участия человека-эксперта. Модель U-Net, выбранная в качестве сверточ-ной архитектуры для искусственной нейронной сети, отличается своей способностью эффективно функционировать при работе с ограниченным объемом данных, обеспечивая высокую точность в задачах сегментации. Это достигается благодаря внедрению механизма «skip connections», который создает прямые соединения между слоями сжатия и расширения. Такая структура способствует передаче контекстной информации и обеспечивает высокую точность локализации объектов на изображениях, делая U-Net особенно ценной для применения в аграрной сфере, где критически важна точная сегментация на фоне ограниченного объема релевантных данных.
Как показано в [8-10], анализ количественных показателей качества сегментации, изучение динамики снижения функционала потерь, а также визуальное сопоставление результатов моделирования с экспертной разметкой пятнистости подтверждают эффективность прогнозов, выполненных с использованием нейросетевых технологий. Такие прогнозы соответствуют уровню профессиональных оценок, доказывая высокую степень точности и надежности моделирования.
а)
Результаты и обсуждение
В рамках настоящего исследования был предпринят новый подход, отличающийся от методик, применяемых в предыдущих работах [8-10]. Авторами были разработаны и обучены две сверточные нейронные сети на базе архитектуры U -Net для локализации двух различных областей. Первая модель, обозначенная как M1, была нацелена на выделение всей площади листовой пластины растения от остального фона, тем самым обучаясь распознавать и отделять лист от не связанных с ним элементов. С помощью второй модели M2 производилась более детальная работа по сегментации конкретных участков листа, затронутых очаговыми поражениями, аналогично методике, описанной в исследовании [8] (рис. 2).
Рис. 2. Способ определения степени развития сетчатой пятнистости ячменя на основе современных методов компьютерного зрения
Fig. 2. Method for determining the degree of development of net spot barley based on modern computer vision methods
После сегментации обеими моделями использовалась программа для подсчета количества пикселей, относящихся к каждому из выделенных сегментов. Этот подход позволил не только точно определить области поражений на листьях, но и численно оценить степень развития болезни, предоставив ценные данные для анализа состояния растений.
Предлагаемый в статье способ представляет собой новаторский подход и может позиционироваться как начальный этап автоматизации процесса оценки степени развития Pyrenophora teres озимого ячменя на основе шкалы CIMMYT.
Среди ключевых преимуществ данного подхода можно выделить следующие.
Точность: использование компьютерного зрения и машинного обучения позволяет точно определить границы пораженных участков, что существенно повышает точность диагностики по сравнению с традиционными визуальными методами.
Объективность: автоматизированный анализ уменьшает человеческий фактор и повышает объективность оценки степени заболевания.
Скорость обработки: процесс анализа изображений может быть выполнен значительно быстрее, чем визуальная оценка специалистом, что важно для своевременного принятия решений в зерновом производстве.
Масштабируемость: метод может быть применен к новым изображениям, позволяя «доучивать» нейросеть и обеспечивая горизонтальную масштабируемость процесса (например, на новых болезнях).
Выводы
В данной работе был предложен инновационный подход к оценке развития Pyrenophora teres озимого ячменя, основанный на технологиях компьютерного зрения (сверточные нейронные сети), позволяющий в режиме реального времени получать количественную оценку без участия фитопатолога. Способ показал значительные преимущества по сравнению с традиционными визуальными методами, среди которых повышенная точность, объективность и скорость. Одной из ключевых перспектив развития этого подхода является переход от контролируемых условий получения изображений к полуконтролируемым и неконтролируемым, что включает в себя адаптацию обученной модели к изменяющимся условиям окружающей среды, таким как освещение, погодные условия и другие факторы, влияющие на качество изображений. Это открывает возможность проведения диагностики в полевых условиях, что существенно ускорит процесс принятия решений и повысит эффективность фитосанитарных мероприятий.
К другому направлению дальнейшего развития можно отнести масштабируемость инструмента на новые виды болезней ячменя, а также другие сельскохозяйственные культуры.
СПИСОК ЛИТЕРАТУРЫ
1. Ариничев И. В., Полянских С. В., Ариничева И. В. Семантическая сегментация ржавчин и пятнистостей пшеницы // Компьютерная оптика. 2023. Т. 47. № 1. С. 118-125. DOI: 10.18287/ 2412-6179-C0-1130
2. Волкова Г. В., Яхник Я. В., Мерзликина Е. Н. и др. Чувствительность сетчатой пятнистости ячменя к фунгицидам триазолового класса // Передовые исследования Кубани. Сборник материалов Ежегодной отчетной конференции грантодержателей Кубанского научного фонда. Краснодар, 2022. С. 51-55.
3. ВеретельниковаН. А., Кузнецова Т. Е., Нестеренко В. В. и др. Исходный материал для селекции озимого ячменя на устойчивость к листовым болезням // Материалы IV Международной научно-практической конференции «Современное состояние, проблемы и перспективы развития аграрной науки». 2019. С. 144-146.
4. Билай В. И. Микроорганизмы - возбудители болезней растений: справочник. Киев: Наукова думка. 1988. 549 с.
5. Хасанов Б. А. Определитель грибов-возбудителей «гельминтоспориозов» растений из родов Bipolaris, Drechslera и Exserohilum. Ташкент: Фан, 1992. 180 с.
6. Лашина Н. М., Мироненко Н. В., Зубкович А. А., Афанасенко О. С. Ювенильная устойчивость сортов и образцов ячменя к net-, spot- и гибридной (netxspot) формам Pyrenophora teres // Микология и фитопатология. 2023. Т. 57. № 1. С. 48-59. DOI: 10.31857/ S0026364823010099
7. Койшибаев М. Болезни пшеницы. Анкара: Продовольственная и сельскохозяйственная организация Объединенных наций, 2018. 394 с.
8. Ариничев И. В., Волкова Г. В., Ариничева И. В. Диагностика развития сетчатой пятнистости озимого ячменя на основе цифровых интеллектуальных технологий // Труды
Кубанского государственного аграрного университета. 2023. № 106. С. 81-85. DOI: 10.21515/ 1999-1703-106-81-85
9. Arinichev I., Arinicheva I., Foshchan G., Saybel N. Digital monitoring of crops in grain ecosystems // BIO Web of Conferences (Agri Science2023), 2023. No. 66. P. 14016. DOI: 10.1051/ bioconf/20236614016
10. Arinichev I., Sidorov V., Arinicheva I. Digital solutions in the system of intelligent crop monitoring // В сборнике: II International Conference on current issues of breeding, technology and processing of agricultural crops, and environment (CIBTA-II-2023). Les Ulis Cedex A, France, 2023. С. 1112. DOI: 10.1051/bioconf/20237101112
REFERENCES
1. Arinichev I.V., Polyanskikh S.V., Arinicheva I.V. Semantic segmentation of rusts and spots of wheat. Computer Optics. 2023. T. 47. No. 1. Pp. 118-125. DOI: 10.18287/2412-6179-CO-1130. (In Russian)
2. Volkova G.V., Yakhnik Ya.V., Merzlikina E.N. et al. Sensitivity of barley net spot to triazole class fungicides. Advanced Research of Kuban. Sbornik materialov Yezhegodnoy otch-etnoy konferentsiigrantoderzhateley Kubanskogo nauchnogofonda [Collection of materials from the Annual Reporting Conference of Grant Holders of the Kuban Science Foundation]. Krasnodar, 2022. Pp. 51-55. (In Russian)
3. Veretelnikova N.A., Kuznetsova T.E., Nesterenko V.V. et al. Source material for the selection of winter barley for resistance to leaf diseases. Materialy IV mezhdunarodnoy nauchno-prakticheskoy konferentsii «Sovremennoe sostoyanie, problemy i perspektivy razvitiya agrarnoy nauki» [Materials of the IV international scientific and practical conference "Current state, problems and prospects for the development of agricultural science"]. 2019. Pp. 144-146. (In Russian)
4. Bilay V.I. Mikroorganizmy - vozbuditeli bolezney rasteniy [Microorganisms - pathogens of plant diseases]: handbook. Kyiv: Naukova Dumka, 1988. 549 p. (In Russian)
5. Khasanov B.A. Opredelitel' gribov-vozbuditeley «gel'mintosporiozov» rasteniy iz rodov Bipolaris, Drechslera i Exserohilum [Identify to fungi that cause "helminthosporiosis" of plants from the genera Bipolaris, Drechslera and Exserohilum]. Tashkent: Fan, 1992. 180 p. (In Russian)
6. Lashina N.M., Mironenko N.V., Zubkovich A.A., Afanasenko O.S. Juvenile resistance of barley varieties and samples to net-, spot- and hybrid (net * spot) forms of Pyrenophora teres. Mycology and Phytopathology. 2023. Vol. 57. No. 1. Pp. 48-59. DOI: 10.31857/ S0026364823010099. (In Russian)
7. Koyshibaev M. Bolezni pshenitsy. [Wheat diseases]. Ankara: Prodovol'stvennaya i sel'skokhozyaystvennaya organizatsiya Ob"yedinonnykh natsiy. 2018. 394 p. (In Russian)
8. Arinichev I.V., Volkova G.V. Arinicheva I.V. Diagnosis of the development of net blight of winter barley based on digital intelligent technologies. Trudy Kubanskogo gosudarstvennogo agrarnogo universiteta [Proceedings of the Kuban State Agrarian University]. 2023. No. 106. Pp. 81-85. DOI: 10.21515/1999-1703-106-81-85. (In Russian)
9. Arinichev I., Arinicheva I., Foshchan G., Saybel N. Digital monitoring of crops in grain ecosystems. BIO Web of Conferences (Agri Science2023), 2023. No. 66. P. 14016. DOI: 10.1051/ bioconf/20236614016.
10. Arinichev I., Sidorov V., Arinicheva I. Digital solutions in the system of intelligent crop monitoring. In the collection: IIInternational conference on current issues of breeding, technology and processing of agricultural crops, and environment (CIBTA-II- 2023). Les Ulis Cedex A, France, 2023. P. 1112. DOI: 10.1051/bioconf/20237101112.
Информация об авторах
Ариничева Ирина Владимировна, д-р биол. наук, профессор кафедры высшей математики, Кубанский государственный аграрный университет им. И. Т. Трубилина; 350044, Россия, г. Краснодар, ул. Калинина, 13;
loukianova7@mail.ru, ORCID: https//orcid.org/0000-0002-3331-8731, SPIN-код: 6169-1334 Волкова Галина Владимировна, д-р биол. наук, член-корреспондент РАН, заместитель директора по НИР, Федеральный научный центр биологической защиты растений; 350039, Россия, г. Краснодар, ул. ВНИИБЗР, 1;
galvol.bpp@yandex.ru, ORCID: https//orcid.org/0000-0002-3696-2610, SPIN-код: 1949-6965 Яхник Яна Викторовна, науч. сотр. лаборатории иммунитета растений к болезням, Федеральный научный центр биологической защиты растений;
350039, Россия, г. Краснодар, ул. ВНИИБЗР, 1;
yahnik1@mail.ru, ORCID: https//orcid.org/0000-0002-3410-7928, SPIN-код: 7453-5768 Ариничев Игорь Владимирович, канд. экон. наук, доцент кафедры теоретической экономики, Кубанский государственный университет;
350040, Россия, г. Краснодар, ул. Ставропольская, 149; iarinichev@gmail.com, SPIN-код: 7555-6470
Information about the authors
Irina V. Arinicheva, Doctor of Biology Sciences, Professor of the Department of Higher Mathematics, Kuban State Agrarian University named after I.T. Trubilin; 350044, Russia, Krasnodar, 13 Kalinina street;
loukianova7@mail.ru, ORCID: https//orcid.org/0000-0002-3331-8731, SPIN-code: 6169-1334 Galina V. Volkova, Doctor of Biology Sciences, Corresponding Member of the Russian Academy of Sciences, Deputy Director for Research, Federal Scientific Center for Biological Plant Protection; 350039, Russia, Krasnodar, 1 VNIIBZR street;
galvol.bpp@yandex.ru, ORCID: https//orcid.org/0000-0002-3696-2610, SPIN-code: 1949-6965 Yana V. Yakhnik, Researcher at the Laboratory of Plant Immunity to Diseases, Federal Scientific Center for Biological Plant Protection;
350039, Russia, Krasnodar, 1 VNIIBZR street;
yahnik1@mail.ru, ORCID: https//orcid.org/0000-0002-3410-7928, SPIN-code: 7453-5768 Igor V. Arinichev, Candidate of Economic Sciences, Associate Professor of the Department of Theoretical Economics, Kuban State University;
350040, Russia, Krasnodar, 149 Stavropolskaya street; iarinichev@gmail.com, SPIN-code: 7555-6470
