CC BY
57ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ
ТЕХНОЛОГИИ INFORMATION-COMMUNICATION TECHNOLOGIES
Научная статья
УДК [004.421:004.932.72'1]:632
doi:10.24151/1561-5405-2022-27-6-787-794
Алгоритм обнаружения и распознавания болезней растений с использованием каскадных классификаторов
Л. Г. Гагарина, А. В. Чирков
Национальный исследовательский университет «МИЭТ», г. Москва, Россия
andrewchirckov@gmail.com
Аннотация. Безопасность сельскохозяйственных культур в большинстве случаев можно обеспечить, анализируя изображения листьев на предмет наличия отклонений. Проблема раннего обнаружения болезней растений является актуальной и своевременной, для решения которой необходима разработка алгоритма обнаружения и распознавания болезней растений на основе метода каскадных классификаторов. В работе предложен алгоритм для обнаружения и распознавания болезней растений посредством использования интегрального представления кадра, каскадов Хаара, перевода изображения в черно-белое с дальнейшим обучением классификаторов на обучающих выборках и отбором результирующего каскада, позволяющим регулировать точность и энергопотребление в зависимости от задачи. Особенность данного алгоритма заключается в применении окон при сканировании изображения, масштабируемости детектора и последующем многократном запуске для изображения с использованием разного размера. При использовании предлагаемого алгоритма точность распознавания болезней растений составила 80,9 %.
Ключевые слова: болезни растений, каскадные классификаторы, распознавание изображения, искусственные нейронные сети, глубокое обучение
Для цитирования: Гагарина Л. Г., Чирков А. В. Алгоритм обнаружения и распознавания болезней растений с использованием каскадных классификаторов // Изв. вузов. Электроника. 2022. Т. 27. № 6. С. 787-794. https://doi.org/10.24151/1561-5405-2022-27-6-787-794
© Л. Г. Гагарина, А. В. Чирков, 2022
Original article
Algorithm for plant disease detection and recognition using cascade classifiers
L. G. Gagarina, A. V. Chirkov
National Research University of Electronic Technology, Moscow, Russia andrewchirckov@gmail.com
Abstract. The safety of crops in most cases can be provided by analyzing the image of the leaves for any anomalies. The problem of plant diseases' early detection is a major issue nowadays, its solution requires the development of an algorithm for detecting and recognizing plant diseases based on cascade classification method. In this work, an algorithm for detecting and recognizing plant diseases is proposed allowing the adjustment of accuracy and power consumption depending on the task by using the integral representation of frames, Haar cascades, converting the image to black and white with the calculated definition of classifiers on training samples and selecting the resulting counter. The uniqueness of the proposed algorithm consists in the use of windows at image scanning, the detector scalability and the subsequent multiple launching for image using different sizes. It has been established that the recognition rate in using the proposed algorithm is 80.9 %.
Keywords: plant diseases, cascade classifiers, image recognition, artificial neural networks, deep learning
For citation: Gagarina L. G., Chirkov A. V. Algorithm for plant disease detection and recognition using cascade classifiers. Proc. Univ. Electronics, 2022, vol. 27, no. 6, pp. 787-794. https://doi.org/10.24151/1561-5405-2022-27-6-787-794
Введение. Вследствие появления очагов болезней растений создается угроза безопасности человека, его жизни, здоровью [1]. В зависимости от погодных условий и фи-тосанитарного состояния растений распространение болезней достигает 70-80 % от всей популяции. Распространенный и надежный метод обнаружения и распознавания болезней растений - анализ поверхности листьев, стеблей, коры деревьев, а также гистологических срезов с помощью микроскопа. При наличии большого массива растений для анализа изображений с расстояния используют гиперспектральные камеры со следующими характеристиками: спектр широкого диапазона действия, количество каналов от 3 до 6, высокое качество оптической системы (дифракционное), общая зеркальная основа объектива. Кроме того, существуют методы, использующие алгоритмические языки [2] и обнаружение объектов в видеоряде: гибкое сравнение на графах, поиск объектов по цвету, применение нейронных сетей.
Анализ существующих решений. Для решения задачи распознавания болезней растений на больших расстояниях, как правило, используется метод матриц смежности GLCM - статистический анализ текстур изображения [3]. Суть анализа заключается в поиске частоты появления заданных пар пикселей, которые находятся на определенном расстоянии друг от друга. Однако значительное перекрытие функций распределения
создает трудности при определении пороговых значенийи однозначной идентификации вида заболевания.
Обработка изображений чаще всего осуществляется классическими методами машинного обучения с применением продвинутых нейронных сетей. Для определения наиболее подходящего метода (или связки методов) для обработки изображений необходимо проанализировать существующие решения с учетом специфики предметной области (таблица).
Сравнение методов обработки изображений листьев растений Comparison of methods for processing images of plant leaves
Метод Описание Преимущества Недостатки
KNN Находит ближайший Легкая реализация Медленно обучается,
(метод наиболее встречающий- и качественный неустойчив к зашум-
ближайших ся объект относительно уровень распозна- ленным данным при
^-соседей) исходного запроса вания большом размере выборки
SVM Находит гиперплоскость Точность прогноза Плохо работает, когда
(метод в «-размерном простран- высока. Надежно выборка данных со-
опорных векторов) стве, которая однозначно разделяет объекты на работает, когда пример обучения держит много шума или большое количест-
классы содержит ошибки во данных, набор признаков на объект превышает общее количество объектов
PNN Работает с четырехслой- Быстрота и точ- Требует много места
(вероятностная ной структурой, которая ность прогноза для хранения данных
нейронная включает в себя расчет
сеть) расстояния, хранение переменной предиктора и сравнение голосов
ANN Базовая форма пред- Хороший потен- Требует много времени
(искусственная ставлена в виде много- циал для обнару- на обучение
нейронная слойного персептрона, жения болезней
сеть) который обновляет вес посредством базового распространения листьев растений
Нечеткая Подход, позволяющий Высокая скорость, Низкая точность
логика переменным иметь несколько верных значений, описанных с помощью функции малое потребление оперативной памяти
GLCM Статистический метод Очень высокая Медленно обучается
(матрица исследования текстур: точность по срав-
совместной частота распространения нению с осталь-
встречаемости пар пикселей с опреде- ными методами,
уровней ленными значениями и высокая скорость;
серого цвета) определенным расстоянием между собой простота реализуемости и моделирования
Для обозначенных целей целесообразно использовать метод каскадных классификаторов, который содержит уровни в виде бинарного классификатора. Если после прохождения уровня прецедент определятся как отрицательный, то процесс прекращается. Каждая стадия использует небольшое количество признаков. Признаки вычисляются по мере необходимости. Возможно расширить каскад простых функций с помощью признаков Хаара, что повысит эффективность классификации. Объединение классификаторов в каскад позволяет увеличить точность детектирования болезни, а также убрать ненужное количество операций поиска. Таким образом, каскадный классификатор обеспечивает стабильно высокую производительность и используется в системах распознавания в режиме реального времени, что является важным фактором при любом мониторинге. Однако возможны большие расхождения в результатах работы и скорости.
Применение всех существующих методов требует аппаратных средств, в частности видеокамер, для осуществления мониторинга состояния наблюдаемой области и получения изображения растений. Выбор оборудования наблюдения за растениями зависит от расстояния до них, разрешение и качество изображений в кадре зависят от угла обзора и фокуса. Существуют системы видеонаблюдения, использующие принципы нелинейной динамики [4]. Кроме того, известны аналоговые и цифровые IP-видеокамеры. Аналоговая камера захватывает изображение и записывает его на видеорекордер и посылает сигнал через коаксиловый кабель в DVR [5]. В цифровой IP-камере кодер осуществляет преобразование сигнала фотоматрицы в цифровой поток. С помощью IP-камер осуществляется мониторинг состояния растений в реальном времени. Если объект расположен на расстоянии порядка 50 м от объектива, то угол обзора камеры не должен превышать 40°. Для охвата всего помещения, например теплицы, необходимы видеокамеры с углом обзора объектива свыше 80°. Однако чем дальше объект от объектива, тем хуже детализация изображения.
Для решения данной проблемы можно реализовать рельсовые установки для передвижения камеры по помещению или использовать большее количество видеокамер. Разрешение IP-камер имеет широкий спектр - от VGA до 10 Мпк и более. Выбор формата и разрешения зависит от конкретной задачи. У камер с высоким разрешением слабая чувствительность, малый объем оперативной памяти и высокая цена. Для мониторинга внутри закрытых помещений, когда сигнал передается только на специальный приемник, а не в общую сеть, используются камеры CCTV. В таких камерах применяют CCD- или CMOS-матрицы [6]. CCD-матрицы чувствительнее, но цена выше. При соблюдении оптимального соотношения всех характеристик внутри помещений предлагается использовать IP-камеры с CCD-матрицей с разрешением 4:3.
Программными средствами распознавания объектов в видеоряде являются библиотеки компьютерного зрения для обработки изображений и машинного обучения, которые позволяют обнаружить объект в видеоряде. Перечислим основные программные средства [7] для существующих алгоритмов распознавания изображения: TensorFlow -библиотека, которая находится в хранилище github, имеет открытый доступ к исходному коду и предоставляет возможность реализации нейронной сети в виде графовой модели; OpenCV - библиотека, которая находится в хранилище github и имеет открытый доступ к исходному коду, применяется в сфере компьютерного зрения, предоставляет возможность обрабатывать изображения с использованием численных алгоритмов общего назначения.
Программная реализация метода каскадных классификаторов. Рассмотрим алгоритм обнаружения и распознавания болезней растений на основе метода каскадных классификаторов и дальнейшей его программной реализации [8]. Главная особенность метода состоит в сканировании изображения объекта с помощью сканирующего окна. В качестве объекта выступают листья и паттерны болезней (рисунок). Обычно до запуска детектора определенного размера происходит изменение масштабов изображения.
Схема алгоритма обнаружения и распознавания изображения Scheme of an algorithm for image detection and recognition
Приведем последовательность обучения каскадного классификатора:
Шаг 1. Определение ложного распознавания каскада F.
Шаг 2. Определение верного распознавания каскада d.
Шаг 3. Определение ложного распознавания слоя каскадаfF.
Шаг 4. Определение контрольной выборки данных для валидации.
Шаг 5. Обучение нового слоя каскада с соблюдением условий: dt > d и df.
Шаг 6. Оценка только что обученного слоя каскада: если доля ложных распознаваний меньше целевого показателя F, то обучение заканчивается. Иначе - переход на шаг 4 для обучения нового уровня каскада.
Если обучено K уровней каскада, то средняя сложность N определения доли верного распознавания каскада вычисляется так:
K i K
N = Щ + £(щПpj), D = Пd,
j=2
i=2
i=1
где п - сложность /-го уровня каскада; pj - вероятность вычисления у'-го уровня каскада; й1 - доля верных распознаваний /-го уровня каскада.
Работа каскадного классификатора начинается с задания входных данных Дх, у ).
Эти данные представляют собой матрицу, которая отражает характеристики изображения. Здесь Ь - интенсивность пикселя, или глубина, i - координата по оси х, ] - координата по оси у. Далее изображение переводится в черно-белый формат, т. е. содержит один канал для цвета, и при составлении формулы учитывается только интенсивность одного канала:
Дх-, у]) = , у]) - Ь(х1 -1, у] -1) + Цх, у] -1) + Цхг -1, у]).
Оригинальное изображение представляется в виде интегрального путем сравнения интенсивности отдельно взятого пикселя с суммой всех пикселей выше и левее этого пикселя. В результате вычисляется сумма пикселей внутри прямоугольника и изображение анализируется.
Для математического описания объектов (паттернов болезней), которые нужно детектировать, используется отображение в виде признаков. Отображение - это / X ^ Д,
где Х- множество признакового пространства; , ..., /п - набор признаков, описывающих объект; х е X - это объект, который описывается признаками, он является вектором, содержащим в себе все признаки; ^ - множество допустимых значений
признака.
Геометрическая интерпретация вычисления признаков представляет собой вычитание белого прямоугольника из черного. Далее следует построение классификатора с применением комбинации простых классификаторов - объединение в каскад. Каскад определяет вероятность нахождения объекта в текущем окне. Если окно пустое, то оно немедленно отбрасывается. При наличии объекта внутри окна это окно передается на следующий каскад. Чем больше каскадов пройдет окно, тем выше вероятность, что оно содержит объект. В результате останется только одно окно.
Тестирующая выборка состоит из 500 изображений. Анализировали листья пшеницы с десятью видами болезней пшеницы. Выборка стандартно разделена в отношении 4:1. Так как снимки с беспилотных устройств имеют достаточно высокий уровень шума, то необходимо провести предобработку изображений. Для этого использовали бинаризацию изображения методом Отса. Для сравнения с аналогами необходимо найти оптимальное количество признаков и минимальный порог точности определения заболеваний растений. Возможно вычисление от 10 000 до 170 000 значений признаков. Чем выше количество используемых признаков, тем выше точность, но ниже скорость и энергоэффективность. Учитывая специфику предметной области, необходимо определить заболевания растений с точностью выше 65 %. В результате тестирования алгоритма и подбора параметров оптимальным количеством является использование около 150 000 значений признаков. Для сравнения взяты следующие алгоритмы: классический принцип потенциалов [9]; алгоритм Эль-Гаммаля [10]; предлагаемое решение -метод каскадных классификаторов. При использовании классического алгоритма, основанного на принципе потенциалов, правильно распознаны болезни в 65,9 % случаев, алгоритм Эль-Гаммаля правильно распознал 76,8 % случаев, точность распознавания предлагаемого алгоритма составила 80,9 %.
Заключение. Особенность алгоритма обнаружения и распознавания болезней растений на основе метода каскадных классификаторов заключается в использовании окон при сканировании изображения, масштабируемости детектора и последующем многократном запуске для изображения с применением разного размера. При стандартном
подходе, напротив, сначала масштабируется изображение, а затем запускается детектор фиксированного размера. Так как точность работы алгоритма и энергопотребление зависят от количества признаков, то, регулируя количество используемых признаков, можно подобрать оптимальное соотношение точности распознавания болезней растений, а также временные затраты и энергопотребление.
Предполагается программная реализация метода каскадного классификатора в инструментальной среде PyCharm на высокоуровневых языках программирования Python или C++ в инструментальной среде Visual Studio. Перспектива интеграции данного алгоритма в систему безопасности сельскохозяйственного предприятия позволит сохранить урожай и обезопасить потребителей.
Литература
1. Бахтеев Д. В. О сущности и перспективах использования искусственных нейронных сетей в раскрытии и расследовании преступлений // Вопросы российской юстиции. 2016. № 3. С. 4-6.
2. Гагарина Л. Г., Кокорева Е. В. Введение в теорию алгоритмических языков и компиляторов. М.: Форум, 2009. 176 с.
3. Тутыгин В. С., Аль-Винди Басим Х. М. А. Способ распознавания болезней растений по текстурным признакам с использованием нечеткой логики // Инженерный вестник Дона: электрон. журн. 2019. № 3 (54). URL: http://www.ivdon.ru/ru/magazine/archive/N3y2019/5846 (дата обращения: 20.06.2022).
4. Гагарина Л. Г. Современные проблемы информатики и вычислительной техники: учеб. пособие. М.: МИЭТ, 2017. 204 с.
5. Шевнина Ю. С., Гагарина Л. Г., Чирков А. В., Миронов Н. С. Особенности организации доступа в автоматизированных информационных системах на основе принципов нелинейной динамики // Вестник Воронежского государственного технического университета. 2021. Т. 17. № 4. С. 50-56. https://doi.Org/10.36622/VSTU.2021.17.4.007
6. Лавелина Е. С., Закуанова М. Р., Масловская М. А. Отслеживание объектов в видеопотоке // Научное сообщество студентов XXI столетия. Технические науки: эл. сб. ст. по материалам LIV Междунар. студ. науч.-практ. конф. [Электронный ресурс]. 2017. № 6 (53). С. 132-142. URL: https://sibac.info/ archive/technic/6(53).pdf (дата обращения: 20.06.2022).
7. Дятлов Е. И. Машинное зрение (аналитический обзор) // Математические машины и системы. 2013. № 2. С. 32-40.
8. Chaki J., Parekh R. Designing an automated system for plant leaf recognition // IJAET. 2012. Vol. 2. Iss. 1. P. 149-158.
9. Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. М.: ФАЗИС, 2006. 176 с.
10. El-Helly M., Rafea A., El-Gammal S. An integrated image processing system for leaf disease detection and diagnosis // Proceedings of the 1st Indian International Conference on Artificial Intelligence (Hyderabad, India, Dec. 18-20, 2003). Hyderabad: IICAI, 2003. P. 1182-1195.
Статья поступила в редакцию 18.04.2022 г.; одобрена после рецензирования 24.07.2022 г.;
принята к публикации 14.10.2022 г.
Информация об авторах
Гагарина Лариса Геннадьевна - доктор технических наук, профессор, директор Института системной и программной инженерии и информационных технологий Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), gagar@bk.ru
Чирков Андрей Владимирович - аспирант, специалист по учебно-методической работе Института системной и программной инженерии и информационных технологий Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), andrewchirckov@gmail.com
References
1. Bakhteev D. V. On the essence and prospects of using artificial neural networks in the detection and investigation of crimes. Voprosy rossiyskoyyustitsii, 2016, no. 3, pp. 4-6. (In Russian).
2. Gagarina L. G., Kokoreva E. V. Introduction to the theory of algorithmic languages and compilers. Moscow, Forum Publ., 2009. 176 p. (In Russian).
3. Tutygin V. S., Al-Windi Basim K. M. A. Method of recognition of plant diseases by textural signs using fuzzy logic. Inzhenernyy vestnik Dona = Engineering Journal of Don, 2019, no. 3 (54). (In Russian). Available at: http://www.ivdon.ru/en/magazine/archive/N3y2019/5846 (accessed: 20.06.2022).
4. Gagarina L. G. Modern problems of informatics and computer technology, study guide. Moscow, MIET, 2017. 204 p. (In Russian).
5. Shevnina Yu. S., Gagarina L. G., Chirkov A. V., Mironov N. S. Features of organization of access in automated information systems based on the principles of nonlinear dynamics. Vestnik Voronezhskogo gosudarstvennogo tekhnicheskogo universiteta = Bulletin of Voronezh State Technical University, 2021, vol. 17, no. 4, pp. 50-56. (In Russian). https://doi.org/10.36622/VSTU.2021.17.4.007
6. Lavelina E. S., Zakuanova M. R., Maslovskaya M. A. Tracking objects in a video stream. Nauchnoye soobshchestvo studentov XXI stoletiya. Tekhnicheskiye nauki = Scientific Community of Students of the 21st century. Technical Sciences, proceedings of LIVintern. stud. research-to-pract. conf. 2017, no. 6 (53), pp. 132-142. (In Russian). Available at: https://sibac.info/archive/technic/6(53).pdf (accessed: 20.06.2022).
7. Dyatlov E. I. Machine vision (analytical review). Matematychni mashyny i systemy, 2013, no. 2, pp. 32-40. (In Russian).
8. Chaki J., Parekh R. Designing an automated system for plant leaf recognition. IJAET, 2012, vol. 2, iss. 1, pp. 149-158.
9. Zhuravlev Yu. I., Ryazanov V. V., Sen'ko O. V. "Raspoznavaniye". Mathematical methods. Software system. Practical applications. Moscow, FAZIS Publ., 2006. 176 p. (In Russian).
10. El-Helly M., Rafea A., El-Gammal S. An integrated image processing system for leaf disease detection and diagnosis. Proceedings of the 1st Indian International Conference on Artificial Intelligence (Hyderabad, India, Dec. 18-20, 2003). Hyderabad, IICAI, 2003, pp. 1182-1195.
The article was submitted 18.04.2022; approved after reviewing 24.07.2022;
accepted for publication 14.10.2022.
Information about the authors
Larisa G. Gagarina - Dr. Sci. (Eng.), Prof., Director of the Institute of System and Software Engineering and Information Technology, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), gagar@bk.ru
Andrey V. Chirkov - PhD student, Specialist in Educational and Methodical Work of the Institute of System and Software Engineering and Information Technology, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), andrewchirckov@gmail.com
