CC BY
3Научная статья
УДК 004.8:517.4:58
DOI 10.35266/1999-7604-2024-1-3
КЛАССИФИКАЦИЯ СОСТОЯНИЯ РАСТЕНИЙ СРЕДСТВАМИ ТЕКСТУРНОГО ВЕЙВЛЕТ-АНАЛИЗА И МАШИННОГО ОБУЧЕНИЯ
Валентин Валерьевич Брыкин1^, Михаил Яковлевич Брагинский2, Дмитрий Викторович Тараканов3, Ирина Олеговна Тараканова4
1,2,3 4Сургутский государственный университет, Сургут, Россия [email protected], https://orcid.org/0000-0002-6143-8992 [email protected], https://orcid.org/0000-0003-1332-463X [email protected], https://orcid.org/0000-0003-1851-1039 [email protected], https://orcid.org/0000-0002-7707-5890
Аннотация. В данной работе предложен метод, комбинирующий вейвлет-преобразования и методы машинного обучения, для классификации состояния растительных культур по цветным цифровым изображениям. Входными данными для классификации являлся сформированный вектор текстурных признаков Харалика.
Реализована программа на высокоуровневом языке программирования Python для классификации цифровых изображений с использованием многоуровневого дискретного вейвлет-преобразования До-беши и классификационных методов машинного обучения - классической логистической регрессии и персептрона. Показана эффективность предложенного метода в решении задачи многоклассовой классификации изображений, сделаны соответствующие выводы, оценены перспективы метода.
Ключевые слова: вейвлет-преобразование Добеши, текстурные признаки Харалика, нейронная сеть, логистическая регрессия, классификация цифровых изображений
Для цитирования: Брыкин В. В., Брагинский М. Я., Тараканов Д. В., Тараканова И. О. Классификация состояния растений средствами текстурного вейвлет-анализа и машинного обучения // Вестник кибернетики. 2024. Т. 23, № 1. С. 23-30. DOI 10.35266/1999-7604-2024-1-3.
Original article
CLASSIFICATION OF PLANTS HEALTH VIA TEXTURE WAVELET ANALYSIS
AND MACHINE LEARNING
Valentin V. Brykin1M, Mikhail Ya. Braginsky2, Dmitry V. Tarakanov3, Irina O. Tarakanova4
12 3 4Surgut State University, Surgut, Russia [email protected], https://orcid.org/0000-0002-6143-8992 [email protected], https://orcid.org/0000-0003-1332-463X [email protected], https://orcid.org/0000-0003-1851-1039 [email protected], https://orcid.org/0000-0002-7707-5890
Abstract. The article demonstrates a method that combines the wavelet transform and machine learning methods to classify plants health using colored digital images. The input data for classification is comprised of a built vector of Haralick texture features.
The software was developed via the Python programming language to classify digital images with the multilevel discrete Daubechies wavelet transform and methods of classification for machine learning, particularly classic logistic regression and perceptron. The efficiency of this method for solving the problem of multiclass image classification is demonstrated. The study concludes and assesses the prospects of the method.
Keywords: Daubechies wavelet transform, Haralick texture features, neural network, logistical regression, digital images classification
For citation: Brykin V. V., Braginsky M. Ya., Tarakanov D. V., Tarakanova I. O. Classification of plants health via texture wavelet analysis and machine learning. Proceedings in Cybernetics. 2024;23(1):23-30. DOI 10.35266/1999-7604-2024-1-3.
ВВЕДЕНИЕ
Сегодня цифровизация сельского хозяйства, где полевые условия контролируются с помощью автономных систем, набирает все большие обороты. При создании систем подобного рода необходимо решать задачи идентификации болезни растений, анализировать динамику их роста.
Выявление болезней растений на ранней стадии и их своевременное предотвращение позволяет избежать больших потерь с точки зрения качества, количества и финансов. Таким образом, для укрепления экономики и сельского хозяйства государство нуждается в системах, способных выявлять болезни растений с высокой точностью и скоростью.
Имеется большая потребность в новых технологиях, отслеживающих рост растений и прогнозирующих воздействие на него различных факторов. В большинстве случаев болезни можно проследить по состоянию побегов растения (стебля, листьев). Значит, идентификация растений, выявление болезней, анализ роста играют существенную роль в успешном выращивании агрономических культур.
Все операции, связанные с обработкой изображений, выполняются в цветовом пространстве RGB, являющемся одним из основных способов представления изображений.
МАТЕРИАЛЫ И МЕТОДЫ
Вейвлет-преобразование
Вейвлет-преобразование представляет собой многомасштабное и многоразрешающее преобразование, позволяющее извлекать из изображения высокочастотные и низкочастотные компоненты. В данной работе используется дискретное двумерное вейвлет-преобразование Добеши (DWT2, вейвлет 'ёЬ2'). Это означает, что квадратное изображение будет передано в качестве входных данных для вейвлет-функции, которая разделит все изображение на 4 компоненты (рис. 1).
Компоненты на рис. 1 - квадранты поддиапазонов частот, где Ь - низкая частота, Н -высокая частота. Разложение может быть многоуровневым, где п - число уровней разложения. ЬЬ-квадрант представляет собой аппроксимацию исходного изображения (сАп), НЬ - его вертикальные детали (еУ ), ЬН - горизонтальные детали (еНи), НН - диагональные составляющие (сDn) [1-4].
Текстура наряду с цветом является самой важной особенностью, если необходимо обнаружить какой-либо объект. Это относится и к классификации состояния растений - любое заболевание отличается характерным распространением по организму и цветом. На основе расположения пикселей на изображении
Рис. 1. Принцип одноуровневого двумерного вейвлет-разложения исходного изображения
Примечание: составлено по [1].
появляется возможность идентифицировать любой объект.
Существует множество способов текстурного анализа. Здесь используется метод текстурных признаков Харалика. Эти признаки рассчитываются на основе матрицы совпадения уровней серого (gray-level co-occurrence matrix, GLCM), являющейся оценкой плотности распределения вероятностей второго порядка p2 (P, Q, Z, Y), полученной по одному изображению в предположении, что плотность вероятности p2 зависит лишь от взаимного расположения P и Q. При этом Z является числом, обозначающим учет соседних пикселей, в том числе их расстояния от пикселя интереса. Y - значение ориентации пикселя интереса и соседних пикселей (в градусах) в интервале [0; 2п) с шагом п/4.
Проще говоря, GLCM-матрица строится на основе вычислений частоты встречаемости пикселя с интенсивностью i с пикселем интенсивности j. Каждый элемент (i, j) в матрице смежности описывает число случаев, когда пиксель со значением i встречается с пикселем со значением j [5].
Хотя GLCM-матрица и представляет собой текстурные свойства, но она неудобна при непосредственном анализе изображения. Признаки Харалика, вычисляемые на ее основе, зарекомендовали себя куда лучше. В данной работе использовались 4 информативных признака, дающих наибольшую итоговую точность, из 14 возможных:
• Контраст. Измеряет пространственную частоту изображения:
= (1)
• Несходство. Мера расстояния между парами пикселей в интересующей области:
= (2)
• Энергия (второй угловой момент). Измеряет текстурную однородность изображения:
епг = ТЛ1=1Т1%1р(и])2. (3)
• Однородность (обратный разностный момент). Измеряет однородность изображения, которая возрастает при уменьшении тона серого:
Лот=2{'=127=11^_. (4)
Алгоритм классификации
Целью данной работы является классификация большого числа цифровых изображений растений на основе информации об их текстуре и цвете. Алгоритм классификации основан на совместном применении текстурных признаков Харалика, вейвлет-преобра-зования Добеши и многослойной нейронной сети.
Общий порядок действий алгоритма представлен в схеме на рис. 2.
Как можно увидеть из рис. 2, после инициализации набора данных и его предварительной обработки к каждому изображению применяется дискретное двумерное вей-влет-преобразование Добеши. Полученные коэффициенты затем группируются по квадрантам поддиапазонов частот, помогая извлекать текстурные признаки, которые пе-
Рис. 2. Схема предлагаемого алгоритма классификации
Примечание: составлено авторами.
редаются в качестве входных данных для классификационных методов.
Загрузка и подготовка данных
Исходные данные приведены на рис. 3 и представляют собой набор цветных цифровых изображений, распределенных по директориям, имена которых соответствуют названиям классов. Изображения были предварительно подготовлены - приведены к единому размеру 256*256 пикселей и распределены поровну на каждый класс (сбалансированы по 2 200 единиц в каждом классе, суммарно 17 600 фотографий). Таким образом, количество директорий совпадает с числом классов, т. е. 8.
Датасет на рис. 3 был загружен с общедоступного ресурса по исследованию данных К১1е.
Получение значений признаков
Результат вейвлет-преобразования, описанного выше, приведен на рис. 4 на примере исходных данных.
Так как каждый из 4-х квадрантов представляет собой ЯОБ-область размером 128*128 пикселей исходного изображения, для каждого из 3-х его каналов (красная, зеленая и синяя компонента) строится симметричная нормированная ОЬСМ-матрица в 256 оттенках серого. Значит, для целого изображения будет вычислено 12 ОЬСМ-ма-триц оттенков серого. В свою очередь, каждая такая матрица порождает 4 значения призна-
ков Харалика, описанных ранее. Таким образом, при одноуровневом вейвлет-преоб-разовании одно цветное изображение будет описано вектором-строкой из 48 коэффициентов-признаков Харалика. Вообще длина вектора может быть рассчитана по следующей формуле:
F = Q • C • H • n, (5)
где Q = 4 - количество областей (квадрантов), на которые разбивается изображение;
C = 3 - количество каналов цветного изображения (в данном случае RGB);
H - количество признаков Харалика, порождаемых GLCM-матрицей (здесь H = 4);
n - число уровней вейвлет-преобразования.
Формула (5) представляет расчет итогового числа текстурных признаков на единицу исходных данных.
Логично, что с увеличением количества n уровней вейвлет-разложения будет пропорционально расти и размерность F вектора признаков. В текущей работе число уровней разложения n было определено эмпирически. Для восьми классов оптимально значение n = 3. Отсюда итоговое число признаков F = = 4 • 3 • 4 • 3 = 144. Для удобства восприятия и дальнейших расчетов все коэффициенты -это массив размером m х k (где m = 17 600 -общее число изображений в наборе данных, k = F + 1 = 145 - итоговое количество признаков Харалика и метка класса, закодированная способом «label encoding») - были записаны
Рис. 3. Классы исходных данных
Примечание: составлено авторами.
Рис. 4. Пример одноуровневого двумерного вейвлет-разложения исходного изображения
Примечание: составлено авторами.
в CSV-файл средствами библиотеки Pandas языка Python (рис. 5).
Стоит также упомянуть другие модули и библиотеки Python, задействованные в данной работе:
Os - для работы с операционной и файловой системами (загрузка и инициализация набора данных);
OpenCV - для анализа изображений;
NumPy - для работы с многомерными массивами;
Matplotlib - для визуализации данных и вычислений;
PyWt - для вейвлет-вычислений;
Scikit-learn - для операций машинного обучения.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
Фактически датафрейм из рис. 5 представляет собой готовую для дальнейших вычислений и решения основной задачи базу данных признаков изображений. Входными данными для обучения нейронной сети будут являться значения признаков Харалика (все столбцы датафрейма, кроме последнего), выходными - последний столбец
features_db
0 1 2 3 4 5 6 7 а 9 . 135
0 4910.661102 5415.734556 4273 397919 29046.449310 29122 606091 29106 444092 1553.198120 2060 362946 1171 758636 1393 249298 . 0.626375
1 73Û3.758423 3427.883726 6236 064575 23997.235077 24021 615082 24051.146210 1490.319397 1115.246582 1598.354919 2341.404176 . . 0.021991
2 4430.062317 4 523.639435 3207.665944 31342.150543 31424.312653 31187.330554 2566.799622 5369.672791 2160.333527 1171.596315 . . 0.031454
3 24В6.059052 3060.871552 1756 565704 29656 216309 28714 896667 28582 867521 1630.973450 1723.165375 1520.119590 2698.870638 . 0.022087
4 2495.867024 3002.724609 1748.863606 29689 761281 29649.667653 29692 824524 1620.140015 1763 595512 1494 767761 2675.156372 . 0.022522
17595 1535.361542 1275.335602 1659.307933 32816.403412 33203.055695 33404.653168 3346.166690 3439.760463 693.740204 344.401672 . . 0.023542
-17596 2930.391449 3469.871307 1427.069050 20699 824156 21046.328041 22284 390381 1638.140228 2545185953 436.153076 111006Э110 . 0.041534
17597 2976.249736 3380.340973 1314 810059 33047 073792 33249 685490 33173 229004 811.761047 2261 653107 450.613220 1446 747626 . 0 029640
1759В 7692.713287 10451.721527 10453 655701 28285 653687 28356 335419 28304 653381 1365.866791 1378 329651 1318.927336 1372.675537 . . 0 016005
17599 4373.335419 4887.719177 2555.963002 27060.069489 27138.666473 26001.021484 1669.912781 3139.970367 585.401855 717.408020 . . 0.033401
17600 raws х 145 coEumns (
Рис. 5. Текстурные признаки Харалика для исходного датасета
Примечание: составлено авторами.
датафрейма с закодированными метками классов.
Следующим шагом является предварительная обработка данных.
Во-первых, это разделение на обучающую и тестовую выборки в оптимальном соотношении 70 к 30.
Во-вторых, стандартизация: некоторые характеристики имеют широкий диапазон значений и в процессе классификации могут создать систематическую ошибку. Вспомогательный класс StandartScaler масштабирует данные так, чтобы они имели нулевое среднее значение и единичную дисперсию (ц = 0, о = 1). Важно то, что здесь выполняется стандартизация лишь входных данных, поскольку выходные содержат только закодированные метки [6, 7].
В-третьих, уменьшение размерности, являющееся самым важным шагом предобработки. Оно улучшает скорость работы методов машинного обучения, снижает требования к памяти при минимальных информационных потерях. Одним из распространенных методов уменьшения размерности данных является метод главных компонент (principal component analysis, PCA). В библио-
теку Scikit-learn этот метод уже встроен, поэтому главной задачей становится правильный выбор количества главных компонент набора данных. Чтобы ее решить, нужно построить график зависимости параметра «Variance explained» от количества главных компонент (рис. 6).
Параметр «Variance explained» характеризует степень потери полезной информации о данных. Чем ближе он к 1, тем больше информации сохраняется для анализа [8].
Как можно заметить из рис. 6, уже при числе N = 40 компонент значение вариативности практически достигает единицы, так что именно этот показатель будет взят для дальнейших расчетов. Таким образом, с минимальными потерями удалось снизить размерность данных более чем в три раза (со 144 до 40 признаков).
Непосредственно классификация выполнялась двумя способами:
- классическим алгоритмом машинного обучения - логистической регрессией;
- базовой моделью искусственной нейронной сети - персептроном.
Результаты приведены в сравнительной таблице.
Рис. 6. График зависимости параметра «Variance explained» от числа главных компонент
Примечание: составлено авторами.
Таблица
Результаты нейросетевой классификации
Метод классификации Метрика
accuracy precision recall f-score
Логистическая регрессия 88 % 0.88 0.87 0.87
Персептрон 84 % 0.84 0.83 0.84
Примечание: составлено авторами.
Как можно видеть из таблицы, благодаря комбинированию методов текстурного анализа и машинного обучения удалось достичь высоких показателей точности - до 88 %.
ЗАКЛЮЧЕНИЕ
В статье предложен алгоритм многоклассовой классификации состояния растений с использованием текстуры изображений, от-
Список источников
1. Vyas A., Paik J. Review of the application of wavelet theory to image processing. IEIE Transactions on Smart Processing & Computing. 2016;5(6):403-417.
2. Балаганский А. Ю., Гребеньков А. А. Вейвлет-пре-образование для обработки изображений системы управления отоплением с применением методов машинного обучения // Информация и образование: границы коммуникаций. 2022. № 14. С. 147-150.
3. Мельникова Ю. С. Анализ и обработка медицинских изображений с помощью метода вейвлет-анализа в ветеринарии // Фундаментальные и прикладные исследования в информатике и цифро-визации : материалы симпозиума XVIII (L) Между -нар. науч. конф. студентов, аспирантов и молодых ученых, приуроченной к 50-летию КемГУ, 26 апреля 2023 г., г. Кемерово. Кемерово : Кемеровский государственный университет, 2023. С. 138-141.
4. Alekseev V. V, Kaliakin I. V. The role of sampling rate in wavelet transform decomposition. In: Proceedings of the XIX IEEE International Conference on Soft Computing and Measurements SCM 2016, May 25-27, 2016, Saint Petersburg. St. Petersburg; 2016. p. 392-394.
5. Ковалева И. Л. Текстурные признаки изображений. Минск : Белорусский национальный технический университет, 2010. 26 с.
6. Предварительная обработка данных. URL: https:// scikit-learn.ru/6-3-preprocessing-data/ (дата обращения: 25.12.2023).
7. Как писать преобразователи данных в Sklearn. URL: https://habr.com/ru/companies/skillfactory/ articles/675876/ (дата обращения: 25.12.2023).
8. Kumar A. PC A Explained Variance Concepts with Python Example. 2023. URL: https://vitalflux.com/ pca-explained-variance-concept-python-example/ (дата обращения: 27.12.2023).
личающийся совокупным применением методов вейвлет-анализа и машинного обучения, что позволило достичь хороших результатов (до 88 % точности).
Перспективы совершенствования предложенного метода могут включать выбор наиболее оптимального типа вейвлет-преобразова-ния и классификационного метода машинного обучения.
References
1. Vyas A., Paik J. Review of the application of wavelet theory to image processing. IEIE Transactions on Smart Processing & Computing. 2016;5(6):403-417.
2. Balagansky A. Yu., Grebenkov A. A. Wavelet transformation for image processing of a heating control system using machine learning methods. Informatsiia i obrazovanie: granitsy kommunikatsii. 2022;(14):147-150. (In Russian).
3. Melnikova Yu. S. Analiz i obrabotka meditsinskikh izo-brazhenii s pomoshchiu metoda veivlet-analiza v veteri-narii. In: Proceedings of the Symposium of the XVIII (L) International Scientific Conference for Students, Postgraduates and Young Scientists devoted to the 50th Anniversary of Kemerovo State University "Fundamentalnye i prikladnye issledovaniia v informatike i tsifrovizatsii", April 26, 2023, Kemerovo. Kemerovo: Kemerovo State University; 2023. p. 138-141. (In Russian).
4. Alekseev V. V., Kaliakin I. V. The role of sampling rate in wavelet transform decomposition. In: Proceedings of the XIX IEEE International Conference on Soft Computing and Measurements SCM 2016, May 25-27, 2016, Saint Petersburg. St. Petersburg; 2016. p. 392-394.
5. Kovaleva I. L. Teksturnye priznaki izobrazhenii. Minsk: Belarusian National University of Technology; 2010. 26 p. (In Russian).
6. Predvaritelnaia obrabotka dannykh. URL: https:// scikit-learn.ru/6-3-preprocessing-data/ (accessed: 25.12.2023). (In Russian).
7. Kak pisat preobrazovateli dannykh v Sklearn. URL: https://habr.com/ru/companies/skillfactory/arti-cles/675876/ (accessed: 25.12.2023). (In Russian).
8. Kumar A. PCA Explained Variance Concepts with Python Example. 2023. URL: https://vitalflux.com/ pca-explained-variance-concept-python-example/ (accessed: 27.12.2023).
Информация об авторах
В. В. Брыкин - аспирант.
М. Я. Брагинский - кандидат технических наук, доцент.
Д. В. Тараканов - кандидат технических наук, доцент.
И. О. Тараканова - аспирант, ассистент.
Information about the authors
V. V. Brykin - Postgraduate.
M. Ya. Bragjnsky - Candidate of Sciences (Engineering), Docent.
D. V. Tarakanov - Candidate of Sciences (Engineering), Docent.
I. O. Tarakanova - Postgraduate, Assistant Professor.
