CC BY
68
Способ распознавания болезней растений по текстурным признакам с
использованием нечёткой логики
В.С. Тутыгин, Аль-Винди Басим Х.М.А.
Санкт-Петербургский политехнический университет
Аннотация: Новый способ, включающий операцию фаззификации, представляющую вычисление функций принадлежности ключевых параметров компонентов R, G, B, RG, RB, GB исходных цветных RGB фотоизображений листьев растений, полученных на основе матрицы смежности GLCM, формирование нечетких выводов о виде заболевания растений, выполнение дефаззификации с использованием пороговой бинаризации признаков и мажоритарного голосования по 24 параметрам.
Ключевые слова: GLCM - матрица, нечеткая логика, функция принадлежности, бинаризация ключевых признаков, мажоритарное голосование.
Введение
Большинство заболеваний растений порождают изменения вида листьев в видимом спектре. Многие из этих проблем могут быть решены за счёт цифровой обработки полученных с помощью беспилотных летательных аппаратов изображений листьев растений RGB-камерой и автоматическими инструментами классификации.
Для решения задачи выделения особенностей на изображениях с целью их классификации применяются различные методы формирования набора признаков, позволяющих однозначно идентифицировать изображения, т.е. относить их к определённому классу.
Наиболее часто для решения задачи выделения особенностей на изображениях листьев растений с целью классификации вида заболевания растений используются методы нечёткой логики и нейронные сети, а диагностика производится как непосредственно по цветным RGB или HSV изображениям листьев, так и по их текстурным описаниям.
Наибольшее применение при решении задач распознавания болезней растений по изображениям листьев нашли признаки текстуры, использующие матрицы смежности (матрицы GLCM для полутоновых изображений и CCM
- для цветных изображений), признаки, основанные на измерении пространственных частот, признаки, использующие статистические характеристики изображений (среднее, энергия, вариация, однородность, контраст, коэффициент корреляции, энтропия, дифференциальная дисперсия), признаки, основанные на описании структурных элементов [1-4].
Использование матрицы смежностей (GLCM-матрицы)
На основе RGB - нормализованного изображения листа растения могут быть получены 6 GLCM матриц для компонент R, G, B, RG, RB, GB, для каждой из GLCM нормализованных матриц вычислены характеристики текстуры Contrast, Correlation, Energy, Homogeneity [7]: 1) contrast:
2) correlation:
Ii= 0-1>=0-
3) energy:
s-ie-i
li=p t =n
4) homogeneity:
где и, V - координаты матрицы смежности, О - количество уровней серого, уи, ои и ^ - средние значения и стандартные отклонения и-й строки и v-го
столбца матрицы совпадения соответственно. Приведённые выше определения гарантируют, что все функции имеют диапазон [0, 1].
Однако однозначно определить вид заболевания растений (в частности, пшеницы или сои) по принадлежности значения параметров Contrast, Correlation, Energy, Homogeneity к доверительным интервалам эталонных описаний невозможно, т.к. количество видов заболеваний у сельскохозяйственных культур достаточно велико (например, количество основных заболеваний пшеницы или сои - более 15 [5,6]), а функции распределения и доверительные интервалы для параметров Contrast, Correlation, Energy, Homogeneity изображений листьев с разными видами заболеваний даже для здорового и больного растений в значительной степени перекрываются (см. рис.1).
Это и предопределяет необходимость использования нечёткой логики, при использовании которой результатом анализа конкретного изображения будет один или несколько исходов, для каждого из которых будет определена вероятность его реализации. Однозначный вывод о принадлежности изображения к одному из классов (возможных видов заболевания) может быть сделан по максимальной вероятности. Однако (это видно на рис.1), вероятности двух исходов могут оказаться одинаковыми.
Для формирования результатов распознавания применяется нечёткая логика [8]. Целесообразность её использования при решении задачи диагностики заболеваний растений по изображениям листьев рассмотрена в [9,10]. Отличительной особенностью предлагаемого нами решения этой задачи состоит в том, что оно предполагает вычисление функций принадлежности для каждого из 6 GLCM-матриц R, G, B, RG, RB, GB изображений, пороговую бинаризацию результатов по функциям принадлежности и принятие окончательного решения о принадлежности изображения к одному из N классов путём мажоритарного голосования.
IH Инженерный вестник Дона, №3 (2019) Н| ivdon.ru/ru/magazine/arcliive/n3y2019/5846
Рис.1. - Пример функций распределения параметров текстур для 5-компоненты нормализованных изображений листьев здоровых и больных
эвкалиптов
На рис.2 приведена предлагаемая структура системы диагностики заболеваний растений по изображениям листьев.
Одной из функций предобработки является нормализация изображений листьев, включающая приведение изображений листьев к стандартизованному масштабу и ориентации, выделения информативной части листа (см. рис.3).
Предлагаемая методика диагностики вида заболеваний растений по изображениям листьев включает два этапа. На первом этапе производится вычисление параметров Contrast, Correlation, Energy, Homogeneity для всех 6 подматриц GLCM и сравнение этих параметров с эталонными описаниями, представленными в виде функций принадлежности рис.4.
:
Рис. 2. - Структура системы диагностики заболеваний растений по
изображениям листьев
А
Б
Рис. 3. - Исходное (А) и нормализованное (Б) изображения Принятие решения о виде заболевания обычно производится по максимуму функции принадлежности. В данном случае, как видно из рис.4, максимум соответствует третьей болезни. Однако к максимуму функции
II Инженерный вестник Дона, №3 (2019) Н| ivdon.ru/ru/magazine/arcliive/n3y2019/5846
принадлежности могут быть близки несколько значений, поэтому принимать решение о виде заболевания мы предлагаем путём бинаризации по порогу Р, взятого, например, равным 0.95 от максимального значения функции принадлежности, равного 1. В этом случае решение на этом этапе может оказаться неоднозначным, но позволит не потерять правильный результат.
нормализованного изображения листа пшеницы к эталонным описаниям
15-ти различных болезней
В таблице 1 приведены результаты моделирования процесса диагностики для случая, когда анализируется матрица смежности для составляющей R изображения, а модельные значения параметров Contrast,
Correlation, Energy, Homogeneity вычислены как сумма центра распределения и случайного отклонения для класса (болезни) 3.
Из приведённой таблицы видно, что использование какого-либо одного ключевого параметра: Contrast, Correlation, Energy или Homogeneity не позволяет однозначно идентифицировать вид заболевания. Более хороший результат можно получить, используя мажоритарное голосование.
Таблица № 1
Пример результатов 1-го этапа диагностики для компонента R изображения
Номер класса 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Contrast 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0
Correlation 1 1 1 0 0 1 0 0 1 0 0 1 0 0 1
Energy 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
Homogeneity 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0
Результат
1 этапа
диагностики 4 1 4 0 0 1 0 0 1 0 0 1 0 0 1
Результат
мажоритарного
голосования 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0
Но и в этом случае однозначный результат распознавания не получается (см. табл.1).
На втором этапе мы предлагаем использовать результаты бинаризации, полученные на первом этапе для компонентов R, ^ В, ЯД ЯВ, GB, а затем вычислять окончательный результат диагностики путём мажоритарного голосования.
Результаты второго этапа диагностики, полученные путём моделирования приведённые в табл.2 в качестве примера, показывают, что результаты бинаризации определяют вид заболевания однозначно.
Таблица № 2
Пример результатов 2-го этапа диагностики вида заболевания растения
Номер класса
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Подматрица GLCM
R 1 0 1 0 0 0 0 0 0 1 0 0 0 0 0
G 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0
В 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0
RG 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
ЯВ 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
GB 0 1 1 0 0 0 0 0 0 0 0 0 0 0 1
Результат 2 этапа
диагностики 2 1 5 0 0 0 0 0 0 0 0 0 0 0 0
Результат
мажоритарного
голосования 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
В приведённой таблице 1 приведены результаты моделирования процесса диагностики для случая, когда анализируется матрица смежности для красной составляющей изображения, а модельные значения параметров Contrast, Correlation, Energy, Homogeneity вычислены как сумма центра распределения для болезни 3 и случайного отклонения. Среднее квадратическое отклонение о было взято фиксированным для параметров Contrast, Correlation, Energy, Homogeneity и равным 0.02, с тем, чтобы обеспечить получение однозначных и правильных результатов диагностики. Это означает, что доверительный интервал разброса параметров у анализируемых изображений листьев для обеспечения правильности диагностики должен не превышать величины +/-2о, т.е. +/- 0.04 при доверительной вероятности 0.95. По результатам проведённых измерений значений параметров для набора из 160 изображений листьев эвкалипта (80 -здоровых и 80 - больных) и 300 изображений листьев пшеницы (100 здоровых, 100 больных септориозом и 100 - бурой ржавчиной) максимальная величина доверительного интервала в расчёте на доверительную
вероятность, равную 0.95 составила +/- 0.4. Поскольку доверительные интервалы значений параметров Contrast, Correlation, Energy, Homogeneity больше требуемого для успешной диагностики болезней растений по предлагаемой методике значения +/-0.04, необходимо усреднять значения параметров Contrast, Correlation, Energy, Homogeneity для нескольких анализируемых изображений листьев (это возможно, т.к. в области поражения болезнью всегда находится несколько растений), а количество усредняемых значений параметров выбирать из условия, чтобы доверительный интервал с учётом произведённого усреднения значений параметров Contrast, Correlation, Energy, Homogeneity был не более +/- 0.04. Возможно усовершенствовать описанный алгоритм, используя дополнительные возможности цифровой обработки изображений, описанные, например, в [11,12].
Описание алгоритма
Исходными данными для алгоритма диагностики являются эталонные описания нормализованных изображений листьев при всех заболеваниях: математические ожидания показателей Contrast, Correlation, Energy, Homogeneity для подматриц GLCM: R, G, B, RG, RB, GB Последовательность действий.
1. Вычисление функций принадлежности MF(i,kj), для всех компонентов и всех болезней: (i=1..N, k=1..4, j=1..6):
MHUhD = 1 -
где UrSfQfk,j) — массив эталонных описаний;
ЕЛХ к) — массив измеренных значений параметров;
2. Первичная бинаризация показателей по порогу P:
In Инженерный вестник Дона, №3 (2019) Н| ivdon.ru/ru/magazine/arcliive/n3y2019/5846
BMFQfkJ) = если MF(Xk,j) > Р,и если MF{Uк.]) < Р; 3. Суммирование бинаризированных показателей и вторичная бинаризация: £DMFikfj) B2MFQJ) = 1 jесли SBMFtKfi = maxSBMFik,}) иначе О
4. Суммирование результатов вторичной бинаризации, окончательное мажоритарное голосование и бинаризация:
BGiQ = Z%1B2MFiiJ),
Лг<0 = если fifi<t> = max-BGiO, иначеЛ'(0 = ft. Заключение
1. Для диагностики вида заболевания растений по RGB - изображениям листьев при значительном количестве возможных заболеваний надёжные результаты даёт вычисление 24-х показателей Contrast, Correlation, Energy, Homogeneity матрицы GLCM для компонентов R, G, B, RG, RB, GB изображений листьев, использование нечёткой логики, функций принадлежности и на этапе дефаззификации - бинаризацию признаков и мажоритарное голосование. В результате проведённых 12000 модельных экспериментов для 12 классов изображений, доля верной диагностики составила 97%.
2. Достоверность результатов диагностики повышается, если использовать для диагностики вида заболевания растений по изображениям листьев усреднённые значения показателей Contrast, Correlation, Energy, Homogeneity для нескольких листьев.
Литература
1. Денисюк В.С. Алгоритмы выделения особенностей на изображениях с целью классификации заболеваний растений.
URL:iis.nsk.su/files/articles/sbor_kas_16_denisyuk.pdf.
2. Kuan-Man Xu. Using the Bootstrap Method for a Statistical Significance Test of Differences between Summary Histograms // NASA Langley
URL:ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20080015431.pdf
3. Bityukov S.I., Maksimushkina A.V., Smirnova V.V. Comparison of histograms in physical research // Nuclear Energy and technology. 2016. volume 2, issue 2, pp. 108-113.
4. Bianconi Francesco, Harvey Richard, Southam Paul, Fernandez Antonio. Theoretical and experimental comparison of different approaches for color texture classification URL:pdfs.semanticscholar.org/31a0/cf98ca459ab6 e4676ac45700cc2485358347.pdf.
5. Койшибаев М. Болезни пшеницы // Продовольственная и сельскохозяйственная организация ООН (ФАО), Анкара, 2018. 365 с.
6. Йорданка Станчева. Атлас болезней сельскохозяйственных культур. Т.3. Болезни полевых культур. София. - М.: ПЕНСОФТ, 2003.175 с.
7. Jayme Garcia Arnal Barbedo Digital image processing techniques for detecting, quantifying and classifying plant diseases // Barbedo SpringerPlus 2013.12p. URL:springerplus.com/content/2/1/660/.
8. Штовба С.Д. Введение в теорию нечётких множеств и нечёткую логику. URL:matlab.exponenta.ru/fuzzylogic/index.php.
9. Аунг Ч.Х., Тант З.П., Федоров А.Р., Федоров П.А. Разработка алгоритмов обработки изображений интеллектуальными мобильными роботами на основе нечёткой логики и нейронных сетей // Современные проблемы науки и образования, 2014, №6. URL: science-education.ru/ru/article/view?id=15579.
10. Тутыгин В.С., Аль-Винди Басим Х.М.А. Система классификации текстурных изображений на основе нечёткой логики // Современная
Research
Center,
Hampton,
VA.
наука: актуальные проблемы теории и практики. Серия «Естественные и технические науки». М.: Научные технологии, 2019, №3, С.99-106.
11.Аль Темими А.М.С., Пилиди В.С. Автоматизация процесса определения референтных линий на рентгенографических медицинских изображениях // Инженерный вестник Дона. 2017. №1 URL: ivdon.ru/ru/magazine/archive/n1y2017/4007
12. Воронин В.В., Сизякин Р.А., Гапон Н.В., Франц В.А., Колосов А.Ю. Алгоритм реконструкции изображений на основе анализа локальных бинарных окрестностей // Инженерный вестник Дона. 2013. №3 URL:ivdon.ru/ru/magazine/archive/n3y2013/1857.
References
1. Denisjuk V.S. Algoritmy vydelenija osobennostej na izobrazhenijah s cel'ju klassifikacii zabolevanij rastenij. URL: iis.nsk.su/files/articles/sbor_kas_16_denisyuk.pdf.
2. Kuan-Man Xu. NASA Langley Research Center, Hampton, VA URL: ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20080015431.pdf.
3. Bityukov S.I., Maksimushkina A.V., Smirnova V.V. Nuclear Energy and technology. 2016. Volume 2, issue 2, pp. 108-113.
4. Bianconi Francesco, Harvey Richard, Southam Paul, Fernandez Antonio. Theoretical and experimental comparison for color texture classification. URL: pdfs.semanticscholar.org/31a0/cf98ca459ab6e4676ac45 700cc2485358347.pdf.
5. Kojshibaev M. Bolezni pshenicy [Wheat diseases]. Prodovol'stvennaja i sel'skohozjajstvennaja organizacija OON (FAO), Ankara, 2018. 365 p.
6. Jordanka Stancheva. Atlas boleznej sel'skohozjajstvennyh kul'tur [Atlas of Crop Diseases]. T.3., Bolezni polevyh kul'tur [Field crop diseases]. Sofija. M.: PENSOFT, 2003.175 p.
7. Jayme Garcia Arnal Barbedo Barbedo SpringerPlus 2013.12 pp. URL:springerplus.com/content/2/1/660/.
8. Shtovba S.D. Vvedenie v teoriju nechetkih mnozhestv i nechetkuju logiku [Introduction to the theory of fuzzy sets and fuzzy logic]. URL : matlab.exponenta.ru/fuzzylogic/index.php.
9. Aung Ch.H., Tant Z.P., Fedorov A.R., Fedorov P.A. Sovremennye problemy nauki i obrazovanija, 2014, №6. URL: science-education.ru/ru/article/view?id=15579.
10.Tutygin V.S., Al'-Windi Basim H.M.A. Sovremennaja nauka: aktual'nye problemy teorii i praktiki. Serija «Estestvennye i tehnicheskie nauki». M.: Nauchnye tehnologii, 2019, №3, pp. 99-106.
11.AT Temimi A.M.S., Pilidi V.S. Inzenernyj vestnik Dona (Rus), 2017. №1. URL: ivdon.ru/ru/magazine/archive/n1y2017/4007.
12.Voronin V.V., Sizjakin R.A., Gapon N.V., Franc V.A., Kolosov A.Ju. Inzenernyj vestnik Dona (Rus). 2013. №3 URL:ivdon.ru/ru/magazine/archive/n3y2013/1857.
