CC BY
21
ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ /
удк 004.932 Научные статьи
doi:10.31799/1684-8853-2020-3-2-11 Articles
Классификация состояния деревьев по визуальным данным на основе нечеткой логики
А. С. Пятаева'б, аспирант, orcid.org/0000-0001-5489-8555
М. Н. Фаворскаяа, доктор техн. наук, профессор, orcid.org/0000-0002-2181-0454, favorskaya@sibsau.ru аСибирский государственный университет науки и технологий им. академика М. Ф. Решетнёва, Красноярский рабочий пр., 31, Красноярск, 660037, РФ
бФилиал ФБУ «Рослесозащита» — «ЦЗЛ Красноярского края», Академгородок ул., 50А/№ 2, Красноярск, 660036, РФ
Введение: достоверная оценка состояния деревьев непосредственно влияет на планирование экономических показателей использования лесных ресурсов и экологических мер по защите леса, поэтому корректное определение санитарного состояния леса является актуальной задачей. В настоящее время специалист-лесопатолог принимает решение о том, к какой категории состояния следует отнести исследуемое дерево и участок леса в целом, на основе визуального осмотра, руководствуясь субъективными представлениями об особенностях деревьев. Цель: разработка метода классификации состояния деревьев по степени густоты кроны, годичному приросту ветвей, усыханию ветвей и отпаду коры на основе нечеткой логики путем создания характеристических функций для лингвистических переменных «Густота кроны», «Годичный прирост ветвей», «Усыхание ветвей», «Отпад коры». Результаты: предложен метод классификации состояния деревьев на примере сосны. Метод заключается в предварительной обработке изображений, включающей удаление объектов фона, извлечении текстурных признаков в виде расширенных бинарных шаблонов и применении разработанного контроллера на основе нечеткой логики. Предложены четыре вида лингвистических переменных с соответствующими термами. Для них вначале задаются характеристические функции в табличном виде, которые затем аппроксимируются гладкими функциями. Нечеткий логический контроллер позволяет получить объективную оценку состояния кроны дерева. Экспериментальные исследования подтверждают эффективность разработанного метода. Практическая значимость: использование интеллектуальной системы классификации состояния деревьев по визуальным данным окажет существенную поддержку специалистам при обследовании насаждений. Предложенный в работе метод позволяет повысить качество проводимых обследований состояния леса, минимизировать влияние человеческого фактора, а также правильно оценить и спланировать комплекс мероприятий по защите лесных насаждений.
Ключевые слова — классификация, состояние деревьев, нечеткая логика, нечеткий контроллер, обработка изображений, текстурный анализ.
Для цитирования: Пятаев А. С., Фаворская М. Н. Классификация состояния деревьев по визуальным данным на основе нечеткой логики. Информационно-управляющие системы, 2020, № 3, с. 2-11. doi:10.31799/1684-8853-2020-3-2-11
For citation: Pyataev A. S., Favorskaya M. N. Classification of tree stand condition using visual data based on fuzzy logic. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 3, pp. 2-11 (In Russian). doi:10.31799/1684-8853-2020-3-2-11
Введение
В Российской Федерации установлена шкала категорий состояния деревьев, включающая следующие категории: I — без признаков ослабления, II — ослабленные, III — сильно ослабленные, IV — усыхающие, V — свежий сухостой (текущего года) и VI — старый сухостой (прошлых лет) [1]. Интегральная оценка состояния деревьев проводится по комплексу визуальных признаков (густоте и цвету кроны, наличию и доли усохших ветвей в кроне, состоянию коры и др.).
Использование интеллектуальной системы оценки состояния деревьев может оказать существенную поддержку специалистам при обследовании лесных насаждений. От корректности определения санитарного состояния леса зависит планирование экономических показателей и экологических мер по защите леса, включающих различные санитарно-оздоровительные меропри-
ятия, поэтому корректное определение санитарного состояния леса является актуальной задачей. В настоящее время специалист-лесопатолог, руководствуясь субъективными представлениями об особенностях деревьев, на основе визуального осмотра принимает решение, к какой категории состояния следует отнести исследуемое дерево и участок леса в целом. При этом степень густоты кроны имеет определяющее значение в данном вопросе.
Задача является сложной, так как, несмотря на наличие шкалы категорий состояния деревьев, отнесение конкретного дерева к той или иной категории происходит с большой долей субъективизма и зависит прежде всего от опыта специалиста. Требуется разработка интеллектуальных решений, основанных, в частности, на нечеткой логике, которая позволяет формализовать процесс классификации состояния деревьев по объективным визуальным признакам.
Анализ существующих методов определения состояния деревьев
Плотность кроны является важнейшим показателем для оценки состояния дерева. Как правило, деревья фотографируют специалисты-лесопа-тологи для получения наиболее информативных снимков. Методы обработки таких изображений основаны на разных способах сегментации.
Допустима оценка состояния кроны дерева с использованием фрактальных признаков. В работе [2] рассчитывались две фрактальные размерности — силуэта дерева DS и силуэта контура DO (разность этих показателей обозначается DSO), по которым оценивался показатель прозрачности кроны для различных пород деревьев.
В работе [3] исследованы несколько способов обнаружения листьев с учетом особенностей изображений деревьев на фоне ярко освещенного неба и наличия облаков. Показано, что метод Отцу в применении к RGB-изображениям приводит к существенному пропуску мелких деталей. Лучшим способом является построение гистограмм, особенно по компоненте насыщенность — Hue — в цветовом пространстве HSI (Hue, Saturation, Intensity). Текстурный анализ, представленный признаками амплитуды, направления и периодичности, совместно с контурным анализом позволил авторам провести кластеризацию регионов на основе метода C-means. Следует отметить, что те же авторы [4] опубликовали связанную статью, где предложили метод автоматического извлечения границ кроны дерева с применением сплайн-функций. Позже была предпринята попытка проводить мониторинг состояния крон деревьев [5] с использованием двух мер прозрачности кроны, а именно компактности и фрактальной размерности DSO [2]. Мониторинг выполняется на основе анализа построенных карт распределения прозрачности в разные моменты времени.
В соответствии с разработанной методикой сотрудники Южной научно-исследовательской станции Лесной службы США (the U.S. Forest Service Southern Research Station) разработали программу ForestCrowns [6, 7], которая рассчитывает прозрачность кроны (или коэффициент пропускания света) по цифровым изображениям, полученным от цифровых фотоаппаратов со стандартными объективами или объективами типа «рыбий глаз» (полусферическими). При этом некоторые фотографии можно использовать для оценки прозрачности крон отдельных деревьев. Программа позволяет анализировать набор фотографий. Выходными данными являются значения коэффициента прозрачности для указанных пользователем областей изображения. Сравнительные оценки состояния кроны приводятся в работе [8].
В статье [9] предлагается метод расчета коэффициента прозрачности кроны по бинарным изображениям деревьев, основанный на автоматическом определении трех показателей: плотности верхней части кроны, плотности макроотверстий и плотности микроотверстий. Вначале извлекается силуэт дерева, затем формируются срезы кроны и строятся профили глубины. Индекс прозрачности кроны вычисляется как псевдо-взвешенное среднее по эмпирической формуле, учитывающей все три показателя плотности. На основе полученных значений изображения объединяются в кластеры.
С развитием методов глубокого обучения появляются работы, оценивающие состояние деревьев по новым технологиям. Так, в [10] классификация видов деревьев и оценка объема запаса древесины осуществляются по изображениям, полученным от цифровой камеры. Семантическая сегментация крон и стволов выполняется глубокой сетью ИМЕТ, предварительно обученной по модели У0016. В результате определяются породы деревьев и подсчитывается их количество. Однако в этом исследовании не учитывается состояние деревьев. В статье [11] представлен метод обнаружения крон деревьев на цветных изображениях, полученных с использованием средств дистанционного зондирования (беспилотных летательных аппаратов), на основе глубокого обучения.
Оригинальный метод измерения общей площади листьев в кронах деревьев на основе моделирования многоплатформенных лидарных данных позволяет количественно оценить степень перекрытия крон деревьев при различных стратегиях сканирования [12]. Были построены пять моделей трехмерных виртуальных деревьев. Для построения сканированной поверхности листа из точечного облака использовался алгоритм триангуляции Делоне с автоматическим адаптивным выбором порога, а площадь листа оценивалась по количеству сканированных точек.
Отметим, что связанной задачей является сегментация кроны дерева [13], которая в настоящее время выполняется с использованием визуальных и лидарных данных [14-16]. Краткий обзор показывает, что исследования по оценке состояния деревьев, проводимые с помощью наземных средств получения изображений, не прекращаются и требуют дальнейшего совершенствования.
Метод классификации состояния деревьев
Метод определения состояния дерева по визуальным данным состоит из трех этапов. На первом этапе удаляют объекты фона, применяя пороговую обработку. Далее по результатам тек-
стурного анализа определяют показатель густоты кроны. На третьем этапе проводят оценку состояния дерева на основе нечеткой логики и относят его к одной из категорий.
Удаление объектов фона
В реальных условиях на фотографиях обследуемых деревьев присутствуют посторонние объекты фона, что существенно затрудняет классификацию степени густоты кроны дерева, поэтому для успешного дальнейшего анализа требуется отделить изображение дерева от фона. Удаляют объекты фона с помощью пороговой обработки с глобальным порогом, который определяется на основе градиента яркости пикселов изображения [17]. Градиент У1(х, у) вычисляется следующим образом:
У1(х, у) = шах(| 1х(х, у)\, \1у(х, у)|),
где /(•) — функция, характеризующая изображение; (х, у) — координаты;
1х(х, у) = 1х(х +1, у) - 1х(х -1, у);
1у (х, у) = 1у (х, у +1) - 1у (х, у -1).
Пороговое значение Т вычисляется по формуле £ХДх, у)У1(х, у)
T =
_ x y
££VI(x, y)
x y
При этом работа алгоритма удаления фона может существенно зависеть от выбора цветовой модели. Так, использование цветовой модели
■ Рис. 1. Удаление объектов фона на основе градиента яркости пикселов: а — исходное изображение; б — объект интереса
■ Fig. 1. Removal of background objects based on intensity gradient: a — original image; б — object of interest
■ Рис. 2. Удаление объектов фона на основе градиента яркости и цветового тона пикселов: а — исходное изображение; б — объект интереса
■ Fig. 2. Removal of background objects based on intensity gradient and color tone: a — original image; б — object of interest
YUV в некоторых случаях дает некорректный результат. На рис. 1, а и б приведен пример такой ситуации, где за фон принимается ярко освещенная часть ствола.
Использование цветовой модели HSB (Hue, Saturation, Brightness) позволило устранить этот недостаток (рис. 2, а и б). Сегментация изображения проводится по двум параметрам: цветовому тону (Hue) и яркости (Brightness).
При этом функция изображения с удаленными объектами фона !"(■) имеет вид
I (x, y) =
I(x, y) при H(x, y) < TH v B(x, y) < TB. 256 в противном случае
Таким образом, для удаления объектов фона применен метод пороговой обработки с глобальным порогом с помощью цветовой модели HSB.
Текстурный анализ
Для определения степени густоты исследуемого фрагмента кроны использованы расширенные локальные бинарные шаблоны (Extended Local Binary Patterns — ELBP), которые вычисляются следующим образом:
ELBP(p) = £ s(In - Ic) ■ 2n
(*)
n=0
где р — число точек в окрестности ELBP; в(1п - 1С) = 1, если (1п - 1С) > 0, и в(1п - 1С) = 0 в противном случае; 1п и 1с — значения яркости текущего и центрального пикселов, представляющие собой значение компоненты Y цветового пространства YИV [18]. Как видно из выражения (*), вычисление расширенных локальных бинарных шабло-
нов происходит аналогично вычислению классических локальных бинарных шаблонов. Отличие расширенных локальных бинарных шаблонов от классических заключается в способе построения гистограмм по полученным бинарным строкам. ELBP позволяют учесть такие особенности изображения, как концы линий, грани, углы и пятна с использованием для каждой из таких особенностей отдельного столбца гистограммы. Для всех неравномерных шаблонов при построении гистограммы отводится отдельный столбец.
В качестве меры различия гистограмм целесообразно рассчитать расстояние Кульбака — Лейблера
p( p-1)+3 f
Dk,L (f, g) = X fm ln f~,
m=1 gm
где f и g — гистограммы первого и второго изображения; m — номер столбца.
Решение о степени густоты кроны исследуемого дерева принимается после подсчета количества блоков (фрагментов) вычисленной густоты с учетом их расположения: на нижней, верхней или средней части дерева. Для более точного отнесения изображения исследуемой текстуры к тому или иному классу степени густоты кроны следует учитывать масштаб и размер, занимаемый деревом на изображении.
Оценка по глобальным признакам на основе нечеткой логики
Следующим этапом определения степени густоты кроны является сопоставление определенного на предыдущем этапе процента густоты кроны со степенью густоты кроны, указанной в Постановлении Правительства РФ от 20.05.2017 № 607 «О Правилах санитарной безопасности в лесах» [1]. Сложность такого сопоставления состоит в размытости понятий, определяющих категорию состояния обследуемого дерева. Для установления такого соответствия в настоящей работе был использован подход, основанный на применении нечеткой логики. Для каждой категории состояния дерева определены следующие лингвистические переменные: «Густота кроны», «Годичный прирост ветвей», «Усыхание ветвей», «Отпад коры» (табл. 1).
Были выделены границы и вид термов лингвистических переменных. Изначально характеристические функции лингвистических переменных задаются в табличном виде (табл. 2-5 для четырех типов лингвистических переменных). В дальнейшем характеристические функции лингвистических переменных «Густота кроны» и «Годичный прирост ветвей», заданные в табличном виде, аппроксимируются гладкими функциями [19] как наиболее значимые параме-
■ Таблица 1. Лингвистические переменные и их термы [19]
■ Table 1. Linguistic variables and their terms [19]
Переменная Термы
Густота кроны Густая, разреженная, ажурная, сильно ажурная
Годичный прирост ветвей Нормальный, уменьшен, слабый, очень слабый или отсутствует
Усыхание ветвей Отсутствует, засохли отдельные ветви, усыхание до 2/3 кроны, усыхание более 2/3 кроны
Отпад коры Отсутствует, частичный, полный
■ Таблица 2. Узловые точки значений термов лингвистической переменной «Густота кроны»
■ Table 2. Node points of term values of linguistic variable "Crown density"
Густота кроны, % Густая Разреженная Ажурная Сильно ажурная
100 1 0 0 0
95 0,8 0,2 0 0
90 0,3 0,6 0 0
85 0,1 1 0 0
80 0 1 0 0
75 0 0,6 0,3 0
70 0 0,2 0,6 0
65 0 0 1 0
60 0 0 1 0
55 0 0 0,6 0,2
50 0 0 0,3 0,3
45 0 0 0,2 0,6
40 0 0 0 0,8
35 0 0 0 1
30 0 0 0 1
25 0 0 0 1
20 0 0 0 1
15 0 0 0 1
10 0 0 0 1
5 0 0 0 1
0 0 0 0 1
тры для определения состояния дерева. Графики аппроксимированных термов для четырех типов лингвистических переменных представлены на рис. 3-6.
■ Таблица 3. Узловые точки значений термов лингвистической переменной «Годичный прирост ветвей»
■ Table 3. Node points of term values of linguistic variable "Annual branches growth"
Прирост, мм Нормальный Уменьшен Слабый Очень слабый
0 0 0 0 1
5 0 0 0 1
10 0 0 0 1
15 0 0 0,2 0,8
20 0 0,1 0,5 0,5
25 0 0,2 1 0,2
30 0 0,5 0,5 0,1
35 0 0,8 0,2 0
40 0,2 1 0 0
45 0,3 0,8 0 0
50 0,5 0,5 0 0
55 0,7 0,2 0 0
60 0,8 0,1 0 0
65 0,9 0 0 0
70 1 0 0 0
75 1 0 0 0
80 1 0 0 0
■ Таблица 4. Узловые точки значений термов лингвистической переменной «Усыхание ветвей» [19]
■ Table 4. Node points of term values of linguistic variable "Shrinking branches" [19]
Усыхание ветвей,% Засохли отдельные ветви Усыхание до 2/3 кроны Усыхание более 2/3 кроны
0 1 0 0
10 0,5 0,5 0
20 0 1 0
30 0 1 0
40 0 1 0
50 0 1 0
60 0 1 0
70 0 0,5 0,5
80 0 0 1
90 0 0 1
100 0 0 1
■ Таблица 5. Узловые точки значений термов лингвистической переменной «Отпад коры»
■ Table 5. Node points of term values of linguistic variable "Bark falling"
Отпад коры, % Полный Частичный Отсутствует
0 0 0 1
10 0 0,5 0,5
20 0 1 0
30 0 1 0
40 0 1 0
50 0 1 0
60 0 1 0
70 0 1 0
80 0 1 0
90 0,5 0,5 0
100 1 0 0
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
- Л / \ ( \
- \ 1
- \ \ 1
- \ \ \ /
- X j \ V
- • / I
- 1 1 / \ Л
- 1 /, / \ \
- ч у \
- / V \
0 10 20 30 40 50 60 70 80 90 100 Процент густоты кроны
-густая — — ажурная
-разреженная ---сильно ажурная
■ Рис. 3. Графики аппроксимированных термов лингвистической переменной «Густота кроны»
■ Fig. 3. Graphs of approximated terms of linguistic variable "Crown density"
A
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 Прирост, мм
-нормальный — — слабый
-уменьшен ---очень слабый
■ Рис. 4. Графики термов лингвистической переменной «Годичный прирост ветвей»
■ Fig. 4. Graphs of approximated terms of linguistic variable "Annual branches growth"
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
/ \ /
\ \ /
\ / \ /
. \ / \ /
\ \ /
\ /
■ / \ / \
\ / \
. / \ / \
f, \ . \
0 10 20 30 40 50 60 70 80 90 100 Процент отпада коры - полный — — частичный---отсутствует
■ Рис. 5. Графики термов лингвистической переменной «Усыхание ветвей»
■ Fig. 5. Graphs of approximated terms of linguistic variable "Shrinking branches"
1
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0
Л
Л \ /
Л / \ /
\ / /
\ \ /
-- \ / \
/ \ /
\ / \
.. / \ / \
-1, Л /
0 10 20 30 40 50 60 70 80 90 100
Степень усыхания ветвей
засохли отдельные ветви — усыхание до 2/3 кроны
--усыхание более 2/3
кроны
■ Рис. 6. Графики термов лингвистической переменной «Отпад коры»
■ Fig. 6. Graphs of approximated terms of linguistic variable "Bark falling"
На основе характеристики категорий состояний хвойных пород, определенных постановлением правительства РФ [1], построена база нечетких правил. Набор нечетких правил, позволяющий сделать заключение о категории состояния обследуемого дерева, имеет следующий вид.
1. IF («Густота кроны» = «Густая») AND («Прирост» = «Нормальный») AND («Усыхание ветвей» = «Отсутствует») AND («Отпад коры» = «Отсутствует») THEN («Состояние» = «Без признаков ослабления»).
2. IF («Густота кроны» = «Разреженная») AND («Прирост» = «Уменьшен») AND («Усыхание ветвей» = «Отдельные ветви засохли») AND («Отпад коры» = «Отсутствует») THEN («Состояние» = «Ослабленное»).
3. IF («Густота кроны» = «Ажурная») AND («Прирост» = «Слабый») AND («Усыхание ветвей» = «Усыхание до 2/3 кроны») AND («Отпад
коры» = «Отсутствует») THEN («Состояние» = «Сильно ослабленное»).
4. IF («Густота кроны» = «Сильно ажурная») AND («Прирост» = «Слабый» OR «Прирост» = «Отсутствует») AND («Усыхание ветвей» > «Усыхание более 2/3 кроны») AND («Отпад коры» = «Отсутствует») THEN («Состояние» = «Усыхающее»).
5. IF («Густота кроны» = «Сильно ажурная») AND («Прирост» = «Отсутствует») AND («Усыхание ветвей» > «Усыхание более 2/3 кроны») AND («Отпад коры» = «Частичный») THEN («Состояние» = «Свежий сухостой»).
6. IF («Густота кроны» = «Отсутствует») AND «Прирост» = «Отсутствует») AND («Усыхание ветвей» > «Усыхание более 2/3 кроны») AND («Отпад коры» = «Частичный» OR «Отпад коры» = «Полный») THEN («Состояние» = «Старый сухостой»).
Нечеткие правила, включающие иные комбинации значений лингвистических переменных, выходят за рамки характеристики категорий состояний хвойных пород. Чтобы не получить отсутствующее заключение, применен следующий подход: выбирается не одно значение по каждой лингвистической переменной, а их множество, упорядоченное по степени уверенности. Рассмотрим такой случай, когда система определила следующие значения лингвистических переменных (табл. 6).
Если взять значения переменных с максимальной степенью уверенности, то полученное решающее правило выйдет за рамки характеристик категорий состояния. Поэтому для оценки категории состояния дерева с использованием построенной базы нечетких правил в качестве фаззифицированных входных переменных выбираются близкие по степени уверенности значения (табл. 7).
Таким образом, густота кроны будет выбрана «разреженная», несмотря на меньшую степень
■ Таблица 6. Полученные значения лингвистических переменных, распределенные по степени уверенности
■ Table 6. The obtained values of linguistic variables distributed by degree of confidence
Переменная Значение (степень уверенности)
Густота кроны Густая (0,55); разреженная (0,45)
Годичный прирост ветвей Уменьшен (0,7); нормальный (0,3)
Усыхание ветвей Засохли отдельные ветви (0,75); усыхание до 2/3 кроны (0,25)
Отпад коры Отсутствует (1)
■ Таблица 7. Значения лингвистических переменных, соответствующие решающему правилу № 2
■ Table 7. Values of linguistic variables corresponding to the decision rule no. 2
Переменная Значение
Густота кроны Разреженная
Годичный прирост ветвей Уменьшен
Усыхание ветвей Засохли отдельные ветви кроны
Отпад коры Отсутствует
принадлежности четкого входного значения, поскольку такая комбинация значений лингвистических переменных уже соответствует решающему правилу № 2.
Данный способ позволяет настроить нечеткий логический контроллер для принятия решений об отнесении исследуемого дерева к определенной категории состояния.
Экспериментальные исследования
Экспериментальные исследования качества работы алгоритма определения категории состояния дерева проведены на примере сосны, так как именно сосна является типичным представителем хвойных пород бореальной зоны. При проведении экспериментальных исследований использовано 228 изображений сосны различных размеров. Минимальный размер изображения составил 396 х 452 пикселов. Примеры использованных изображений приведены на рис. 7.
Для исследования эффективности оценки степени густоты кроны с помощью предложенного метода был подготовлен набор данных, содержащий фрагменты размером 50 х 50 пикселов. Фрагменты обрабатывались в соответствии с предложенным методом. Примеры изображений фрагментов кроны различной густоты показаны на рис. 8, а-д.
■ Рис. 7. Примеры использованных изображений сосны
■ Fig. 7. Examples of pine images
■ Рис. 8. Фрагменты кроны сосны разной густоты: а — густая; б — разреженная; в — ажурная; г — сильно ажурная; д — отсутствующая
■ Fig. 8. Fragments of a pine crown with different density: a — thick; б — sparse; в — openwork; г — high openwork; д — missing
Гистограммы для различных фрагментов кроны, полученные при использовании ELBP, показаны на рис. 9. Условное обозначение «ШвИ» соответствует фрагменту кроны на рис. 8, a, «Шв12» соответствует фрагменту кроны на рис. 8, б и т. д. Как видно из рис. 9, при уменьшении густоты кроны происходит увеличение количества неравномерных шаблонов ELBP, т. е. таких шаблонов, которые отвечают за уменьшение контуров на изображении исследуемой текстуры.
Данные, полученные на этапе оценки густоты кроны на основе гистограммного подхода, а так-
1000
800
600
400
200
il II II II II II II
10 1
н Histl Hist2
Hist3 Hist4
8 9 10 Hist5
■ Рис. 9. ELBP-гистограммы для разных фрагментов кроны
■ Fig. 9. ELBP-histograms for different crown fragments
0
же другие характеристики дерева, такие как степень усыхания ветвей, отпада коры и т. д., поступают на вход нечеткого логического контроллера. В качестве параметров работы нечеткого контроллера использованы импликация Мамани, метод дефаззификации — первый максимум, так как именно эти настройки показали наиболее близкий к экспертному мнению специалиста — лесопатолога — результат классификации исследуемого дерева. В табл. 8 приведены результаты классификации тестовых изображений деревьев, выполненной с помощью предложенного метода.
Результаты, приведенные в табл. 8, сопоставлялись с оценкой эксперта. Лучшие результаты получились для категорий I — без признаков ослабления, V — свежий сухостой (текущего года) и VI — старый сухостой. Пограничные состояния между категориями II — ослабленные и III — сильно ослабленные трудно различимы, а пограничные состояния категорий III и IV (усыхающие) отличить, используя только изображения, практически невозможно. Поэтому значения показателя точности классификации для этих категорий получились самыми низкими. Категории V — свежий сухостой (текущего года) и VI — старый сухостой (прошлых лет) разделимы, так как на старом сухостое живая хвоя отсутствует полностью, а на свежем сухостое присутствует серая, желтая или красно-бурая хвоя.
Следует отметить, что предложенный метод основан на обработке 2D-изображений, и, следовательно, восстановить 3D-структуру дерева не представляется возможным. Однако метод показывает хорошие результаты классификации и
1. Постановление Правительства Российской Федерации «О Правилах санитарной безопасности в лесах» от 20 мая 2017 года № 607. http://docs. cntd.ru/document/436736467 (дата обращения: 9.03.2020).
2. Mizoue N. Fractal analysis of tree crown images in relation to crown transparency. Journal of Forest Planning, 2001, vol. 7, no. 2, pp. 79-87. doi.org/10. 20659/jfp.7.2_79
3. Clark N. A., Lee S.-M., Araman P. A. Finding a good segmentation strategy for tree crown transparency estimation. 19th Biennial Workshop on Color Photography, Videography and Airborne Imaging for Resource Assessment, 2003, Logan, Utah, pp. 1-13.
4. Lee S.-M., Clark N. A., Araman P. A. Automated methods of tree boundary extraction and foliage transparency estimation from digital imagery. 19th Biennial Workshop on Color Photography, Videogra-phy and Airborne Imaging for Resource Assessment, 2003, Logan, Utah, pp. 1-10.
■ Таблица 8. Результаты классификации тестовых изображений, %
■ Table 8. Classification results of test images, %
Категория Верная классификация Ошибка I рода Ошибка II рода
I 99,24 0,76 2,04
II 86,11 13,89 12,74
III и IV 83,44 16,56 10,15
V 98,42 1,58 1,11
VI 98,70 1,30 2,15
способен формировать объективную оценку состояния дерева, не предъявляя большие требования к вычислительным ресурсам.
Заключение
В работе представлен метод оценки категории санитарного состояния дерева на примере сосны. Метод включает удаление фона методом пороговой обработки, текстурный анализ на базе расширенных бинарных шаблонов и применение контроллера на нечеткой логике. Кусочно-линейные графики лингвистических переменных аппроксимированы гладкими функциями: проведена сплайн-аппроксимация функциями Гаусса. Экспериментальные исследования подтверждают эффективность разработанного алгоритма.
5. Clark N., Lee S.-M. Digital photo monitoring for tree crown foliage change evaluation. The 15th Central Hardwood Forest Conference, 2007, pp. 46-54.
6. Winn M. F., Lee S. M., Araman P. A. ForestCrowns: a software tool for analyzing ground based digital photographs of forest canopies. The 18th Central Hardwoods Forest Conference — GTR-NRS-P-117, 2012, pp. 35-41.
7. Winn M. F., Palmer A. J., Lee S.-M., Araman P. A.
ForestCrowns: A transparency estimation tool for digital photographs of forest canopies. e-Gen. Tech. Rep. SRS-215. Asheville, NC: U.S. Department of Agriculture Forest Service, Southern Research Station, 2016, 10 p.
8. Nakajima H., Kume A., Ishida M., Ohmiya T., Mizoue N. Evaluation of estimates of crown condition in forest monitoring: comparison between visual estimation and automated crown image analysis. Annals of Forest Science, 2011, vol. 68, pp. 1333-1340. doi. org/10.1007/s13595-011-0132-9
9. Borianne P., Subsol G., Caraglio Y. Automated efficient computation of crown transparency from tree
silhouette images. Computers and Electronics in Agriculture, 2017, vol. 133, pp. 108-118. doi.org/10. 1016/j.compag.2016.12.011
10. Liu J., Wang X., Wang T. Classification of tree species and stock volume estimation in ground forest images using Deep Learning. Computers and Electronics in Agriculture, 2019, vol. 166, pp. 105012-1105012-10. doi.org/10.1016/j.compag.2019.105012
11. Weinstein B. G., Marconi S., Bohlman S. A., Zare A., White E. P. Cross-site learning in deep learning RGB tree crown detection. Ecological Informatics, 2020, vol. 56, pp. 101061-1-101061-9. doi.org/10.1016/j. ecoinf.2020.101061
12. Yun T., Cao L., An F., Chen B., Xue L., Weizheng Lid, Pincebourde S., Smith M. J., Eichhorn M. P. Simulation of multi-platform LiDAR for assessing total leaf area in tree crowns. Agricultural and Forest Meteorology, 2019, vol. 276-277, pp. 107610-1-107610-10. doi.org/10.1016/j.agrformet.2019.06.009
13. Holmgren J., Lindberg E. Tree crown segmentation based on a geometric tree crown model for prediction of forest variables. Canadian Journal of Remote Sensing, 2013, vol. 39, pp. S86-S98. doi:10.5589/m13-025
14. Favorskaya M., Tkacheva A., Danilin I. M., Medve-dev E. M. Fusion of airborne LiDAR and digital photography data for tree crowns segmentation and measurement. In: Intelligent Interactive Multimedia Systems and Services/ E. Damiani, R. J. Howlett, L. C. Jain, L. Gallo, G. De Pietro (eds). Springer Inter-
national Publishing Switzerland, 2015, SIST, vol. 40, pp. 191-201. doi.org/10.1007/978-3-319-19830-9_18
15. Favorskaya M. N., Jain L. C. Data fusion for evaluation of woodland parameters. In: Handbook on Advances in Remote Sensing and Geographic Information Systems: Paradigms and Applications in Forest Landscape Modeling/ M. N. Favorskaya, L. C. Jain ^ds). Springer International Publishing, 2017, ISRL, vol. 122, pp. 111-137. doi.org/10.1007/978-3-319-19830-9_18
16. Lindberg E., Holmgren J. Individual tree crown methods for 3D data from remote sensing. Current Forestry Reports, 2017, vol. 3, no. 1, pp. 19-31. doi:10. 1007/s40725-017-0051-6
17. Пятаев А. С. Сегментация дерева на изображении методом неполной пороговой обработки с глобальным порогом. Решетневские чтения, 2018, т. 2, с. 291-293.
18. Favorskaya M., Pyataeva A., Popov A. Texture analysis in watermarking paradigms. Procedia Computer Science, 2017, vol. 112, pp. 1460-1469. doi.org/10. 1016/j.procs.2017.08.019
19. Pyataev A. S., Pyataeva A. V., Redkin A. Y. Tree state category identification for boreal area conifers using global features estimation by fuzzy logic approach. Proceedings of the International Conference Information Technology and Nanotechnology. Session Data Science, Polish-Japanese Institute of Information Technology, Poland, 2019, vol. 2391, pp. 211-215.
/
UDC 004.932
doi:10.31799/1684-8853-2020-3-2-11
Classification of tree stand condition using visual data based on fuzzy logic A. S. Pyataeva>b, Post-Graduate Student, orcid.org/0000-0001-5489-8555
M. N. Favorskayaa, Dr. Sc., Tech., Professor, orcid.org/0000-0002-2181-0454, favorskaya@sibsau.ru
aReshetnev Siberian State University of Science and Technology, 31, Krasnoyarsky Rabochy Av., 660037 Krasnoyarsk,
Russian Federation
bBrunch of FBI «Russian Centre of Forest Protection» — «Centre of Forest Protection of Krasnoyarskiy Kray», 50A/no. 2, Akademgorodok St., 660036, Krasnoyarsk, Russian Federation
Introduction: A reliable assessment of tree condition directly affects the planning of economic indicators for the use of forest resources and ecological actions for forest protection. Therefore, the correct evaluation of the sanitary state of forest is very important. At present, the decisions that forest pathologists make about classifying trees or forest areas are based on visual inspection and their subjective knowledge about the tree features. Purpose: Development of a method for classifying the condition of a tree in terms of its crown density degree and other features, based on fuzzy logic with characteristic functions for linguistic variables such as "Crown density", "Annual branch growth", "Bark falling off" or "Shrinking branches". Results: The proposed method classifies the tree condition using pine as an example. The method consists in preliminary image processing, including the removal of background objects, extraction of texture features as extended binary patterns, and application of a specially designed controller based on fuzzy logic. We propose four types of linguistic variables, with their respective terms. For these variables, characteristic functions are specified in tabular form and then approximated by smooth functions. A fuzzy logic controller allows you to obtain an objective assessment of the tree crown condition. Experimental studies confirm the effectiveness of the developed method. Practical relevance: The intelligent system of classifying the tree condition according to visual data can provide a significant support to plantation survey specialists. The proposed method allows you to improve the quality of forest monitoring, minimize the influence of human factor, and organize the forest protection in the best possible way.
Keywords — classification, tree condition, fuzzy logic, fuzzy controller, image processing, texture analysis.
For citation: Pyataev A. S., Favorskaya M. N. Classification of tree stand condition using visual data based on fuzzy logic. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2020, no. 3, pp. 2-11 (In Russian). doi:10.31799/1684-8853-2020-3-2-11
References
1. Postanovlenie Pravitelstva Rossiyskoi Federatzii "O Pravilakh sanitarnoi bezopasnosti v lesahk" ot 20 maya 2017 N 607 [Decree of the Government of the Russian Federation "On the Rules of Sanitary Safety in Forests"]. Available at: http://docs.cntd.ru/document/436736467 (accessed 9 February 2020).
2. Mizoue N. Fractal analysis of tree crown images in relation to crown transparency. Journal of Forest Planning, 2001, vol. 7, no. 2, pp. 79-87. doi.org/10.20659/jfp.7.2_79
3. Clark N. A., Lee S.-M., Araman P. A. Finding a good segmentation strategy for tree crown transparency estimation. 19th Biennial Workshop on Color Photography, Videography and Airborne Imaging for Resource Assessment, 2003, Logan, Utah, pp. 1-13.
4. Lee S.-M., Clark N. A., Araman P. A. Automated methods of tree boundary extraction and foliage transparency estimation from digital imagery. 19th Biennial Workshop on Color Photography, Videography and Airborne Imaging for Resource Assessment, 2003, Logan, Utah, pp. 1-10.
5. Clark N., Lee S.-M. Digital photo monitoring for tree crown foliage change evaluation. The 15th Central Hardwood Forest Conference, 2007, pp. 46-54.
6. Winn M. F., Lee S. M., Araman P. A. ForestCrowns: a software tool for analyzing ground based digital photographs of forest canopies. The 18th Central Hardwoods Forest Conference — GTR-NRS-P-117, 2012, pp. 35-41.
7. Winn M. F., Palmer A. J., Lee S.-M., Araman P. A. Forest-Crowns: A transparency estimation tool for digital photographs of forest canopies. e-Gen. Tech. Rep. SRS-215. Ashe-ville, NC: U.S. Department of Agriculture Forest Service, Southern Research Station, 2016, 10 p.
8. Nakajima H., Kume A., Ishida M., Ohmiya T., Mizoue N. Evaluation of estimates of crown condition in forest monitoring: comparison between visual estimation and automated crown image analysis. Annals of Forest Science, 2011, vol. 68, pp. 1333-1340. doi.org/10.1007/s13595-011-0132-9
9. Borianne P., Subsol G., Caraglio Y. Automated efficient computation of crown transparency from tree silhouette images. Computers and Electronics in Agriculture, 2017, vol. 133, pp. 108-118. doi.org/10.1016/j.compag.2016.12.011
10. Liu J., Wang X., Wang T. Classification of tree species and stock volume estimation in ground forest images using Deep Learning. Computers and Electronics in Agriculture, 2019, vol. 166, pp. 105012-1-105012-10. doi.org/10.1016/j. compag.2019.105012
11. Weinstein B. G., Marconi S., Bohlman S. A., Zare A., White E. P. Cross-site learning in deep learning RGB tree crown detection. Ecological Informatics, 2020, vol. 56, pp. 101061-1101061-9. doi.org/10.1016/j.ecoinf.2020.101061
12. Yun T., Cao L., An F., Chen B., Xue L., Weizheng Lid, Pince-bourde S., Smith M. J., Eichhorn M. P. Simulation of multi-platform LiDAR for assessing total leaf area in tree crowns. Agricultural and Forest Meteorology, 2019, vol. 276-277, pp. 107610-1-107610-10. doi.org/10.1016/j. agrformet.2019.06.009
13. Holmgren J., Lindberg E. Tree crown segmentation based on a geometric tree crown model for prediction of forest variables. Canadian Journal of Remote Sensing, 2013, vol. 39, pp. S86-S98. doi:10.5589/m13-025
14. Favorskaya M., Tkacheva A., Danilin I. M., Medvedev E. M. Fusion of airborne LiDAR and digital photography data for tree crowns segmentation and measurement. In: Intelligent Interactive Multimedia Systems and Services. E. Damiani, R. J. Howlett, L. C. Jain, L. Gallo, G. De Pietro (eds). Springer International Publishing Switzerland, 2015, SlST, vol. 40, pp. 191-201. doi.org/10.1007/978-3-319-19830-9_18
15. Favorskaya M. N., Jain L. C. Data fusion for evaluation of woodland parameters. In: Handbook on Advances in Remote Sensing and Geographic Information Systems: Paradigms and Applications in Forest Landscape Modeling. M. N. Favorskaya, L. C. Jain (eds). Springer International Publishing, 2017, ISRL, vol. 122, pp. 111-137. doi.org/10.1007/978-3-319-19830-9_18
16. Lindberg E., Holmgren J. Individual tree crown methods for 3D data from remote sensing. Current Forestry Reports, 2017, vol. 3, no. 1, pp. 19-31. doi:10.1007/s40725-017-0051-6
17. Pyataev A. S. Tree segmentation in image using the partial threshold processing method with global threshold. Reshet-nevskie chteniya, 2018, vol. 2, pp. 291-293 (In Russian).
18. Favorskaya M., Pyataeva A., Popov A. Texture analysis in watermarking paradigms. Procedia Computer Science, 2017, vol. 112, pp. 1460-1469. doi.org/10.1016/j.procs. 2017.08.019
19. Pyataev A. S., Pyataeva A. V., Redkin A. Y. Tree state category identification for boreal area conifers using global features estimation by fuzzy logic approach. Proceedings of the International Conference Information Technology and Na-notechnology. Session Data Science, Polish-Japanese Institute of Information Technology, Poland, 2019, vol. 2391, pp. 211-215.
