CC BY
2
Лесной вестник/Forestry Bulletin, 2023. Т. 27. № 5. С. 25-36. ISSN 2542-1468 Lesnoy vestnik/Forestry Bulletin, 2023, vol. 27, no. 5, pp. 25-36. ISSN2542-1468
Повышение эффективности текстурной сегментации... Лесоведение, лесоводство и таксация леса
УДК 004.932.2 DOI: 10.18698/2542-1468-2023-5-25-36 Шифр ВАК 4.1.6
ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ТЕКСТУРНОЙ СЕГМЕНТАЦИИ ЛЕСНОГО ПОЛОГА ПО ИЗОБРАЖЕНИЯМ СВЕРХВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ
Е.В. Дмитриев1, П.Г. Мельник2н, С.А. Донской3, Т.В. Кондранин4
1ФГБУН «Институт вычислительной математики имени Г.И. Марчука Российской академии наук», Россия, 119333, г. Москва, ул. Губкина, д. 8
2ФГБОУ ВО «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)» (Мытищинский филиал), Россия, 141005, Московская обл., г. Мытищи, ул. 1-я Институтская, д. 1 3ФГБУ «Рослесинфорг», Россия, 109316, г. Москва, пр-кт Волгоградский, д. 45, стр. 1
4ФГАОУ ВО «Московский физико-технический институт (национальный исследовательский университет)», Россия, 141701, Московская обл., г. Долгопрудный, пер. Институтский, д. 9
melnik_petr@bk.ru
Рассмотрена задача повышения точности сегментации структур лесного полога при обработке спутниковых изображений сверхвысокого пространственного разрешения путем совместного использования текстурных признаков, извлекаемых различными методами. Предложен метод TTSPCA (Total Texture Statistics Principal Component Analysis) и показана его эффективность для ряда тестовых примеров. Получены оценки эффективности TTSPCA для решения задачи определения контуров древостоев и типов произрастания. В качестве дистанционных данных использовано панхроматическое изображение WorldView-2 тестового участка (Бронницкое лесничество, Московская обл.) полученное в летний период. Для проведения текстурной сегментации помимо TTSPCA, также использовались несколько стандартных статистических методов второго порядка и спектральный (энергетический) метод на основе вейвлет-преобразования. Показано, что практически все рассмотренные статистические и спектральные методы обеспечивают сегментацию древостоев с ошибками, не превышающими 3—4 %. Установлено, что метод TTSPCA позволяет уменьшить вероятность ошибок в лесоучетной зоне, а также определить выделы с преобладанием естественных и искусственных насаждений с точностью свыше 85 %. Полученные результаты в дальнейшем можно рекомендовать к использованию в целях усовершенствования разрабатываемой нами системы совместной спектрально-текстурной обработки спутниковых изображений с различным пространственным разрешением. Ключевые слова: дистанционное зондирование, распознавание образов, тематическая обработка, текстурный анализ, аэрокосмические изображения высокого разрешения, сегментация лесного полога
Ссылка для цитирования: Дмитриев Б.В., Мельник П.Г., Донской С. А., Кондранин Т.В. Повышение эффективности текстурной сегментации лесного полога по изображениям сверхвысокого пространственного разрешения // Лесной вестник / Forestry Bulletin, 2023. Т. 27. № 5. С. 25-36. DOI: 10.18698/2542-1468-2023-5-25-36
Задача текстурной сегментации древостоев с использованием изображений аэрокосмического дистанционного зондирования Земли (ДЗЗ) имеет широкий спектр приложений в различных секторах лесного хозяйства [1-3]. Многие из них включают в себя вопросы, связанные с лесной таксацией, оценкой продуктивности древостоев [4] и качества посадочных материалов [5], мониторингом жизненного состояния и изменений биоразнообразия [6, 7], контролем распространения инвазивных видов [8], защитой и охраной лесов от пожаров [9], а также определением параметров, характеризующих депонирование атмосферного углерода [10-12]. Традиционный подход дистанционного обследования лесных территорий основан на использовании спектральных характеристик лесного полога [13-15]. При этом используются как непосредственно
© Автор(ы), 2023
значения спектральной отражательной способности, так и производные характеристики в виде вегетационных индексов.
Повышение информативности решения прикладных задач лесного хозяйства возможно при использовании наряду со спектральными характеристиками данных о пространственной структуре объектов, в частности текстурных признаков [16-20]. В последние годы опубликованы работы, в которых изложены материалы исследования информативности текстурных признаков при определении видового состава древостоев. В работе [16] показано, что их использование позволяет повысить точность классификации на 5... 15 %, в зависимости от района обследования. Также отмечается, что при классификации некоторых видов деревьев используемые текстурные признаки не несут значимой дополнительной информации.
Использование текстурных признаков оказывается эффективным также при тематической
обработке гиперспектральных изображений. Так, например, подход, предложенный в работе [19], позволил повысить точность классификации породного состава до 10 %, в зависимости от выбранной тестовой территории, по сравнению с использованием средних спектральных характеристик.
Использование текстурных признаков повышает информативность методов аэрокосмического ДЗЗ не только для лесов средних широт, но и для других глобальных лесных территорий (влажные тропические леса). Текстурная обработка панхроматических спутниковых данных территории Мата-де-Санта-Женебра (Сан-Паулу, Бразилия) [21] позволила классифицировать большее число пород деревьев и улучшить интегральную точность спектральной обработки более чем на 25 %.
Текстурные признаки информативны при обработке изображений ДЗЗ как однородных, так и смешанных древостоев [18]. Поэтому, например, при использовании вегетационных индексов для определения видового состава древостоев учитываются характерные различия пространственной структуры лесного полога и крон отдельных деревьев [16]. Привлечение текстурного анализа позволяет также учитывать зависимости отражательной способности древостоев от геометрических и структурных параметров, в частности сомкнутости полога и плотности крон. В работе [22] показано, что при классификации древостоев с высокой плотностью полога точность выявления видового состава на основе текстурной обработки панхроматических изображений высокого пространственного разрешения ~0,5 м, полученных с коммерческого спутника А^огкГ^еху^, существенно превосходит результаты классификации с использованием как вегетационных индексов, так и данных по яркости, регистрируемых в спектральных каналах спутниковой аппаратуры.
Отметим, что ключевым фактором в разрабатываемых методах тематической обработки с привлечением текстурных признаков является пространственное разрешение аппаратуры ДЗЗ. Достоверность результатов решения указанных выше и других практических задач детального обследования лесных массивов методами ДЗЗ, улучшается с повышением пространственного разрешения [23,24].
Цель работы
Цель работы — исследование возможностей повышения точности текстурной сегментации местоположения и типов произрастания древостоев.
Рассмотрим полученные нами результаты тематической текстурной обработки спутниковых изображений высокого пространственного
разрешения с использованием стандартных статистических и спектральных методов, широко используемых для решения подобных задач, а также с использованием метода TTSPCA. Также приведем результаты сравнительного анализа эффективности перечисленных методов.
Методы текстурной сегментации
При обработке аэрокосмических изображений часто используется схема текстурной сегментации, основанная на классификации текстурных признаков частей изображения, находящихся внутри скользящего окна заданного размера [25]. Задача состоит в обработке панхроматических изображений лесных массивов для их сегментации с высокой детализацией, для чего используются спутниковые данные сверхвысокого пространственного разрешения.
Ключевым элементом обработки является текстурный куб признаков — трехмерный массив, каждый слой которого является изображением соответствующего текстурного признака [26]. Используемая схема сегментации включает в себя следующие этапы:
1) выбор метода извлечения текстурных признаков (измерения текстуры);
2) разбиение изображения на части с помощью равномерной сетки с заданным шагом;
3) вычисление текстурных признаков для каждой части и их билинейная интерполяция на пиксели исходного изображения;
4) сглаживание изображений текстурных признаков с помощью гауссовского фильтра [27];
5) выбор наиболее информативных признаков и формирование текстурного куба;
6) попиксельная классификация и сегментация текстурного куба.
Результаты расчетов, представленные в работе [26], демонстрируют, что данный метод позволяет провести текстурную обработку на несколько порядков быстрее по сравнению со стандартным методом скользящего окна, центр которого пробегает все пиксели панхроматического изображения при сохранении точности. Применение данного метода оправдано при обработке сцен значительного размера [26], например, панхроматических изображений участков более 10 км2, полученных со спутников WorldView или Pleiades [28].
Наличие текстуры означает, что яркости пикселей обрабатываемого изображения, находятся в пространственной зависимости, для описания которой, как правило, используются статистический или спектральный (энергетический) подходы. В первом случае предполагается, что яркости пикселей панхроматического изображения имеют некоторое дискретное распределение и в той или иной степени коррелированы по пространству [29].
Основным предположением является то, что различным текстурам соответствуют различные функции вероятности, характеризующие распределение яркости и взаимного расположения пикселей. Оценки функций вероятности представляются в виде матриц и, таким образом, соответствующие статистические методы называют «матричными» [25]. На основе функций вероятности рассчитываются статистические характеристики, называемые текстурными признаками, и для получения надежных оценок функций вероятности изображение должно содержать достаточно большое число текстурных элементов.
Рассмотрим четыре матричных метода извлечения текстурных признаков, наиболее пригодных для выделения структур лесного полога [26]. Одним их наиболее часто используемых статистических методов текстурного анализа является метод Харалика [30]. В основе метода лежит построение матрицы GLCM (Gray-Level Cooccurrence Matrix — матрица совместной встречаемости уровней серого) [30, 31], элементы которой являются частотами совместной встречаемости уровней яркости пар пикселей панхроматического изображения по заданному направлению (направление смежности). Расстояние между пикселями, образующими пару, называют расстоянием смежности. Для формирования таких пар обычно рассматривают ближайшие соседние пиксели, однако в некоторых случаях, например, когда нужно рассмотреть больше градаций углов смежности, расстояние смежности может быть увеличено [31].
Практическая реализация метода Харалика показала, что особенности сложной пространственной структуры лесного полога делают необходимым наряду с яркостью пикселей также использовать характерные значения скорости перепада яркости. С этой целью использована модификация указанного метода [32], в которой строится новая матрица GGCM (Gray-Level Gradient Co-Occurrence Matrix — матрица совместной встречаемости градиентов уровней серого) путем преобразования исходного изображения к изображению модуля градиента яркости с помощью оператора Собеля.
Исследована также другая модификация метода Харалика, основанная на построении кре-сто-диагональной текстурной матрицы CDTM (Cross-Diagonal Texture Matrix — кресто-диа-гональная текстурная матрица) [33], когда не требуется вычислять направление смежности. Для построения матрицы CDTM на исходном изображении выделяются все возможные ячейки размером 3 хЗ, для которых проводится сравнение яркости центрального и граничных пикселей. Эта матрица характеризует распределение сочетания значений диагонального и крестового блоков.
В дополнение к модификациям метода Харалика рассматривается метод GLRLM (Gray-Level Run-Length Matrix — матрица длин серий уровней серого) предложенный в работе [34]. Метод основан на оценке частоты появления линейных примитивов заданной длины с одинаковой яркостью вдоль данного направления. В стандартной формулировке базовые направления определяются прямыми, проходящими под углами 0°, 45°, 90° и 135° по отношению к горизонтальной оси. Соответствующие текстурные признаки представляют собой параметры, характеризующие преобладание определенных длин, уровней яркостей и однородности распределения линейных примитивов.
Таким образом, в отличие от большинства исследований мы при решении важной прикладной задачи рассматриваем набор текстурных признаков характеризующих преобладание определенных размеров, уровней яркости, а также однородности распределения линейных примитивов. Детали рассматриваемых методов, формулы для вычисления текстурных признаков представлены в работе [26].
Из полного набора признаков с учетом специфики каждого метода были выбраны наиболее подходящие из них для решения задачи сегментации структур лесного полога. Для этого использовался регуляризованный метод прямого отбора [35], который обеспечивает получение последовательности наиболее информативных признаков для заданной задачи обучаемой классификации, устойчивый к малым изменениям обучающего множества. Отобранные признаки и используемые параметры настройки представлены в табл. 1.
Текстура лесного полога неоднородна и определяется множеством параметров, основными из которых являются породный состав, полнота и тип леса. Каждый из стандартных статистических методов, представленных в табл. 1, имеет свои преимущества при сегментации текстур определенного вида. При совместном использовании выбранных текстурных признаков возникает проблема «проклятия размерности» [36], для решения которой нами был предложен метод TTSPCA [26]. Расчеты для небольших тестовых участков, представленные в работе [26], показали, что регуляри-зованное решение, получаемое с помощью метода TTSPCA, имеет несколько более высокую точность, чем каждый из отдельных методов в табл. 1. При этом следует отметить, что в работе [26] использовались другие наборы признаков.
Помимо статистического подхода для извлечения текстурных признаков в ряде работ используется спектральный (энергетический) подход, основанный на преобразовании Фурье или
Таблица 1
Характеристики статистических методов, используемых
для извлечения текстурных признаков Characteristics of statistical methods used for texture feature extraction
Метод Общее число признаков Параметр Используемые признаки
GLCM 19 Расстояние смежности, направление смежности Автокорреляция, энтропия, однородность 2, энергия
GGCM 19 Расстояние смежности, направление смежности Однородность, неоднородность, энтропия разности
GLRLM 11 Направление серии GLNU (Gray-level nonuniformity — неоднородность уровней серого)
CDTM 19 - Корреляция, дисперсия разности, энтропия, однородность
вейвлет-преобразовании. В работе [37] показана высокая эффективность данного подхода, на примере метода основанного на преобразовании вейвлет-рассеяния. Для извлечения признаков строится сеть рассеяния, представляющая собой многослойную структуру, каждый узел которой содержит коэффициенты рассеяния для различных масштабов и поворотов базового вейвлета. Коэффициенты рассеяния вычисляются на основе итерационного выполнения свертки сигнала с вейвлет-функцией и вычисления модуля. На заключительном этапе проводится осреднение — свертка с соответствующим фильтром низких частот. Метод извлечения текстурных признаков описанный в работе [37] и используемый также в настоящей работе, далее обозначим, как WISF (Wavelet Image Scattering Features — признаки вэйвлет-рассеяния изображения).
На заключительном этапе обработки (этап 6) к сформированному кубу текстурных признаков применяются алгоритмы обучаемой классификации: формируются изображения результатов попик-сельной классификации, на которых отображаются целевые объекты, а прочие объединяются в один класс. Использовались также алгоритмы обучаемой классификации различной сложности: квадратичный дискриминантный анализ (КДА) [38] и метод самокорректирующихся кодов (МСК) [39].
Квадратичный дискриминантный анализ относится к байесовским алгоритмам и позволяет получать оптимальное решение в предположении нормальности распределения используемых признаков. Это достаточно быстрый алгоритм, не требующий сбалансированности обучающих данных. Поскольку дискриминантные поверхности представляются квадратичными полиномами, возможны значительные ошибки классификации, если распределения признаков отличаются от нормального.
Метод самокорректирующихся кодов — это ансамблевый алгоритм, предназначенный для решения задач многоклассовой классификации
на основе проведения серии бинарных классификаций и последующего голосования. В качестве базового бинарного классификатора был использован метод опорных векторов (MOB) с гауссовским ядром, таким образом данную модификацию МСК будем обозначать как МСК MOB. Реализация МСК MOB требует больше вычислительных затрат, чем КДА. Кроме того, МСК MOB чувствителен к дисбалансу обучающих данных. В то же время в отличие от КДА классификатор МСК MOB позволяет использовать более сложные нелинейные дискриминантные поверхности.
Численные эксперименты
Для проведения расчетов была выбрана тестовая территория площадью около 2500 га в районе д. Лубнинка (Раменский городской округ, Московская обл.). Древостой выбранного участка имеют разнообразный породный состав, включающий в себя основные лесообразующие породы, произрастающие в лесах европейской части России. Участок относится к Бронницкому лесничеству, для которого у нас имеются стандартные данные лесоустройства. Актуализация данных лесоустройства проводилась в 2020 г. с использованием измерений на постоянных пробных площадях. Для повышения точности валидации рассматриваемых методов, имеющиеся лесотаксационные карты были дополнены контурами древостоев, не относящихся к лесному фонду.
Текстурная сегментация проводилась для панхроматического изображения WorldView-2 за 28 июля 2011 г. с пространственным разрешением 0,5 м. Для оценки качества сегментации использовалась векторная карта границ древостоев, в которую помимо лесотаксационных выделов были включены наиболее крупные участки, не относящиеся к лесному фонду. Обучение классификаторов КДА и МСК MOB проводилось на сбалансированной выборке объемом 1000 реализаций на каждый класс. После приведения результатов классификации к бинарному формату
Таблица 2
Оценка ошибок текстурной сегментации лесного полога для различных методов извлечения текстурных признаков и алгоритмов обучаемой классификации Evaluation of forest canopy texture segmentation errors for different texture feature extraction methods
and trained classification algorithms
Показатели ошибки сегментации Методы извлечения текстурных признаков
GLCM GGCM GLRLM CDTM TTSPCA WISF
Классификация с помощью КДА
ТЕ 0,035 0,046 0,041 0,035 0,031 0,054
TOE 0,035 0,042 0,051 0,037 0,035 0,045
ТСЕ 0,039 0,054 0,037 0,038 0,033 0,064
Классификация с помощью МСК MOB
ТЕ 0,035 0,07 0,04 0,038 0,038 0,035
TOE 0,042 0,06 0,049 0,042 0,043 0,042
ТСЕ 0,033 0,081 0,039 0,039 0,039 0,033
(лес и прочие объекты) проводилось сравнение с векторной картой и выполнялся расчет матрицы ошибок и прочих характеристик (табл. 2).
Ключевая характеристика для оценки — полная вероятность ошибки (ПВО) — отношение ошибочно классифицированных пикселей к общему количеству пикселей. Кроме показателя ПВО вычислялись среднее значение ошибок омиссии (СОО) и среднее значение ошибок комиссии (СОК). Показатель СОО характеризует вероятность ошибочной классификации фактических классов, а показатель СОК — вероятность ошибочной классификации ответов классификатора.
Из табл. 2 следует, что все рассмотренные методы сегментации позволяют получить приемлемый с точки зрения практики результат: значения показателя ПВО в «наихудшем» случае (метод GGCM) не превышают 7 %. Среди статистических методов, наилучшие результаты демонстрируют методы GLCM и CDTM. При этом алгоритм классификации КДА обеспечивает ошибку не более 3,5 %. Использование алгоритма МСК MOB приводит для метода CDTM к возрастанию ошибки до 3,8 %. Для классификатора КДА наилучший результат демонстрирует метод TTSPCA: значение ПВО составляет 3,1 %. Однако при использовании классификатора МСК MOB, для получения сопоставимого с другими методами результата с помощью метода TTSPCA, приходится использовать меньшее число главных компонент, что негативно сказывается на общей точности. Спектральный метод WISF, напротив, показывает более точный результат при использовании классификатора МСК MOB: показатель ПВО уменьшается на 2 %. Для всех методов имеет место удовлетворительное соответствие между значениями показателей СОО и СОК, что
свидетельствует об отсутствии явного дисбаланса обучения относительно одного из рассматриваемых классов.
Результаты анализа ошибок сегментации для рассматриваемых методов представлены на рис. 1. Точные результаты сегментации древосто-ев обозначены зеленым цветом. Ошибка первого рода соответствует случаю, когда пиксели находящиеся внутри контуров древостоев согласно векторной карте определились алгоритмом сегментации как прочие объекты. Ошибка второго рода возникает, когда алгоритм сегментации определяет пиксели древостоев вне контуров векторной карты. На рис. 1 видно преобладание ошибок второго рода, что в основном связано с невключением некоторых участков с единичными деревьями в векторную карту.
Важно, что основная часть ошибок соответствует граничным пикселям. Для контуров древостоев число граничных пикселей составляет около 1,3 % общего числа пикселей обрабатываемого изображения. Поскольку в окрестности границ изображение внутри скользящего окна содержит значительные фрагменты как целевого, так и прочих объектов, естественным уровнем ошибки будем считать значение 0,7 %. На основании этого можно заключить, что для методов вСЬМ, ОЬЫЬМ, СБТМ и ТТ8РСА не наблюдается значимых различий при использовании классификаторов КДА и МСК МОВ. Визуальная оценка качества сегментации (см. рис. 1) показывает, что, в отличие от ТТ8РСА, для методов ОЬСМ и \VISF заметная часть ошибок первого рода сосредоточена в пределах лесоучетной территории.
Рассматриваемые методы извлечения текстурных признаков позволяют также сегментировать
Рис. 1. Сегментация древостоев тестового участка: а — панхроматическое изображение со спутника WorldView-2, фиолетовые контуры — векторная карта древостоев; б—сегментация с использованием метода GLCM, классификатор — КДА, желтый — прочие объекты, красный — ошибка первого рода, синий — ошибка второго рода, зеленый — древостой; в — сегментация с использованием метода TTSPCA, классификатор — КДА; г — сегментация с использованием метода WISF, классификатор — MCK MOB Fig. 1. Segmentation of stands of the test plot: a — panchromatic image from the WorldView-2 satellite, purple contours—vector map of stands; б — segmentation using the GLCM method, classifier — QDA, yellow — other objects, red — error of the first kind, blue — error of the second kind, green — stands; в — segmentation using the TTSPCA method, classifier — QDA; г — segmentation using the WISF method, classifier — ECOC SVM
области естественных и искусственных насаждений. Как видно из рис. 2, лесные культуры, как правило, формируют упорядоченные (регулярные) структуры полога, в то время как для естественных насаждений характерна хаотическая структура, составленная кронами различного диаметра.
Для валидации были использованы производные классы—типы произрастания, полученные на основе лесотаксационных данных по категориям земель (рис. 3, а). Результаты попиксельной классификации естественных и искусственных лесных насаждений (рис. 3, б), были перенесены на стандартные лесотаксационные выделы по принципу большинства (рис. 3, в).
Из рис. 3 видно хорошее соответствие наземных данных и данных, полученных в результате обработки спутниковых изображений: совпадение имеет место более чем 85 % выделов. Большая часть несовпадающих выделов имеют малую площадь. Таким образом, ошибки, возникающие в этом случае, могут объясняться определяющим влиянием граничных пикселей.
Также ошибки могут быть связаны с устареванием наземных данных и со смешением естественных и искусственных насаждений в пределах одного выдела. Процент вхождения доминантных классов представлен на рис. 3,2. Из рис. 3, г можно заключить, что для большей части выделов доминантная структура составляет более 90 %.
Искусственные
Естественные
Рис. 2. Характерные текстуры полога естественных и искусственных древостоев Fig. 2. Characteristic canopy textures of natural and artificial forest stands
Рис. 3. Результаты текстурной сегментации естественных и искусственных древостоев: а — карта наземной лесной таксации; б — попиксельная текстурная сегментация; в — карта по спутниковой информации; г — содержание доминирующей структуры лесного полога Fig. 3. Results of texture segmentation of natural and artificial stands: a — ground forest inventory map; б — pixel-by-pixel texture segmentation; в — map based on satellite information; г — content of the dominant forest canopy structure
I лесокультуры I несомкнутые I вырубки I прочие
Выводы
Статистические и спектральные методы извлечения текстурных признаков можно эффективно использовать для сегментации панхроматических спутниковых изображений сверхвысокого пространственного разрешения с целью определения контуров и типов произрастания древостоев. Типичный уровень ошибок сегментации контуров древостоев составляет 3—4 % при естественном уровне 0,7 % как для статистических, так и для спектральных методов. Полученные количественные характеристики не позволяют выявить значимого преимущества одного из рассмотренных методов, однако учитывая визуальный анализ, можно утверждать, что более «быстрый» метод TTSPCA позволяет восстановить контуры древостоев с меньшим количеством ошибок в лесоучет-ной зоне. Рассмотренные методы также позволяют с точностью более 85 % определить выделы с преобладанием естественных и искусственных насаждений. Полученные результаты можно в дальнейшем использовать для повышения точности спектрально-текстурной тематической обработки аэрокосмических изображений, а также в задачах автоматизации процесса актуализации лесотаксационных данных.
Исследование выполнено при финансовой поддержке РНФ в рамках научного проекта № 2329-00128 «Методы машинного обучения в задаче автоматизации обработки данных космических систем высокодетального мониторинга растительного покрова».
Список литературы
[1] McRoberts R.E., Tomppo Е.О. Remote sensing support for national forest inventories // Remote sensing of environment, 2007, no. 110(4), pp. 412-419.
[2] Кравцов C.JI., Ильючик M.A., Голубцов Д.В., Козел А.Л., Пушкин A.A., Савко И.Л., Романович К.А. Прогнозный мониторинг развития очагов короеда-типографа в насаждениях ели с использованием спутниковых и наземных данных // Труды БГТУ. Сер. 1. Лесное хоз-во, природопользование и переработка возобновляемых ресурсов, 2022. № 1 (252). С. 65-72.
[3] Шумаков Ф.Т., Толстохатько В.А., Тарнопильская Н.П. Возможности использования космических снимков для решения задач мониторинга лесов // Восточно-европейский журнал передовых технологий, 2012. № 11. С. 25-29.
[4] Melnik P.G., Karasyov N.N. Productivity of different larch types in Moscow region // Eurasian Forests - Hungarian Forests: Materials of the VI Int. Conf. of Young Scientists. Moscow: MSFU, 2006, pp. 83-85.
[5] Поплавская Л.Ф., Ребко C.B., Тупик П.В. Оценка качества семенного и посадочного материала сосны обыкновенной, полученного на гибридно-семенной плантации // Труды БГТУ. Сер. 1. Лесное хоз-во, природопользование и переработка возобновляемых ресурсов, 2018. № 1 (204). С. 20-24.
[6] Getzin S., Wiegand К., Schöning I. Assessing biodiversity in forests using very high- resolution images and unmanned aerial vehicles // Methods in ecology and evolution, 2012, no. 3(2), pp. 397-404.
[7] Мерзленко М.Д., Мельник П.Г. Значение географических лесных культур в сохранении биологического разнообразия древесных растений // Биологическое разнообразие лесных экосистем. М.: Типография Рос-сельхозакадемии, 1995. С. 325-327.
[8] Silva S.D.P., Eugenio F.C., Fantinel R.A., de Paula Amaral L., dos Santos A.R., Mallmann C.L., Ruoso R. Modeling and detection of invasive trees using UAV image and machine learning in a subtropical forest in Brazil II Ecological Informatics, 2023, p. 101989.
[9] Мартынюк A.A. Инновационные разработки ВНИ-ИЛМ — в практику лесного хозяйства // Лесохозяй-ственная информация, 2018. № 3. С. 7-11.
DOI: 10.24419/LHI.2304-3083.2018.3.01
[10] Schepaschenko D., Karminov V., Moltchanova Е., Fedor-ov S. Russian forest sequesters substantially more carbon than previously reported // Scientific Reports, 2021, v. 11, no. 1, p. 12825.
https://doi.org/10.1038/s41598-021-92152-9
[11] Савиных Н.П., Тетерин A.A. Об использовании лиственницы сибирской для повышения депонирования углерода лесами // Вестник Тверского государственного университета. Сер. биол. и экол., 2022. № 3(67).
С. 83-94.
[12] Мерзленко М.Д., Мельник П.Г., Мельник Л.П. Депонирование углерода стволовой фракцией в 100-летних лесных культурах хвойных пород // Лесной вестник / Forestry Bulletin, 2023. Т. 27. № 2. С. 5-10.
DOI: 10.18698/2542-1468-2023-2-5-10
[13] Барталев С.А., Лупян Е.А. Исследования и разработки ИКИ РАН по развитию методов спутникового мониторинга растительного покрова // Современные проблемы дистанционного зондирования Земли из космоса. 2013. № 10(1). С. 197-214.
[14] Козодеров В.В., Дмитриев Е.В., Каменцев В.П. Система обработки самолетных изображений лесных экосистем по данным высокого спектрального и пространственного разрешения // Исследование Земли из космоса, 2013. № 6. С. 57-64.
[15] Ла К., Liang S., Zhang L„ Wei X., Yao Y„ Xie X. Forest cover classification using Landsat ETM+ data and time series MODIS NDVI data // International J. of Applied Earth Observation and Geoinformation, 2014, no. 33, pp. 32-38.
[16] Franklin S.E., Hall R.J., Moskal L.M., Maudie A.J., Lavi-gne M.B. Incorporating texture into classification of forest species composition from airborne multispectral images // International J. of Remote Sensing, 2000, no. 21(1),
pp. 61-79.
[17] Johansen K., Phinn S. Mapping structural parameters and species composition of riparian vegetation using IKONOS and Landsat ETM+ data in Australian tropical savannahs. Photogramm // Eng. Remote. Sens., 2006, no. 72 (1),
pp. 71-80.
[18] Mallinis G., Koutsias N., Tsakiri-Strati M., Karteris M. Object-based classification using Quickbird imagery for delineating forest vegetation polygons in a Mediterranean test site // ISPRS J. Photogramm. Remote Sens., 2008, no. 63(2), pp. 237-250.
[19] Рылов C.A., Мельников П.В., Пестунов И.А. Спектрально-текстурная классификация гиперспектральных изображений высокого пространственного разрешения // Интерэкспо Гео-Сибирь, 2016. № 4(1).
С. 78-84.
[20] Dmitriev E.V., Sokolov А.А., Kozoderov V.V., Delbarre H., Melnik P.G., Donskoi S.A. Spectral-texture classification of high resolution satellite images for the state forest inventory in Russia // Proc. SPIE 11149, Remote Sensing for Agriculture, Ecosystems, and Hydrology, 2019, t. XXI, v. 111491 J. DOI: 10.1117/12.2532965
[21] Ferreira M.P., Wagner F.H., Aragâo L.E., Shimabukuro Y.E., de Souza Filho C.R. Tree species classification in tropical forests using visible to shortwave infrared Worl-dView-3 images and texture analysis // ISPRS J. of Pho-togrammetry and Remote Sensing, 2019, no. 149, pp. 119-131. '
[22] Sibiya В., Lettering R, Odindi J. Discriminating commercial forest species using image texture computed from a worldview-2 pan-sharpened image and partial least squares discriminant analysis // Remote Sensing Applications: Society and Environment, 2021, no. 23, p. 100605.
[23] Pekkarinen A. A method for the segmentation of very high spatial resolution images of forested landscapes // International J. of Remote Sensing, 2002, no. 23(14), pp. 28172836.
[24] Yang Lu., Huaiqing Zh. Very High Resolution Images and Superpixel-Enhanced Deep Neural Forest Promote Urban Tree Canopy Detection // Remote Sensing, 2023, no. 15(2), p. 519.
[25] Chaki J., Dey N. Texture feature extraction techniques for image recognition. Singapore: Springer, 2020. 100 p.
[26] Дмитриев E.B., Кондранин T.B., Зотов C.A. Сегментация природных и антропогенных объектов по панхроматическим спутниковым изображениям с использованием статистических текстурных признаков // Автометрия, 2022. № 58(2). С. 69-84.
[27] Haddad R.A., Akansu A.N. A class of fast Gaussian binomial filters for speech and image processing // IEEE Transactions on Signal Processing, 1991, no. 39(3),
pp. 723-727.
[28] Schowengerdt R.A. Remote sensing: models and methods for image processing. Elsevier, 2006, 560 p.
[29] Humeau-Heurtier A. Texture feature extraction methods: A survey // Ieee Access, 2019, no. 7, pp. 8975-9000.
[30] Haralick RM., Shanmugam K., Dinstein I.H. Textural features for image classification // IEEE Transactions on systems, man, and cybernetics, 1973, no. 6, pp. 610-621.
[31] Petrou M.M., Kamata S.I. Image processing: dealing with texture. Wiley, 2021, 819 p.
[32] Chen S., Wu C., Chen D., Tan W. Scene classification based on gray level-gradient co-occurrence matrix in the neighborhood of interest points // 2009 IEEE International Conference on Intelligent Computing and Intelligent Systems, 2009, no. 4, pp. 482-485.
[33] Al-Janobi A. Performance evaluation of cross-diagonal texture matrix method of texture analysis // Pattern Recognition, 2001, no. 34(1), pp. 171-180.
[34] Galloway M.M. Texture analysis using gray level run lengths // Computer graphics and image processing, 1975, no. 4(2), pp. 172-179.
[35] Dmitriev E.V. Classification of the Forest Cover of Tver' Region Using Hyperspectral Airborne Imagery // Izvesti-ya, Atmospheric and Oceanic Physics, 2014, no. 50(9), pp. 929-942.
[36] Беллман Р.Э. Динамическое программирование. M.: Изд. иностранной литературы, 1960. 400 с.
[37] Wu H., Li M., Zhang M., Zheng J., Shen J. Texture segmentation via scattering transform // International J. of Signal Processing, Image Processing and Pattern Recognition, 2013, no. 6(2), pp. 165-174.
[38] Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Series in Statistics, 2008, 745 p.
[39] Dietterich T.G., Bakiri G. Solving Multiclass Learning Problems via Error-Correcting Output Codes // J. of Arti-cial Intelligence Research, 1995, no. 2, pp. 263-286.
Сведения об авторах
Дмитриев Егор Владимирович — канд. физ.-мат. наук, доцент, ст. науч. сотр., ФГБУН «Институт вычислительной математики имени Г.И. Марчука Российской академии наук», yegor@mail.ru
Мельник Петр Григорьевич^ — канд. с.-х. наук, доцент МГТУ им. Н.Э. Баумана (Мытищинский филиал), melnik_petr@bk.ru
Донской Сергей Александрович — начальник отдела, ФГБУ «Рослесинфорг», lesshii@bk.ru Кондранин Тимофей Владимирович — д-р физ.-мат. наук, профессор, советник при ректорате, ФГАОУ ВО «Московский физико-технический институт (национальный исследовательский университет)», kondr@kondr.rector.mipt.ru
Поступила в редакцию 01.06.2023.
Одобрено после рецензирования 05.06.2023.
Принята к публикации 18.07.2023.
IMPROVING EFFICIENCY OF TREE CANOPY TEXTURE SEGMENTATION BY USING VERY HIGH SPATIAL RESOLUTION SATELLITE IMAGES
Y.V. Dmitriev1, P.G. Melnik2®, S.A. Donskoy3, T.V. Kondranin4
'Marchuk Institute ofNumerical Mathematics of the Russian Academy of Sciences, 8, Gubkina St., 119333, Moscow, Russia 2BMSTU (Mytishchi branch), 1,1st Institutskaya st., 141005, Mytishchi, Moscow reg., Russia 3«Roslesinforg», 45, Volgogradskiy av., building 1,109316, Moscow, Russia
4Moscow Institute of Physics and Technology (State University), 9, Institutskiy per., 141700, Dolgoprudny, Moscow reg., Russia melnik_petr@bk.ru
The issue of increasing the accuracy of tree canopy segmentation structures in the processing of very high spatial resolution satellite images by joint use of textural features extracted by different methods is considered. The TTSPCAmethod (Total Texture Statistics Principal Component Analysis) is proposed and its effectiveness is shown for a number of test cases. Estimates of TTSPCA effectiveness are obtained for the forest stands segmentation and growth types. The panchromatic Worldview-2 image of the test area (Bronnitskoye forestry, Moscow region) obtained in summer was used as remote data. To perform texture segmentation, in addition to TTSPCA, several standard second-order statistical methods and a spectral (energy) method based on the wavelet transform were also used. It is shown that almost all considered statistical and spectral methods provide forest stand segmentation with errors not exceeding 3-4 %. It has been established that the TTSPCA method makes it possible to reduce the probability of errors in the forest inventory zone, as well as to identify sections with a predominance of natural and artificial plantations with an accuracy of over 85 %. The results obtained can be further recommended for use in order to improve the system we are developing for joint spectral-textural processing of satellite images with different spatial resolutions.
Keywords: Remote sensing, pattern recognition, thematic processing, texture analysis, high-resolution aerospace images, forest canopy segmentation
Suggested citation: Dmitriev Y.V., Melnik P.G., Donskoy S.A., Kondranin T.V. Povyshenie effektivnosti teksturnoy segmentatsii lesnogo pologa po izobrazheniyam sverkhvysokogo prostranstvennogo razresheniya [Improving efficiency of tree canopy texture segmentation by using very high spatial resolution satellite images]. Lesnoy vestnik / Forestry Bulletin, 2023, vol. 27, no. 5, pp. 25-36. DOI: 10.18698/2542-1468-2023-5-25-36
References
[1] McRoberts R.E., Tomppo E.O. Remote sensing support for national forest inventories // Remote sensing of environment, 2007, no. 110(4), pp. 412—419.
[2] Kravtsov S.L., Il'yuchik M.A., Golubtsov D.V., Kozel A.L., Pushkin A.A., Savko I.L., Romanovich K.A. Prognoznyy monitoring razvitiya ochagov koroeda-tipografa v nasazhdeniyakh eli s ispol 'zovaniem sputnikovykh i nazemnykh dannykh [Forecast monitoring of the spread of the bark beetle-typographer in spruce planting with using satellite and ground data], Trudy BGTU. Ser. 1, Lesnoe khoz-vo, prirodopol'zovanie i pererabotka vozobnovlyaemykh resursov [Proceedings of BSTU, issue 1, Forestry. Nature Management. Processing of Renewable Resources], 2022, no. 1 (252), pp. 65-72.
[3] Shumakov F.T., Tolstokhat'ko V.A., Tarnopil'skaya N.P. Vozmozhnosti ispol 'zovaniya kosmicheskikh snimkov dlya resheniya zadach monitoringa lesov [Possibilities of using satellite images for solving forest monitoring tasks], Vostochno-evropeyskiy zhurnal peredovykh tekhnologiy [EasternEuropean Journal of Enterprise Technologies], 2012, no. 11, pp. 25-29.
[4] Melnik P.G., Karasyov N.N. Productivity of different larch types in Moscow region. Eurasian Forests — Hungarian Forests: Materials of the VI Int. Conf. of Young Scientists. Moscow: MSFU, 2006, pp. 83-85.
[5] Poplavskaya L.F., Rebko S.V., Tupik P.V. Otsenka kachestva semennogo i posadochnogo materiala sosny obyknovennoy, poluchennogo na gibridno-semennoy plantatsii [Estimation of quality seed and planting material harvested on hybrid-seeds plantation of Pinus sylvestris], Trudy BGTU. Ser. 1, Lesnoe khoz-vo [Proceedings of BSTU], 2018, no. 1 (204), pp. 20-24.
[6] Getzin S., Wiegand K., Schöning I. Assessing biodiversity in forests using very high- resolution images and unmanned aerial vehicles. Methods in ecology and evolution, 2012, no. 3(2), pp. 397-404.
[7] Merzlenko M.D., Mel'nik P.G. Znachenie geograficheskikh lesnykh kul'tur v sokhranenii biologicheskogo raznoobraziya drevesnykh rasteniy [The importance of geographical forest crops in preserving the biological diversity of woody plants], Biologicheskoe raznoobrazie lesnykh ekosistem [Biological diversity of forest ecosystems]. Moscow: Tipografiya Rossel'khozakademii, 1995, pp. 325-327.
[8] Silva S.D.P., Eugenio F.C., Fantinel RA., de Paula Amaral L., dos Santos A.R., Mallmann C.L., Ruoso R. Modeling and detection of invasive trees using UAV image and machine learning in a subtropical forest in Brazil. Ecological Informatics, 2023, p. 101989.
[9] Martynyuk A.A. Innovatsionnye razrabotki VNIILM— v praktiku lesnogo khozyaystva [VNIILM innovation developments into forest management practices], Lesokhozyaystvennaya informatsiya [Forestry information], 2018, no. 3, pp. 3-11. DOI: 10.24419/LHI.2304-3083.2018.3.01
[10] Schepaschenko D., Karminov V., Moltchanova E., Fedorov S. Russian forest sequesters substantially more carbon than previously reported. Scientific Reports, 2021, v. 11, no. 1, p. 12825. https://doi.org/10.1038/s41598-021-92152-9
[11] Savinykh N.P., Teterin A.A. Ob ispol 'zovanii listvennitsy sibirskoy dlyapovysheniya deponirovaniya ugleroda lesami [On the use of Siberian larch to increase forest carbon storage]. Vestnik Tverskogo gosudarstvennogo universiteta. Seriya Biologiya i ekologiya [Bulletin of Tver State University. Series: Biology and Ecology], 2022, no. 3(67), pp. 83-94.
[12] Merzlenko M.D., Mel'nik P.G., Mel'nik L.P. Deponirovanie ugleroda stvolovoy fraktsiey v 100-letnikh lesnykh kul'turakh khvoynykh porod [Carbon deposit by stem fraction in 100-year-old coniferous species], Lesnoy vestnik / Forestry Bulletin, 2023, vol. 27, no. 2, pp. 5-10. DOI: 10.18698/2542-1468-2023-2-5-10
[13] Bartalev S.A., Lupyan E.A. Issledovaniya i razrabotki IKIRANpo razvitiyu metodov sputnikovogo monitoringa rastitel 'nogo pokrova [R&D on methods for satellite monitoring of vegetation by the Russian Academy of Sciences' Space Research Institute], Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa [Modern problems of remote sensing of the Earth from space], 2013,10 (1), pp. 197-214.
[14] Kozoderov V.V., Dmitriev E.V., Kamentsev V.P. Sistema obrabotki samoletnykh izobrazheniy lesnykh ekosistem po dannym vysokogo spektral'nogo i prostranstvennogo razresheniya [System for processing airplane images of forest ecosystems based on high spectral and spatial resolution data], Issledovanie Zemli iz kosmosa [Earth Research from space], 2013, no. 6,
pp. 57-64.
[15] Jia K., Liang S., Zhang L., Wei X., Yao Y., Xie X. Forest cover classification using Landsat ETM+ data and time series MODIS NDVI data. International J. of Applied Earth Observation and Geoinformation, 2014, no. 33, pp. 32-38.
[16] Franklin S.E., Hall R.J., Moskal L.M., Maudie A.J., Lavigne M.B. Incorporating texture into classification of forest species composition from airborne multispectral images. International J. of Remote Sensing, 2000, no. 21(1), pp. 61-79.
[17] Johansen K., Phinn S. Mapping structural parameters and species composition of riparian vegetation using IKONOS and Landsat ETM+ data in Australian tropical savannahs. Photogramm. Eng. Remote. Sens., 2006, no. 72 (1), pp. 71-80.
[18] Mallinis G., Koutsias N., Tsakiri-Strati M., Karteris M. Object-based classification using Quickbird imagery for delineating forest vegetation polygons in a Mediterranean test site. ISPRS J. Photogramm. Remote Sens., 2008, no. 63(2), pp. 237-250.
[19] Rylov S.A., Mel'nikov P.V., Pestunov I.A. Spektral 'no-teksturnaya klassifikatsiya giperspektral 'rtykh izobrazheniy vysokogo prostranstvennogo razresheniya [Spectral and texture classification of high spatial resolution hyperspectral images]. Interexpo GEO-Siberia, 2016, vol. 4, no. 1, pp. 78-84.
[20] Dmitriev E.V., Sokolov A.A., Kozoderov V.V., Delbarre H., Melnik P.G., Donskoi S.A. Spectral-texture classification of high resolution satellite images for the state forest inventory in Russia. Proc. SPIE 11149, Remote Sensing for Agriculture, Ecosystems, and Hydrology, 2019, t. XXI, v. 111491J. DOI: 10.1117/12.2532965
[21] Ferreira M.P., Wagner F.H., Aragào L.E., Shimabukuro Y.E., de Souza Filho C.R. Tree species classification in tropical forests using visible to shortwave infrared WorldView-3 images and texture analysis. ISPRS J. of Photogrammetry and Remote Sensing, 2019, no. 149, pp. 119-131.
[22] Sibiya B., Loitering R, Odindi J. Discriminating commercial forest species using image texture computed from a worldview-2 pan-sharpened image and partial least squares discriminant analysis. Remote Sensing Applications: Society and Environment, 2021, no. 23, p. 100605.
[23] Pekkarinen A. A method for the segmentation of very high spatial resolution images of forested landscapes. International J. of Remote Sensing, 2002, no. 23(14), pp. 2817-2836.
[24] Yang Lu., Huaiqing Zh. Very High Resolution Images and Superpixel-Enhanced Deep Neural Forest Promote Urban Tree Canopy Detection. Remote Sensing, 2023, no. 15(2), p. 519.
[25] Chaki J., Dey N. Texture feature extraction techniques for image recognition. Singapore: Springer, 2020. 100 p.
[26] Dmitriev E.V., Kondranin T.V., Zotov S.A. Segmentatsiya prirodnykh i antropogennykk ob 'ektov po pankhromaticheskim sputnikovym izobrazheniyam s ispol 'zovaniem statisticheskikh teksturnykh priznakov [Segmentation of Natural and Anthropogenic Objects by Panchromatic Satellite Images Using Statistical Textural Features], Avtometriya [Optoelectronics, Instrumentation and Data Processing], 2022, no. 58(2), pp. 167-179.
[27] Haddad R.A., Akansu A.N. A class of fast Gaussian binomial filters for speech and image processing. IEEE Transactions on Signal Processing, 1991, no. 39(3), pp. 723-727.
[28] Schowengerdt R.A. Remote sensing: models and methods for image processing. Elsevier, 2006, 560 p.
[29] Humeau-Heurtier A. Texture feature extraction methods: A survey. Ieee Access, 2019, no. 7, pp. 8975-9000.
[30] Haralick R.M., Shanmugam K., Dinstein I.H. Textural features for image classification. IEEE Transactions on systems, man, and cybernetics, 1973, no. 6, pp. 610-621.
[31] Petrou M.M., Kamata S.I. Image processing: dealing with texture. Wiley. 2021, 819 p.
[32] Chen S., Wu C., Chen D., Tan W. Scene classification based on gray level-gradient co-occurrence matrix in the neighborhood of interest points. 2009 IEEE International Conference on Intelligent Computing and Intelligent Systems, 2009, no. 4,
pp. 482-485.
[33] Al-Janobi A. Performance evaluation of cross-diagonal texture matrix method of texture analysis. Pattern Recognition, 2001, no. 34(1), pp. 171-180.
[34] Galloway M.M. Texture analysis using gray level run lengths. Computer graphics and image processing, 1975, no. 4(2), pp. 172-179.
[35] Dmitriev E.V. Classification of the Forest Cover of Tver' Region Using Hyperspectral Airborne Imagery. Izvestiya, Atmospheric and Oceanic Physics, 2014, no. 50(9), pp. 929-942.
[36] Bellman RE. Dinamicheskoeprogrammirovanie [Dynamic programming], M.: Izd. inostrannoy literatuiy [Foreign literature], 1960, 400 p.
[37] Wu H., Li M., Zhang M., Zheng J., Shen J. Texture segmentation via scattering transform. International J. of Signal Processing, Image Processing and Pattern Recognition, 2013, no. 6(2), pp. 165-174.
[38] Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Series in Statistics, 2008, 745 p.
[39] Dietterich T.G., Bakiri G. Solving Multiclass Learning Problems via Error-Correcting Output Codes. J. of Articial Intelligence Research, 1995, no. 2, pp. 263-286.
The research was financially supported by the Russian National Foundation under the scientific project № 23-29-00128 «Machine learning methods in the task of automating data processing of space systems for highly detailed monitoring of vegetation cover».
Authors' information
Dmitriev Egor Vladimirovich — Cand. Sci. (Physical and Mathematical), Associate Professor, Senior scientist of Marchuk Institute of Numerical Mathematics of the Russian Academy of Sciences, yegor@mail.ru Mel'nik Petr Grigor'evichH — Cand. Sci. (Agricultural), Associate Professor, BMSTU (Mytishchi branch), melnik_petr@bk.ru
Donskoy Sergey Aleksandrovich — Head of Department, Federal State Budgetary Institution «Ros-lesinforg», lesshii@ bk.ru
Kondranin Timofey Vladimirovich — Dr. Sci. (Physical and Mathematical), Professor, Advisor to the Administration. Moscow Institute of Physics and Technology (National Research University), kondr@kondr.rector.mipt.ru
Received 01.06.2023.
Approved after review 05.06.2023.
Accepted for publication 18.07.2023.
Вклад авторов: все авторы в равной доле участвовали в написании статьи Авторы заявляют об отсутствии конфликта интересов Authors' Contribution: All authors contributed equally to the writing of the article The authors declare that there is no conflict of interest
