CC BY
52
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ОБРАБОТКИ ДАННЫХ ДЗЗ ДЛЯ ОЦЕНКИ АРЕАЛОВ РАСТЕНИЙ
А.А. Варламова1, А.Ю. Денисова1, В.В. Сергеев1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королева, 443086, Россия, г. Самара, Московское шоссе, д. 34;
2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
В статье предлагается информационная технология обработки данных дистанционного зондирования Земли для оценки ареалов растений, основанная на вычислении локальных признаков, полученных по суперпиксельному представлению изображений, и кластеризации K-Means. Технология представляет собой автоматизированный способ оценки состава растительного ареала по заданной пользователем обучающей выборке. Достоинствами предлагаемой технологии являются использование меньшего объема данных для обучения, чем для поэлементной классификации, и более высокое качество классификации по сравнению с поэлементной классификацией.
Ключевые слова: суперпиксельная сегментация, кластеризация, ареалы растительности, процентный состав.
Цитирование: Варламова, А.А. Информационная технология обработки данных ДЗЗ для оценки ареалов растений / А.А. Варламова, А.Ю. Денисова, В.В. Сергеев // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 864-876. - DOI: 10.18287/2412-6179-2018-42-5-864-876.
Введение
Одним из основных применений данных дистанционного зондирования Земли (ДЗЗ) является оценка ареалов растительности. Мотивация использования данных ДЗЗ для такой оценки заключается главным образом в неоспоримой объективности данных ДЗЗ и более широком охвате, чем при разовых наземных наблюдениях. Потенциально данные ДЗЗ выступают в качестве универсального средства оценки состояния территории и мониторинга хозяйственной деятельности, а также могут служить основой для различного рода криминалистических экспертиз в сфере природопользования и экологии.
Современные методы оценки ареалов растительности по данным ДЗЗ способны определять класс растительности, её состояние и производить оценку площади ареала. В зависимости от детальности используемых данных ДЗЗ и количества используемых снимков различают алгоритмы на основе анализа фенологических циклов [1], которые используют данные низкого и среднего пространственного разрешения, полученные за несколько наблюдений в различные периоды фенологического цикла, и алгоритмы классификации с обучением [2, 3], применяемые в основном для данных высокого пространственного разрешения на некоторый конкретный день съёмки. Очевидно, что в рамках первого подхода невозможно преодолеть барьер пространственного разрешения данных для более детального анализа состава растительности, поэтому получаемые результаты зачастую отражают усреднённые характеристики растительного покрова в рамках довольно больших участков земной поверхности, тогда как второй подход на основе анализа данных ДЗЗ высокого разрешения способен обеспечить более точный анализ состава растительного ареала.
В работе [2] было показано, что классификация растительности с использованием данных ДЗЗ высокого разрешения сильно зависит от размера обучающей выборки и её качества, используемых алгоритмов классификации и наземного распределения типов растительности в пределах ареала. Yu и др. рассматривали классификацию данных сенсора DAIS [4] (4 спектральных канала с разрешением от 0,3 до 2 м) на 43 класса растительного покрова. Для преодоления локальной вариабельности данных авторы использовали сегментацию на однородные участки с помощью приложения eCognition [5]. Полученные области служили источником для формирования множества из 52 ярко-стных, текстурных и геометрических признаков, из которых впоследствии отбирались наиболее существенные с помощью алгоритма CART [6]. Полученный сокращённый набор признаков являлся источником для классификации сегментов методом K-Means [7]. Для большинства рассмотренных классов описанная технология позволяла получить точность классификации пикселей изображения около 60 %.
В работе Ю.Н. Синявского и др. [3] был предложен другой подход классификации ландшафтов по снимкам высокого разрешения, позволивший авторам решить такие практические задачи, как обнаружение повреждений кедровых древостоев и выявление закономерностей формирования степного биома. В качестве исходных данных рассматривались изображения космического аппарата World-View 2 [8], а также данные геоинформационных систем и топографических карт. В совокупности результаты растеризации карт и изображения в каналах снимка рассматривались как единый источник для формирования вектора признаков. Полученное изображение признаков подвергалось классификации с обучением и без обучения с последующей сегментацией результатов классификации. Основная сложность применения данной тех-
нологии заключается в большом объёме вычислений и необходимости привлечения данных других источников, не являющихся снимками ДЗЗ, что снижает возможности ретроспективного анализа территории в широком временном диапазоне, поскольку необходимые картографические данные за прошлые годы могут отсутствовать.
С.М. Борзов и О.И. Потатуркин в своей работе [9] рассмотрели применение различных поэлементных классификаторов для анализа растительного покрова по гиперспектральным данным. Однако в настоящий момент отсутствуют доступные для исследований данные гиперспектральных сенсоров высокого разрешения, что ограничивает применение этих данных для анализа ареалов растительности.
Предлагаемая в настоящей работе информационная технология основана на подходе, аналогичном предложенному Yu и др., но имеет более простую реализацию, требует меньших вычислительных затрат и ориентирована на космические данные ДЗЗ с разрешением от 2-5 м, более доступные, чем данные авиационной мультиспектральной съёмки DAIS. Базовыми этапами предлагаемой технологии являются: суперпиксельная сегментация - выделение связных участков локальной однородности на многоканальном изображении, расчёт признаков сегментов, кластеризация сегментов, формирование оценок состава ареала растительности. Основным отличием предлагаемой технологии от существующих решений является совмещение этапа расчёта признаков и суперпиксельной сегментации в один процесс, позволяющий получить и признаки, и разбиение на локально однородные участки за один проход по изображению, что позволяет сократить вычислительную сложность алгоритма. Другое отличие заключается в принципе формирования обучающей выборки, основанном на использовании изображения суперпикселей, который позволяет сократить работу оператора по формированию обучающей выборки.
Далее в статье приводится более подробное изложение разработанной технологии и её отдельных этапов, а также описываются экспериментальные результаты её применения для классификации синтезированных изображений растительного покрова и реальных снимков ДЗЗ, иллюстрирующих процесс зарастания залежных земель кустарниками и деревьями.
1. Предлагаемая информационная технология
Предлагаемая технология предназначена для обработки оптических мультиспектральных данных ДЗЗ высокого разрешения с целью оценки качественного и количественного состава ареалов растений. Обозначим исходное (классифицируемое) изображение X(nb n2) е RK, 0 < n1 < N1 - 1, 0 < n2 < N2 - 1, где K - количество спектральных компонент изображения, N х n2 - размер изображения.
Под оценкой качественного и количественного состава ареала растений будем понимать выделение разделимых между собой элементарных классов рас-
тительности {□,-},■= 1, ...,I и расчёт концентрации Ю, п1, п2) объектов определённого класса , в рамках некоторой заданной окрестности Б (п1, п2) пикселя
п1, п2:
П1, П2 ) =
\Di (П1, П2 )| \D (ni, П2)|
(1)
где |Б (п1, п2)| - количество пикселей класса , в окрестности Б (п1, п2), |Б (п1, п2)| - общее количество пикселей в окрестности Б (п1, п2).
Таким образом, выходными данными предлагаемой технологии является многокомпонентное изображение п1, п2), , = 1,...,I, концентрации объектов элементарных классов растительности, выделяемых в анализируемом ареале Х(п1, п2).
Основными этапами предлагаемой технологии являются:
1) суперпиксельная сегментация - разбиение исходного изображения Х(п1, п2) на множество непересекающихся, связных и однородных в смысле яркости пикселей областей 8/, / =1, ...,3, называемых суперпикселями. Полученные области должны соответствовать с высокой долей вероятности только одному классу растительного покрова. Будем обозначать изображение, полученное в результате суперпиксельной сегментации, как 8(п1, п2), при этом значение пикселя изображения в точке п1, п2 определяется индексом суперпикселя /;
2) формирование признаков суперпикселей - расчет яркостных, геометрических и текстурных признаков суперпикселей 8/, / = 1, ...,Будем далее обозначать вектор признаков /-го суперпикселя как £ е ЯЬ, где Ь - количество признаков;
3) формирование обучающей выборки, которое заключается в сопоставлении результатов суперпиксельной сегментации 8 с маской элементарных классов растительности М.
Для формирования маски классов М, используемой для обучения, оператор выделяет на исходном изображении Х(п1, п2) I областей, каждая из которых с высокой вероятностью соответствует элементарным классам ,=1, ..., I.
Пусть области , = 1, ...,I заданы оператором на следующих множествах координат пикселей: М^ = {(п1, п2) : М(п1, п2) = ,} и мощность каждого из множеств много меньше размера изображения |М,|<<М х ыъ Тогда обучающая выборка для каждого класса формируется следующим образом:
- пусть Б, t = 1, ..., Т, - суперпиксели, пересечение которых с пикселями Mi класса , не пусто, т.е.
П М, ф 0;
- упорядочим суперпиксели t = 1, ..., Т, по убыванию площади пересечения с областью М,: 181 П М,| > 182 П М,| > ... > 18Т. П М{ |, тогда в обучающую выборку для класса , войдут суперпиксели 8,
,t = 1,...,Т!, с наибольшей площадью пересечения со множеством пикселей М,;
В результате обучающая выборка по классам I = 1, ...,I представляет собой множество номеров суперпикселей , / = 1, . .., Г/ , которым соответствуют векторы признаков /,г = 1,...,Т , полученные на втором этапе предлагаемой технологии;
4) кластеризация. На данном этапе производится кластеризация векторов признаков суперпикселей всего изображения /, } =1, ...,3 методом К-Меаш [7] по минимуму евклидова расстояния. Вектора средних по классам, полученные на этапе построения обучающей выборки, используются для инициализации количества кластеров и центроидов кластеров в алгоритме К-Меаш:
1г = ТЁК, i = 1,..., I;
Г=1
(3)
где / - начальное значение центра кластера /, а /,г = 1,...,Т - векторы признаков суперпикселей, вошедших в обучающую выборку. Таким образом, каждый кластер соответствует конкретному элементарному классу растительности.
В результате кластеризации формируется изображение индексов кластеров п2). Очевидно, что все пиксели, входящие в состав суперпикселя ] = 1, ...,3, будут отнесены к одному кластеру и, как следствие, к одному элементарному классу растительности I, к которому, в свою очередь, был отнесен соответствующий суперпикселю вектор признаков / ;
5) расчет концентрации объектов элементарного класса растительности / в заданной окрестности Б (пь п2) для всех положений щ, п2 производится по формуле (1) с помощью обработки изображения скользящим окном, задающим форму и размеры окрестности Б (пь п2). Результатом обработки является многоканальное изображение, содержащее информацию о концентрации объектов каждого из элементарных классов растительности на изображении.
Получаемое в результате предложенной технологии изображение концентрации объектов элементарных классов может быть непосредственно интерпретировано экспертами или использовано для классификации более сложных классов растительных сообществ.
Ниже приводится более подробное описание этапов суперпиксельной сегментации и формирования признаков суперпикселей.
2. Алгоритм суперпиксельной сегментации и расчета признаков суперпикселей
Получение суперпиксельного представления изображений является одним из видов предварительной обработки изображений. Работа с изображениями на уровне суперпикселей приводит к уменьшению вычислительной сложности поставленных задач обработки и анализа изображений, при этом характеристики суперпикселей являются локальными характеристиками изображения.
Применяемый в работе метод суперпиксельной сегментации является пороговым методом выделения областей на изображениях [10]. Выбор алгоритма обусловлен его низкой вычислительной сложностью (получение суперпикселей и вычисление набора локальных характеристик изображения осуществляется за один проход по изображению) и простотой настройки (один входной параметр) по сравнению с такими алгоритмами суперпиксельной сегментации, как алгоритмы на графах [11-13] и алгоритмы кластеризации [14-16].
Используемый метод заключается в разбиении всего изображения на связные однородные по яркости области (суперпиксели) таким образом, что значения яркостей пикселей внутри каждой из них находятся в пределах диапазона 2е, где е - параметр сегментации, задаваемый пользователем.
Обход изображения производится попиксельно в порядке построчной развертки, то есть слева направо по столбцам и сверху вниз по строкам.
Пусть х (пь п2) - значение яркости отсчета (пь п2), не принадлежащего первой строке и первому столбцу изображения (п! Ф 1, п2 Ф 1), ^ и Sj - суперпиксели, к которым принадлежат уже пройденные, соседние с (пь п2) отсчеты: (п! - 1, п2) и (пь п2- 1). Необходимо решить, отнести ли отсчет (пь п2) к суперпикселю к суперпикселю 8/, или же он не принадлежит ни ни 8/ - в таком случае создается новый суперпиксель.
Отсчет (пь п2) можно отнести к суперпикселю если разность между максимальным и минимальным значением яркости в суперпикселе (при добавлении в него отсчета (пь п2)) не превышает удвоенного значения е, то есть выполняется неравенство (4):
тах х(п1, п2) -
( «1, "2)^ и( «1,И2)
- | т1п х(п1, п2) < 2е.
(и1,и2)е84 и(и1,И2)
(4)
Аналогично, отсчет (пь п2) можно отнести к суперпикселю 8/, если выполняется неравенство (5):
тах х(п1, п^) -
(п1, и2)е8/ и( И1,И2)
- | т1п х(п1, п2) < 2е.
(и1,и2)е8/ и( И1,И2)
(5)
Если неравенства (4), (5) нарушены, то создается новый суперпиксель, куда относится отсчет (пь п2).
Если выполняется только неравенство (4) или только неравенство (5), то отсчет присоединяется к суперпикселю или 8/ соответственно.
Если оба неравенства выполняются, то проверяется возможность объединения суперпикселей 8/ и отсчета (пь п2) в один суперпиксель, то есть проверяется выполнение неравенства (6):
тах х(п1, п^) -
(иьи^ и 8/ и( Щ,И2)
- т1п х(п1, п2) < 2е.
Йл^ и 8 и( Щ,И2)
(6)
Если (6) справедливо, то объединение выполняется, если же неравенство (6) нарушено, то отсчет (п1, п2) присоединяется к 8к или 81.
Так как для элементов первой строки не определен суперпиксель 8к (сверху), а для элементов первого столбца - суперпиксель 81 (слева), то проверки соответствующих неравенств не производятся. Самый первый отсчет (в верхнем левом углу изображения) всегда принимается за новый (первый) суперпиксель.
Проверка условий (4), (5) и (6) для каждого отсчёта выполняется по всем каналам изображения Х(п1, п2) одновременно. Если хотя бы в одном из каналов проверяемое условие не выполняется, то считается, что условие нарушено и создается новый суперпиксель.
Представленный алгоритм сегментации также удобен тем, что он позволяет рассчитывать характеристики суперпикселей не только после того, как будет получено изображение разметки на суперпиксели, но и непосредственно во время его расчета, например, минимальное, максимальное значение яркости суперпикселей по каждому каналу, математическое ожидание яркости по каждому каналу, площадь суперпикселя и др. [10].
3. Экспериментальное исследование
Экспериментальное исследование предложенной технологии производилось на модельных изображениях и реальных снимках ДЗЗ залежей в Самарской области. Выбор залежных земель в качестве объекта исследования продиктован тем, что в практике сельского хозяйства имеет большое значение оценка возраста залежи, которая определяется по степени зале-сения или зарастания участка кустарниками. Таким образом, предложенная технология анализа качественной и количественной оценки состава растительного сообщества может быть использована для задач земельного и экологического контроля.
По данным наземных обследований, проведенных кафедрой экологии, ботаники и охраны природы Самарского университета, были определены участки залежей и описан их состав [17]. В рамках исследуемых участков были выделены четыре детектируемых элементарных класса растительности, характеризующих общий состав растительного сообщества:
1) разреженная травянистая растительность (высота травостоя менее 30 см и проективное покрытие менее 30 %);
2) низкотравная растительность (высота травостоя до 30 см, проективное покрытие травостоя 30 %);
3) высокая трава (высота травостоя до 1 м, проективное покрытие травостоя 80 %);
4) деревья и кустарники.
Для каждого из элементарных классов растительности определялись площадки, преимущественно содержащие данный тип растительности, которые впоследствии использовались для формирования параметров классов при синтезе модельных изображений, а также для обучения и классификации изображений ДЗЗ.
Эксперименты на модельных изображениях
Синтезированные изображения применялись для сравнения качества классификации изображения на элементарные классы с использованием предложенной технологии и поэлементной классификации алгоритмом К-МеалБ. Синтезированные изображения моделировали данные сенсора Геотон, установленного на борту космического аппарата Ресурс-П [18], в инфракрасном, красном, зеленом и синем каналах. Яркости пикселей каждого из элементарных классов определялись в соответствии со средними значениями и межканальными корреляционными матрицами, полученными по реальным изображениям Геотон для каждого из рассматриваемых элементарных классов растительности в пределах эталонных участков. Пространственная вариация яркости пикселей задавалась в соответствии с моделью стационарного случайного поля с биэкспоненциальной автокорреляционной функцией (АКФ). Выбор модели с биэкспоненциаль-ной корреляционной функцией обусловлен тем, что изображения ДЗЗ для природных объектов имеют АКФ близкую к биэкспоненциальной [19]. Использованная модель позволила обеспечить текстурную составляющую, соответствующую локальным неодно-родностям растительности одного и того же элементарного класса. Параметры пространственной корреляции были определены по реальному изображению залежи для каждого из элементарных классов. Модельные изображения содержали области трех типов фона, соответствовавших классам 1-3, и объектов, соответствовавших классу 4. Пример синтезированного четырехканального изображения залежи и его суперпиксельное представление при значении е = 10 представлены на рис. 1а и б соответственно. Изображение на рис. 1а отконтрастировано от минимума до максимума яркости в каждом канале для более четкого представления границ между областями классов 1-3.
Для проведения сравнительного исследования качества классификации на элементарные классы с помощью предложенной технологии и с помощью поэлементного алгоритма К-Меаш была сформирована обучающая выборка, содержащая для каждого из элементарных классов участки размера 15 х 15 пикселей, преимущественно занятые одним типом растительности. Размер синтезированного изображения составлял 400 х 600 точек. Таким образом, использованная обучающая выборка составила 0,375 % пикселей от общего числа пикселей изображения.
Пример изображения обучающей выборки представлен на рис. 2.
Для оценки качества определения элементарных классов растительности использовалась вероятность р ошибочного определения элементарного класса растительности для пикселей изображения. В качестве контрольной выборки выступали все точки изображения, так как для синтезированного изображения эталонная маска классов была известна.
Предложенная технология требует указания параметра суперпиксельной сегментации е и признаков
суперпикселей, по которым производится классификация. В настоящем исследовании были рассмотрены следующие группы признаков суперпикселей:
1) первая группа содержала 15 признаков: минимальную яркость суперпикселя по каналам изображения, максимальную яркость суперпикселя по каналам изображения, среднюю яркость суперпикселя по каналам изображения, площадь
суперпикселя и размахи координат суперпикселя по вертикали и по горизонтали;
2) вторая группа признаков содержала 5 признаков: площадь суперпикселя и средние яркости суперпикселя по каналам изображения;
3) третья группа признаков соответствовала четырём признакам - средней яркости суперпикселя в каждом из каналов изображения.
Рис. 1. Синтезированное изображение залежи с различной степенью зарастания (а), суперпиксельное представление синтезированного изображения при значении параметра сегментации е = 10 (б)
Рис. 2. Пример изображения меток классов обучающей выборки
Геометрические признаки суперпикселей были использованы в качестве эффективно вычисляемых ана-
логов текстурных признаков в соответствии со следующими эмпирическими предположениями: более однородные участки растительности соответствуют суперпикселям большей площади, а соотношение высоты и ширины суперпикселя характеризует неоднородность корреляционных свойств яркости в разных направлениях.
Для каждой из приведенных выше групп признаков была проведена кластеризация синтезированных изображений с определением элементарных классов растительности с помощью предложенной технологии при различных значениях параметра суперпиксельной сегментации. Результаты сравнения с поэлементной классификацией алгоритмом K-Means и кластеризации с использованием суперпикселей приведены на рис. 3,
где изображена зависимость вероятности ошибочного определения элементарных классов растительности р от удвоенного значения параметра суперпиксельной сегментации 2е.
р,х103
. . А
| !
т
О Первая группа признаков □ Вторая группа признаков х Третья группа признаков Д Поэлементная классификация
2е
О 5 10 15 20 25 30
Рис. 3. Зависимость вероятности ошибочного определения элементарных классов растительности р от значения параметра суперпиксельной сегментации
Из рис. 3 видно, что кластеризация изображения, представленного в суперпиксельном виде, по сравнению с поэлементной классификацией позволяет снизить ошибку в 1,39 и 1,36 раз при значениях порога суперпиксельной сегментации 10 и 15. Иными словами, при правильном подборе е можно повысить каче-
Рис. 4. Концентрация объектов различных классов,
класс 1 (а), класс 2 (б),
Для сравнения качества расчета концентрации элементарных типов растительности с помощью предложенной технологии и концентрации, полученной по результатам поэлементной классификации, был произведен расчет «эталонной» концентрации е(/, щ,п2) объектов каждого из элементарных классов по маске элементарных классов исходного изображения с тем же размером скользящего окна, что и в эксперименте.
Ошибка оценки концентрации в каждой точке изображения рассчитывалась по формуле:
ство кластеризации на элементарные типы растительности, что в результате должно дать более точные оценки состава ареала растительности.
Оценка состава ареала растительности производилась путем расчета концентрации точек, принадлежащих каждому из элементарных классов в рамках некоторой заданной окрестности. Для определения качества оценки концентрации элементарных классов растительности был проведен эксперимент с квадратным скользящим окном размера 25 х25 пикселей в качестве окрестности расчета концентрации. При этом было выбрано значение порога суперпиксельной сегментации, обеспечившее наилучший результат классификации: е = 10. В качестве признаков суперпикселей были рассмотрены средние значения яркости в каждом канале изображения и площадь. Результат расчета концентрации элементарных классов с помощью предложенной технологии представлен на рис. 4. Поскольку изображение концентрации содержало 4 канала, то для удобства представления результат отображен поканально.
Изображения ошибок оценки концентрации, рассчитанной с помощью предложенной технологии и с помощью поэлементной классификации в каждой точке, представлены на рис. 5. Для характеристики общего качества оценки концентрации элементарных классов растительности применялась суммарная ошибка оценки концентрации элементарных классов растительности:
м-1 #2-1 Ь I Т
е = I I а! 1(е (( п1, П2 «1, П2 )) . (8)
щ =0 п2 =0 \1 !=1
Суммарная ошибка оценки концентрации е, полученная для предложенной технологии, по сравнению с поэлементной классификацией при одинаковом размере скользящего окна уменьшилась на 28 %.
Эксперименты на снимках ДЗЗ
Для оценки качества определения элементарных типов растительности в зависимости от используемых для описания суперпикселей множеств при-
знаков и от размера обучающей и контрольной выборок был проведен эксперимент с изображением, полученным сенсором Геотон (КА Ресурс-П). Использованное в экспериментах изображение имело размер 952 х 1148 пикселей и 4 спектральных канала (ближний инфракрасный, красный, зеленый и синий). Использованный снимок с помощью предобработки был приведен к пространственному разрешению 0,8 м. Пример использованного для экспериментов изображения и его суперпиксельное представление при значении е = 10 представлены на рис. 6а, 6б соответственно.
Рис. 5. Ошибка оценки концентрации: для предложенной технологии (а), для поэлементной классификации (б). Тёмные значения соответствуют большим значениям ошибки
Рис. 6. Пример изображения залежи, полученного сенсором Геотон (а), суперпиксельное представление изображения залежи, полученного сенсором Геотон при значении параметра сегментации е=10 (б)
Так как в качестве алгоритма кластеризации используется алгоритм К-Меаш с инициализацией центроидов кластеров по обучающей выборке, то без коррекции обучающей выборки, сформированной пользователем, на участках с тенями центры выделяемых кластеров будут перераспределяться в первую очередь между классами «тень» и «не тень», и, в результате, некоторые из выделяемых элементарных классов могут быть объединены в один класс. По этой причине в рамках эксперимента помимо четырех вышеупомянутых элементарных классов растительности был также определен пятый класс - тени. Необходимость учета теней для реальных данных ДЗЗ имеет большое значение, поскольку перепады яркости на границе тени приводят к разделению одного и того же класса растительности на два подкласса, если в обучающей выборке присутствуют пиксели тени.
В эксперименте использовались две обучающих выборки, представляющие собой области, выбранные пользователем на снимке: объемом 0,25 % и 0,48 % от общего количества пикселей изображения. В обучающих выборках были представлены все выделяемые элементарные классы растительности и класс теней. Эти же выборки были использованы для численного контроля результатов классификации в качестве контрольных выборок в следующем порядке: для контроля результатов, полученных с обучением по выборке объемом 0,25 % всех пикселей изображения, была использована выборка объёма 0,48 % пикселей и наоборот.
В ходе экспериментальных исследований также было произведено сравнение поэлементной классификации методом К-Меаш с кластеризацией изображения, представленного в суперпиксельном виде, методом К-МеапБ при различных наборах признаков суперпикселей. В качестве порога для получения су-
перпикселеи использовалось значение параметра сегментации е = 10. Качество кластеризации оценивалось по значению вероятности ошибочного определения элементарного класса растительности для контрольной выборки.
На рис. 8 приведен пример поэлементной классификации алгоритмом К-Меаш и кластеризации с использованием средних по суперпикселям значений в инфракрасном и красном каналах для выборки размера 0,48 % пикселей изображения. Из рис. 8 видно, что после применения алгоритма суперпиксельной сегментации разделение на элементарные классы растительности производится более точно, в отличие от поэлементной классификации, где классы травостоя высотой до 1 м при 80 % проективном покрытии сильно перепутываются с классом деревьев.
Следует отметить, что выделяемый на изображении класс теней характеризует смежные с ним суперпиксели растительных классов как некоторые объекты, обладающие заметной высотой, что в свою очередь, может быть использовано для последующего
анализа концентрации объектов элементарных классов растительности в пределах заданного ареала.
Вероятность ошибки определения элементарных классов растительности алгоритмом К-Меаш с использованием сегментации на суперпиксели с различными признаками суперпикселей и без неё показаны в табл. 1.
■ V,
• "-у ' ' - > > ч,
• '* ^Гу- .
Рис. 7. Изображение теней, полученное пороговой обработкой изображения N01
Рис. 8. Оценка элементарных классов растительности после обучения по выборке, содержащей 0,48% пикселей; поэлементная классификация K-Means (а), кластеризация К-Мват с применением суперпикселей по средним значениям в инфракрасном и красном спектральных каналах (б)
Табл. 1. Вероятность ошибки определения элементарных классов растительности алгоритмом K-Means с применением суперпиксельного представления изображений и без его применения
Алгоритм кластеризации Признаки Объем обучающей выборки
0,25 % 0,48 %
с использованием суперпикселей минимальная яркость суперпикселей по каналам, максимальная яркость суперпикселей по каналам, средняя яркость суперпикселей по каналам, площадь суперпикселей, ширина, размахи по вертикали и горизонтали 0,2096 0,4250
площадь 0,6649 0,7855
площадь, ширина, высота 0,7739 0,6386
площадь, средняя яркость в красном канале, средняя яркость в инфракрасном канале 0,1419 0,1445
площадь, средняя яркость суперпикселей по каналам 0,3310 0,4282
средняя яркость в красном канале, средняя яркость в инфракрасном канале 0,1419 0,1445
средняя яркость суперпикселей по каналам 0,3310 0,4205
без использования суперпикселей яркость суперпикселей по каналам 0,2052 0,4315
Из табл. 1 можно сделать вывод о том, что при классификации элементарных типов растительности использование суперпикселей позволяет снизить ошибку определения элементарных классов растительности в 1,447 и 2,986 раза в зависимости от выбора обучающей выборки для случая использования таких признаков, как средняя яркость в красном канале и средняя яркость в инфракрасном канале по сегменту. Добавление такого признака, как площадь, на заданном этапе не оказывает существенного влияния. Следует также отметить, что для предложенной технологии, несмотря на изменение размера обучающей выборки, точность классификации изменяется незначительно.
Результат оценки концентрации элементарных классов для изображения 86 представлен на рис. 9.
Путем дальнейшей пороговой обработки или классификации на основе предлагаемого представления изображения в виде концентрации элементарных классов растительности можно определить производные классы типа залежь, чистый лес и т.п. Таким образом, формируемое предложенной технологией представление изображения в виде концентрации может рассматриваться одновременно и как результат классификации, и как признаки для формирования более сложных описаний классов растительных сообществ.
Рис. 9. Концентрация объектов различных классов, полученная с помощью предложенной технологии: класс 1 (а), класс 2 (б), класс 3 (в), класс 4 (г), класс 5 (тени) (д)
Заключение
В статье предложена информационная технология обработки данных дистанционного зондирования Земли для оценки ареалов растений. В качестве оценки выступает показатель концентрации растений различных элементарных классов в рамках заданной окрестности. Получаемое в результате применения технологии изображение концентрации может быть использовано как в качестве самостоятельного результата определения элементарных типов растительности, так и в качестве признакового описания для более сложных классов растительных сообществ. В статье рассмотрены основные этапы предложенной технологии: суперпиксельная сегментация, формирование обучающей выборки, кластеризация и оценка концентрации элементарных классов растительности. Для оценки качества работы предложенной технологии было произведено сравнительное исследование реализации предложенной технологии с помощью алгоритма К-Меаш и поэлементной классификацией К-Меаш на синтезированных изображениях, имитирующих залежи с различной степенью зарастания деревьями и кустарниками, и на реальных мультиспектральных изображениях полученных с помощью сенсора Геотон (КА Ресурс-П). Результаты экспериментов с синтезированными изображениям показали, что предложенная технология обладает более высоким качеством определения элементарных классов растительности и уменьшает суммарную ошибку оценки их концентрации на 28 %. Результаты экспериментов с реальными изображениями показали необходимость учета теней от объектов в качестве отдельного элементарного класса. Предложенная технология ориентирована на мультиспектральные данные высокого разрешения (от 1 до 5 м) и проста в реализации в отличие от существующих технологий классификации изображений растительных сообществ.
Благодарности Работа выполнена при поддержке гранта РФФИ № 16-29-09494 офи_м, субсидии (08-08), выделенной в соответствии с соглашением от 26.02.2018 г. № 074-022018-294, предоставленной на государственную поддержку федерального государственного автономного образовательного учреждения высшего образования «Самарский национальный исследовательский университет имени академика С.П. Королёва» в целях повышения конкурентоспособности Учреждения среди ведущих мировых научно-образовательных центров, а также при поддержке Министерства науки и высшего образования в рамках выполнения работ по Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-Г3/Ч3363/26).
Литература
1. Воробьёва, Н.С. Информационная технология раннего распознавания видов сельскохозяйственных культур по космическим снимкам / Н.С. Воробьёва, В.В. Сергеев, А.В. Чернов // Компьютерная оптика. - 2016. - Т. 40,
№ 6. - С. 929-938. - DOI: 10.18287/2412-6179-2016-40-6929-938.
2. Yu, Q. Object-based detailed vegetation classification with airborne high spatial resolution remote sensing imagery / Q. Yu, P. Gong, N. Clinton, G. Biging, M. Kelly, D. Schirokauer // Photogrammetric Engineering & Remote Sensing. - 2006. -Vol. 72(7). - P. 799-811. - DOI: 10.14358/PERS.72.7.799.
3. Синявский, Ю.Н. Методы и технология сегментации мультиспектральных изображений высокого разрешения для исследования природных и антропогенных объектов / Ю.Н. Синявский, И.А. Пестунов, О.А. Дубровская, С.А. Рылов, П.В. Мельников, Н.Б. Ермаков, М. А. Полякова // Вычислительные технологии. - 2016. -Т. 21, № 1. - С. 127-140.
4. Chang, S.-H. 79-channel airborne imaging spectrometer / S.-H. Chang, M.J. Westfield, F. Lehmann, D. Oertel, R. Richter // Proceedings of SPIE. - 1993. - Vol. 1937. -P. 164-173. - DOI: 10.1117/12.157053.
5. Flanders, D. Preliminary evaluation of eCognition object-based software for cut block delineation and feature extraction / D. Flanders, M. Hall-Beyer, J. Pereverzoff // Canadian Journal of Remote Sensing. - 2014. - Vol. 29, Issue 4. -P. 441-452. - DOI: 10.5589/m03-006.
6. Questier, F. The use of CART and multivariate regression trees for supervised and unsupervised feature selection / F. Questier, R. Put, D. Coomans, B. Walczak, Y. Vander Heyden // Chemometrics and Intelligent Laboratory Systems. - 2005. - Vol. 76, Issue 1. - P. 45-54. - DOI: 10.1016/j.chemolab.2004.09.003.
7. MacQueen, J.B. Some methods for classification and analysis of multivariate observations / J.B. MacQueen // Proceedings of the Fifth Symposium on Math, Statistics, and Probability. - 1967. - Vol. 1. - P. 281-297.
8. Mutanga, O. High density biomass estimation for wetland vegetation using WorldView-2 imagery and random forest regression algorithm / O. Mutanga, E. Adam, M.A. Cho // International Journal of Applied Earth Observation and Geoinformation. - 2012. - Vol. 18. - P. 399-406. - DOI: 10.1016/j.jag.2012.03.012.
9. Борзов, С.М. Классификация типов растительного покрова по гиперспектральным данным дистанционного зондирования Земли / С.М. Борзов, О.И. Потатуркин // Вестник Новосибирского государственного университета. Серия: Информационные технологии. - 2014. -Т. 12, № 4. - C. 13-22.
10. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева, В.А. Фурсов; под ред. В.А. Сойфера. - Изд. 2-е, испр. - М.: Физ-матлит, 2003. - 784 с. - ISBN: 5-9221-0270-2.
11. Felzenszwalb, P.F. Efficient graph-based image segmentation / P.F. Felzenszwalb, D.P. Huttenlocher // International Journal of Computer Vision. - 2004. - Vol. 59, Issue 2. -P. 167-181. - DOI: 10.1023/B:VISI.0000022288.19776.77.
12. Shi, J. Normalized cuts and image segmentation / J. Shi, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22, Issue 8. - P. 888-905. - DOI: 10.1109/34.868688.
13. Liu, M.-Y. Entropy rate superpixel segmentation / M.-Y. Liu, O. Tuzel, S. Ramalingam, R. Chellappa // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2011. - P. 2097-2104. - DOI: 10.1109/CVPR.2011.5995323.
14. Achanta, R. SLIC superpixels compared to state-of-the-art superpixel methods / R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk // IEEE Transactions on Pattern Analysis
and Machine Intelligence. - 2012. - Vol. 34, Issue 11. -P. 2274-2282. - DOI: 10.1109/TPAMI.2012.120.
15. Li, Z. Superpixel segmentation using linear spectral clustering / Z. Li, J. Chen // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - P. 1356-1363. -DOI: 10.1109/CVPR.2015.7298741.
16. Wang, J. VCells: simple and efficient superpixels using Edge-Weighted Centroidal Voronoi Tessellations / J. Wang, X. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, Issue 6. - P. 12411247. - DOI: 10.1109/TPAMI.2012.47.
17. Kavelenova, L.M. Concerning the possibilities of succes-sional changes revealing in anthropogenically transformed ecosystems on the base of remote sensing and ground-based survey data integration / L.M. Kavelenova, N.V. Prok-horova, E.S. Korchikov, A.Y. Denisova, D.A. Terentyeva // CEUR Workshop Proceedings. - 2017. - Vol. 1901. -P. 99-103.
18. Аншаков, Г.П. Комплексирование гиперспектральных и мультиспектральных данных КА «Ресурс-П» для повышения их информативности / Г.П. Аншаков, А.В. Ращупкин, Ю.Н. Журавель // Компьютерная оптика. -2015. - T. 39, № 1. - С. 77-82. - DOI: 10.18287/01342452-2015-39-1-77-82.
19. Сергеев, Г.А. Статистические методы исследования природных объектов / Г. А. Сергеев, Д. А. Янутш. - Л.: Гидрометеоиздат, 1973. - С. 112.
20. Ma, J.-Q. Content-based image retrieval with HSV color space and texture features / J.-Q. Ma // IEEE International Conference on Web Information Systems and Mining. -2009. - P. 61-63. - DOI: 10.1109/WISM.2009.20.
21. Singh, K.K Shadow detection and removal from remote sensing images using NDI and morphological operators / K.K. Singh, K. Pal, M.J. Nigam // International journal of computer applications. - 2012. - Vol. 42, Issue 10. - P. 3740. - DOI: 10.5120/5731-7805.
Сведения об авторах
Варламова Анна Александровна, 1995 года рождения. В 2017 году окончила Самарский национальный исследовательский университет имени академика С.П. Королева (Самарский университет) с отличием по специальности «Информационная безопасность автоматизированных систем». В настоящее время является аспирантом Самарского университета. Основные сферы научных интересов: обработка изображений, обнаружение искажений на цифровых изображениях, защита информации. E-mail: [email protected] .
Денисова Анна Юрьевна, 1988 года рождения, в 2011 году окончила Самарский государственный аэрокосмический университет имени академика С.П. Королёва (ныне Самарский университет) по специальности «Прикладная математика и информатика». В 2014 году защитила диссертацию на соискание степени кандидата технических наук. Работает старшим научным сотрудником в научно-исследовательской лаборатории №55 (Самарский университет). Область научных интересов: обработка изображений, геоинформационные системы. E-mail: [email protected] .
Сергеев Владислав Викторович родился в 1951 году. В 1974 году окончил Куйбышевский авиационный институт. В 1993 году защитил диссертацию на соискание степени доктора технических наук. Основное место работы - заведующий кафедрой геоинформатики и информационной безопасности Самарского национального исследовательского университета имени академика С.П. Королёва (Самарский университет). По совместительству работает заведующим лабораторией математических методов обработки изображений в Институте систем обработки изображений РАН (ИСОИ РАН) - филиале ФНИЦ «Кристаллография и фотоника» РАН. Круг научных интересов: цифровая обработка сигналов, анализ изображений, распознавание образов, геоинформатика. E-mail: [email protected] .
ГРНТИ: 28.21.15, 28.17.19, 89.57.35, 89.57.45 .
Поступила в редакцию 9 июня 2018 г. Окончательный вариант - 21 сентября 2018 г.
EARTH REMOTE SENSING DATA PROCESSING TECHNOLOGY FOR OBTAINING VEGETATION TYPES MAPS
A.A. Varlamova1, A. Y. Denisova1, V. V. Sergeev1,2
1 Samara University, Moskovskoe Shosse 34А, Samara, Russia, 443086
2Image Processing Systems Institute, Branch of the Federal Scientific Research Centre "Crystallography and Photonics" of Russian Academy of Sciences, Molodogvardeiskaya st. 151, Samara, 443001, Russia
Abstract
In this paper, we propose an earth remote sensing data processing technology for obtaining vegetation types maps. The technology includes the following steps: obtaining superpixel representation of an image, calculating superpixel features, K-Means clustering of superpixels by a user-defined training sample, and obtaining vegetation types maps. When compared to other solutions, the major difference of the proposed technology is the ability to combine superpixel segmentation and feature calculation into a single process in one pass of an image that reduces the computational complexity. Another difference lies in the way of forming a sample dataset using superpixel representation of an image. The advantages of the proposed technology are the use of a
smaller training dataset and a higher classification quality in comparison with the elemental classification.
Keywords: superpixel segmentation, clustering, vegetation regions, percentage composition.
Citation: Varlamova AA, Denisova AY, Sergeev VV. Earth remote sensing data processing for obtaining vegetation types maps. Computer Optics 2018; 42(5): 864-876. DOI: 10.18287/24126179-2018-42-5-864-876
Acknowledgements: The work was partially funded by the Russian Foundation for Basic Research under grant #16-29-09494 ofi_m, the state subsidy # 08-08 under agreement No. 074-022018-294 to enhance the University's international competitiveness, and the Ministry of Science and Higher Education of the Russian Federation in the framework of the work of the state-assigned task (agreement 007-f3/43363/26).
References
[1] Vorobiova NS, Sergeyev VV, Chernov AV. Information technology of early crop identification by using satellite images [In Russian]. Computer Optics 2016; 40(6): 929938. DOI: 10.18287/2412-6179-2016-40-6-929-938.
[2] Yu Q, Gong P, Clinton N, Biging G, Kelly M, Schirokauer D. Object-based detailed vegetation classification with airborne high spatial resolution remote sensing imagery. Pho-togrammetric Engineering & Remote Sensing 2006; 72(7): 799-811. DOI: 10.14358/PERS.72.7.799.
[3] Sinyavskiy YN, Pestunov IA, Dubrovskaya OA, Rylov SA, Melnikov PV, Ermakov NB, Polyakova MA. Methods and technology for segmentation of images with high spatial resolution for studies of nature and man-made objects [In Russian]. Computational Technologies 2016; 21(1): 127-140.
[4] Chang S-H, Westfield MJ, Lehmann F, Oertel D, Richter R. 79-channel airborne imaging spectrometer. Proc SPIE 1993; 1937: 164-173. DOI: 10.1117/12.157053.
[5] Flanders D, Hall-Beyer M, Pereverzoff J. Preliminary evaluation of eCognition object-based software for cut block delineation and feature extraction. Canadian Journal of Remote Sensing 2014; 29(4): 441-452. DOI: 10.5589/m03-006.
[6] Questier F, Put R, Coomans D, Walczak B, Vander Heyden Y. The use of CART and multivariate regression trees for supervised and unsupervised feature selection. Chemometrics and Intelligent Laboratory Systems 2005; 76(1): 45-54. DOI: 10.1016/j.chemolab.2004.09.003.
[7] MacQueen JB. Some methods for classification and analysis of multivariate observations. Proc Fifth Symposium on Math, Statistics, and Probability 1967; 1: 281-297.
[8] Mutanga O, Adam E, Cho MA. High density biomass estimation for wetland vegetation using WorldView-2 imagery and random forest regression algorithm. International Journal of Applied Earth Observation and Geoinformation: 2012; 18: 399-406. DOI: 10.1016/j.jag.2012.03.012.
[9] Borzov SM, Potaturkin OI. Vegetable cover type classification using hyperspectral remote sensing [In Russian]. Novosibirsk State University Journal of Information Technologies 2014; 12(4): 13-22.
[10] Soifer VA, ed. Methods for computer image processing [In Russian]. Moscow: "Fizmatlit" Publisher; 2003. ISBN: 59221-0270-2.
[11] Felzenszwalb PF, Huttenlocher DP. Efficient graph-based image segmentation. International Journal of
Computer Vision 2004; 59(2): 167-181. DOI: 10.1023/B:VISI.0000022288.19776.77.
[12] Shi J, Malik J. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(8): 888-905. DOI: 10.1109/34.868688.
[13] Liu M-Y, Tuzel O, Ramalingam S, Chellappa R. Entropy Rate Superpixel Segmentation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2011; 20972104. DOI: 10.1109/CVPR.2011.5995323.
[14] Achanta R, Shaji A, Smith K, Lucchi A, Fua P, Susstrunk S. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Transactions on Pattern Analysis and Machine Intelligence 2012; 34(11): 2274-2282. DOI: 10.1109/TPAMI.2012.120.
[15] Li Z, Chen J. Superpixel segmentation using linear spectral clustering. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015; 1356-1363. DOI: 10.1109/CVPR.2015.7298741.
[16] Wang J, Wang X. VCells: simple and efficient superpixels using Edge-Weighted Centroidal Voronoi Tessellations. IEEE Transactions on Pattern Analysis and Machine Intelligence 2012; 34(6): 1241-1247. DOI: 10.1109/TPAMI.2012.47.
[17] Kavelenova LM, Prokhorova NV, Korchikov ES, Denisova AY, Terentyeva DA. Concerning the possibilities of successional changes revealing in anthropogeni-cally transformed ecosystems on the base of remote sensing and ground-based survey data integration. CEUR Workshop Proceedings 2017; 1901: 99-103.
[18] Anshakov GP, Raschupkin AV, Zhuravel YV. Hyperspec-tral and multispectral RESURS-P data fusion for increase of their informational content [In Russian]. Computer Optics 2015; 39(1): 77-82. DOI: 10.18287/0134-2452-201539-1-77-82.
[19] Sergeyev GA, Yantush DA. Statistical methods of natural objects investigation [In Russian]. Leningrad: "Gidrome-teoizdat" Publisher; 1973.
[20] Ma J-Q. Content-based image retrieval with HSV color space and texture features. IEEE International Conference on Web Information Systems and Mining 2009; 61-63. DOI: 10.1109/WISM.2009.20.
[21] Singh KK, Pal K, Nigam MJ. Shadow detection and removal from remote sensing images using NDI and morphological operators. International journal of computer applications 2012; 42(10): 37-40. DOI: 10.5120/5731-7805.
Author's information
Anna Aleksandrovna Varlamova (b. 1995) graduated with honors from Samara National Research University (Samara University) majoring in Information Security of Computer-Aided Systems in 2017. Nowadays she is a postgraduate at Samara National Research University. Main research interests: image processing, digital image forgery detection and information security. E-mail: [email protected] .
Anna Yurievna Denisova (b. 1988). Graduated from Samara National Research University (Samara University) in 2011 as Master of Mathematics and Computer Science. She received a degree of Candidate in Technical sciences in 2014. Now works at Samara University. The area of research interest includes image processing and geoinformational systems. E-mail: [email protected] .
Vladislav Victorovich Sergeyev (1951 b.), graduated (1974) from Samara National Research University (Samara University). He received his PhD in Technical Sciences (1978) and DrSc degree in Applied Mathematics and Physics (1993). At present he is a head Geoinformation Science and Information Security sub-department in Samara University and holding a part-time position as the head of laboratory at the Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" RAS. The area of interests includes digital signals and image processing, geoinformatics and pattern recognition. E-mail: [email protected] .
Received June 9, 2018. The final version - September 21, 2018.
