CC BY
52
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
ВЫДЕЛЕНИЕ СЕЗОННО-ОДНОРОДНЫХ ОБЛАСТЕЙ НА ОСНОВЕ АНАЛИЗА ВРЕМЕННЫХ СЕРИЙ СПУТНИКОВЫХ ИЗОБРАЖЕНИЙ
Д.Е. Плотников1, П.А. Колбудаев1, С.А. Барталёв1 1 Институт космических исследований РАН, Москва, Россия
Аннотация
В работе рассматривается метод сегментации временных серий спутниковых изображений, позволяющий использовать разновременную информацию при формировании границ сегментов. Метод выделяет однородные объекты со схожей временной динамикой дистанционных характеристик, небольшими порциями анализируя значительные по объёму массивы разновременных входных данных, позволяя получать целостный результат сегментации на протяженные территории. Логика формирования сегментов максимально упрощена для обеспечения минимального времени работы, при этом точность проведения границ достаточна для решения задач мониторинга и распознавания быстроменяющихся типов растительного покрова, таких как сельскохозяйственная растительность. Описанный метод сегментации в настоящее время используется в автоматических алгоритмах оперативного анализа спутниковых данных, разработанных в ИКИ РАН для распознавания и оценки состояния растительности на больших территориях, в частности, озимых, яровых культур, используемых пахотных земель. Возможность установления границ сегментов в условиях наличия пропущенных значений во временных сериях данных позволяет рассчитывать и восстанавливать недостающие измерения на основе спектрально-временных связей между пикселями сегмента. Устойчивость метода к шуму в исходных данных дистанционных наблюдений может быть использована для его подавления, что показано на примере радиолокационных изображений.
Ключевые слова: сегментация, дистанционное зондирование, спектрально-динамические метрики, анализ изображений.
Цитирование: Плотников, Д.Е. Выделение сезонно-однородных областей на основе анализа временных серий спутниковых изображений / Д.Е. Плотников, П.А. Колбудаев, С.А. Барталёв // Компьютерная оптика. - 2018. - Т. 42, № 3. - С. 447-456. - Б01: 10.18287/2412-6179-2018-42-3-447-456.
Введение
Сегментация спутниковых изображений часто используется для выделения однородных объектов с целью упрощения дальнейшей интерпретации снимков, в том числе на основе автоматических алгоритмов. В настоящее время существует множество методов сегментации изображений, основанных на использовании мультиспектральных, текстурных и других признаков [1 - 12], что вызвано сложностью реализации универсального автоматического метода, подходящего для решения любых задач. Стратегия сегментации изображений может различаться в зависимости от характеристик приборов и спутниковых систем, а также стоящих перед пользователем задач, однако зачастую именно одномоментные мультис-пектральные изображения рассматриваются в качестве источника пространственной информации. Для максимально полного извлечения разнородной информации из одномоментного изображения наиболее эффективными оказываются вычислительно трудоемкие алгоритмы [7, 13].
Нередко особенности сезонной или многолетней изменчивости соседних объектов растительного покрова могут нести больше информации об их семантической близости, чем одномоментные характеристики их пространственной структуры или спектра. Например, к распространенным задачам дистанцион-
ного мониторинга сельскохозяйственной растительности относится идентификация участков полей, засеянных различными культурами, каждая из которых представляет собой однотипную травянистую растительность с несколько различной динамикой сезонного развития. При этом одномоментные различия спектрально-отражательных характеристик участков обычно невелики, а для некоторых моментов времени практически отсутствуют. С другой стороны, имеющаяся ввиду наличия сельскохозяйственных севооборотов пространственная изменчивость спектрально-динамических характеристик пахотных земель может приводить к тому, что в момент максимальных различий между объектами одного типа растительного покрова разница между другой парой объектов выражена очень слабо. Таким образом, поиск фиксированных моментов времени с максимальной разделимостью некоторой совокупности объектов не всегда является выигрышной стратегией для устойчивого автоматического разделения всех объектов. При этом нужно учитывать и практически неизбежное наличие пропусков в данных спутниковых наблюдений ввиду облачности, теней от неё и прочих мешающих факторов.
Многие алгоритмы сегментации используют принципы итеративности и иерархичности [5, 7, 14]. Так, иерархический объектный подход применяется в ряде коммерческих программных продуктов, где цвет,
форма, текстура и размер объектов являются признаками для итеративной сегментации. Требование уменьшения времени работы при анализе данных больших объемов диктует необходимость создания разноуровневой структуры объектов, предполагающей последовательную агрегацию областей изображений, соответствующих пространственно-связанным измерениям. Актуальным является вопрос количества параметров сегментации: большое количество степеней свободы позволяет точнее настроить результат сегментации под конкретную задачу, но также требует более глубокого понимания алгоритма обработки данных конечным пользователем. Методы с малым количеством параметров проще настроить под конкретную задачу, но они обычно являются и менее гибкими.
Разработанные в ИКИ РАН методы широкомасштабного дистанционного мониторинга растительного покрова, в частности сельскохозяйственной растительности, предполагают получение оперативной информации о площадях и состоянии посевов в широком диапазоне агроклиматических и социально-экономических условий, различной пространственной структуры и морфологии полей в условиях различной интенсивности воздействия мешающих факторов [15 - 21]. В то же время при решении задач оперативного спутникового мониторинга больших территорий (стран или континентов) требуется создание единого и однородного бесшовного покрытия сегментами, которое может иметь объём, измеряемый единицами или десятками гигабайт в зависимости от величины пространственного разрешения. Поскольку объём временных рядов, необходимых для сегментации входных спутниковых данных, описывающих сезонную динамику объектов мониторинга, многократно превышает указанные выше значения, метод сегментации должен обеспечивать управление данными больших объёмов.
В настоящей статье описывается метод выделения однородных областей на основе временной серии спутниковых данных с наличием пропусков, поддерживающий работу с изображениями больших объёмов. Метод использует минимальное число параметров, используя понятные для интерпретации пользователем метрики, а также простую логику слияния объектов для ускорения вычислений. Упрощение логики алгоритма может привести к изменению качества результатов, поэтому целью в рамках данной работы было исследование стабильности контрольных характеристик сегментации в рабочем диапазоне изменения входных параметров. Дополнительно метод был исследован в условиях наличия шумов во входных данных на примере анализа результатов сегментации спекл-зашумленных радиолокационных изображений С-диапазона, полученных спутниковой системой БепйпеИ.
1. Условия работы метода
Для автоматизированного решения задач широкомасштабного спутникового мониторинга и устойчивого выделения объектов земного покрова на основе фе-
нологических различий их дистанционных характеристик реализован метод сегментации, позволяющий:
1) использовать основанные на временных сериях дистанционных измерений метрики;
2) учитывать возможное наличие пропущенных измерений и шумов во временных сериях данных;
3) создавать однородное покрытие сегментами без пробелов и стыков для территории произвольного размера.
Ввиду необходимости использования значительного (терабайты) объема входных данных в процессе обработки больших территорий, метод должен поддерживать их локальную загрузку и анализ небольшими порциями, обеспечивая при этом пространственную связность результатов сегментации. Другими требованиями являлись относительная простота задаваемых параметров и быстродействие алгоритма сегментации изображений для обеспечения своевременного выполнения текущих задач оперативного мониторинга растительного покрова.
2.Описание метода и используемых метрик
Метод использует объектно-ориентированную муль-тимасштабную модель анализа изображений, рассчитывая характеристики для агломерации объектов, объединенных на предыдущей итерации, и работает по принципу «снизу-вверх». Под объектом здесь и далее понимается пиксель или пространственно связанная группа соседних пикселей (и соответствующий им участок земной поверхности). Объект рассматривается как единое целое на текущем шаге алгоритма. Агломерациями объектов считается набор пространственно связанных соседних объектов, изучаемых на текущем шаге на предмет слияния в единый объект. В основе метода лежит использование парных метрик, рассчитываемых для сравниваемых соседних объектов текущего масштаба. В качестве таких метрик, извлекаемых из временных серий спутниковых данных, используются взаимный коэффициент корреляции Пирсона и взаимное расстояние между временными рядами пар сравниваемых объектов. Пусть задан одномерный вектор значений Х= {х, - =1.. N N>>1} как серия разновременных измерений дистанционных характеристик объекта, где N - общее количество таких измерений. Тогда для пары указанным образом заданных одномерных векторов X и У, принадлежащих двум соседним объектам, на любой итерации можно рассчитать значения метрик коэффициента корреляции
к _ Т(х - х)( У - у) (1)
(х - х)2 X (У,- - у)2
и взаимного относительного расстояния
В _ 1Т Iх- - У-1 , (2)
тах( х 1, у 1)
где х и у - выборочные средние для векторов X и У, а тах (х,, у,) - функция, возвращающая значение наибольшего элемента из пары.
Легко понять, что чем сильнее связаны между собой объекты, тем выше значение коэффициента корреляции и ниже значение взаимного относительного расстояния. Использование коэффициента корреляции позволяет группировать объекты со схожей динамикой значений разновременных измерений, а метрика взаимного относительного расстояния устанавливает необходимое ограничение на максимально допустимые различия между временными сериями. Для ускорения анализа при оценке величины связи между объектами используется метрика общего парного расстояния Р (далее - парное расстояние), рассчитываемая на основе метрик (1) и (2) следующим образом:
Р = (3)
К + 2
Значения этой парной метрики растут при увеличении взаимного относительного расстояния Б и при уменьшении коэффициента корреляция Пирсона К, т.е. по мере ослабевания связи между парой объектов (рис. 1).
-1,0 -0,5 0 0,5 1,0
Рис. 1. Изолинии значений метрики общего парного расстояния P в пространстве значений корреляции K и относительного расстояния D
На каждой итерации объект текущего масштаба сравнивается со всеми соседними объектами с расчетом метрики общего расстояния и формированием предпочтительных направлений возможного слияния. Результат сравнения можно представить в виде цепочки взаимных ссылок объектов друг на друга. Аналог получаемой карты ссылок - это ориентированный граф, рёбра которого имеют связанный со значениями метрики парного расстояния вес.
С точки зрения общей классификации методов выделения однородных областей описываемый подход ближе всего к сегментации на основе водораздела, поскольку реализует принцип «текущей капли» («drop of water principle» в работе [22]), однако используемые им парные метрики не подразумевают существование локальных минимумов и абсолютных градиентов значений этих метрик, на которые полагается сегментация такого рода. Было показано [22], что сегментация методом водораздела по принципу текущей капли топологически эквивалентна задаче построения минимального покрывающего дерева -графа, имеющего минимальный возможный вес. Некоторые другие методы сегментации [23 - 25] тоже
могут использовать подходы, позаимствованные из теории графов, в частности, метод разрезания графа. Разрезание самой длинной связи также используется в рамках описываемого метода в целях обеспечения необходимой однородности конечного сегмента.
Алгоритм выделения однородных областей можно представить в виде следующих шагов:
1. Поиск соседей каждого объекта. На первой итерации каждый пиксель является отдельным объектом.
2. Расчет парных метрик, численные значения которых определяют силу связи, для каждого из соседних объектов и установление направления (ссылки) на ближайшего (в терминах парного расстояния) соседа.
3. Создание списка всех объектов, связанных ссылками друг с другом.
4. Поиск среди связанных ссылками центрального объекта, который характеризуется минимальным суммарным значением парного расстояния до остальных объектов формируемой агломерации.
5. Проверка на однородность текущей агломерации объектов путём их сравнения с центральным объектом. Если элемент агломерации выходит за пределы области однородности, размеры которой обусловлены заданными пользователем пороговыми значениями метрик Б и К, то агломерация считается неоднородной, и далее принимаются меры по устранению причин неоднородности (п. 7). Переход к п. 6 в противном случае.
6. Дальнейшее изучение текущей агломерации на уровне отдельных пикселов путём их сравнения с центральным объектом на основе метрик Б и К. В случае превышения пороговых значений на эти метрики агломерация считается неоднородной.
7. В случае, если на шагах 5 или 6 алгоритма текущая агломерация оказалась неоднородной, то среди образующих её объектов разрезается наиболее слабая связь, характеризуемая максимальным значением парного расстояния между составляющими её объектами; иначе считается, что проверка на однородность пройдена успешно (п. 8).
8. Если проверки на однородность агломерации пройдены успешно, её характеристики пересчиты-ваются в процессе агрегации составляющих её объектов, и она рассматривается как единый объект на следующей итерации.
9. Итерации повторяются, пока положение и размеры объектов не перестанут меняться.
3. Оценка точности положения границ сегментов
Относительно высокая скорость работы сегментации изображений описанным методом достигается последовательным повышением уровня агрегации объектов. Отметим, что положение границ сегментов алгоритмом специально не контролируется, поэтому оценка точности и устойчивости их проведения при различных входных параметрах является достаточно объективной независимой характеристикой метода.
Для обеспечения сравнимости и исследования результатов сегментации, полученных при различных параметрах, была зафиксирована область анализа и набор входных данных. В качестве признаков для сегментации использовалась временная серия изображений NDVI (Normalized Difference Vegetation Index), полученных на основе измерений прибора OLI (Landsat 8), охватывающая часть вегетационного периода растительности с марта по сентябрь 2016 года для прямоугольного участка в Ставропольском крае размером 40 на 60 км. Участок характеризуется выраженной неоднородностью сельскохозяйственного ландшафта и наличием большого количества культур в локальных севооборотах (рис. 2).
Рис. 2. Разновременной RGB синтез набора исходных изображений NDVI по данным OLI (Landsat 8) на тестовый регион Ставропольского края (здесь Red-Green-Blue: 30.07.2016-12.06.2016-9.09.2016 соответственно) (а) и пример сегментации, полученный по этому набору (б); палитра использует минимально достаточное количество цветов для разделения сегментов
Сельскохозяйственные поля зачастую окружены узкими защитными лесополосами, а их размер варьируется в широком диапазоне значений. Практикуется ежегодное переразбиение больших полей на участки меньшего размера, занятые различными культурами текущего сезона вегетации. Для корректной и оперативной оценки состояния культур и прогнозирования урожайности своевременное получение границ однородных участков, засеянных одной культурой, является востребованным.
Оценка точности проведения границ в процессе сегментации производится путем анализа спектрально-динамической схожести трёх референтных пикселей. Тройка пикселей формируется на границе двух
соседних сегментов таким образом, чтобы центральный пиксель непосредственно граничил (углом или гранью) с двумя другими. При этом один из двух нецентральных пикселей должен принадлежать тому же сегменту, что и центральный (назовём эту пару внутрисегментными пикселями), а второй должен принадлежать соседнему сегменту (этот пиксель вместе с центральным формируют пару, которую назовём раз-носегментными пикселями). В общем случае два нецентральных пикселя не граничат друг с другом и связи внутри этой пары далее не рассматриваются. Согласно логике разбиения изображения алгоритмом, можно ожидать, что внутрисегментные пиксели обладают необходимой в терминах входных пороговых значений схожестью по каждой из метрик К и Б, и, наоборот, разносегментные пиксели различаются сильнее (недостаточно похожи), чем определенный пороговыми значениями уровень - как минимум по одной из метрик.
Для получения интегральной оценки результата сегментации на регион использовалась квазирегулярная сеть из сформированных указанным выше образом троек референтных пикселей, которые автоматически подбирались максимально близко к узлам регулярной сети, равномерно покрывающей тестовую область. Каждая тройка пикселей продуцирует две пары характеристик К, Б, соответствующих меткам на диаграмме, представленной рис. 3: одна пара значений соответствовала результатам сравнения внутрисегментных пикселей Кх, Бх (х-образные метки), а другая - результатам сравнения разносегментных пикселей Ка, Б0 (о-образные метки). Прямоугольная рамка на рисунке ограничивает область А множества сочетаний значений параметров, которым должны соответствовать пиксели объектов с необходимой степенью связи (в данном случае пороговые значения метрик: К = 0,97, Б = 0,02). Таким образом, к ошибкам проведения границ относятся ситуации, когда х-образные метки находятся в области Б значений метрик (недосегментация), а также когда о-образные метки попадают в ограниченную рамкой область А значений метрик (пересегментация). Общая точность проведения границ при текущих параметрах сегментации рассчитывается как количество случаев верно проведенных границ, отнесенное к числу всех исследуемых случаев.
Поскольку имеются две степени свободы, непосредственно влияющие на результат сегментации, можно анализировать зависимость точности положения границ от двух параметров одновременно, получив на выходе трехмерный график. Однако такой результат представляется избыточным и малоинформативным ввиду того, что метод во многом опирается на значения метрики общего расстояния, а получение трехмерной зависимости является вычислительно трудоёмкой задачей.
Анализ точности проведения границ в зависимости от всех параметров сегментации является более информативным при движении по траектории «наискорейшего спуска» в пространстве используемых
метрик, т. е. такого одновременного изменения входных пороговых значений для метрик К и Б, когда образуемая парами их значений линия местно перпендикулярна изолиниям метрики общего парного расстояния Р (рис. 4).
При движении по этой траектории можно зафиксировать некоторый шаг изменения общего расстояния, позволяющий с необходимой детальностью описать динамику общей точности проведения границ. Для каждого результата сегментации, полученного на текущем шаге при соответст-
Относительное расстояние В 0,06-
0,05-о
вующих входных пороговых значениях на метрики К и Б, точность проведения границ была рассчитана на основе 160 троек референтных пикселов, расположенных максимально близко к узлам регулярной сети, покрывающей тестовый регион. Для этого рассчитывалось количество исходов всех типов, учитывая число попадания меток в соответствующие области рис. 3, и формировалась матрица ошибок, общая точность которой ОА является функцией от значения метрики общего парного расстояния Р (рис. 5).
0,04
1,00
Коэффициент корреляции К
Рис. 3. Пример диаграммы для оценки точности проведения границ при сегментации для 160 сегментов регулярной сети: значками «о» показаны результаты сравнения пар пикселей из разных сегментов, значками «х» - пар из одного сегмента, рамкой показана область пороговых значений параметров сегментации (К = 0,97, Б = 0,02)
Точность границ ОА
0,81 0,80 0,79 0,78 0,77 0,76 0,75 0,74 0,73 0,72
0,6 0,7
Рис. 4. Кривая оптимального изменения параметров оценки сегментации (черный), перпендикулярная изолиниям метрики общего парного расстояния (серый)
0 0,05 0,10 0,15 0,20 0,25 Общее парное расстояние Р
Рис. 5. Изменение точности OA проведения границ при автоматической сегментации по мере ослабления пороговых значений на входные параметры
График на рис. 5 демонстрирует ожидаемое общее уменьшение точности сегментации в терминах положения границ по мере ослабления входных пороговых значений. Некоторая немонотонность снижения точности обусловлена локальными вариациями статистического разнообразия выборки из тестовых троек, которое меняется по мере изменения входных параметров сегментации и увеличения размеров сегментов. Из общих соображений понятно, что в целом график должен демонстрировать монотонное снижение общей
точности положения границ по мере смягчения входных параметров и увеличения порогового значения общего парного расстояния Р. Стартовое значение точности при наиболее жестких из набора исследуемых пороговых значений превышает отметку 80 %. При этом, очевидно, значения точности будут стремиться к отметке 100 % при дальнейшем ужесточении пороговых значений до максимально возможных, когда каждый сегмент представляет собой отдельный пиксел (максимально возможная пересегментация).
Интерес представляет кривая точности в диапазоне общего расстояния от 0,1 и далее, где наблюдается стабилизация общей точности возле значений 73 -75 %. Помимо демонстрации характеристик метода, этот результат также характеризует величину общей неоднородности тестового региона через количество и расположение ландшафтно-однородных зон. В частности, для любого относительно неоднородного участка земной поверхности можно ожидать, что подобный график будет иметь несколько регионов стабильных значений (плато) на разных уровнях общей точности с участками скачкообразных переходов между ними. Наличие участков плато обусловлено существованием некоторого диапазона параметров сегментации, когда положение границ сегментов стабилизировано и меняется слабо, сталкиваясь с чёткими природными границами между объектами разных типов земного покрова.
4. Особенности и приложения метода
Возможность сегментации временных рядов изображений в условиях наличия пропущенных значений
Используемые методом метрики допускают наличие пропущенных значений во временных сериях данных, если имеющиеся безоблачные измерения позволяют установить спектрально-динамические связи между примитивами. Вероятность успешного восстановления связи ассоциирована с близостью закона распределения набора имеющихся безоблачных измерений в текущем пикселе к Гауссовому, который, в частности, лежит в основе расчета метрики К. Согласно закону больших чисел, увеличение количества измерений ведет к приближению распределения к нормальному виду и, следовательно, большей толерантности метода к наличию пропущенных значений. Для демонстрации устойчивости результатов сегментации область пропущенных значений была искусственно создана в одном из признаков набора входных данных (рис. 6), состоящего из 9 разновременных изображений. При одинаковых входных параметрах сегментации результаты выделения границ до и после внесенных изменений соответствуют однородным объектам на изображениях и отличаются слабо, т.е. метод достаточно устойчив к возмущениям такого рода за счёт статистической избыточности разновременной информации.
Подавление спекл-шума
Спекл-шум на радиолокационных изображениях является неизбежной проблемой, решаемой обычно с помощью пространственных фильтров, при использовании которых может происходить снижение пространственной детальности изображения. В частности, использование одного из наиболее популярных методов оконной фильтрации спекл-шума, фильтра Ли [26], приводит к заметному загрублению изображения, препятствуя выделению чётких границ на основе радарных данных.
Если фенологическая динамика объектов растительного покрова достаточно выражена, описанный метод сегментации изображений позволяет подавить
спекл-шум за счет его осреднения в границах сегментов. Такой подход позволяет во многом сохранить информацию, связанную с пространственным разрешением (рис. 7).
Рисунки указывают на снижение четкости изображения для ряда объектов при использовании фильтра Ли (левый ряд) по сравнению с оригинальными снимками (центральный ряд). Использование сегментации, позволяющей выделять границы и использовать их при подавлении спекл-шума, приводит к получению более чётких и контрастных изображений, что наблюдается на разных уровнях пространственной детализации.
Рис. 6. Границы сегментов (черные линии), полученные на основе неизмененных данных (а) и после создания искусственного пропуска в одном из признаков (б), область пропущенных значений обозначена пунктирной линией, на фоне - изображение признака, в котором была создана область пропущенных значений
Обсуждение и заключение Описанный метод сегментации используется в автоматических алгоритмах оперативного анализа спутниковых данных, разработанных в ИКИ РАН, в частности, для распознавания и оценки состояния озимых и яровых культур, используемых пахотных земель [16 -19]. Описанная возможность установления границ сегментов в условиях наличия пропущенных значений позволяет рассчитывать и восстанавливать недостающие измерения во временных сериях на основе спектрально-временных связей между пикселями сегмента, что было использовано, в частности, в работах [20, 21], где продемонстрировано практическое использование восстановленных временных серий высокого пространственного разрешения для картографирования используемых пахотных земель. Устойчивость метода к шуму в исходных данных может быть использована для его подавления, что показано на примере радиолокаци-
онных изображений, полученных спутниковой системой БейтеМ. Метод может быть улучшен путём уточнения положения границ сегментов непосредственно в процессе их построения, как это было опи-
сано в параграфе оценки точности, при этом приоритетом развития метода остаётся общее быстродействие алгоритма.
Рис. 7. Пример подавления спекл-шума на изображениях Sentinel-1 (поляризация VV), .здесь - разновременной синтез (Red-Green-Blue) за 31.05.2016, 19.05.2016, 25.04.2016 соответственно, по центру - исходные изображения, слева - обработанные фильтром Ли (5*5 пикселей), справа - осредненные по сегментам, снизу приведены фрагменты детально в аналогичном порядке
R. Li // IEEE Transactions on Geoscience and Remote
Благодарности
Работа была выполнена в рамках темы «Мониторинг» (госрегистрация № 01.20.0.2.00164) с использованием ресурсов Центра коллективного пользования
«ИКИ-Мониторинг» [27].
Литература
1. Dey, V. A review on image segmentation techniques with remote sensing perspective / V. Dey, Y. Zhang, M. Zhong // Proceedings of the International Society for Photogram-metry and Remote Sensing Symposium (ISPRS), TC VII Symposium. - 2010. - Vol. XXXVIII, Part 7A. - P. 31-42.
2. Гонсалес, Р. С. Цифровая обработка изображений / Р. Гонсалес, Р.Е. Вудс; пер. с англ. - М.: Техносфера, 2005. - 1072 с. - ISBN: 978-5-94836-331-8.
3. Sarmah, S. A grid-density based technique for finding clusters in satellite image / S. Sarmah, D.K. Bhattacharyya // Pattern Recognition Letters. - 2012. - Vol. 33, Issue 5. -P. 589-604. - DOI: 10.1016/j.patrec.2011.11.021.
4. Барталёв, С.А Анализ возможностей применения методов сегментации спутниковых изображений для выявления изменений в лесах / С.А. Барталёв, Т.С. Ховратович // Современные проблемы дистанционного зондирования Земли из космоса. - 2011. - Т. 8, № 1. - С. 44-62.
5. Rashedi, E. A hierarchical clusterer ensemble method based on boosting theory / E. Rashedi, A. Mirzaei // Knowledge-Based Systems. - 2013. - Vol. 45. - P. 83-93. - DOI: 10.1016/j.knosys.2013.02.009.
6. Yuan, J. Remote sensing image segmentation by combining spectral and texture features / J. Yuan, D.L. Wang,
Sensing. - 2014. - Vol. 52, Issue 1. - P. 16-24. - DOI: 10.1109/TGRS.2012.2234755.
7. Deng, H. Unsupervised image segmentation using a simple MRF model with a new implementation scheme / H. Deng,
D.A. Clausi // Pattern Recognition. - 2004. - Vol. 37, Issue 12. - P. 2323-2335. - DOI: 10.1016/j.patcog.2004.04.015.
8. Zhang, J. Brief review of invariant texture analysis methods / J. Zhang, T. Tan // Pattern Recognition. - 2002. -Vol. 35, Issue 3. - P. 735-747. - DOI: 10.1016/S0031-3203(01)00074-7.
9. Фраленко, В.П. Методы текстурного анализа изображений, обработка данных дистанционного зондирования Земли // Программные системы: теория и приложения. - 2014. - № 4(22). - С. 19-39.
10. Neubert, M. Assessment of remote sensing image segmentation quality / M. Neubert, H. Herold // Proceedings GEO-BIA. - 2008. - 5 p.
11. Gang, L. Remote sensing image segmentation with probabilistic neural networks / L. Gang // Geo-spatial Information Science. - 2005. - Vol. 8, Issue 1. - P. 28-32. - DOI: 10.1007/BF02826988.
12. Su, T. Local and global evaluation for remote sensing image segmentation / T. Su, S. Zhang // ISPRS Journal of Pho-togrammetry and Remote Sensing. - 2017. - Vol. 130. -P. 256-276. - DOI: 10.1016/j.isprsjprs.2017.06.003.
13. Медведева, Е.В. Метод текстурной сегментации изображений на основе марковских случайных полей /
E.В. Медведева, Е.Е. Курбатова // Цифровая обработка сигналов. - 2012. - № 3. - С. 76-80.
14. Плотников, Д.Е. Метод сегментации временной серии спутниковых изображений // Двенадцатая всероссий-
ская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса». Тезисы докладов. - 2014. - С. 375.
15. Барталёв, С. А. Состояние и перспективы развития методов спутникового картографирования растительного покрова России / С.А. Барталёв, В.А. Егоров, В.О. Жарко, Е.А. Лупян, Д.Е. Плотников, С.А. Хвостиков // Современные проблемы дистанционного зондирования Земли из космоса. - 2015. - Т. 12, № 5. - С. 203-221.
16. Плотников, Д.Е. Оценка точности выявления посевов озимых культур в весенне-летний период вегетации по данным прибора MODIS / Д.Е. Плотников, С.А. Барта-лёв, Е.А. Лупян, В. А. Толпин // Современные проблемы дистанционного зондирования Земли из космоса. -2017. - Т. 14, № 4. - С. 132-145. - DOI: 10.21046/20707401-2017-14-4-132-145.
17. Лупян, Е.А. Наблюдение раннего развития озимых культур в южных регионах европейской части России весной 2017 года на основе данных дистанционного мониторинга / Е.А. Лупян, С.А. Барталёв, Ю.С. Крашенинникова, Д.Е. Плотников, В.А. Толпин // Современные проблемы дистанционного зондирования Земли из космоса. - 2017. -Т. 14, № 2. - С. 268-272. - DOI: 10.21046/2070-7401-201714-2-268-272.
18. Лупян, Е.А. Аномальное развитие яровых культур в регионах европейской части России в 2017 году / Е.А. Лупян, С.А. Барталёв, Ю.С. Крашенинникова, Д.Е. Плотников,
B. А. Толпин // Современные проблемы дистанционного зондирования Земли из космоса. - 2017. - Т. 14, № 3. -
C. 324-329. - DOI: 10.21046/2070-7401-2017-14-3-324-329.
19. Bartalev, S.A. Mapping of arable land in Russia using mul-tiyear time series of MODIS data and the LAGMA classification technique / S.A. Bartalev, D.E. Plotnikov, E.A. Lou-pian // Remote Sensing Letters. - 2016. - Vol. 7, Issue 3. -P. 269-278. - DOI: 10.1080/2150704X.2015.1130874.
20. Плотников, Д.Е. Автоматическое распознавание используемых пахотных земель на основе сезонных временных серий восстановленных изображений Landsat / Д.Е. Плотников, П.А. Колбудаев, С.А. Барталев, Е.А. Лу-пян // Современные проблемы дистанционного зондиро-
вания Земли из космоса. - 2018. - Т. 15, № 2. - С. 112127. - DOI: 10.21046/2070-7401-2018-15-2-112-127.
21. Плотников, Д.Е. Распознавание используемых пахотных земель на основе сезонных временных серий восстановленных изображений Landsat на примере Московской области / Д.Е. Плотников, П.А. Колбудаев, С.А. Барталёв, Е.А. Лупян // Пятнадцатая Всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса». Тезисы докладов. - 2017. - С. 410.
22. Cousty, J. Watershed cuts: minimum spanning forests, and the drop of water principle / J. Cousty, G. Bertrand, L. Na-jman, M. Couprie // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2009. - Vol. 31, Issue 8. -P. 1362-1374. - DOI: 10.1109/TPAMI.2008.173.
23. Shi, J. Normalized cuts and image segmentation / J. Shi, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22, Issue 8. - P. 888905. - DOI: 10.1109/34.868688.
24. Grady, L. Random walks for image segmentation / L. Grady // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - Vol. 28, Issue 11. - P. 17681783. - DOI: 10.1109/TPAMI.2006.233.
25. Grady, L. Isoperimetric graph partitioning for image segmentation / L. Grady, E.L. Schwartz // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - Vol. 28, Issue 3. - P. 469-475. - DOI: 10.1109/TPAMI.2006.57.
26. Lee, J.-S. Speckle analysis and smoothing of synthetic aperture radar images / J.-S. Lee // Computer Graphics and Image Processing. - 1981. - Vol. 17, Issue 1. - P. 24-32. -DOI: 10.1016/S0146-664X(81)80005-6.
27. Лупян, Е.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды / Е.А. Лупян, А.А. Прошин, М.А. Бурцев, И.В. Балашов, С.А. Барталёв, В.Ю. Ефремов, А.В. Кашницкий, А.А. Мазуров, А.М. Матвеев, О.А. Суднева, И.Г. Сычугов, В.А. Толпин, И.А. Уваров // Современные проблемы дистанционного зондирования Земли из космоса. - 2015. - Т. 12, № 5. - С. 263-284.
Сведения об авторах
Плотников Дмитрий Евгеньевич, 1984 года рождения, окончил в 2007 году факультет аэрофизики и космических исследований по специальности «Прикладные математика и физика» Московского физико-технического института (государственный университет). В настоящее время является заведующим сектором в отделе «Технологии спутникового мониторинга» Института космических исследований РАН. Кандидат физико-математических наук по специальности 01.04.01 (2012 год). За время работы в ИКИ РАН принимал участие в выполнении российских и международных научно-исследовательских проектов, направленных на развитие методов мониторинга динамики и состояния культурной растительности. В настоящее время занимается разработкой автоматических адаптивных методов анализа многолетних и сезонных временных рядов спутниковых данных для решения ряда задач оценки растительного покрова на больших территориях. Автор более 70 научных публикаций. Область научных интересов: дистанционный мониторинг растительного покрова, анализ и восстановление временных серий, распознавание пахотных земель, спектрально-динамические метрики. E-mail: dmitplot@d902.iki.rssi.ru .
Колбудаев Павел Алексеевич, 1987 года рождения, в 2010 году окончил Московский физико-технический институт по специальности «Прикладная математика и физика», специализация «Космическая физика». В настоящее время работает в Институте космических исследований РАН в отделе Технологий спутникового мониторинга в должности младшего научного сотрудника. Область научных интересов: технологии дистанционного зондирования Земли, программирование, предварительная обработка спутниковых данных. E-mail: kolbudaev@d902.iki.rssi.ru .
Барталёв Сергей Александрович, 1961 года рождения. В 1984 году окончил факультет прикладной космонавтики Московского института геодезии, аэрофотосъемки и картографии по специальности «Исследование природных ресурсов аэрокосмическими методами». Доктор технических наук (2007 год) по специальности «Приборы и методы
экспериментальной физики». Заведующий лабораторией методов спутникового мониторинга наземных экосистем Института космических исследований Российской академии наук. Область научных интересов включает дистанционное зондирование, методы обработки изображений, технологии спутникового мониторинга экосистем. Автор ряда монографий и более 200 научных статей в рецензируемых журналах. E-mail: bartalev@d902.iki. rssi.ru .
ГРНТИ: 89.57.35.
Поступила в редакцию 22 декабря 2017 г. Окончательный вариант - 9 апреля 2018 г.
IDENTIFICATION OF DYNAMICALLY HOMOGENEOUS AREAS WITH TIME SERIES SEGMENTATION OF REMOTE SENSING DATA
D.E. Plotnikov1, P.A. Kolbudaev1, S.A. Bartalev1
1 Space Research Institute of Russian Academy of Sciences, Moscow, Russia
Abstract
We propose a method of segmentation of remote sensing time series data, which exploits multi-temporal information to identify objects' boundaries. Extracting homogeneous objects with similar temporal behavior, the method analyzes large volumes of multi-temporal input data in a piecewise way and produces a consistent output segmentation layer for large territories. Segment building logic is simplified to minimize the computation time, while objects' boundary identification accuracy remains sufficient for remote monitoring and mapping of vegetation, and specifically, agricultural crops. At the Space Research Institute of the RAS, the proposed method is currently applied for automated on-line satellite imagery analysis for recognition and mapping of (winter and spring) crops on large territories and land-use evaluation. The method successfully deals with gaps in remote sensing time series data and performs well even when input images are contaminated with speckle noise. Due to its ability to map dynamically homogeneous surface areas with partially missing data, the method provides a potential for their recovery.
Keywords: image segmentation, remote sensing, spectro-temporal metrics, image analysis.
Citation: Plotnikov DE, Kolbudaev PA, Bartalev SA. Identification of dynamically homogeneous areas with time series segmentation of remote sensing data. Computer Optics 2018; 42(3): 447-456. - DOI: 10.18287/2412-6179-2018-42-3-447-456.
Acknowledgements: This work was performed under a research program "Monitoring" (No. 01.20.0.2.00164).
References
[1] Dey V, Zhang Y, Zhong M. A review on image segmentation techniques with remote sensing perspective. Proc ISPRS TC VII Symposium 2010; XXXVIII(7A): 31-42.
[2] Gonzalez RC, Woods RE. Digital image processing. 3rd ed. Upper Saddle River, NJ: Pearson Prentice Hall; 2008. ISBN: 978-0-13-168728-8.
[3] Sarmah S, Bhattacharyya DK. A grid-density based technique for finding clusters in satellite image. Pattern Recognition Letters 2012; 33(5): 589-604. DOI: 10.1016/j.patrec.2011.11.021.
[4] Bartalev SA, Khovratovich TS. Assessment of satellite images segmentation methods for forest change detection [In Russian]. Sovremennye Problemy Distantsionnogo Zondi-rovaniya Zemli iz Kosmosa 2011; 8(1): 44-62.
[5] Rashedi E, Mirzaei A. A hierarchical clusterer ensemble method based on boosting theory. Knowledge-Based Systems 2013; 45: 83-93. DOI: 10.1016/j.knosys.2013.02.009.
[6] Yuan J, Wang DL, Li R. Remote sensing image segmentation by combining spectral and texture features. IEEE Transactions on Geoscience and Remote Sensing 2014; 52(1): 16-24. DOI: 10.1109/TGRS.2012.2234755.
[7] Deng H, Clausi DA. Unsupervised image segmentation using a simple MRF model with a new implementation scheme. Patt Recogn 2004; 37(12): 2323-2335. DOI: 10.1016/j.patcog.2004.04.015.
[8] Zhang J, Tan T. Brief review of invariant texture analysis methods. Patt Recogn 2004; 35(3): 735-747. DOI10.1016/S0031-3203(01)00074-7.
[9] Fralenko VP. Methods of image texture analysis, Earth remote sensing data processing [in Russian]. Program systems: Theory and applications 2014; 4(22): 19-39.
[10] Neubert M, Herold H. Assessment of remote sensing image segmentation quality. Proceedings GEOBIA 2008.
[11] Gang L. Remote sensing image segmentation with probabilistic neural networks. Geo-spat Inf Sci 2005; 8(1): 2832. DOI: 10.1007/BF02826988.
[12] Su T, Zhang S. Local and global evaluation for remote sensing image segmentation. ISPRS Journal of Photo-grammetry and Remote Sensing 2017; 130: 256-276. DOI10.1016/j.isprsjprs.2017.06.003.
[13] Medvedeva EV, Kurbatova EE. Method of textural segmentation of images based on Markov casual fields [In Russian]. Digital images processing 2012; 3: 76-80.
[14] Plotnikov DE. The method for time series segmentation of remote sensing images [In Russian]. Proceedings of the conference "Current problems in remote sensing of the earth from space" 2014: 375.
[15] Bartalev SA, Egorov VA, Zharko VO, Loupian EA, Plotnikov DE, Khvostikov SA. Current state and development prospects of satellite mapping methods of Russia's vegetation cover [In Russian]. Sovremennye Problemy Distant-sionnogo Zondirovaniya Zemli iz Kosmosa 2015; 12(5): 203-221.
[16] Plotnikov DE, Bartalev SA, Loupian EA, Tolpin VA. Accuracy assessment for winter crops mapping in spring-summer growing season with MODIS data [In Russian]. Sovremennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa
2017; 14(4): 132-145. DOI: 10.21046/2070-7401-2017-14-4132-145.
[17] Loupian EA, Bartalev SA, Krasheninnikova YuS, Plot-nikov DE, Tolpin VA. Observation of early development of winter crops in spring 2017 in southern regions of Russia based on remote sensing data [In Russian]. Sovremen-nye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2017; 14(2): 268-272. DOI: 10.21046/20707401-2017-14-2-268-272.
[18] Loupian EA, Bartalev SA, Krasheninnikova YuS, Plot-nikov DE, Tolpin VA. Abnormal development of spring crops in European Russia in 2017 [In Russian]. Sovremen-nye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2017; 14(3): 324-329. DOI: 10.21046/20707401-2017-14-3-324-329.
[19] Bartalev SA, Plotnikov DE, Loupian EA. Mapping of arable land in Russia using multi-year time series of MODIS data and the LAGMA classification technique. Remote Sensing Letters 2016; 7(3): 269-278. DOI: 10.1080/2150704X.2015.1130874.
[20] Plotnikov DE, Kolbudaev PA, Bartalev SA, Loupian EA. Automated annual cropland mapping from reconstructed time series of Landsat data [In Russian]. Sovremennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2018; 15(2): 112-127. DOI: 10.21046/20707401-2018-15-2-112-127.
[21] Plotnikov DE, Kolbudaev PA, Bartalev SA. Recognition of arable land based on seasonal time series of reconstructed
Landsat imagery with Moscow region as an example [In Russian]. Proceedings of the conference "Current problems in remote sensing of the earth from space" 2017: 410.
[22] Cousty J, Bertrand G, Najman L, Couprie M. Watersheds, minimum spanning forests, and the drop of water principle. IEEE Trans Pattern Anal Mach Intell 2009; 31(8): 13621374. DOI: 10.1109/TPAMI.2008.173.
[23] Shi J, Malik J. Normalized cuts and image segmentation. IEEE Trans Pattern Anal Mach Intell 2000; 22(8): 888905. DOI: 10.1109/34.868688.
[24] Grady L. Random walks for image segmentation. IEEE Trans Pattern Anal Mach Intell 2006; 28(11): 1768-1783. DOI: 10.1109/TPAMI.2006.233.
[25] Grady L, Schwartz EL. Isoperimetric graph partitioning for image segmentation. IEEE Trans Pattern Anal Mach Intell 2006; 28(3): 469-475. DOI: 10.1109/TPAMI.2006.57.
[26] Lee JS. Speckle analysis and smoothing of synthetic aperture radar images. Computer Graphics and Image Processing 1981; 17: 24-32. DOI: 10.1016/S0146-664X(81)80005-6.
[27] Loupian EA, Proshin AA, Burtsev MA, Balashov IV, Bartalev SA, Efremov VYu, Kashnitskiy AV, Mazurov AA, Matveev AM, Sudneva OA, Sychugov IG, Tolpin VA, Uvarov IA. IKI center for collective use of satellite data archiving, processing and analysis systems aimed at solving the problems of environmental study and monitoring [In Russian]. Sovremennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2015; 12(5): 263-284.
Author's information
Dmitry Evgenievich Plotnikov (b. 1984) graduated from Moscow Institute of Physics and Technology (MIPT) in 2007, achieving M.D. in Applied Mathematics and Physics. His current position is head of sector in the Technologies department for Satellite Monitoring at the Space Research Institute of Russian Academy of Sciences. He is Ph.D. in Experimental Physics (since 2012). He took part in numerous activities concerning vegetation monitoring within both internal and international scientific projects. He is currently involved into development of automated methods for adaptive vegetation assessment and mapping over large areas. He has authorship of more than 70 scientific publications. His interests are: vegetation remote sensing, time series analysis and reconstruction, cropland mapping, spectro-temporal metrics. E-mail: dmitplot@d902.iki.rssi.ru .
Pavel Alekseevich Kolbudaev (b. 1987) graduated from Moscow Institute of Physics and Technology (MIPT) in 2010, achieving M.D. in Applied Mathematics and Physics and Space Physics specialty. He has a position of junior scientist in the Technologies department for Satellite Monitoring at the Space Research Institute of Russian Academy of Sciences. His research interests are: technologies of Earth remote sensing, programming, Earth observation data preprocessing. E-mail: kolbudaev@d902.iki.rssi.ru .
Sergey Aleksandrovich Bartalev (b. 1961) graduated (1984) from Moscow Institute of Geodesy, Aerophotosurvey and Cartography, Space Applications Faculty, majoring in Remote Sensing of Natural Resources. Doctor of Sciences (2007) in Experimental Physics. He is head of Terrestrial Ecosystems Monitoring Laboratory at the Space Research Institute of Russian Academy of Sciences. His research interests are: remote sensing, image processing methods, technologies for ecosystems remote monitoring. He is author of monographs and more than 200 scientific articles in peer review journals. E-mail: bartalev@d902.iki.rssi.ru .
Received December 22, 2017. The final version - April 9, 2018.
