CC BY
36
Вычислительные технологии
Том 21, № 1, 2016
Методы и технология сегментации мультиспектральных изображений высокого разрешения для исследования природных и антропогенных объектов
Ю.Н. Синявский1'*, И. А. Пестунов1 , О. А. Дубровская1, С. А. Рылов1, П. В. Мельников1, Н. Б. Ермаков2, М.А. Полякова2
1 Институт вычислительных технологий СО РАН, Новосибирск, Россия 2Центральный сибирский ботанический сад СО РАН, Новосибирск, Россия *Контактный e-mail: yorikmail@gmail.com
Предложена логическая схема единообразного представления разнородных пространственных данных. На ее основе разработана технология сегментации спутниковых изображений высокого пространственного разрешения, которая позволяет учесть всю имеющуюся информацию (спектральные и пространственные признаки, данные полевых наблюдений, тематические карты, базы данных, априорные и экспертные сведения и т.п.). Представлены методы, предназначенные для тематической обработки спутниковых снимков высокого пространственного разрешения. Описана реализация методов и алгоритмов в виде стандартизованных веб-сервисов, которая позволяет использовать технологию на стороне пользователя. Приведены примеры решения практических задач.
Ключевые слова: сегментация мультиспектральных спутниковых изображений, высокое пространственное разрешение, текстурные и контекстные признаки, обработка разнородных данных, веб-сервисы.
Введение
В области создания и развития средств и технологий дистанционного зондирования Земли наблюдается стремительный прогресс. Целый ряд спутников (WorldView-2/3, Ресурс-П, GeoEye-1, Pleiades-1A/B, Kompsat-3 и др.) обеспечивает регулярное поступление мультиспектральных изображений высокого пространственного разрешения (4 м и лучше) [1]. Значительная часть информации, необходимая для анализа таких изображений, содержится в пространственных характеристиках (текстуре, форме, размерах, контексте и т. п.) ив накопленных базах данных [2]. Кроме того, необходимо также учитывать имеющиеся экспертные сведения и априорную информацию об объекте исследования. В традиционных методах тематической обработки учитываются лишь спектральные признаки, поэтому они оказываются неэффективными для автоматизированного анализа таких изображений. Получаемые с их помощью картосхемы характеризуются чрезмерной раздробленностью и малопригодны для дальнейшей интерпре-
© ИВТ СО РАН, 2016
тации специалистами предметных областей. Поэтому разработка эффективных методов и технологий для обработки и анализа изображений высокого пространственного разрешения, обеспечивающих использование всей доступной информации, является актуальной, но малоизученной проблемой [3].
В работе предложены схема единообразного представления разнородных данных и технология сегментации спутниковых изображений высокого пространственного разрешения, позволяющие использовать всю доступную информацию об объектах исследования. Представлены методы, предназначенные для сегментации мультиспектральных спутниковых изображений и выделения природных и антропогенных объектов. Описан подход к реализации методов и алгоритмов в виде стандартизованных веб-сервисов, который позволяет использовать их на стороне пользователя. Приведены примеры решения практических задач.
1. Логическая схема единообразного представления данных
Логическая схема единообразного представления разнородных данных приведена на рис. 1. Все доступные данные, имеющие географическую привязку (спутниковые изображения, карты, цифровые модели рельефа, данные полевых наблюдений и др.), используются для формирования набора растровых слоев (слоев данных). К слоям данных можно отнести изображения в отдельных спектральных каналах, имеющиеся тематические карты (растительности, почв, влагосодержания и т.п.) и карты, формируемые "на лету" без участия эксперта (среднесуточной температуры, количества осадков, альбедо подстилающей поверхности, высот, экспозиции и ориентации склонов и т.д.), а также комплексные спектральные признаки (индексы). Построенные слои данных используются для генерации набора тематических слоев (бинарных масок), сформированных с учетом имеющихся априорных сведений и экспертных знаний и предназначенных для выделения конкретных типов объектов (водных объектов, теней, растительности, антропогенных территорий и др.). С этой целью могут быть использованы как достаточно простые (например, пороговая сегментация по спектральным индексам или алгоритмы на основе деревьев решений), так и сложные наукоемкие алгоритмы и технологии. Кроме того, к тематическим слоям можно отнести область интереса, определяемую экспертом исходя из особенностей решаемой задачи. В отличие от слоев данных, формирование тематических слоев невозможно без использования априорной и экспертной информации.
Все построенные растровые слои при дальнейшей обработке интерпретируются как дополнительные характеристики пикселей. Тематические маски позволяют использовать для каждого типа объектов наиболее приемлемый метод обработки. Стоит заметить, что предложенная схема представления данных допускает расширение и позволяет использовать при решении конкретной задачи любую информацию об исследуемой территории.
2. Технология совместной обработки разнородных данных
Описанное представление разнородной информации позволило разработать технологию сегментации спутниковых изображений высокого пространственного разрешения (рис. 2), предназначенную для изучения и оценки состояния природных объектов.
Исходные мультиспектральные изображения Цифровые модели рельефа, данные полевых наблюдений, карты и др.
Уровень данных
"Ъ
Априорные и экспертные сведения об объектах исследования
Коррекция изображений, приведение их к единому пространственному разрешению и др.
Слои данных
Уровень представления
Мультиспектральные Комплексные
изображения спектральные
после коррекции признаки (индексы)
Слои данных, формируемые Готовые «на лету» (карты высот, растровые температур, осадков и др.) карты
Предварительная обработка данных (построение масок для выделения конкретных типов объектов)
Тематические слои ч
I Я
Тематические маски (водных объектов, растительности, антропогенных территорий, теней и др.)
Область интереса
У)
Тематическая обра( отка на основе совместного анализа всех им и формирование итоговых картосхем веющихся данных
Уровень результатов
Итоговые картосхемы
Рис. 1. Логическая схема представления разнородных пространственных данных
Технология включает три этапа. На этапе предварительной обработки выполняется построение растровых слоев по исходным данным. Для этого выполняются атмосферная и геометрическая коррекция, приведение изображений к единому пространственному разрешению и одной картографической проекции и т. п. Затем по изображению выполняются генерация масок на основе априорных сведений и экспертных знаний и выделение области интереса, а также статистический анализ и формирование классифицированной обучающей выборки.
Предварительная обработка -
Геометрическая и атмосферная коррекция, приведение к единому пространственному разрешению и др
Статистический анализ
Подготовка растровых слоев на основе априорных и экспертных сведений
Формирование классифицированной обучающей выборки
С
Построение масок для выделения конкретных типов объектов
1
Выделение области интереса на изображении
Тематическая обработка -
Формирование и выбор информативных наборов признаков
Выбор подходящего метода обработки для каждого типа объектов
Построение обучаемого классификатора
)
Классификация с обучением
Классификация без обучения (кластеризация)
Сегментация изображения на основе результатов классификации
С
Постобработка
Улучшение визуального представления результатов
3
Рис. 2. Технология поэтапной сегментации спутниковых изображений высокого пространственного разрешения
На этапе тематической обработки осуществляются выбор информативных наборов признаков и классификация с обучением или без обучения [4]. Разработанная схема представления данных позволяет использовать как спектральные, так и пространственные признаки, а также априорные и экспертные сведения.
Завершающий этап (постобработка) направлен на улучшение визуальных характеристик результирующих картосхем для облегчения интерпретации результатов обработки. На этом этапе применяются различные фильтры, выбирается уровень детализации картосхем и т. п.
3. Методы и алгоритмы сегментации мультиспектральных изображений
Для решения практических задач с применением предложенной технологии необходимы соответствующие методы формирования тематических масок с использованием
априорной и экспертной информации, а также эффективные алгоритмы сегментации мультиспектральных изображений. Такие методы активно разрабатываются в лаборатории обработки данных Института вычислительных технологий СО РАН.
Алгоритм кластеризации EMeanSC [5, 6] разработан в рамках комбинации непараметрического и ансамблевого подходов. В пространстве признаков формируется сеточная структура, затем с помощью процедуры "среднего сдвига" порождается естественное разбиение выборки на кластеры, задаваемые локальными модами оценки плотности Розенблатта — Парзена. Основной проблемой непараметрических алгоритмов, существенно ограничивающей их применение для обработки спутниковых изображений, является низкое быстродействие. Использование сеточной структуры (разбиение пространства признаков на ячейки) позволяет многократно уменьшить время работы алгоритма EMeanSC, однако приводит к ошибкам классификации на границах ячеек (так называемым граничным эффектам). Формирование ансамбля на основе частных решений, полученных при различных размерах ячеек, позволяет избежать этих ошибок.
Алгоритм кластеризации ECCA [7] разработан в рамках комбинации плотностно-го, сеточного и ансамблевого подходов. Переход от кластеризации отдельных объектов к обработке элементов сеточной структуры (так называемый сеточный подход) обеспечивает производительность, достаточную для обработки спутниковых изображений. Ансамблевый подход позволяет избавиться от граничных эффектов, присущих всем сеточным алгоритмам. При реализации алгоритма использована технология CUDA, обеспечивающая возможность обработки спутниковых данных на графических процессорах NVIDIA [8].
Иерархический алгоритм HECA [9, 10] позволяет формировать ансамбли из иерархических результатов кластеризации. Для согласования результатов иерархических сеточных алгоритмов кластеризации, полученных при различных размерах сетки, используется оригинальная метрика, предложенная авторами. Она позволяет избежать проблем, связанных с наличием пересекающихся кластеров, которые характерны для традиционных иерархических алгоритмов. В результате работы алгоритма HECA формируется серия вложенных картосхем с различными уровнями детализации, что значительно упрощает интерпретацию результатов обработки.
Алгоритм спектрально-пространственной сегментации [11] состоит из трех этапов. На первом этапе выделяются квазиоднородные области (на основе анализа спектральной и пространственной информации) и определяются их представители. На втором выполняется группировка представителей, что значительно сокращает объем данных для дальнейшего анализа. На третьем этапе используется эффективный, но трудоемкий графовый алгоритм, который позволяет сформировать итоговые кластеры. Такая процедура обработки характеризуется низкой вычислительной сложностью и позволяет строить иерархически вложенные картосхемы.
Алгоритм спектрально-текстурной сегментации ESEG [12] основан на оригинальном подходе к сегментации спутниковых изображений высокого пространственного разрешения с использованием как спектральных, так и текстурных характеристик, не требующем введения единой метрики в разнородном пространстве признаков. Основная идея метода заключается в следующем. Выполняется сегментация исходного изображения по спектральным признакам с использованием ансамблей непараметрических сеточных алгоритмов кластеризации для построения картосхемы, содержащей спектрально-однородные области [4, 7]. Полученная картосхема разбивается на квадратные фрагменты. Каждому фрагменту ставится в соответствие вектор признаков, характе-
ризующий вероятность отнесения элементов этого фрагмента к найденным спектральным кластерам. Затем во вновь созданной системе признаков выполняется формирование кластеров. Такой подход позволяет избежать традиционных трудностей, связанных с введением единой метрики для спектральных и текстурных признаков.
Алгоритм морфологической сегментации [13, 14] основан на графовом подходе. На графе изображения С =< V, Е > (где V — множество пикселей, а Е — множество взвешенных ребер, соединяющих каждый пиксель с восемью соседними) строится минимальное остовное дерево с помощью классического алгоритма Крускала. Построенное дерево используется в качестве источника пространственной информации для последующей обработки. На картосхеме, полученной в результате сегментации изображения по спектральным признакам, выбирается заданное количество точек (маркеров). Из остовного дерева удаляются ребра так, чтобы в каждую из получившихся компонент связности попало по одному маркеру. Таким образом, минимальное остовное дерево превращается в минимальный остовный лес. Распространение меток кластеров с маркеров на компоненты связности, в которые они попадают, позволяет разбить исходное изображение на сегменты.
Чтобы обеспечить независимость результата от выбора маркеров, применяется ансамблевый подход. Для каждого элемента ансамбля выбирается случайный набор маркеров. Число маркеров для каждого кластера определяется пропорционально его размеру. Алгоритм позволяет учесть информацию о соседстве пикселей и выполнить генерализацию результатов работы попиксельных алгоритмов кластеризации, а также устранить влияние присутствующих на изображении импульсных шумов на результаты сегментации.
Алгоритм классификации с полуобучением [15]. В задачах обучаемой классификации аэрокосмических изображений процесс получения обучающей выборки (помеченных данных), необходимой для построения решающего правила, зачастую связан со значительными материальными и временными затратами. Поэтому на практике обучающая выборка, как правило, имеется лишь для интересующих пользователя классов и при этом является непредставительной. В то же время при классификации изображений всегда доступен большой объем непомеченных данных. Разработанный алгоритм позволяет получить представительную обучающую выборку из исходной обучающей выборки на основе анализа плотности распределения непомеченных данных (с использованием алгоритма кластеризации). В результате получается выборка, достаточная для применения как параметрических, так и непараметрических алгоритмов классификации с обучением. Сформированная представительная обучающая выборка используется для построения классификатора Розенблатта — Парзена с нормальным ядром.
Метод построения маски антропогенных территорий [16] позволяет на спутниковых снимках высокого пространственного разрешения в автоматизированном режиме определять местоположение и выделять границы объектов неприродного происхождения. Для определения граничных точек используется комбинация алгоритмов Кэн-ни [17] и Харриса [18]. Такой подход позволяет выделять границы толщиной в один пиксель и обнаруживать объекты произвольной формы, а также корректно выделять угловые точки.
Метод автоматического построения маски теней [19, 20] использует данные из нескольких спектральных каналов. Он не требует дополнительной априорной информации об объектах и условиях съемки и позволяет избежать типичных для известных методов ошибок.
Перечисленные методы реализованы в виде стандартизованных веб-сервисов (ШРБ-процессов). Они внедрены в сервис-ориентированную геоинформационную систему, созданную в Институте вычислительных технологий СО РАН [21 -23]. Система обеспечивает простое и оперативное внедрение новых алгоритмов обработки и удобный доступ к ним. Реализация алгоритмов в виде ШРБ-процессов позволяет использовать предложенную технологию обработки для решения практических задач на стороне пользователя с применением как свободно распространяемых ГИС-пакетов uDig, ОрепЛИМР
и др.), так и коммерческой геоинформационной системы АгеОТБ.
4. Пример обработки спутникового изображения
Для демонстрации разработанной технологии рассмотрим пример: разделение типов растительности на снимке, полученном со спутника WorldView-2. К изображению, представленному на рис. 3, а, после первого этапа обработки был применен непараметрический ансамблевый алгоритм кластеризации ЕССА. В результате построена картосхема (рис. 3, б), состоящая из 61 кластера, большинство из которых не относятся к растительности.
На этапе предварительной обработки выполнено формирование четырех растровых масок, которые предназначены для выделения объектов, не представляющих интереса при решении данной задачи. Первая маска (рис. 3, в) построена на основе нормализованного разностного водного индекса NDWI, вычисленного по средним значениям построенных кластеров [24]. Она позволяет с высокой степенью достоверности выделить водные объекты (показаны синим цветом). Вторая маска (рис. 3, г) построена с использованием нормализованного вегетационного индекса NDVI, вычисленного также по средним значениям построенных кластеров. Она позволяет выделить территории, не покрытые растительностью (показаны серым цветом). Третья маска (рис. 3, д) предназначена для выделения на изображении объектов неприродного происхождения (зданий, сооружений, дорог), характерной особенностью которых является наличие прямых границ и углов, а также отсутствие растительности. Для локализации областей, содержащих прямые линии и углы (на рис. 3, д выделены серым цветом), к изображению применялись детекторы Харриса. Комбинирование полученной маски с маской территорий, не покрытых растительностью (рис. 3, г), и результатами непараметрической кластеризации (рис. 3, б) позволило обнаружить объекты неприродного происхождения, выделенные на рис. 3, д красным цветом. Четвертая маска предназначена для выделения теней на изображении (на рис. 3, е показаны черным цветом). Полученные маски позволили распознать и исключить из дальнейшего рассмотрения объекты, не представляющие интереса при решении данной задачи, а также выделить область интереса (на рис. 3, ж показана зеленым цветом).
На этапе тематической обработки построенные растровые маски использовались для выделения на изображении трех классов объектов ("водные объекты", "тени" и "объекты неприродного происхождения") и области интереса, которая в дальнейшем была разбита алгоритмом ЕССА на 18 кластеров, соответствующих различным типам растительности. Результирующая картосхема обработана алгоритмом сегментации по текстурным признакам ЕБЕО (рис. 3, з) и алгоритмом, учитывающим локальный контекст изображения (соседство пикселей) (рис. 3, и).
Рис. 3. Пример обработки изображения WorldView-2: а — ЯОВ-композит исходного изображения (каналы 5, 3 и 2); б — результат сегментации по спектральным признакам (61 кластер); в-е — растровые маски; ж — область интереса; з — результат сегментации с учетом текстурных признаков; и — результат сегментации с учетом информации о соседстве пикселей
5. Решение практических задач
Разработанные технология и методы успешно использованы для решения трех задач, связанных с изучением природных процессов и явлений:
1) обнаружение и картирование повреждений кедровых древостоев по данным, полученным со спутника Pleiades-1A;
2) выявление фундаментальных закономерностей формирования растительного покрова степного биома по данным WorldView-2;
3) оперативная оценка паводковой ситуации и выявление затопленных территорий по снимкам с российских спутников Канопус-В, Ресурс-П и Метеор-М.
Предложенная схема обработки позволила с высокой степенью достоверности выполнить анализ пространственно-временной динамики усыхания кедровых древостоев в горах Кузнецкого Алатау. Выполнены обнаружение и классификация кедрачей по снимку высокого пространственного разрешения, полученному со спутника Pleiades-1A, а также данным Landsat и (Terra+Aqua)/MODIS. Построенные картосхемы позволили выявить очаги повреждений кедровых древостоев за 2006-2012 гг. и оценить их динамику [13].
По снимкам высокого разрешения, полученным со спутника WorldView-2, выполнено крупномасштабное картографирование растительного покрова, которое имеет большое практическое значение для определения важных закономерностей его формирования. Исследования с использованием снимков высокого разрешения особенно актуальны в условиях горно-степного пояса Южной Сибири, где растительный покров характеризуется высокой гетерогенностью и мозаичностью. Небольшие размеры некоторых степных сообществ делают их неразличимыми на снимках среднего разрешения (Landsat-7), в то время как использование снимков высокого разрешения (WorldView-2) позволяет распознавать растительность на уровне как экологических типов степей, так и отдельных крупных фитоценозов, где все варианты горных степей имеют четко выраженные контуры. Это преимущество позволяет определять точное расположение границ редких растительных сообществ и следить за их изменением, что имеет большое значение для их охраны и долгосрочного мониторинга. Это особенно важно при исследовании степных сообществ, подверженных сильному антропогенному воздействию [14, 25].
Разработанная технология позволила создать методику оперативной обработки данных высокого и среднего пространственного разрешения с российских спутников Кано-пус-В, Ресурс-П и Метеор-М и построения карт паводковой обстановки. Методика заключается в кластеризации по спектральным признакам с помощью алгоритма HECA и последующей сегментации на основе дерева решений, построенного экспертом. Помимо итоговой картосхемы в результате мониторинга формируется база данных, содержащая векторные данные участков подтопления и позволяющая проводить временной анализ паводковой ситуации [20, 26]. Методика реализована в виде программного продукта, который применяется в режиме опытной эксплуатации в Сибирском центре ФГБУ НИЦ "Планета" при создании карт паводковой ситуации для потребителей из Росгидромета и региональных служб МЧС.
Заключение
Предложены логическая схема единообразного представления разнородных пространственных данных и технология сегментации спутниковых изображений высокого пространственного разрешения, позволяющие учесть всю имеющуюся информацию об объ-
ектах съемки (спектральные и пространственные признаки, данные полевых наблюдений, карты и базы данных, априорные и экспертные сведения и т. п.). Данные представляются в едином формате (в виде изображений), позволяющем проводить их совместную обработку.
Для решения практических задач с применением описанной технологии в ИВТ СО РАН разработаны методы формирования тематических масок с использованием априорной и экспертной информации, а также эффективные алгоритмы сегментации мультиспектральных изображений. Технология использовалась при решении следующих задач: обнаружение и картирование повреждений кедровых древостоев по данным, полученным со спутника Pleiades-1A; выявление фундаментальных закономерностей формирования растительного покрова степного биома по данным WorldView-2; оперативная оценка паводковой ситуации и выявление затопленных территорий по снимкам с российских спутников Канопус-В, Ресурс-П и Метеор-М.
Благодарности. Работа выполнена при финансовой поддержке РФФИ (грант № 14-07-31320-мол_а) и РНФ (грант № 14-14-00453).
Список литературы / References
[1] Дворкин Б.А., Дудкин С.А. Новейшие и перспективные спутники дистанционного зондирования Земли // Геоматика. 2013. № 2. С. 16-21.
Dvorkin, B.A., Dudkin, S.A. Newest and perspective satellites for Earth remote sensing // Geomatics. 2013. No. 2. P. 16-21. (In Russ.)
[2] Dey, V., Zhang, Y., Zhong, M. A review on image segmentation techniques with remote sensing perspective // ISPRS TC VII Symp. — 100 Years ISPRS. Vienna, Austria, July 5-7 2010. IAPRS. 2010. Vol. XXXVIII, pt 7A. P. 31-42.
[3] Wang, A., Wang, S., Lucieer, A. Segmentation of multispectral high-resolution imagery based on integrated feature distribution // Intern. J. Remote Sens. 2010. Vol. 31, No. 6. P. 1471-1483.
[4] Пестунов И.А., Синявский Ю.Н. Алгоритмы кластеризации в задачах сегментации спутниковых изображений // Вест. КемГУ. 2012. Т. 52, № 4/2. С. 110-125. Pestunov, I.A., Sinyavskiy, Yu.N. Clustering algorithms for satellite imagery segmentatioin tasks // Bulletin of KemSU. 2012. Vol. 52, No. 4/2. P. 110-125. (In Russ.)
[5] Пестунов И.А., Синявский Ю.Н. Непараметрический алгоритм кластеризации данных дистанционного зондирования на основе grid-подхода // Автометрия. 2006. Т. 42, № 2. С. 90-99.
Pestunov, I.A., Sinyavsky, Yu.N. Nonparametric grid-based clustering algorithm for remote sensing data // Optoelectronics, Instrumentation and Data Processing. 2006. Vol. 42, No. 2. P. 78-85.
[6] Пестунов И.А., Бериков В.Б., Синявский Ю.Н. Сегментация многоспектральных изображений на основе ансамбля непараметрических алгоритмов кластеризации // Вест. СибГАУ. 2010. Вып. 5(31). С. 56-64.
Pestunov, I.A., Berikov, V.B., Sinyavskiy, Yu.N. Algorithm for multispectral image segmentation based оп ensemble of nonparametric clustering algorithms // Vestnik SibGAU. 2010. Vol. 5(31). P. 56-64. (In Russ.)
[7] Пестунов И.А., Бериков В.Б., Куликова Е.А., Рылов С.А. Ансамблевый алгоритм кластеризации больших массивов данных // Автометрия. 2011. Т. 47, № 3. С. 49-58. Pestunov, I.A., Berikov, V.B., Kulikova, E.A., Rylov, S.A. Ensemble of clustering algorithm for large datasets // Optoelectronics, Instrumentation and Data Processing. 2011. Vol. 47, iss. 3. P. 245-252.
[8] Рылов С.А., Пестунов И.А. Использование графических процессоров NVIDIA при кластеризации мультиспектральных данных сеточным алгоритмом CCA // Интерэкспо Гео-Сибирь. 2015. Т. 4, № 2. С. 51-56.
Rylov, S.A., Pestunov, I.A. NVIDIA GPU for multispectral data clustering with grid-based algorithm CCA // Interexpo Geo-Siberia. 2015. Vol. 4, No. 2. P. 51-56. (In Russ.)
[9] Пестунов И.А., Рылов С.А., Бериков В.Б. Иерархические алгоритмы кластеризации для сегментации мультиспектральных изображений // Автометрия. 2015. Т. 51, № 4. С. 12-22.
Pestunov, I.A., Rylov, S.A., Berikov, V.B. Hierarchical clustering algorithms for segmentation of multispectral images // Optoelectronics, Instrumentation and Data Processing. 2015. Vol. 51, iss. 4. P. 329-338.
[10] Pestunov, I., Rylov, S., Berikov, V. Hierarchical ensemble clustering algorithm for multispectral image segmentation / D. Paulus, C. Fuchs, D. Droege eds // Proc. 9th Open German-Russian Worokshop on Pattern Recognition and Image Understanding (0GRW-2014). December 1-5, 2014, Koblenz, Germany. Koblenz: University of KoblenzLandau, 2015. P. 123-127. http://kola.opus.hbz-nrw.de/volltexte/2015/1136/pdf/ OGRW_2014_Proceedings.pdf#130
[11] Pestunov, I.A. Algorithms for processing polizonal video information for detection and classification of forests infested with insects // Patt. Recogn. and Image Anal. 2001. Vol. 11, No. 2. P. 368-371.
[12] Пестунов И.А., Рылов С.А. Алгоритмы спектрально-текстурной сегментации спутниковых изображений высокого пространственного разрешения // Вест. КемГУ. 2012. № 4/2 (52). C. 104-110.
Pestunov, I.A., Rylov, S.A. Spectral-texture segmentation algorithms for high spatial resolution satellite images // Bulletin of KemSU. 2012. No. 4/2 (52). P. 104-110. (In Russ.)
[13] Пестунов И.А., Мельников П.В., Дубровская О.А., Синявский Ю.Н., Ха-
рук В.И. Обнаружение и картирование повреждений кедровых древостоев по изображениям со спутника Pleiades // Интерэкспо Гео-Сибирь. 2014. Т. 4, № 2. С. 400-408. Pestunov, I.A., Melnikov, P.V., Dubrovskaya, O.A., Sinyavskiy, Yu.N., Kharuk, V.I. Detection and mapping of nut pine stands damage on pleiades satellite images // Interexpo Geo-Siberia. 2014. Vol. 4, No. 2. P. 400-408. (In Russ.)
[14] Ермаков Н.Б., Пестунов И.А., Полякова М.А., Дубровская О.А., Рылов С.А., Синявский Ю.Н. Крупномасштабное картографирование структуры степной растительности и выявление сообществ с редкими и уникальными видами растений на территории Южной Сибири с использованием снимков высокого разрешения // Матер. Меж-дунар. науч. конф. "Региональные проблемы дистанционного зондирования Земли". Красноярск: Сиб. федер. ун-т, 2014. С. 224-229.
Ermakov, N.B., Pestunov, I.A., Polyakova, M.A., Dubrovskaya, O.A., Rylov, S.A., Sinyavskiy, Yu.N. Large-scale mapping of steppe vegetation structure and identification of communities which contain rare and unique plants in South Siberia using high spatial resolution satellite images // Proc. Intern. Conf. "Regional Issues of Earth Remote Sensing". Krasnoyarsk: SFU, 2014. P. 224-229. (In Russ.)
[15] Куликова Е.А., Пестунов И.А. Классификация с полуобучением в задачах обработки многоспектральных изображений // Вестн. КазНУ им. Аль-Фараби. Математика, механика, информатика. 2008. № 3(58). Ч. II. С. 284-291.
Kulikova, E.A., Pestunov, I.A. Semisupervised classification in multispectral images processing // Vestnik KazNU. 2008. No. 3(58), pt II. P. 284-291. (In Russ.)
[16] Пестунов И.А., Лазарев Д.В., Синявский Ю.Н. Выделение объектов неприродного происхождения на спутниковых снимках высокого разрешения с использованием фильтра Кэнни // Тр. Всерос. конф. "Обработка пространственных данных в задачах мониторинга природных и антропогенных процессов", 24-28 августа 2015 г., Республика Алтай. Новосибирск: ИВТ СО РАН, 2015. С. 115-119. Адрес доступа: http://conf.nsc.ru/files/ conferences/SDM-2015/294652/SDM-2015%20Thesis.pdf.
Pestunov, I.A., Lazarev, D.V., Sinyavskiy, Yu.N. Detecting man-made objects on high-spatial resolution satellite images with Canny filter // Proc. Russ. Conf. "Spatial Data Proc. in Natural and Antropogenous Processes Monitoring". Novosibirsk: ICT SB RAS, 2015. P. 115-119. Available at: http://conf.nsc.ru/files/ conferences/SDM-2015/294652/SDM-2015%20Thesis.pdf. (In Russ.)
[17] Canny, J. A computational approach to edge detection // IEEE Trans. Patt. Anal. and Machine Intell. 1986. Vol. PAMI-8, No. 6. P. 679-698.
[18] Борзов С.М., Пестунов И.А. Сегментация спутниковых изображений высокого разрешения на основе спектральных, текстурных и структурных признаков для анализа ЧС природного и техногенного характера // Тр. IV Всерос. конф. "Безопасность и живучесть технических систем", 09-13 октября 2012 г. Красноярск, 2012. С. 209-212.
Borzov, S.M., Pestunov, I.A. High-spatial resolution images segmentation based on spectral, texture and structure features for nature and man-made emergency analysis // Proc. Russ. Conf. "Safety and Survivability of Technical Systems". Krasnoyarsk, 2012. P. 209-212. (In Russ.)
[19] Пестунов И.А., Рылов С.А. Метод выделения теней на мультиспектральных спутниковых изображениях высокого пространственного разрешения // Матер. молодежной школы-семинара "Дистанционное зондирование Земли из космоса: алгоритмы, технологии, данные" (Барнаул, 2-6 окт. 2013 г.). Барнаул: АЗБУКА, 2013. C. 60-73. Pestunov, I.A., Rylov, S.A. A method for shadow detection on high-spatial resolution multispectral satellite images // Proc. Youth Seminar "Earth remote sensing from space: algorithms, technologies, data". Barnaul: AZBUKA, 2013. P. 60-73. (In Russ.)
[20] Рылов С.А., Новгородцева О.Г., Пестунов И.А. Мониторинг паводковой ситуации по спутниковым изображениям высокого разрешения с учетом наличия теней // Матер. 6-й Междунар. науч.-практич. конф. "АГР0ИНФ0-2015" (Новосибирск, 22-23 октября 2015 г.). Ч. 1. Новосибирск, 2015. С. 434-439.
Rylov, S.A., Novgorodtseva, O.G., Pestunov, I.A. Flood hazard monitoring that uses high-resolution satellite images and takes shadows into account // Proc. Intern. Conf. AGR0INF0-2015. Pt 1. Novosibirsk, 2015. P. 434-439. (In Russ.)
[21] Пестунов И.А., Рылов С.А., Мельников П.В., Синявский Ю.Н. Технология и программный инструментарий для сегментации спутниковых изображений высокого пространственного разрешения // Интерэкспо Гео-Сибирь. 2013. Т. 4, № 1. С. 202-208. Pestunov, I.A., Rylov, S.A., Melnikov, P.V., Sinyavskiy, Yu.N. Technology and software toolkit for segmentation of satellite high spatial resolution images // Interexpo Geo-Siberia. 2013. Vol. 4, No. 1. P. 202-208. (In Russ.)
[22] Добротворский Д.И., Куликова Е.А., Пестунов И.А., Синявский Ю.Н. Веб-сервисы для непараметрической классификации спутниковых данных // Интерэкспо ГеоСибирь. 2010. Т. 1, № 2. С. 171-175.
Dobrotvorskiy, D.I., Kulikova, E.A., Pestunov, I.A., Sinyavskiy, Yu.N. Web-services for nonparametric classification of satellite data // Interexpo Geo-Siberia. 2010. Vol. 1, No. 2. P. 171-175. (In Russ.)
[23] Жижимов О.Л., Молородов Ю.И., Пестунов И.А., Смирнов В.В., Федотов А.М. Интеграция разнородных данных в задачах исследования природных экосистем // Вест. НГУ. Информационные технологии. 2011. Т. 9, № 1. С. 67-74. Zhizhimov, O.L., Molorodov, Yu.I., Pestunov, I.A., Smirnov, V.V., Fedotov, A.M.
Heterogenous data integration for nature ecosystems investigating // NSU Journal of Information Technologies. 2011. Vol. 9, No. 1. P. 67-74. (In Russ.)
[24] Черепанов А.С. Вегетационные индексы // Геоматика. 2011. № 2. С. 98-102. Cherepanov, A.S. Vegetation indices // Geomatics. 2011. No. 2. P. 98-102. (In Russ.)
[25] Ermakov, N., Larionov, A., Polyakova. M., Pestunov, I., Didukh, Y. Diversity and spatial structure of cryophytic steppes of the Minusinskaya intermountain basin in Southern Siberia // Tuexenia. 2014. Vol. 34. P. 431-446.
[26] Рылов С.А., Новгородцева О.Г., Пестунов И.А., Дубровская О.А., Синявский Ю.Н. Технология обработки данных с космических аппаратов "Канопус-В", "Ресурс-П" и "Метеор-М" для мониторинга и картографирования паводковой ситуации // Матер. II Междунар. науч. конф. "Региональные проблемы дистанционного зондирования Земли" (Красноярск, 22-25 сент. 2015 г.). Красноярск: Сиб. федер. ун-т, 2015. С. 207-212. Rylov, S.A., Novgorodtseva, O.G., Pestunov, I.A., Dubrovskaya, O.A., Sinyavskiy, Yu.N. Technology of "Kanopus-V", "Resurs-P" and "Meteor-M" data processing for flood hazard monitoring and mapping // Proc. Intern. Conf. "Regional Issues of Earth Remote Sensing" Krasnoyarsk: SFU, 2015. P. 207-212. (In Russ.)
Поступила в редакцию 13 ноября 2015 г., с доработки — 25 декабря 2015 г.
Methods and technology for segmentation of images with high spatial resolution for studies of nature and man-made objects
Sinyavskiy, Yuriy N.1'*, Pestunov, Igor A.1, Dubrovskaya, Olga A.1, Rylov, Sergey A.1, Melnikov, Pavel V.1, Ermakov, Nikolai B.2, Polyakova, Mariya A.2
institute of Computational Technologies SB RAS, Novosibirsk, 630090, Russia 2Central Siberian Botanical Garden SB RAS, Novosibirsk, 630090, Russia * Corresponding author: Sinyavskiy, Yuriy N., e-mail: yorikmail@gmail.com
A logical scheme for uniform representation and technology for joint processing of heterogeneous spatial data is proposed. A set of raster layers (data layers) is generated by all available geo-referenced data (satellite images, maps, digital elevation models, field data etc.). Data layers are used to generate a set of binary masks (thematic layers) built with available a priori information and expert knowledge. Thematic layers are designed to highlight specific types of objects (water bodies, shadows, vegetation, man-made areas, etc ). All of the new raster layers are interpreted as additional features during further processing. Thematic layers allow using the most appropriate method of processing for each type of object.
© ICT SB RAS, 2016
Methods necessary for solving practical problems with the proposed technology being developed at the laboratory of data processing of the Institute of Computational Technologies SB RAS. These methods are implemented as standardized web services (WPS processes). Nine web services are created based on original algorithms of image segmentation and highlighting of different object types. This approach allows using the proposed technology to solve practical problems on the client side using both freeware GIS packages (QGIS, uDig, openJUMP et al) and commercial geographic information system ArcGIS.
The technology and methods been used successfully to solve three practical problems: 1) discovery and mapping of pine tree stands damage by the Pleiades-1A satellite images; 2) identification of the fundamental laws of formation for steppe vegetation biome by the WorldView-2 satellite data; 3) rapid assessment of the flood situation and flooded areas identification by images from Russian satellites (Canopus-B, Resurs-P, and Meteor-M).
Keywords: multispectral satellite images segmentation, high spatial resolution, texture and context features, heterogeneous data processing, web services.
Acknowledgements. The work was supported by RFBR (grant 14-07-31320) and RSF (grant 14-14-00453).
Received 13 November 2015 Received in revised form 25 December 2015
