CC BY
25
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
Повышение эффективности классификации гиперспектральных изображений за счет разномасштабной пространственной обработки
С.М. Борзов 1, О. И. Потатуркин1 1 Институт автоматики и электрометрии СО РАН, 630090, Россия, г. Новосибирск, просп. Акад. Коптюга, д. 1
Аннотация
Классификация типов подстилающей поверхности по мульти- и гиперспектральным изображениям традиционно осуществляется на основе анализа диаграмм рассеяния значений пикселей в многомерном пространстве признаков, в качестве которых используются яркости в отдельных каналах. Для повышения достоверности классификации используются подходы, основанные на учете характеристик каждого пикселя и пикселей его ближайшей окрестности, т.е. на совместном анализе спектральных и пространственных признаков.
В данной работе на тестовом гиперспектральном изображении выполнены исследования эффективности методов спектрально-пространственной классификации данных, учитывающих пространственную информацию на различных этапах обработки. Особое внимание уделено подбору размера ядра пространственной обработки. Продемонстрировано, что включение в анализ окрестностей пикселей на любом этапе повышает точность классификации, однако наибольшую эффективность демонстрируют методы предварительной обработки исходных данных. При этом лучшие результаты достигаются при сочетании предварительной обработки сырых данных (до выполнения процедур попиксельной спектральной классификации) и апостериорной обработки результирующих картосхем. Отмечена перспективность многомасштабного сглаживания исходных изображений с кратным количеству масштабов увеличением числа спектрально-пространственных признаков, позволяющего исключить процедуру предварительного подбора масштаба пространственной обработки.
Ключевые слова: дистанционное зондирование Земли, гиперспектральные изображения, классификация типов поверхностей, спектральные и пространственные признаки, обработка изображений.
Цитирование: Борзов, С.М. Повышение эффективности классификации гиперспектральных изображений за счет разномасштабной пространственной обработки / С.М. Борзов, О.И. Потатуркин // Компьютерная оптика. - 2020. - Т. 44, № 6. - С. 937-943. - DOI: 10.18287/2412-6179-CO-779.
Citation: Borzov SM, Potaturkin OI. Increasing the classification efficiency of hyperspectral images due to multi-scale spatial processing. Computer Optics 2020; 44(6): 937-943. DOI: 10.18287/2412-6179-CO-779.
Введение
Отличительной особенностью гиперспектральных (ГС) изображений, полученных в результате дистанционного зондирования Земли (ДЗЗ), является большое количество каналов в видимом, ближнем и коротковолновом инфракрасных диапазонах [1, 2]. Учитывая то, что спектры поглощения различных веществ уникальны, регистрируемая информация потенциально позволяет определять не только тип наблюдаемых объектов, но и их состояние (например, содержание отдельных пигментов и влаги в растительном покрове). Для этой цели разработаны многочисленные подходы, реализующие анализ тонкой структуры спектров пикселей изображений и их классификацию с использованием базы спектральных характеристик [3] или путем сравнения со спектрами эталонных участков поверхности [4 - 6].
Так, в [6] исследуется алгоритм распознавания растительных культур на ГС-изображениях, основанный на применении в качестве меры близости показателя сопряжённости с подпространством, образованным сигнатурами заданного класса. Показана возможность распознавания большого количества растительных культур, в т.ч. и наркосодержащих. В [7] исследуется проблема комплексного анализа и мониторинга окружающей среды на основе гиперспектральных изображений и вариант ее решения с созданием необходимого алгоритмического обеспечения для обработки и хранения данных. Предложены методы оценки сходства сигнатуры пикселей ГС-изображений с эталоном, включающие в себя ее простые преобразования. В работе [8] реализована технология решения задачи раннего распознавания ви-
дов с / х культур по космическим снимкам полей в разные периоды вегетации в ситуации недостаточности исходных космических и наземных данных для формирования полноценной обучающей выборки. Метод основан на комбинации данных экспериментальных исследований, полученных в текущем и в предыдущих годах. В публикации [9] предложена методика тематической обработки гиперспектральных данных в задаче оценки различных загрязнений акваторий портов, в том числе нефтью.
Но проблема заключается в том, что при анализе ГС-изображений слабо различимых типов подстилающей поверхности классические попиксельные методы демонстрируют недостаточно большую точность. Повышение достоверности их классификации может быть достигнуто путем одновременного анализа характеристик каждого пикселя и характеристик пикселей его ближайшей окрестности, т.е. за счет совместного анализа спектральных и пространственных признаков.
В целом методы спектрально-пространственной классификации ГС-изображений могут быть разделены на две категории [10]. Первая использует пространственную зависимость на этапе предварительной обработки для того, чтобы уточнить значения пикселей в исходных данных путем применения различных пространственных фильтров. Это могут быть как обычные сглаживающие фильтры, так и 2D-фильтры Габора [11, 12], морфологические профили [13, 14], энтропия [15], эмпирические моды [16, 17]. При этом в качестве анализируемой окрестности используется либо прямоугольное окно, либо сегменты, сформированные из наиболее близких по параметрам пикселей. Исторически первым алгоритмом, реализующим последний подход, является алгоритм ECHO (Extraction and Classification of Homogeneous Objects - выделение и классификация однородных объектов) [18]. В дальнейшем такой подход получил широкое развитие и в научной литературе называется объектно-ориентированным подходом [например, 19]. Он показал свою эффективность при обработке изображений высокого пространственного разрешения и активно используется при решении практических задач для обработки как гиперсперктральных, так и мультиспектральных данных [20, 21].
Вторая осуществляет учет пространственной зависимости на этапе постобработки для уточнения классов пикселей путем анализа картосхем (classification map) и / или карт вероятности классификации (probabilistic classification map), сформированных алгоритмами попиксельной спектральной классификации. К данной категории относятся метод мажоритарной обработки [22], заключающийся в выборе для каждой окрестности наиболее часто встречающегося класса, и его различные модификации, осуществляющие учёт вероятности отнесения пикселей окрестности к каждому классу [23]. Кроме того, в
последнее десятилетие активно развиваются методы, независимо с попиксельной классификацией осуществляющие предварительную сегментацию изображения [24, 25]. После этого класс каждого сегмента определяется на основе количества пикселей каждого класса в границах сегмента в картосхеме [26]. Последний подход считается одним из наиболее перспективных для анализа данных ГС-съёмки [2].
В работах [27 - 29] выполнено экспериментальное сравнение эффективности ряда методов спектральной и спектрально-пространственной классификации типов растительности. Показано, что лучшие результаты достигаются с применением методов опорных векторов (SVM) [30] и максимального правдоподобия [31], а для анализа целесообразно использовать небольшое количество спектральных признаков (10 -20), выделенных методом главных компонент с нормализацией шума каналов (метод MNF - Minimum Noise Fraction Transform) [32]. Продемонстрировано, что одновременный анализ спектральных и пространственных признаков позволяет снизить раздробленность результирующих картосхем, при этом учет пространственной информации целесообразно осуществлять на этапе предварительной обработки изображений. В качестве предварительной обработки предложено использовать равно взвешенное сглаживание по прямоугольному окну. Экспериментальным путем подобран конкретный размер такого окна (для тестового фрагмента изображения размером 145*145 он оказался равен 7 пикселям). Очевидно, что в общем случае оптимальный размер окна сглаживания зависит от размеров однородных зон и также является некоторым параметром, характеризующим анализируемые изображения.
В данной работе предлагается оценить эффективность различных сочетаний процедур предварительной и апостериорной обработки, уделив особое внимание подбору размера ядра (окна) пространственного преобразования в каждом случае, а также исследовать эффективность применения на предварительном этапе многомасштабной обработки (формировать несколько изображений с различной степенью сглаживания) с кратным (количеству масштабов) увеличением количества признаков для последующей классификации. Подобный прием активно используется в работах, посвященных многоградационной морфологической фильтрации изображений, где формируемый набор признаков, рассчитанных при различных масштабах, называют морфологическим профилем изображения.
Классификация изображений с подбором масштабов предварительной и апостериорной пространственной обработки
Исследование эффективности выполнения различных методов предварительной и апостериорной обработки выполнено на примере обработки фрагмента изображения Indian Pine, полученного в июне
1992 в рамках проекта AVIRIS (Airborne Visible Infrared Imaging Spectrometer). Фрагмент имеет размер 145^145 пикселей, 220 спектральных каналов в диапазоне 0,4 - 2,5 мкм, его пространственное разрешение ~ 20 метров на пиксель (рис. 1). Для этого фрагмента имеется карта классов, составленная по результатам наземных наблюдений.
а) Ь JHHVl б) I
Рис. 1. Один из каналов тестового фрагмента (а) и карта классов по наземным данным (б)
На изображении представлены: магистраль, железная дорога, с / х культуры, лес, жилые постройки. Всего 16 классов поверхности, в т.ч. 3 класса кукурузы и 3 сои, отличающиеся методиками возделывания почвы: no-till - вспашка не производится, min-till -вспашка с применением малоразрушающих технологий, clear - обычная вспашка. Дополнительная сложность данного изображения состоит в том, что всходы с / х культур из-за ранней даты регистрации изображения (12 июня) составляют только малый процент покрытия и спектральные характеристики в большой степени определяются отражением от голых почв и остатков прошлогодней растительности.
Для уменьшения влияния шума изображения на результаты классификации к ГС-изображению был предварительно применен метод MNF с выделением 20 наиболее информативных компонент. С полученным набором данных осуществлялись дальнейшие преобразования и классификация методом SVM с ядром радиальной базовой функции (RBF), чаще всего используемым в классификации SVM [30]. Обучающие выборки формировались путем случайного выбора из каждого класса 50 пикселей (для трех классов объемом менее 50 использовалось 15 пикселей), тестовые выборки включали все остальные пиксели. В качестве критерия эффективности использовалась средняя точность классификации по 10 реализациям обучающих выборок, которая оценивалась путем сравнения получаемых картосхем классов с наземными данными и определялась как выраженное в процентах соотношение количества верно классифицированных пикселей к их общему количеству в тестовой выборке.
Рассмотрены следующие способы повышения точности классификации изображения за счет учета пикселей окрестности:
1. Уточнение значений пикселей исходного изображения путём учёта окрестности. Учёт окрестности осуществляется путём пространственной обработки
исходного изображения скользящим окном заданного размера. Рассмотрены равно взвешенное сглаживание (LP), сглаживание по Гауссу (GLP), а также медианная фильтрация (MED) - среди значений отсчётов внутри окна определяется медиана, которая присваивается обрабатываемому пикселю.
2. Уточнение класса пикселей путём мажоритарной обработки картосхем (MJR). Для каждого пикселя в картосхеме, сформированной после выполнения процедуры классификации, определяется наиболее часто встречающийся в его окрестности класс, который затем присваивается этому пикселю. Обработка выполняется скользящим окном заданного размера.
3. Уточнение класса пикселей с низким уровнем достоверности (ниже определённого порога) по классам пикселей его окрестности (B_MJR). Для уточнения результатов процедуры классификации используется информация о том, с какой вероятностью каждый пиксель относится к тому классу, который присвоен ему в картосхеме. Данный способ состоит в том, что всем пикселям, у которых эта вероятность ниже определённой, ставится класс «не определено», а затем уточняется класс с помощью мажоритарной обработки, учитывающей только те пиксели, для которых класс определён. После этого для всех пикселей полученной картосхемы с целью уменьшения ее раздробленности проводится обычная мажоритарная обработка.
4. Уточнение класса пикселей путём мажоритарной обработки картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу (W_MJR). Как и в способе 3, каждый пиксель в картосхеме отнесён к присвоенному ему классу с определённой вероятностью. Можно считать, что таким образом пиксель голосует за этот класс, а вес этого голоса равен этой вероятности. Способ заключается в том, чтобы в окрестности обрабатываемого пикселя для каждого класса посчитать суммарный вес голосов за этот класс, а затем присвоить этому пикселю класс, имеющий наибольший суммарный вес голосов. Обработка выполняется скользящим окном заданного размера.
5. Уточнение вероятности отнесения пикселя к каждому классу путём учёта количества пикселей в его окрестности, отнесённых к этому классу (R_MJR). На картосхеме классов в окрестности обрабатываемого пикселя производится подсчёт пикселей, отнесённых к каждому классу, после чего полученные 16 значений умножаются на определённый коэффициент и добавляются к вероятности его отнесения к соответствующему классу. Обработка выполняется скользящим окном заданного размера. Далее уже по уточнённым значениям определяется наиболее вероятный класс каждого пикселя и строится новая картосхема классификации. Отметим, что при реализации способов 3- 5 осуществляется совместный анализ картосхемы и массивов вероятностей принадлежности со-
ответствующих пикселей к каждому из классов, полученных в результате процедуры спектральной классификации.
Для каждого из перечисленных способов необходимо задать ряд параметров, важнейшим из которых является размер окна пространственной обработки, определяющий ее масштаб. Их выбор осуществлялся путем перебора возможных значений в некотором диапазоне, с последующим использованием тех из них, для которых результирующая точность классификации изображения оказывалась максимальной.
В табл. 1 приведен пример подбора размеров окон предварительной ЬР и апостериорной МЖ обработки и их комбинации.
Выделены значения результирующей точности классификации изображения без пространственной обработки (80,7) и лучшие значения, достигнутые с предварительным равно взвешенным сглаживанием (94,1 при размере окна 7 пикселей), с мажоритарной
апостериорной обработкой картосхем (89,6 при размере окна 7 пикселей) и с сочетанием равно взвешенного сглаживания и мажоритарной обработки (95,2 при размерах окон предварительной обработки 5 и постобработки 7).
Табл. 1. Подбор масштаба предварительной и апостериорной обработки
Размер окна МЖ Размер окна ЬР
1 3 5 7 9
1 80,7 90,5 93,6 94,1 93,1
3 87,2 91,2 93,9 93,9 92,9
5 89,6 92,5 94,2 94,2 93,4
7 89,6 92,8 95,2 94,4 93,5
9 89,6 92,7 94,7 94,6 93,3
11 89,0 92,4 94,5 94,5 93,0
В табл. 2 приведены средний процент точности классификации и его стандартное отклонение по 10 различным реализациям обучающих выборок для
всех сравниваемых алгоритмов.
Табл. 2. Точность классификации при различных алгоритмах спектрально-пространственной обработки
Характеристика Без пространственной обработки С предварительной пространственной обработкой С постобработкой картосхем спектральной классификации
МЕБ ЬР ОЬР МЖ Б_МЖ Ш_МЖ Я_МЖ
Средняя точность (%) 80,7 93,1 94,1 94,5 89,6 88,8 89,2 89,9
СКО точности (%) 1,23 0,95 0,78 0,65 1,32 1,41 1,23 1,31
Таким образом показано, что включение в анализ окрестностей пикселей на любом этапе повышает точность классификации, однако наибольшую эффективность демонстрируют методы предварительной обработки исходных данных.
Наряду с этим, проведены исследования эффективности алгоритмов спектрально-пространственной классификации, основанных на совместном применении процедур предварительной и апостериорной обработки. В табл. 3 приведены экспериментальные данные для тестового фрагмента, из которой
видно, что алгоритмы, использующие пространственную обработку на нескольких этапах, позволяют дополнительно увеличить точность на 1,0 - 1,5 %. Эффективность их близка, а наибольшая результирующая точность достигнута при применении алгоритма, сочетающего предварительное сглаживание исходных данных усредняющим фильтром Гаусса размера 15*15 элементов со стандартным отклонением ст = 15 / 8 и мажоритарную обработку картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу.
Таким образом показано, что включение в анализ окрестностей пикселей на любом этапе повышает точность классификации, однако наибольшую эффективность демонстрируют методы предварительной обработки исходных данных.
Наряду с этим, проведены исследования эффективности алгоритмов спектрально-пространственной классификации, основанных на совместном применении процедур предварительной и апостериорной обработки. В табл. 3 приведены экспериментальные данные для тестового фрагмента, из которой
видно, что алгоритмы, использующие пространственную обработку на нескольких этапах, позволяют дополнительно увеличить точность на 1,0 - 1,5 %. Эффективность их близка, а наибольшая результирующая точность достигнута при применении алгоритма, сочетающего предварительное сглаживание исходных данных усредняющим фильтром Гаусса размера 15*15 элементов со стандартным отклонением ст = 15 / 8 и мажоритарную обработку картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу.
Табл. 3. Точность классификации при совместном применении процедур предварительной и апостериорной
пространственной обработки
Характеристика ЬР + МЖ ОЬР + МЖ ОЬР + Б_МЖ ОЬР + Ш_МЖ ЬР + Я_МЖ ОЬР + Я_МЖ
Средняя точность (%) 95,2 95,4 94,9 95,8 95,3 95,5
СКО точности (%) 0,84 0,66 0,66 0,69 0,68 0,70
Классификация изображений с предварительным многомасштабным сглаживанием
Одной из основных проблем спектрально-пространственных методов классификации сельскохозяйственной растительности по ГС-данным ДЗЗ является правильный выбор размера окна предварительной пространственной обработки. Причем для различных участков одного и того же изображения предпочтительно применять различную степень сглаживания, причиной чего являются локальные особенности. Для
уменьшения этого эффекта предлагается формировать и включать в процесс классификации несколько реализаций предварительно обработанного изображения с различной степенью сглаживания.
Исследование точности классификации с применением предварительной многомасштабной обработки тестового фрагмента выполнено путем объединения изображений с разной степенью сглаживания. Для каждого масштаба (до 8) использовано 20 спектральных признаков, выделенных методом МОТ. Таким образом, общее количество признаков увеличи-
лось до 160. В качестве метода классификации, как и ранее, применялся метод 8УМ с КБР-ядром.
При проведении исследований использована одна из реализаций обучающей выборки, сформированная в предыдущем параграфе работы. Результаты оценки точности классификации при различном количестве объединяемых масштабов представлены в табл. 4.
Табл. 4. Классификация фрагмента изображения после разномасштабной предварительной обработки
Количество масштабов Размер окна ЬР
1 3 5 7 9 11 13 15
1 79,9 89,7 92,3 92,6 93,6 93,9 93,6 92,6
4 94,2
4 94,5
4 94,3
4 94,0
4 92,6 |
6 1 94,7
6 94,9
6 94,6 |
8 95,3
Видно, что оптимальный размер окна предварительного сглаживания в данном случае равен 11 пикселям, а совместное использование сразу 8 масштабов позволило увеличить точность выполняемой классификации на 1,5 процента, т.е. до уровня значений, достигнутых в предыдущем параграфе при совместном применении предварительной и апостериорной обработки.
Рис. 2. Один из каналов крупноформатного ГС-изображения (а) и карта классов по наземным данным (б)
Исследование точности классификации с применением предварительного разномасштабного сглаживания изображений выполнено также на примере об-
работки крупноформатного изображения, полученного в рамках проекта АУЕМБ (выше был использован его фрагмент). Размер изображения - 614*2677 пикс., разрешение - 20 м / пикс., число каналов - 220 в диапазоне 0,4 - 2,5 мкм, по результатам наземных (подспутниковых) наблюдений оно разбито на 58 классов. Среди них с / х культуры (в т.ч. 15 классов кукурузы и 18 сои, отличающиеся методиками возделывания почвы), а также магистраль, железная дорога, лес, жилые постройки (рис. 2).
Использовано 5 спектральных признаков, выделенных методом М№, для каждого масштаба сглаживания. Таким образом, при учете девяти масштабов общее количество признаков составило 45. Обучающая выборка сформирована путем случайного выбора из каждого класса 25 % пикселей, тестовая выборка включала все остальные пиксели.
Оценка эффективности классификации крупноформатного ГС-изображения выполнена путём сопоставления сформированных картосхем классов и карт подспутниковых наблюдений:
- по всем 58 классам;
- по основным 27 классам (с объединением подклассов кукурузы и сои в классы кукуруза и соя в результирующей картосхеме).
Результаты оценки точности классификации при различных разменах окна предварительного сглаживания и при различных комбинациях применяемых масштабов приведены в табл. 5 и табл. 6.
Табл. 5. Классификация крупноформатного изображения по 58 классам
Количество масштабов Размер окна ЬР
1 3 5 7 9 11 13 15 17
1 45,3 49,0 50,0 50,6 51,0 51,3 51,4 51,3 51,0
6 52,2
4 52,4
5 53,0
5 53,6
5 1 54,1
9 54,2
Табл. 6. Классификация крупноформатного изображения по 27 классам (с объединением подклассов кукурузы и сои)
Количество масштабов Размер окна ЬР
1 3 5 7 9 11 13 15 17
1 66,9 69,2 69,6 69,7 69,8 69,8 69,7 69,2 68,7
6 71,5
4 71,3
5 71,8
5 72,0
5 1 72,1
9 73,0
Видно, что оптимальный размер окна предварительного сглаживания для данного изображения равен 11 пикселям, а совместное использование сразу 9 масштабов позволяет еще на 3% увеличить точность выполняемой классификации.
Следует отметить, что после классификации с применением многомасштабного предварительного
сглаживания дополнительная мажоритарная обработка сформированных картосхем не позволила существенно увеличить точность классификации. Результаты данных исследований приведены в табл. 7.
Проведён анализ методов повышения точности классификации ГС-изображений за счёт использования пространственных признаков. Рассмотрены методы, основанные на уточнении значений пикселей в исходных данных путём предварительного анализа их окрестностей и уточнении класса пикселей путём мажоритарной апостериорной обработки картосхем, в т. ч. с анализом массивов вероятностей принадлежности соответствующих пикселей к каждому из классов. Проведено экспериментальное исследование эффективности указанных способов обработки, а также их совместного применения на тестовом ГС-изображении.
Установлено, что наиболее эффективным методом повышения точности классификации слабо различимых типов растительности по гиперспектральным изображениям является совместное применение пространственной обработки исходных изображений и полученных картосхем. Показано, что лучшие значения достигнуты с помощью алгоритма, основанного на предварительном сглаживании изображения фильтром Гаусса размера 15*15 элементов со стандартным отклонением ст = 15 / 8 и мажоритарной обработке картосхем с учётом вероятности отнесения пикселей окрестности к каждому классу. Отмечено, что эффективность подобных алгоритмов близка для всех использованных процедур предварительной и апостериорной обработки.
Показана перспективность многомасштабного сглаживания исходных изображений. Использование сразу 9 масштабов позволило увеличить точность классификации крупноформатного изображения на 3 % по сравнению с результатом, достигнутым при оптимальном размере ядра предварительной обработки. Однако это, с одной стороны, приводит к повышению трудоемкости вычислений за счет кратного числу масштабов увеличения количества признаков и не позволяет при этом добиться эффективности большей, чем при совместном применении предварительной и апостериорной обработки. С другой стороны, бесспорным преимуществом многомасштабного сглаживания является то, что оно позволяет исключить весьма трудоемкую процедуру подбора масштаба предварительной пространственной обработки.
Благодарности
Работа выполнена при поддержке Министерства
науки и высшего образования в рамках выполнения
работ по Государственному заданию №АААА-А17-
117052410034-6 в ИАиЭ СО РАН.
Литература
1. Перспективные информационные технологии дистанционного зондирования Земли / М.В. Гашников, Н.И. Глумов, Е.В. Гошин, А.Ю. Денисова, А.В. Кузнецов, В.А. Митекин, В.В. Мясников, В.В. Сергеев, В .А. Сойфер, В.А. Федосеев, В.А. Фурсов, М.А. Чичёва, П.Ю. Якимов; под ред. В.А. Сойфера. - Самара: Новая техника, 2015. - 255 с. - ISBN: 978-5-88940-138-4.
2. Бондур, В.Г. Современные подходы к обработке больших потоков гиперспектральной и многоспектральной аэрокосмической информации / В.Г. Бондур // Исследование Земли из космоса. - 2014. - № 1. - С. 4-16.
3. Остриков, RH Обработка гиперспектральных данных, получаемых с авиационных и космических носителей / В.Н. Остриков, О.В. Плахотников, А.В. Кириенко // Современные проблемы дистанционного зондирования Земли из космоса. - 2013. - Т. 10, № 2. - С. 243-251.
4. Кузнецов, А. В. Сравнение алгоритмов управляемой поэлементной классификации гиперспектральных изображений / А.В. Кузнецов, В.В. Мясников // Компьютерная оптика. - 2014. - Т. 38, № 3. - С. 494-502.
5. Бучнев, А.А. Классификация с обучением гиперспектральных данных дистанционного зондирования земли / А.А. Бучнев, В.П. Пяткин // Интерэкспо Гео-Сибирь. -2017. - Т. 4, № 2. - С. 8-12.
6. Бибиков, С.А. Распознавание растительного покрова на гиперспектральных изображениях по показателю сопряжённости / С.А. Бибиков, Н.Л. Казанский. В.А. Фурсов // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 846-854. - DOI: 10.18287/2412-6179-2018-42-5-846-854.
7. Лебедев, Л.И. Комплексный анализ и мониторинг состояния окружающей среды на основе данных ДЗЗ / Л.И. Лебедев, Ю.В. Ясаков, Т.Ш. Утешева, В.П. Громов, А.В. Борусяк, В.Е. Турлапов // Компьютерная оптика. -2019. - Т. 43, № 2. - С. 282-295. - DOI: 10.18287/24126179-2019-43-2-282-295.
8. Воробьёва, Н.С. Информационная технология раннего распознавания видов сельскохозяйственных культур по космическим снимкам / Н.С. Воробьёва, В.В. Сергеев, А.В. Чернов // Компьютерная оптика. - 2016. - Т. 40, № 6. - С. 929-938. - DOI: 10.18287/2412-6179-2016-40-6929-938.
9. Жуков, Д.В. Методика тематической обработки гиперспектральных данных в задаче оценки экологического состояния акваторий портов / Д.В. Жуков // Исследование Земли из космоса. - 2014. - № 1. - C. 66-71. - DOI: 10.7868/S0205961414010084.
10. Борзов, С.М. Спектрально-пространственные методы классификации гиперспектральных изображений, обзор / С.М. Борзов, О.И. Потатуркин // Автометрия. - 2018. -Т. 54, № 6. - С. 64-86. - DOI: 10.15372/AUT20180607.
11. Huo, L.-Z. Spectral and spatial classification of hyperspec-tral data using SVMs and Gabor textures / L.-Z. Huo, P. Tang // IEEE International Geoscience and Remote Sensing Symposium. - 2011. - P. 1708-1711. - DOI: 10.1109/IGARSS.2011.6049564.
12. Zhang, L. On combining multiple features for hyperspectral remote sensing image classification / L. Zhang, L. Zhang, D. Tao, X. Huang // IEEE Transactions on Geoscience and Remote Sensing. - 2012. - Vol. 50. - P. 879-893.
Табл. 7. Эффективность применения дополнительной мажоритарной обработки
Количество классов Размер окна MJR
1 5 7 9 11
Точность по 58 классам 54,2 54,5 54,7 54,6 54,4
Точность по 27 классам 73,0 73,1 73,1 73,2 72,8
Заключение
13. Ghamisi, P. A survey on spectral-spatial classification techniques based on attribute profiles / P. Ghamisi, M. Dalla Mura, J.A. Benediktsson // IEEE Transactions on Geoscience and Remote Sensing. - 2015. - Vol. 53. - P. 2335-2353.
14. Fauvel, M. Spectral and spatial classification of hyperspec-tral data using SVMs and morphological profiles / M. Fauvel, J. Chanussot, J.A. Benediktsson, J.R. Sveinsson // IEEE Transactions on Geoscience and Remote Sensing. -2008. - Vol. 46. - P. 3804-3814.
15. Tuia, D. Automatic feature learning for spatio-spectral image classification with sparse SVM / D. Tuia, M. Volpi, M. Dalla Mura, A. Rakotomamonjy, R. Flamary // IEEE Transactions on Geoscience and Remote Sensing. - 2014. -Vol. 52. - P. 6062-6074.
16. Gormus, E.T. Dimensionality reduction of hyperspectral images with wavelet based empirical mode decomposition / E.T. Gormus, N. Canagarajah, A. Achim // 18th IEEE International Conference on Image Processing. - 2011. -P. 1709-1712.
17. Нежевенко, Е.С. Нейросетевая классификация трудноразличимых типов растительности по гиперспектральным признакам / Е.С. Нежевенко // Автометрия. - 2019. - Т. 55, № 3. - С. 62-70. - DOI: 10.15372/AUT20190308.
18. Kettig, R.L. Classification of multispectral image data by extraction and classification of homogeneous objects / R.L. Kettig, D.A. Landgrebe // IEEE Transactions оп Geoscience Electronics. - 1976. - Vol. GE-14, Issue 1. - P. 19-26.
19. Benz, U.C. Multi-resolution, object-oriented fuzzy analysis of remote sensing data for GIS-ready information / U.C. Benz, P. Hofmann, G. Willhauck, I. Lingenfelder, M. Heynen // ISPRS Journal of Photogrammetry and Remote Sensing. - 2004. - Vol. 58, Issues 3-4. - P. 239-258.
20. Варламова, А.А. Информационная технология обработки данных ДЗЗ для оценки ареалов растений / А.А. Варламова, А.Ю. Денисова, В.В. Сергеев // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 864-876. -DOI: 10.18287/2412-6179-2018-42-5-864-876.
21. Денисова, А.Ю. Выработка требований к мультиспек-тральным данным дистанционного зондирования Земли в задаче экспертизы зарастания пахотных земель древесно-кустарниковой растительностью / А.Ю. Денисова, А.А. Егорова, В.В. Сергеев, Л.М. Кавеленова // Компьютерная оптика. - 2019. - Т. 43, № 5. - С. 846-856. -DOI: 10.18287/2412-6179-2019-43-5-846-856.
22. Lillesand, M.T. Remote Sensing and Image Interpretation / M.T. Lillesand, R.W. Kiefer, J.W. Chipman. - New York: John Wiley & Sons, 2004. - 763 p.
23. Борзов, С.М. Комплексная обработка гиперспектральных изображений на основе спектральной и пространственной информации / С.М. Борзов, П.В. Мельников, И.А. Пестунов, О.И. Потатуркин, А.М. Федотов // Вычислительные технологии. - 2016. - Т. 21, № 1. - С. 25-39.
24. Пестунов, И.А. Алгоритмы спектрально-текстурной сегментации спутниковых изображений высокого пространственного разрешения / И.А. Пестунов, С.А. Рылов // Вестник КемГУ. - 2012. - № 4/2. - С. 104-109.
25. Myasnikov, E.V. Hyperspectral image segmentation using dimensionality reduction and classical segmentation approaches // Computer Optics. - 2017. - Vol. 41, Issue 4. -P. 564-572. - DOI: 10.18287/2412-6179-2017-41-4-564-572.
26. Зимичев, Е.А. Пространственная классификация гиперспектральных изображений с использованием метода кластеризации K-MEANS++ / Е.А. Зимичев, Н. Л. Казанский, П.Г. Серафимович // Компьютерная оптика. -2014. - Т. 38, № 2. - С. 281-286.
27. Борзов, С.М. Исследование эффективности классификации гиперспектральных спутниковых изображений природных и антропогенных территорий / С.М. Борзов, А.О. Потатуркин, О.И. Потатуркин, А.М. Федотов // Автометрия. - 2016. - Т. 52, № 1. - С. 3-14. - DOI: 10.15372/AUT20160101.
28. Борзов, С.М. Исследование эффективности спектрально-пространственной классификации данных гиперспектральных наблюдений / С. М. Борзов, О.И. Потатуркин // Автометрия. - 2017. - Т. 53, № 1. -С. 32-42. - DOI: 10.15372/AUT20170105.
29. Борзов, С.М. Исследование эффективности классификации трудноразличимых типов растительности по гиперспектральным изображениям / С.М. Борзов, М.А. Гурьянов, О.И. Потатуркин // Компьютерная оптика. - 2019. - Т. 43, № 3. - С. 464-473. - DOI: 10.18287/2412-6179-2019-43-3-464-473.
30. Cristianini, N. An introduction to support vector machines and other kernel-based learning methods / N. Cristianini, J. Shawe-Taylor. - Cambridge: Cambridge University Press, 2000.
31. Richards, J.A. Remote sensing digital image analysis / J.A. Richards. - Berlin, Heidelberg: Springer-Verlag, 2013. - 494 p.
32. Green, A.A. A transformation for ordering multispectral data in terms of image quality with implications for noise removal / A.A. Green, M. Berman, P. Switzer, M.D. Craig // IEEE Transactions on Geoscience and Remote Sensing. -1988. - Vol. 26, Issue 1. - P. 65-74.
Сведения об авторах
Борзов Сергей Михайлович, кандидат технических наук, 1961 года рождения, в 1983 году окончил Новосибирский государственный университет по специальности «Автоматизация физико-технических исследований», работает заведующим лабораторией в Федеральном государственном бюджетном учреждении науки Институте автоматики и электрометрии СО РАН. Область научных интересов: цифровая обработка изображений, обработка данных дистанционного зондирования Земли. E-mail: borzov@iae. nsk. su .
Потатуркин Олег Иосифович, доктор технических наук, профессор, 1947 года рождения, в 1970 году окончил Новосибирский государственный университет по специальности «Квантовая оптика», работает главным научным сотрудником в Федеральном государственном бюджетном учреждении науки Институте автоматики и электрометрии СО РАН. Область научных интересов: геоинформационные системы, дистанционное зондирование Земли, обработка и анализ многоспектральных изображений, распознавание образов, терагерцовая спектроскопия, физическая оптика. E-mail: potaturkin@iae.nsk.su .
ГРНТИ: 89.57.35
Поступила в редакцию 6 июля 2020 г. Окончательный вариант - 7 сентября 2020 г.
Increasing the classification efficiency of hyperspectral images due to multi-scale spatial processing
S.M. Borzov', O.I. Potaturkin1 'Institute of Automation and Electrometry of the Siberian Branch of the Russian Academy of Sciences, 630090, Novosibirsk Russia, Academician Koptyug ave. 1
Abstract
Classification of the land cover types from multi- and hyperspectral (HS) imagery is traditionally carried out on the basis of analysis of scatter plots of pixel values in a multidimensional feature space, which are used as brightness in individual channels. To increase the reliability of HS image classification, approaches are used based on simultaneously accounting for the characteristics of each pixel and the nearest-neighbor pixels, i.e., on the joint analysis of spectral and spatial features. The pixel neighborhood analysis is performed at various stages of the classification process.
In this work, using a test hyperspectral image, the efficiency of spectral-spatial data classification methods that take into account spatial information at various stages of processing is studied. Special attention is paid to selecting the size of the spatial processing core. It is shown that the best results are obtained by combining pre-processing of raw data before performing the procedures of pixel-by-pixel spectral classification and post-processing of the resulting maps. Prospects of multi-scale smoothing of initial images, with the increase of the number of spectral-spatial features being multiple of the number of the scales, are shown.
Keywords: remote sensing, hyperspectral images, land cover types classification, spectral and spatial features, image processing.
Citation: Borzov SM, Potaturkin OI. Increasing the classification efficiency of hyperspectral images due to multi-scale spatial processing. Computer Optics 2020; 44(6): 937-943. DOI: 10.18287/2412-6179-CO-779.
Acknowledgements: This work was financially supported by the RF Ministry of Science and Higher Education within the State assignment No. AAAA-A17-117052410034-6 in IA&E SB RAS.
References
[1] Soifer VA, ed. Information technologies remote sensing of the Earth [In Russian]. Samara: "Novaya Tehnika" Publisher; 2015. ISBN: 978-5-88940-138-4.
[2] Bondur VG. Modern approaches to processing large streams of hyperspectral and multispectral aerospace information [In Russian]. Issledovanie Zemli iz kosmosa 2014; 1: 4-16.
[3] Ostrikov VN, Plahotnikov OV, Kirienko AV. Processing of hyperspectral data obtained from aeronautical and space carriers [In Russian]. Sovremennye problemy dis-tantsionnogo zondirovaniya Zemli iz kosmosa 2013; 10(2): 243-251.
[4] Kuznetsov AV, Myasnikov VV. A comparison of algorithms for supervised classification using hyperspectral data. Computer Optics 2014; 38(3): 494-502.
[5] Buchnev AA, P'atkin VP. Classification with training of hyperspectral data of remote sensing of the earth [In Russian]. Interexpo Geo-Siberia 2017; 4(2): 8-12.
[6] Bibikov SA, Kazanskiy NL, Fursov VA. Vegetation type recognition in hyperspectral images using a conjugacy indicator. Computer Optics 2018; 42(5): 846-854. DOI: 10.18287/2412-6179-2018-42-5-846-854.
[7] Lebedev LI, Yasakov YuV, Utesheva TSh, Gromov VP, Bo-rusjak AV, Turlapov VE. Complex analysis and monitoring of the environment based on Earth sensing data. Computer Optics 2019; 43(2): 282-295. DOI: 10.18287/2412-61792019-43-2-282-295.
[8] Vorobiova NS, Sergeyev VV, Chernov AV. Information technology of early crop identification by using satellite images. Computer Optics 2016; 40(6): 929-938. DOI: 10.18287/2412-6179-2016-40-6-929-938.
[9] Zhukov DV. Method of thematic processing of hyperspectral data in the problem of assessing the ecological state of port waters [In Russian]. Issledovanie Zemli iz kosmosa 2014; 1: 66-71. DOI: 10.7868/S0205961414010084
[10] Borzov SM, Potaturkin OI. Spectral-spatial methods for hyperspectral image classification. review. Optoelectronics, Instrumentation and Data Processing 2018; 54(6): 582-599. DOI: 10.3103/S8756699018060079.
[11] Huo L-Z, Tang P. Spectral and spatial classification of hyperspectral data using SVMs and Gabor textures. IEEE International Geoscience and Remote Sensing Symposium 2011: 1708-1711. DOI: 10.1109/IGARSS.2011.6049564.
[12] Zhang L, Zhang L, Tao D, Huang X. On combining multiple features for hyperspectral remote sensing image classification. IEEE Trans Geosci Remote Sens 2012; 50: 879-893.
[13] Ghamisi P, Dalla Mura M, Benediktsson JA. A survey on spectral-spatial classification techniques based on attribute profiles. IEEE Trans Geosci Remote Sens 2015; 53: 23352353.
[14] Fauvel M, Chanussot J, Benediktsson JA, Sveinsson JR. Spectral and spatial classification of hyperspectral data using SVMs and morphological profiles. IEEE Trans Geosci Remote Sens 2008; 46: 3804-3814.
[15] Tuia D, Volpi M, Dalla Mura M, Rakotomamonjy A, Flam-ary R. Automatic feature learning for spatio-spectral image classification with sparse SVM. IEEE Trans Geosci Remote Sens 2014; 52: 6062-6074.
[16] Gormus ET, Canagarajah N, Achim A. Dimensionality reduction of hyperspectral images with wavelet based empirical mode decomposition. 18th IEEE Int Conf Image Process 2011; 1709-1712.
[17] Nezhevenko ES. Neural network classification of difficult-to-distinguish types of vegetation on the basis of hyper-
spectral features. Optoelectronics, Instrumentation and Data Processing 2019; 55(3): 263-270. DOI: 10.3103/S8756699019030087.
[18] Kettig RL, Landgrebe DA. Classification of Multispectral Image Data by Extraction and Classification of Homogeneous Objects. IEEE T Geosci Elect 1976; GE-14(1): 19-26.
[19] Benz UC, Hofmann P, Willhauck G, Lingenfelder I, Heynen M. Multi-resolution, object-oriented fuzzy analysis of remote sensing data for GIS-ready information. ISPRS J Photogramm Remote Sens 2004; 58(3-4): 239-258.
[20] Varlamova AA, Denisova AY, Sergeev VV. Earth remote sensing data processing for obtaining vegetation types maps. Computer Optics 2018; 42(5): 864-876. DOI: 10.18287/2412-6179-2018-42-5-864-876.
[21] Denisova AY, Egorova AA, Sergey ev VV, Kavelenova LM. Requirements for multispectral remote sensing data used for the detection of arable land colonization by tree and shrubbery vegetation. Computer Optics 2019; 43(5): 846-856. DOI: 10.18287/2412-6179-2019-43-5-846-856.
[22] Lillesand MT, Kiefer RW, Chipman JW. Remote Sensing and Image Interpretation. New York: John Wiley and Sons; 2004.
[23] Borzov SM, Melnikov PV, Pestunov IA, Potaturkin OI, Fedotov AM. Integrated processing of hyperspectral images on the basis on spectral and spatial information [In Russian]. Vychislitel'nye Tekhnologii 2016; 21(1): 25-39.
[24] Pestunov IA, Rylov SA. Algorithms for spectral-texture segmentation of high-resolution satellite images [In Russian]. Vestnik KemGU 2012; 4/2: 104-109.
[25] Myasnikov EV. Hyperspectral image segmentation using dimensionality reduction and classical segmentation approaches. Computer Optics 2017; 41(4): 564-572. DOI: 10.18287/2412-6179-2017-41-4-564-572.
[26] Zimichev EA, Kazanskiy NL, Serafimovich PG. Spectral-spatial classification with k-means++ particional clustering. Computer Optics 2014; 38(1): 281-286.
[27] Borzov SM, Potaturkin AO, Potaturkin OI, Fedotov AM. Analysis of the efficiency of classification of hyperspectral satellite images of natural and man-made areas. Optoelectronics, Instrumentation and Data Processing 2016; 52(1): 1-10. DOI: 10.3103/S8756699016010015.
[28] Borzov SM, Potaturkin OI. Efficiency of the spectral-spatial classification of hyperspectral imaging data. Optoelectronics, Instrumentation and Data Processing 2017; 53(1): 26-34. DOI: 10.3103/S8756699017010058.
[29] Borzov SM, Guryanov MA, Potaturkin OI. Study of the classification efficiency of difficult-to-distinguish vegetation types using hyperspectral data. Computer Optics 2019; 43(3): 464473. DOI: 10.18287/2412-6179-2019-43-3-464-473.
[30] Cristianini N, Shawe-Taylor J. An introduction to support vector machines and other kernel-based learning methods. Cambridge: Cambridge University Press, 2000.
[31] Richards JA. Remote sensing digital image analysis. Berlin, Heidelberg: Springer-Verlag; 1999.
33. Green AA, Berman M, Switzer P, Craig MD. A transformation for ordering multispectral data in terms of image quality with implications for noise removal. IEEE Trans Geosci Remote Sens 1988; 26(1): 65-74.
Authors' information
Sergey Mihaylovich Borzov (b. 1961) graduated from Novosibirsk State University in 1983, majoring in Automation of Physico-technical researches. Candidate of Technical Science. Currently he works as the head of laboratory at the Institute of Automation and Electrometry Siberian Branch of the Russian Academy of Sciences. Research interests are digital processing of images, data processing of remote sensing. E-mail: borzov@iae.nsk.su .
Oleg Iosifovich Potaturkin (b. 1947) graduated from Novosibirsk State University in 1970, majoring in Quantum Optics. Doctor of Technical Science, Professor. Currently he works as the main researcher at the Institute of Automation and Electrometry Siberian Branch of the Russian Academy of Sciences. Research interests are GIS, digital processing of images, data processing of remote sensing, images recognition, THz spectroscopy, physical optics. E-mail: potaturkin@iae.nsk.su .
Received July 6, 2020. The final version - September 7, 2020.
