CC BY
44
УДК 528.72:004.93
DOI 10.25205/1818-7900-2017-15-4-14-21
М. А. Гурьянов 1 2, С. М. Борзов 1
1 Институт автоматики и электрометрии СО РАН пр. Академика Коптюга, 1, Новосибирск, 630090, Россия
2 Новосибирский государственный университет ул. Пирогова, 2, Новосибирск, 630090, Россия
[email protected], [email protected]
СПЕКТРАЛЬНО-ПРОСТРАНСТВЕННАЯ КЛАССИФИКАЦИЯ ТИПОВ РАСТИТЕЛЬНОСТИ ПО ГИПЕРСПЕКТРАЛЬНЫМ ДАННЫМ
Работа посвящена исследованию эффективности методов контролируемой спектрально-пространственной классификации гиперспектральных данных при различении типов растительности (сельскохозяйственных культур). На примере тестового фрагмента изображения, полученного в рамках программы ЛУТЫБ, выполнено сравнение ряда подходов к повышению точности классификации за счет учета окрестности пикселей на различных этапах обработки данных. Показано, что наибольшей эффективностью обладает метод, сочетающий пространственную обработку исходных изображений и постобработку формируемых картосхем.
Ключевые слова: дистанционное зондирование Земли, гиперспектральные изображения, классификация типов поверхностей, спектральные и пространственные признаки.
Введение
Дистанционное зондирование Земли (ДЗЗ) - сравнительно быстрый и объективный метод сбора информации с обширных участков местности, а также опасных и труднодоступных территорий. Поэтому ДЗЗ часто применяется в сельском хозяйстве, например, для оценки состояния посевов или классификации типов культур. Однако задача классификации слаборазличимых типов растительности сложна ввиду схожести их спектральных характеристик. С другой стороны, в настоящее время развитие средств ДЗЗ характеризуется внедрением технологий гиперспектральной (ГС) съемки в видимом и ближнем инфракрасном диапазонах [1]. Отличительная особенность регистрируемых при такой съемке изображений - большое количество каналов и узкая ширина каждого из них. ГС изображения потенциально обладают значительно большими возможностями при обнаружении и распознавании различных объектов, однако требуют разработки специализированных технологий обработки данных.
Классификация типов подстилающей поверхности по мульти- и гиперспектральным изображениям традиционно осуществляется на основе анализа диаграмм рассеяния значений пикселей в многомерном пространстве признаков, в качестве которых используются яркости в отдельных каналах. Процедура состоит из обучения и собственно классификации, т. е. отнесения пикселей к наиболее близкому классу. При обучении в многомерном пространстве признаков на основе анализа наборов пикселей, для которых известны классы (обучающих выборок), определяются области (кластеры), в которых наиболее часто встречаются пиксели каждого из классов. При классификации рассчитывается близость классифицируемых пикселей к каждому из образованных кластеров (с формированием так называемых ги1е-изображе-
Гурьянов М. А, Борзов С. М. Спектрально-пространственная классификация типов растительности по гиперспектральным данным // Вестн. НГУ. Серия: Информационные технологии. 2017. Т. 15, № 4. С. 14-21.
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2017. Том 15, № 4 © М. А. Гурьянов, С. М. Борзов, 2017
ний - двумерных массивов, содержащих оценки вероятности принадлежности соответствующих пикселей к каждому из классов) и определяется ближайший среди них. Различные спектральные методы классификации отличаются между собой в первую очередь способом определения указанной близости. Но проблема заключается в том, что при классификации слаборазличимых типов растительности по ГС данным классические методы попиксельной классификации демонстрируют недостаточную точность.
Повышение достоверности классификации изображений может быть достигнуто путем одновременного анализа их спектральных и пространственных признаков на различных этапах обработки (рис. 1). В частности, в качестве способа повышения точности классификации изображения за счет использования пространственных признаков применяются:
1) уточнение значений пикселей в исходных данных путем учета пикселей их окрестностей [2-4];
2) уточнение класса пикселей путем учета критериев близости пикселей окрестности к соответствующему классу [5-7];
3) уточнение класса пикселей путем постобработки формируемых картосхем классов [8; 9].
Рис. 1. Схема процесса классификации
Различные модификации алгоритмов, основанных на указанных подходах, широко исследуются в последнее время. Однако поскольку в разных работах исследования выполняются в различных условиях (на различных изображениях, при разных объемах обучающих выборок, при различных количествах и способах выбора признаков и др.), невозможно напрямую сравнивать полученные результаты и говорить о преимуществе одного подхода перед другим.
Целью данной работы является исследование эффективности перечисленных способов учета пространственной информации на примере классификации тестового фрагмента ГС изображения и разработка комплексного алгоритма, сочетающего различные подходы.
Исходные данные
В работе в качестве тестового изображения для исследования эффективности подходов к повышению точности классификации гиперспектральных данных используется фрагмент снимка AVIRIS (Airborne Visible Infrared Imaging Spectrometer) местности на северо-востоке штата Индиана (США), называемой Indian Pine, полученный в июне 1992 г. [10]. Фрагмент имеет размер 145 х 145 пикселей, 220 спектральных каналов в диапазоне 0,4-2,5 мкм, его пространственное разрешение ~ 20 метров на пиксель (рис. 2). Для этого фрагмента имеется карта классов, составленная по результатам наземных наблюдений.
На изображении представлены: магистраль, железная дорога, с/х культуры, лес, жилые постройки. Всего 16 классов поверхности, в том числе 3 класса кукурузы и 3 сои, отличающиеся методиками возделывания почвы: no-till - вспашка не производится, min-till - вспашка
б
Рис. 2. Один из 220-ти каналов тестового фрагмента (а) и карта классов по наземным данным (б)
а
Рис. 3. Наземные фотографии культур на некоторых участках: а - посевы кукурузы; б - посевы сои
с применением малоразрушающих технологий, clear - обычная вспашка. Дополнительная сложность данного изображения состоит в том, что всходы с/х культур из-за ранней даты регистрации изображения (12 июня) составляют только малый процент покрытия и спектральные характеристики в большой степени определяются отражением от голых почв и остатков прошлогодней растительности (рис. 3).
Экспериментальные исследования спектрально-пространственных методов классификации изображений
Для уменьшения влияния «шума» изображения на результаты классификации к ГС изображению (аналогично [11]) был предварительно применен метод главных компонент с нормализацией шума [12] (MNF - Minimum Noise Fraction Transform) с выделением 20-ти наиболее информативных компонент. С полученным набором данных осуществлялись дальнейшие преобразования и классификация методом опорных векторов (SVM) с линейным ядром. Обучающая выборка формировалась путем случайного выбора из каждого класса 50 пикселей (для трех классов объемом менее 50 использовалось 15 пикселей), тестовая выборка включала все остальные пиксели. В качестве критерия эффективности использовалась результирующая точность классификации, которая оценивалась путем сравнения получаемых картосхем классов с наземными данными и определялась как выраженное в процентах соотношение количества верно классифицированных пикселей к их общему количеству в тестовой выборке.
Для повышения достоверности классификации ГС изображения были использованы подходы, основанные на одновременном анализа характеристик каждого пикселя и пикселей его
ближайшей окрестности, т. е. на совместном анализе спектральных и пространственных признаков. При этом анализ окрестности пикселей выполнялся на различных этапах процесса классификации.
Рассмотрены следующие способы повышения точности классификации изображения.
1. Уточнение значений пикселей исходного изображения путем учета окрестности.
Учет окрестности осуществляется путем фильтрации исходного изображения скользящим
окном заданного размера. Рассмотрены сглаживающий фильтр Гаусса (свертка с ядром
2 2 1 * + У
G (x,y) =--e 2°2 ) (GLP), средневзвешенное сглаживание (свертка с ядром
2к<5
M (x,y) = -1- для окна размера N х N) (LP), а также медианный фильтр (MED) - среди зна-
N
чений отсчетов внутри окна определяется медиана, которая присваивается обрабатываемому пикселю.
2. Уточнение критерия близости пикселя к каждому классу по его окрестности.
В процессе классификации, помимо картосхемы классов, формируется так называемое rule-изображение - трехмерная матрица, показывающая вероятность отнесения каждого пикселя к каждому из классов. Данный способ заключается в том, чтобы уточнить эти вероятности путем фильтрации каждого слоя этого rule-изображения. Применялся сглаживающий фильтр Гаусса (R_GLP).
3. Уточнение класса пикселей путем мажоритарной обработки картосхем (MJR).
Для каждого пикселя в картосхеме, сформированной после выполнения процедуры классификации, определяется наиболее часто встречающийся в его окрестности класс, который затем присваивается этому пикселю. Обработка выполняется скользящим окном заданного размера.
4. Уточнение класса пикселей с низким уровнем достоверности (ниже определенного порога) по классам пикселей его окрестности (B_MJR).
Для уточнения результатов процедуры классификации используется информация о том, с какой вероятностью каждый пиксель относится к тому классу, который присвоен ему в картосхеме классов. Данный способ состоит в том, что всем пикселям, у которых эта вероятность ниже определенной, ставится класс «не определено», после чего для этих пикселей уточняется класс с помощью мажоритарной обработки, учитывающей только пиксели, для которых класс определен. После этого для всех пикселей полученной картосхемы для уменьшения ее раздробленности проводится обычная мажоритарная обработка.
5. Уточнение класса пикселей путем мажоритарной обработки картосхем с учетом вероятности отнесения пикселей окрестности к каждому классу (W_MJR).
Как и в способе 4, каждый пиксель в картосхеме отнесен к присвоенному ему классу с определенной вероятностью. Можно считать, что таким образом пиксель «голосует» за этот класс, а вес голоса равен этой вероятности. Способ заключается в том, чтобы в окрестности обрабатываемого пикселя для каждого класса посчитать суммарный вес голосов за этот класс, а затем присвоить этому пикселю класс, имеющий наибольший суммарный вес голосов. Обработка выполняется скользящим окном заданного размера.
6. Уточнение критерия близости пикселя к каждому классу путем учета количества пикселей в его окрестности, отнесенных к этому классу (R.ADD).
На картосхеме классов в окрестности обрабатываемого пикселя для каждого класса производится подсчет пикселей, отнесенных к этому классу (исключая сам обрабатываемый пиксель), после чего полученный вектор из 16-ти значений домножается на определенный коэффициент и добавляется в соответствующий пиксель rule-изображения. Обработка выполняется скользящим окном заданного размера. Далее уже по уточненным критериям близости определяется наиболее вероятный класс каждого пикселя и строится новая картосхема классификации. Отметим, что при реализации способов 4-6 осуществляется совместный анализ массивов вероятностей принадлежности соответствующих пикселей к каждому из классов и картосхемы, полученных в результате процедуры спектральной классификации.
Для реализации каждого из перечисленных способов необходимо задать ряд параметров. Их выбор осуществлялся путем перебора возможных значений в некотором диапазоне, и ис-
пользовалось то, при котором результирующая точность классификации изображения оказывалась максимальной. В табл. 1 приведена точность классификации при 10-ти различных обучающих выборках, средний процент точности классификации и его стандартное отклонение.
Представленные данные показывают, что включение в анализ окрестностей пикселей на любом этапе повышает точность классификации, однако наибольшую эффективность демонстрируют методы предварительной обработки исходных данных.
Далее были выполнены исследования эффективности алгоритмов, основанных на различных сочетаниях указанных процедур. В табл. 2 приведены полученные для различных алгоритмов проценты точности классификации тестового фрагмента.
Таблица 1
Номер Без пространственной обработки Предварительное сглаживание Сглаживание вероятностей Постобработка картосхем
теста MED LP GLP яоьр MJR B MJR W MJR
1 80,84 91,78 93,03 93,47 89,34 89,76 88,29 88,76
2 80,63 91,58 92,87 93,95 90,12 89,60 89,03 89,65
3 78,59 92,93 93,77 94,50 88,39 87,79 88,61 88,01
4 80,16 93,43 93,83 94,35 89,18 88,63 87,91 88,52
5 82,58 92,70 93,85 93,90 91,93 91,65 91,03 91,16
6 79,68 93,75 94,35 94,94 88,71 88,23 87,62 88,06
7 81,56 92,89 94,25 93,89 88,50 88,44 86,91 87,73
8 81,08 94,13 94,19 95,07 90,79 90,57 88,37 89,64
9 82,28 94,47 95,26 95,50 91,90 91,30 91,35 91,06
10 79,77 93,70 95,18 94,98 90,15 90,02 89,14 89,80
mean 80,72 93,14 94,06 94,46 89,90 89,60 88,83 89,24
stdev 1,23 0,95 0,78 0,65 1,31 1,32 1,41 1,23
Таблица 2
Номер LP + GLP + LP + GLP + GLP + GLP + LP + GLP +
теста R.GLP R.GLP MJR MJR B MJR W MJR R.ADD R.ADD
1 94,48 94,95 93,99 94,51 93,61 94,89 94,22 94,76
2 94,56 95,33 93,81 94,71 95,27 94,97 94,08 94,77
3 95,47 96,25 94,91 95,59 94,87 96,03 95,15 95,60
4 96,02 95,75 95,40 95,42 94,80 95,59 95,95 95,67
5 95,63 95,77 95,07 95,19 94,66 95,73 95,10 95,62
6 96,29 96,40 96,00 96,10 95,18 96,25 95,86 96,13
7 95,33 95,04 95,12 94,40 94,30 94,77 95,07 94,50
8 96,23 96,74 95,74 96,22 95,77 96,62 95,89 96,78
9 96,68 96,57 96,13 95,98 95,82 96,56 95,82 96,06
10 96,75 96,29 96,19 95,73 94,88 96,24 95,58 95,49
mean 95,74 95,91 95,23 95,38 94,92 95,76 95,27 95,54
stdev 0,80 0,64 0,84 0,66 0,66 0,69 0,68 0,70
Как видно из табл. 2, алгоритмы, применяющие пространственную обработку на нескольких этапах классификации, позволяют дополнительно увеличить точность на 1,0-1,5 %, а наибольшая результирующая точность была достигнута при применении алгоритма, сочетающего предварительное сглаживание исходных данных и сглаживание ги1е-изображений усредняющим фильтром Гаусса.
Выводы
Проведен анализ существующих методов повышения точности классификации ГС изображения за счет использования пространственных признаков. Рассмотрены методы, основанные на уточнении значений пикселей в исходных данных путем учета окрестности, уточнения класса пикселей с учетом критериев близости пикселей его окрестности к соответствующему классу, уточнения класса пикселей путем мажоритарной обработки картосхем, а также на совместном анализе первичной картосхемы классов и критериев близости пикселей к соответствующему классу. Проведено экспериментальное исследование эффективности указанных способов обработки и их сочетаний на тестовом изображении.
Установлено, что наиболее эффективным способом повышения достоверности классификации слаборазличимых типов растительности по гиперспектральным изображениям является комплексное применение пространственной обработки исходных изображений и получаемых картосхем классификации. Показано, что лучших значений точности позволяет достичь
алгоритм, основанный на предварительном сглаживании изображения фильтром Гаусса раз-15 15 15
мером 15 х 15 элементов со стандартным отклонением с = — и последующем сглаживании
8
критерия близости пикселей (тем же фильтром с теми же параметрами).
Список литературы
1. Перспективные информационные технологии дистанционного зондирования Земли: Моногр. / Под ред. В. А. Сойфера. Самара: Новая техника, 2015. 256 с.
2. Chen C., Li W., Tramel E.W., Cui M., Prasad S., Fowler J. E. Spectral-spatial preprocessing using multihypothesis prediction for noise-robust hyperspectral image classification // IEEE J. Sel. Top. Appl. Earth Observ. Remote Sens. 2014. Vol. 7. Р. 1047-1059.
3. Palsson F., Ulfarsson M. O., Sveinsson J. R. Hyperspectral image denoising using a sparse low rank model and dual-tree complex wavelet transform // Proc. of the Geoscience and Remote Sensing Symposium (IGARSS), IEEE International. 2014. P. 3670-3673.
4. Zhen Ye, Mingyi He, Fowler J. E., Qian Du. Hyperspectral image classification based on spectra derivative features and locality preserving analysis // Proc. of the Signal and Information Processing (ChinaSIP), IEEE China Summit & International Conference. 2014. P. 138-142.
5. Borhani M., Ghassemian H. Hyperspectral Image Classification Based on Spectral-Spatial Features Using Probabilistic SVM and Locally Weighted Markov Random Fields // Iranian Conference on Intelligent Systems (ICIS 2014). 2014. P. 1-6.
6. Yang Hu, Eli Saber, Monteiro Sildomar T., Cahill Nathan D., Messinger David W. Classification of hyperspectral images based on conditional random fields // Proc. SPIE 9405, Image Processing: Machine Vision Applications VIII, 940510 (February 27, 2015); doi:10.1117/12.2083374; http://dx.doi.org/10.1117/12.2083374
7. Tarabalka Y., Rana A. Graph-Cut-Based Model for Spectral-Spatial Classification of Hyperspectral Images // International Geoscience and Remote Sensing Symposium (IGARSS); Quebec, Canada. 2014. P. 3418-21.
8. Lillesand M. T., Kiefer R. W., Chipman J. W. Remote Sensing and Image Interpretation. N. Y.: John Wiley & Sons, 2004. 763 p.
9. Hader D. P. Imageanalysis: methods and applications. London: CRC Press, 2000. 480 p.
10. Baumgardner M. F., Biehl L. L., Landgrebe D. A. 220 Band AVIRIS Hyperspectral Image Data Set: June 12, 1992 Indian Pine Test Site 3. Purdue University Research Repository. 2015. doi:10.4231/R7RX991C.
11. Борзов С. М., Потатуркин А. О., Потатуркин О. И., Федотов А. М. Исследование эффективности классификации гиперспектральных спутниковых изображений природных и антропогенных территорий // Автометрия. 2016. № 1. С. 3-14.
12. Green A. A., Berman M., Switzer P., Craig M. D. A transformation for ordering multispec-tral data in terms of image quality with implications for noise removal // IEEE Transactions on Ge-oscience and Remote Sensing. 1988. Vol. 26. No. 1. P. 65-74.
Материал поступил в редколлегию 20.06.2017
M. A. Guryanov 1 2, S. M. Borzov 1
1 Institute of Automation and Electrometry SB RAS 1 Academician Koptyug Ave., Novosibirsk, 630090, Russian Federation
2 Novosibirsk State University 2 Pirogov St., Novosibirsk, 630090, Russian Federation
[email protected], [email protected]
SPECTRAL-SPATIAL CLASSIFICATION OF VEGETATIVE COVER TYPES USING HYPERSPECTRAL DATA
The article is devoted to the effectiveness research of controlled spectral-spatial classification of hyperspectral data methods in distinguishing vegetation types (agricultural cropes). A number of approaches to increasing the classification accuracy by considering the pixels' vicinity on different stages of data processing have been compared using the example of the test image fragment, which was taken during the AVIRIS program. It was shown that method combining spatial processing of initial images with postprocessing of generated classification maps renders to be the most effective.
Keywords: remote sensing, hyperspectral images, surface type classification, spectral and spatial features.
References
1. Perspective information technologies of Earth remote sensing: monograph / ed. by V. A. Soy-fer. Samara, Novaya tehnika, 2015, 256 p.
2. Chen C., Li W., Tramel E. W., Cui M., Prasad S., Fowler J. E. Spectral-spatial preprocessing using multihypothesis prediction for noise-robust hyperspectral image classification. IEEE J. Sel. Top. Appl. Earth Observ. Remote Sens. 2014, 7, 1047-1059.
3. Palsson F., Ulfarsson M. O., Sveinsson J. R. Hyperspectral image denoising using a sparse low rank model and dual-tree complex wavelet transform // Proc. of the Geoscience and Remote Sensing Symposium (IGARSS), IEEE International, 2014, p. 3670-3673.
4. Zhen Ye, Mingyi He, Fowler J. E., Qian Du. Hyperspectral image classification based on spectra derivative features and locality preserving analysis. Proc. of the Signal and Information Processing (ChinaSIP), IEEE China Summit & International Conference, 2014, p. 138-142.
5. Borhani M., Ghassemian H. Hyperspectral Image Classification Based on Spectral-Spatial Features Using Probabilistic SVM and Locally Weighted Markov Random Fields. Iranian Conference on Intelligent Systems (ICIS 2014), 2014, pp. 1-6.
6. Yang Hu, Eli Saber, Sildomar T. Monteiro, Nathan D. Cahill and David W. Messinger. Classification of hyperspectral images based on conditional random fields. Proc. SPIE 9405, Image Processing: Machine Vision Applications VIII, 940510 (February 27, 2015); doi:10.1117/12.2083374; http://dx.doi.org/10.1117/12.2083374
7. Tarabalka Y., Rana A. Graph-Cut-Based Model for Spectral-Spatial Classification of Hyperspectral Images. International Geoscience and Remote Sensing Symposium (IGARSS); Quebec, Canada. 2014, p. 3418-21.
8. Lillesand M. T., Kiefer R. W., Chipman J. W. Remote Sensing and Image Interpretation. N. Y.: John Wiley & Sons, 2004, 763 p.
9. Hader D. P. Imageanalysis: methods and applications. London: CRC Press, 2000, 480 p.
10. Baumgardner M. F., Biehl L. L., Landgrebe D. A. 220 Band AVIRIS Hyperspectral Image Data Set: June 12, 1992 Indian Pine Test Site 3. Purdue University Research Repository. 2015. doi:10.4231/R7RX991C.
11. Borzov S. M., Potaturkin A. O., Potaturkin O. I., Fedotov A. M. Study of the classification efficiency of hyperspectral satellite images of natural and anthropogenic territories. Avtometriya, 2016, no. 1, p. 3-14.
12. Green A. A., Berman M., Switzer P., and Craig M. D. A transformation for ordering multi-spectral data in terms of image quality with implications for noise removal. IEEE Transactions on Geoscience and Remote Sensing, 1988, vol. 26, no. 1, p. 65-74.
For citation:
Guryanov M. A., Borzov S. M. Spectral-Spatial Classification of Vegetative Cover Types Using Hyperspectral Data. Vestnik NSU. Series: Information Technologies, 2017, vol. 15, no. 4, p. 14-21. (In Russ.)
