CC BY
93
УДК 004.932:519.652 М.Ю. Катаев, С.М. Бутин
Сравнительный анализ методов повышения пространственного разрешения спутниковых данных ЬДМОЭЛТ-Б
Проведено сравнение нескольких методов повышения пространственного разрешения спутниковых изображений, полученных по данным спектрорадиометра Ьап<!8а1;-8. Сравниваются методы Бгоуеу, БИМ, МЬТ и ИРЕ с помощью критериев корреляции, КМБЕ и ЕЯОЛБ. Также для сравнения использовался нормализованный относительный индекс растительности, который в сравнении со статистическими критериями показал важные моменты в сохранении спектральной информации методами повышения разрешения. В работе использовались реальные спутниковые данные ЬаМ8а11-8.
Ключевые слова: спутниковые изображения, пространственное разрешение, методы обработки, повышение
пространственного разрешения.
ао1: 10.21293/1818-0442-2019-22-2-67-71
Многоспектральные и гиперспектральные изображения состоят из множества спектральных каналов с высоким спектральным разрешением от видимой до инфракрасной области спектра. Широкий спектральный диапазон в сочетании с высоким спектральным и средним пространственным разрешением (10-100 м) позволяет с определенной точностью выделять и классифицировать типы поверхности. Кроме этих датчиков, на орбите находятся спектральные приборы, которые доказали свою эффективность при решении практических и научных задач (например, MODIS, Landsat). Эти приборы охватывают широкую пространственную область при измерениях, и их относительно низкое пространственное разрешение не позволяет решать задачи пространственного контроля территории. Для этой цели разработаны методики, которые позволяют повысить пространственное разрешение этих измерений за счет комплексирования данных разных спутников или использования панхроматических каналов, имеющих, как правило более высокое пространственное разрешение.
Проблемы, которые несет в себе низкое и среднее пространственное разрешение, связаны с тем, что внутри площади пикселя может быть расположено нескольких типов поверхности (например, вода, песок, лес и др.). Большинство классических классификаторов терпят неудачу при дешифрации пикселей спутникового изображения, где наблюдается смешивание двух и более типов поверхности.
Одним из вариантов решения задачи дешифрирования спектральных данных, заложенных в спутниковых изображениях, является задача спектрального разделения на отдельные компоненты (unmixing). В этой задаче изображение разделяется на сцены, на уровне субпикселей и может предоставить информацию только о пропорциях тех или иных типов поверхности, для которых известны характеристики отражения разнообразных типов поверхности. Однако поскольку пространственное положение типов поверхности в пикселе остается неизвестным, спектральное разделение не приводит к заметному улучшению пространственного разрешения.
Известна методика повышения пространственного разрешения за счет многомерного интерполирования (2D, 3D), и она часто применяется на практике, но не является распространенной, так как сказывается влияние рельефа на точность интерполяции, а значит и на качество повышения пространственного разрешения. Существует обширный класс методик [1-11], решающий задачи повышения пространственного разрешения, в основе которых лежит использование панхроматического канала (panchromatic или PAN). Заметим, что существует два вида построения изображений, это синтезированный RGB, когда каждому цвету соответствует тот или иной спектральный канал, а также индексные изображения, построенные на основе вычисленных предварительно индексов, например, вегетационного индекса NDVI. Важной особенностью методов, которые позволяют повышать пространственное разрешение, является нарушение спектральной природы каналов, что ведет к значительным погрешностям при вычислении индексов.
В данной статье рассматривается несколько методов повышения пространственного разрешения и ищутся методы, которые менее всего нарушают спектральную структуру каналов, что позволяет рассчитать индекс (в данной работе - вегетационный NDVI) с минимальной погрешностью.
Методики повышения пространственного разрешения изображения
Спутники дистанционного зондирования Земли предлагают широкий спектр измеренных изображений с различными характеристиками: пространственными, спектральными, радиометрическими и временными. Изображения, получаемые методами дистанционного зондирования, доступны для использования научным сообществом в цифровой форме. В каждом пикселе изображения, которое известно для того или иного спектрального канала, фиксируется отраженное от поверхности Земли солнечное излучение (в области 0,4-2,5 мкм) или уходящее излучение Земли (в области 3-12 мкм). В результате измерений на изображении фиксируются образы, которые соответствуют разнообразным типам поверхности.
Обзор различных статей по теме [1-16] позволил выделить большую группу методов, разработанных за последние два десятилетия, такие как MLT-алгоритм, модифицированный алгоритм «Брови» (MB), High-Pass «Фильтр» (HPF), алгоритм на основе сглаживающего фильтра модуляции (SFIM), метод главных компонент (PCA), методикау интенсивность-оттенок-насыщенность (IHS) и т.д. Все вышеперечисленные методы могут реализовать повышение пространственного разрешения мультис-пектральных изображений с помощью изображений с высоким разрешением и сохранить спектральную информацию, правда, в определенной степени. Отметим, что каждый метод имеет свои преимущества и недостатки, поэтому нами в этой статье оценивается применимость различных методов для изображений спутникового прибора Landsat-8.
Причины выбора методов в основном заключаются в следующем: 1) все они математически схожие, например, все они представляют собой статистические методы, а не методы, связанные с цветом RGB; 2) они просты и удобны в использовании; 3) они могут быть выполнены с любым количеством выбранных входных спектральных каналов.
Метод Brovey Transform
Метод заключается в слиянии видимых спектральных каналов (для Landsat-8 это 30 м пространственное разрешение) с панхроматическим каналом (15 м). Метод позволяет получить визуальные изображения после синтеза (например, используя каналы 4-3-2) с хорошим визуальным качеством, однако сильно искажает спектральную информацию. Метод связан с вычислениями, представленными в формуле (1) для /-го канала видимой спектральной области:
Вь
irovey/
B1°W; • Bhigh . _1 з
(1)
j j
X B1°W , i_1
где Bbroveyj получено путем слияния изображений
низкого разрешения low,- c панхроматическим изображением high, i - номер канала, j - строка пикселей изображения, k - столбец пикселей изображения. В данной работе было принято решение о добавлении коэффициента коррекции а, по причине высокого искажения информации после алгоритма (коэффициент взят равным 3).
Метод HPF Transform
HPF (high-pass filter) - это метод слияния с использованием высокочастотного фильтра. При использовании этого метода повышение разрешения осуществляется за счет переноса высокочастотных составляющих панхроматического канала на спектральные каналы. Производится по формуле (2):
B1°Wjjk + FBhigh Jk , = 1 6
(2)
У к 2
где Внррг- получено слиянием изображения низкого разрешения В10№..к с изображением ЕВ^ф. Изо-
бражение FBhighJk преобразуется из панхроматического изображения, профильтрованного высокочастотным фильтром.
Метод SFIM Transform
В основе метода лежит сглаживающий фильтр на основе модуляции интенсивности. В отличие от метода HPF, в методе используется низкочастотный фильтр (1oW-pass fi1ter), который преобразует панхроматическое изображение в изображение Bmean. Для преобразования используется уравнение (3):
BSFIM, =ЦBl°WBk ХBllghJk ,1 _1,...,6,
Вт
(3)
j к Bmean jk
где Bsfim, получено умножением изображения с
низким разрешением на изображение высокого разрешения и делением на изображение высокого разрешения, которое преобразуется низкочастотным фильтром с размером матрицы 5*5. Метод MLT Transform
Данный метод объединяет изображение низкого разрешения с изображением высокого разрешения с учетом коэффициентов коррекции а и b. Вычисления проводятся по формуле (4):
j Х b . Bhigh jk
(4)
V У к
где Вмьтг- получено слиянием изображения низкого разрешения В\0Щ..к с изображением высокого разрешения В;^к . Коэффициенты коррекции а и Ь
подбираются вручную или с помощью оптимизационных процедур (что существенно усложняет методику, ввиду большого количества пикселей спутникового изображения).
Критерии сравнения изображений
При использовании методов повышения пространственного разрешения важно выяснить точность получения необходимой информации и насколько один метод отличается от другого, чтобы выбрать лучший. Также авторов статьи волновал вопрос, связанный с сохранением спектральной информации в итоговых изображениях, чтобы переходить к расчету индексов (например, вегетационного МЭУ1), но уже с более высоким пространственным разрешением, нежели исходное.
Для сравнения изображений будут использоваться следующие критерии:
1. Среднее значение цвета пикселя.
2. Корреляция с исходным снимком.
3. Средняя квадратическая ошибка (ЛМЖ, (5)).
RMSE _
XX(B1°w "Bhigh)2
MN
(5)
где В1о„ и Вы6ь - значения интенсивности в исходном и итоговом снимках, МЫ - размер изображения (высота на ширину). Идеальное значение 0, по результатам других исследований [1-7] значения обычно располагаются в диапазоне от 200 до 1500.
4. ERGAS (Relative Global Dimensional Synthesis Error) - это индекс качества, чувствительный к среднему сдвигу и изменению динамического диапазона.
Рассчитывается по формуле (6):
ERGAS = 100d I— RMSEkО2, к = \...шх, (6)
Также были проведены расчеты вегетационного индекса для каждого метода повышения пространственного разрешения (8Б1М, ИРБ, Бгоуеу и МЬТ), чтобы увидеть качество расчета МЭУ1 для каждого метода. Методы Бгоуеу и МЬТ дают заметные искажения по сравнению с оригинальным МЭУ1 (таблица).
шх
m
Цк
где цк - среднее значение интенсивности в исходном изображении, RMSE - средняя квадратичная ошибка, к - номер канала, ш\ - количество каналов. Идеальное значение 0, по результатам других исследований [1-7] значения в норме располагаются в диапазоне от 2 до 10.
Также для оценки вычислялся вегетационный индекс NDVI по формуле (7):
NDVI = NIR -RED , (7)
NIR + RED
где NIR - значение интенсивности света в ближнем инфракрасном диапазоне, RED - значение интенсивности света в красном канале. Значения индекса для растительности лежат в диапазоне от -1 (отсутствие растительности) до 1 (полная растительность). Результаты исследования В качестве данных для тестирования были взяты спутниковые изображения Landsat-8 от 12 июля 2018 г. Из общей площади изображения снимков была вырезана область, расположенная в окрестности коммунального моста через р. Томь на окраине г. Томска. Данная местность была выбрана из-за своей наглядности и различных типов поверхности, таких как вода, городская застройка, длинный мост и поля с растительностью. Также 12 июля был солнечный, безоблачный день.
Методы примерно дают одинаковые результаты, ближе всего схожесть с оригинальным изображением показывает метод MLT, но связано это с меньшим внедрением информации панхроматического канала (рис. 1).
б
Рис. 1. Сравнение исходного изображения (а) Ьап<!8а1-8 (30 м на пиксель) и результатов (б) повышения пространственного разрешения (15 на пиксель, метод ИРБ)
В таблице приведены вычисленные значения критериев сравнения изображений рассматриваемых в статье методов для каналов 2 (синий), 3 (зелёный), 4 (красный).
Сравнение изображений по критериям
Метод/ Канал Среднее Корреляция RMSE ERGAS
B2 Brovey 9166,069 0,8735 553,9698 2,9104
B3 Brovey 8481,16 0,9094 525,0714 2,9819
B4 Brovey 7658,881 0,9346 536,1449 3,3740
B5 Brovey 8526,165 0,9200 6643,2649 23,3852
B2 HPF 9516,975 0,8079 539,6692 2,8352
B3 HPF 8802,384 0,8423 560,7662 3,1846
B4 HPF 7944,643 0,8844 631,9626 3,9770
B5 HPF 14122,370 0,9532 1726,3444 6,0769
B2 SFIM 9518,708 0,7918 585,3967 3,0755
B3 SFIM 8806,776 0,8369 582,3145 3,3070
B4 SFIM 7954,05 0,8841 639,1968 4,0225
B5 SFIM 14113,108 0,9469 1840,8793 6,4801
B2 MLT 8955,489 0,9161 649,2033 3,4107
B3 MLT 8614,335 0,9398 357,7712 2,0318
B4 MLT 8183,157 0,9447 442,7167 2,7860
B5 MLT 10690,124 0,9131 4990,8668 17,5685
NDVI исход. 0,2325 1 0 0
NDVI Brovey 0,0341 0,9574 0,2125 45,7155
NDVI HPF 0,2305 0,9569 0,0586 12,6028
NDVI SFIM 0,2297 0,9578 0,0578 12,4439
NDVI MLT 0,1203 0,9573 0,1526 32,8356
Анализ результатов
По результатам работы методов для спектральных каналов Landsat-8 можно сделать вывод, что для синтезированных изображений (спектральные каналы 4, 3, 2) повышение разрешения осуществляется лучше с помощью метода Brovey, но отметим, что остальные методы имеют приблизительно схожие результаты. Картина полностью меняется при исследовании вегетационного индекса NDVI. Метод Brovey дал худший результат, далее следует метод MLT, а лучшими являются методы SFIM и HPF. Все потому, что метод Brovey основан на том, что панхроматический канал является объединением трех видимых каналов и не включает в себя ближний инфракрасный диапазон, а именно этот канал необходим для расчета вегетационного индекса. На основе всего этого можно сделать вывод, что лучшие результаты в плане визуального улучшения и сохранения спектральной информации снимков дают методы SFIM и HPF.
Заключение
В дистанционном зондировании метод повышения пространственного разрешения спутниковых изображений является полезным инструментом для практического использования. Для этого используются панхроматические изображения (PAN) с высоким пространственным разрешением с мультиспектральными изображениями с более низким пространственным разрешением. При этом для одних приложений важна именно визуальная составляющая высокого пространственного разрешения изображений, а для других - сохранение спектральной информации в полученном мульти-спектральном изображении. К настоящему времени разработано много методов PAN-улучшения пространственного разрешения с одновременным сохранением спектральных свойств. В данной статье предпринята попытка исследовать несколько методов повышения пространственного разрешения с сохранением спектральных свойств, в основе которых находятся лишь арифметические операции. К таким можно отнести следующие методы: Брови (Brovey), мультипликативный (MLT), модуляции (HFM) и SFIM-преобразования. Проведенные расчеты показали, что лучше сохранение спектральной информации снимков дают методы SFIM и HPF без потери качества при повышении пространственного разрешения.
Данное исследование проведено в Центре космического мониторинга Земли ТУСУРа.
Литература
1. Palubinskas G. Multi-resolution, multi-sensor image fusion: General fusion framework / G. Palubinskas, P. Rein-artz // Proc. Joint Urban Remote Sens. Event. - 2011. -P. 313-316.
2. Knorn J. Land cover mapping of large areas using chain classification of neighboring Landsat satellite images // Remote Sens. Environment. - 2009. - P. 957-964.
3. Zhou J. A wavelet transform method to merge Landsat TM and SPOT panchromatic data / J. Zhou, D.L. Civco,
J.A. Silander // Int. J. Remote Sens. - 1998. - Vol. 19, No. 4. -P. 743-757.
4. Wu H. Pixel-based image fusion using wavelet transform for SPOT and ETM+ image / H. Wu, Y. Xing // Proc. IEEE Int. Conf. Progr. Informat. Comput. - 2010. -P. 936-940.
5. Zhang J. Remote sensing research issues of the National Land Use Change Program of China / J. Zhang, Y. Zhang // ISPRS J. Photogramm. Remote Sens. - 2007. -Vol. 62, No. 6. - P. 461-472.
6. Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics / C. Thomas, T. Ranchin, L. Wald, J. Chaussot // IEEE Trans. Geosci. Remote Sens. - 2008. -Vol. 46, No. 5. - P. 1301-1312.
7. Adjustable model-based fusion method for multis-pectral and panchromatic images / L. Zhang, H. Shen, W. Gong, H. Zhang // IEEE Trans. Syst., Man, Cybern. B, Cybern. - 2012. - Vol. 42, No. 6. - P. 1693-1704.
8. Pohl C. Multisensor image fusion in remote sensing: concepts, methods and application / C. Pohl, J.L. Van Gen-deren // International Journal of Remote Sensing. - 1998. -Vol. 19. - C. 823-854.
9. Park S.C. Super-resolution image reconstruction: A technical overview / S.C. Park, M.K. Park, M.G. Kang // IEEE Signal Process. Mag. - 2003. - Vol. 20, no. 3. - P. 21-36.
10. Image super-resolution via sparse representation / J. Yang, J. Wright, T. Huang, Y. Ma // IEEE Trans. Image Process. - 2010. - Vol. 19, No. 11. - P. 2861-2873.
11. Joshi M.V. Super-resolution imaging: Use of zoom as a cue / M.V. Joshi, S. Chaudhuri, R. Panuganti // Image Vis. Comput. - 2004. - Vol. 22, No. 14. - P. 1185-1196.
12. Zoom-based superresolution reconstruction approach using prior total variation / M.K. Ng, H. Shen, S. Chaudhuri, A.C. Yau // Opt. Eng.- 2007. - Vol. 46, No. 12. - P. 1-11.
13. Huang B. Spatiotemporal reflectance fusion via sparse presentation / B. Huang, H. Song // IEEE Trans. Geosci. Remote Sens. - 2012. - Vol. 50, No. 10. - P. 3707- 3716.
14. Two-step sparse coding for the pan-sharpening of remote sensing images / C. Jiang, H. Zhang, H. Shen, L. Zhang // IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens.- 2014. - Vol. 7, No. 5. - P. 1792-1805.
15. Aharon M. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation / M. Aharon, M. Elad, A. Bruckstein // IEEE Trans. Signal Process. - 2006. - Vol. 54, No. 11. - P. 4311-4322.
16. Duda T. Unsupervised classification of satellite imagery: Choosing a good algorithm / T. Duda, M. Canty // Int. J. Remote Sens.- 2002. - Vol. 23, No. 11. - P. 21932212.
Катаев Михаил Юрьевич
Д-р техн. наук, профессор каф. автоматизированных
систем управления (АСУ)
Томского государственного университета
систем управления и радиоэлектроники (ТУСУР),
научный руководитель Центра космического
мониторинга ТУСУРа
Вершинина ул., 74, г. Томск, Россия, 634045
Тел.: +7 (382-2) 70-15-36, +7-960-975-27-85
Эл. почта: kmy@asu.tusur.ru
Бутин Сергей Михайлович
Магистрант ТУСУРа
Вершинина ул., 74, г. Томск, Россия, 634045
Тел.: +7-952-802-24-54
Эл. почта: mrserblu@gmail.com
Kataev M.Yu., Butin S.M.
Comparative analysis of the methods of increasing the spatial resolution of satellite data LANDSAT-8
The area of multispectral and hyperspectral methods of sounding the atmosphere and the surface of the Earth is a constantly growing area of application of remote sensing data. The presence in the signal of a large number of spectral channels (wide spectral range), high spectral resolution, allows to detect and classify various types of surface in the observed satellite image. The main problem of multispectral and hyperspectral data is that the spatial resolution of such measurements can vary from several to tens of meters. In addition, numerous factors associated with optical imperfections, atmospheric scattering, lighting effects (geometry of the position of the Sun and the axis of sight relative to the observed territory) and sensor noise also cause deterioration in the quality of the image. This paper discusses the most popular methods for improving the spatial resolution of satellite data and conducts their detailed comparative analysis. The processing of real satellite data Landsat-8 for the territory near Tomsk is given.
Keywords: satellite images, spatial resolution, satellite data processing methods.
doi: 10.21293/1818-0442-2019-22-2-67-71 References
1. Palubinskas G., Reinartz P., Multi-resolution, multisensor image fusion: General fusion framework. Proc. Joint Urban Remote Sens. Event, 2011, pp. 313-316.
2. Knorn J., Land cover mapping of large areas using chain classification of neighboring Landsat satellite images. Remote Sens. Environ., 2009, vol. 113, no. 5, pp. 957-964.
3. Zhou J., Civco D. L., Silander J. A. A wavelet transform method to merge Landsat TM and SPOT panchromatic data. Int. J. Remote Sens., 1998, vol. 19, no. 4, pp. 743-757.
4. Wu H., Xing Y. Pixel-based image fusion using wavelet transform for SPOT and ETM+ image. Proc. IEEE Int. Conf. Progr. Informal Comput., 2010, pp. 936-940.
5. Zhang J., Zhang Y. Remote sensing research issues of the National Land Use Change Program of China. ISPRS J. Photogramm. Remote Sens., 2007, vol. 62, no. 6, pp. 461-472.
6. Thomas C., Ranchin T., Wald L., Chaussot J. Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics. IEEE Trans. Geosci. Remote Sens., 2008, vol. 46, no. 5, pp. 1301-1312.
7. Zhang L., Shen H., Gong W., Zhang H. Adjustable model-based fusion method for multispectral and panchromatic images. IEEE Trans. Syst., Man, Cybern. B, Cybern., 2012, vol. 42, no. 6, pp. 1693-1704.
8. Pohl C., Van Genderen J.L. Multisensor image fusion in remote sensing: concepts, methods and application. International Journal of Remote Sensing, 1998, pp. 823-854.
9. Park S.C., Park M.K., Kang M.G. Super-resolution image reconstruction: A technical overview. IEEE Signal Process. Mag., 2003, vol. 20, no. 3, pp. 21-36.
10. Yang J., Wright J., Huang T., Ma Y. Image superresolution via sparse representation. IEEE Trans. Image Process., 2010, vol. 19, no. 11, pp. 2861-2873.
11. Joshi M.V., Chaudhuri S., Panuganti R. Superresolution imaging: Use of zoom as a cue. Image Vis. Com-put, 2004, vol. 22, no. 14, pp. 1185-1196.
12. Ng M.K., Shen H., Chaudhuri S., Yau A.C. Zoom-based superresolution reconstruction approach using prior total variation. Opt. Eng., 2007, vol. 46, no. 12, pp. 1-11.
13. Huang B., Song H. Spatiotemporal reflectance fusion via sparse presentation. IEEE Trans. Geosci. Remote Sens, 2012, vol. 50, no. 10, pp. 3707- 3716.
14. Jiang C., Zhang H., Shen H., Zhang L. Two-step sparse coding for the pan-sharpening of remote sensing images. IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens, 2014, vol. 7, no. 5, pp. 1792-1805.
15. Aharon M., Elad M., Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation. IEEE Trans. Signal Process., 2006, vol. 54, no. 11, pp. 4311-4322.
16. Duda T., Canty M. Unsupervised classification of satellite imagery: Choosing a good algorithm. Int. J. Remote Sens, 2002, vol. 23, no. 11, pp. 2193-2212.
Mikhail Yu. Kataev
Doctor of Engineering, Professor,
Department of Automated Control Systems (ACS),
Scientific Leader of the Center for Space Monitoring
Tomsk State University of Control Systems
and Radio Electronics (TUSUR)
74, Vershinin st., Tomsk, Russia, 634045
Phone: +7 (382-2) 70-15-36, +7-960-975-27-85
Email: kmy@asu.tusur.ru
Sergey M. Butin
Master student TUSUR
74, Vershinin st., Tomsk, Russia, 634045
Phone: +7-952-802-24-54
Email: mrserblu@gmail.com
