CC BY
23
Автоматический метод субпиксельной географической привязки спутниковых изображений КМСС-М на основе актуализируемого эталона
низкого пространственного разрешения
Д.Е. Плотников1, П.А. Колбудаев1, Е.А. Лупян1
1 Институт космических исследований РАН, Россия, Москва, ул. Профсоюзная, 84/32
Аннотация
В настоящей работе описан разработанный метод автоматической субпиксельной географической привязки изображений, получаемых прибором КМСС-М с пространственным разрешением 60 метров, основанный на использовании восстановленного безоблачного и ежедневно актуализируемого эталонного изображения коэффициентов спектральной яркости низкого пространственного разрешения MODIS. Описываемый метод основан на максимизации значения корреляции Пирсона при поиске оптимального локального смещения участка корректируемого изображения путём сравнения с эталонным низкодетальным изображением. Для оценки эффективности метода при использовании на неоднородных территориях континентального охвата были проведены три эксперимента, позволяющие получить численные оценки ошибок привязки: эксперимент с использованием модельных наборов данных, эксперимент по оценке абсолютной ошибки привязки эталонных изображений MODIS и эксперимент по оценке ошибки привязки автоматически скорректированных данных КМСС-М. Экспериментальная оценка метода на основе модельных данных де-каметрового разрешения Sentinel-2 (MSI) продемонстрировала его высокую устойчивость при работе в широком диапазоне физико-географических условий и сезона наблюдений. Средняя ошибка географической привязки эталона низкого пространственного разрешения MODIS, полученная во втором эксперименте для территории зернового пояса РФ за 2020 год наблюдений, оказалась менее 20 метров как в красном, так и в ближнем ИК-каналах. Результаты автоматической коррекции изображений КМСС-М на указанную территорию и год наблюдений, полученные в третьем эксперименте с помощью описанного метода, продемонстрировали в среднем субпиксельную точность привязки скорректированных изображений в красном и ближнем ИК-каналах, в то время как средняя абсолютная ошибка привязки исходных изображений КМСС-М составила 3 километра. Достигнутая в работе точность привязки скорректированных по данным низкого пространственного разрешения изображений КМСС-М обеспечивает возможность построения и анализа временных серий мультис-пектральных измерений спектральной яркости земной поверхности для решения широкого спектра научных и практических задач дистанционного мониторинга растительного покрова. Технологическая гибкость разработанного метода обеспечивает его применимость к данным и других спутниковых систем для оптического дистанционного зондирования Земли.
Ключевые слова: КМСС-М, Метеор-М №2, географическая привязка, MODIS, Sentinel-2, LOESS.
Цитирование: Плотников, Д.Е. Автоматический метод субпиксельной географической привязки спутниковых изображений КМСС-М на основе актуализируемого эталона низкого пространственного разрешения / Д.Е. Плотников, П.А. Колбудаев, Е.А. Лупян // Компьютерная оптика. - 2022. - Т. 46, № 5. - С. 818-827. - DOI: 10.18287/2412-6179-CO-1098.
Citation: Plotnikov DE, Kolbudaev PA, Loupian EA. An automatic method for subpixel registration of KMSS-M imagery based on coarse-resolution actualized reference. Computer Optics 2022; 46(5): 818-827. DOI: 10.18287/2412-6179-CO-1098.
Введение
Точная географическая привязка спутниковых изображений является необходимым условием для построения и автоматизированного анализа временных серий разновременных и мультисенсорных наблюдений и создания на их основе тематических продуктов необходимой точности. Большинство существующих способов геокоррекции спутниковых снимков основано на использовании строгой модели
сенсора (RSM - rigorous sensor model) и обобщенных аппроксимирующих функций на основе коэффициентов рационального полинома (RPC - rational polynomial coefficients) [1]. На последних этапах геокоррекции могут использоваться опорные GCP-точки (GCP - ground control points), которые обычно позволяют обеспечить субпиксельную точность привязки спутниковых снимков [2 - 8]. Точность коррекции зависит как от числа используемых опорных точек, так и от порядка полинома [2]. Для уточнения результа-
тов коррекции снимков высокого пространственного разрешения могут использоваться аффинные, псевдоаффинные и конформные преобразования с использованием GCP-точек [3].
Для автоматического создания опорных точек могут применяться алгоритмы типа SIFT \ SURF, которые задействуют разномасштабные Гауссовы фильтры в целях генерации и сопоставления ключевых точек на целевом и эталонном изображениях. В ряде работ исследована устойчивость этих подходов в зависимости от типа поверхности, углов наблюдений и топографических характеристик на основе данных высокого разрешения [9, 10]. При поиске контрольных точек с помощью SIFT в качестве опоры могут быть использованы общедоступные картографические продукты высокого и сверхвысокого пространственного разрешения Google Maps и Bing [11].
Кроме этого, в качестве «опорных точек» используются непосредственно изображения, полученные другими спутниковыми системами или на основе аэрофотосъемки. В частности, в ряде работ для коррекции привязки изображений КМСС-М (Метеор-М №2) используется банк контрольных точек (КТ), полученный на основе изображений Landsat и Sentinel-2 [12, 13].
Одной из информативных метрик для сопоставления или совмещения опорного и привязываемого изображений является коэффициент пространственной корреляции, который чувствителен к изменению взаимного положения сравниваемых изображений [12 - 14]. Обнаружено заметное снижение значений этой метрики, рассчитанной для пары сравниваемых изображений различных типов земной поверхности даже при небольших искажениях одного из них, что было экспериментально исследовано на примере данных прибора ASTER (Terra) [14].
Отметим, что в вышеперечисленных примерах с целью коррекции изображений используются вспомогательные данные аналогичного и более высокого пространственного разрешения. Между тем спутниковые данные относительно низкого пространственного разрешения могут также обладать достаточно высокими характеристиками абсолютной точности привязки. В частности, абсолютная точность географической привязки изображений в 250-метровых каналах прибора MODIS (Terra, Aqua) составляет 50 метров (1с) [8].
В настоящей работе описан и исследован разработанный в ИКИ РАН метод автоматической субпиксельной географической привязки изображений, получаемых с помощью прибора КМСС-М, основанный на использовании восстановленного и ежедневно актуализируемого безоблачного низкодетального эталонного изображения коэффициентов спектральной яркости MODIS. Использование низкого пространственного разрешения в качестве эталона позволяет ускорять и упрощать организацию потоковой обра-
ботки больших объемов высокодетальных спутниковых данных на национальном и континентальном уровнях пространственного охвата. В работе описываются результаты практического использования разработанного метода для автоматической коррекции данных прибора КМСС-М на территории зернового пояса России.
Характеристики и особенности спутниковой системы Метеор-М №2 и данных КМСС-М
Спутник метеорологического назначения Метеор-М №2 находится на круговой солнечно-синхронной полярной орбите высотой 830 км и является продолжением серии спутников Метеор-М, входящих в состав космического комплекса гидрометеорологического и океанографического обеспечения «Метеор-3М». На борту спутника находится комплекс многозональной спутниковой съемки КМСС-М, который состоит из трех многозональных съемочных устройств (МСУ). Две идентичных камеры комплекса (МСУ-201 и МСУ-202) имеют фокусное расстояние 100 мм, обеспечивая пространственное разрешение 60 метров при съемке в надир, и позволяют регистрировать отраженное солнечное излучение в зеленом (0,535 - 0,575 мкм), красном (0,630 - 0,680 мкм) и ближнем ИК (0,760 - 0,900 мкм) диапазонах длин волн. В состав КМСС-М также входит камера с фокусным расстоянием 50 мм (пространственное разрешение при съемке в надир составляет 120 метров), позволяющая регистрировать излучение в трёх спектральных каналах (0,370 - 0,450; 0,450 - 0,510; 0,580 -0,690 мкм) видимого диапазона длин волн [15].
В настоящей работе использовались изображения с пары камер МСУ-201\ 202, которые далее в тексте будем называть изображениями КМСС-М. Камеры установлены на приборную платформу таким образом, что их оптические оси отклонены от вертикальной оси спутника на углы ±14° в перпендикулярной направлению движения аппарата плоскости и формируют суммарную полосу обзора шириной около 960 км. В результате данные КМСС-М характеризуются достаточно редким сочетанием показателей пространственного разрешения и повторяемости наблюдений, благодаря чему территория России полностью покрывается результатами съёмки с пространственным разрешением 60 метров в течение 2 - 3 дней. Временные серии географически привязанных, калиброванных и атмосферно-скорректированных изображений КМСС-М представляют интерес для решения задач распознавания и мониторинга быстроменяющихся объектов различных типов растительного покрова, включая сельскохозяйственную растительность [16 - 18].
В целях обеспечения компактности прибора раз-нозональные изображения КМСС-М формируются в единой фокальной плоскости камеры, но разведены под углом ± 8,67°, что приводит к возникновению
межканального параллакса, заметного на мультис-пектральных изображениях облачности и горных вершин. При этом последующее сведение полученных под различными углами разнозональных изображений сопряжено с возникновением 20-секундного временного лага при съёмке одного участка земной поверхности в соседних спектральных каналах (40 секунд для пары крайних каналов). В течение этого времени объекты облачного покрова могут быть смещены в направлении ветра, изменив свою форму и положение, что препятствует использованию классических методов для надежного маскирования облачности на изображениях КМСС-М.
Кроме этого, обнаруженная ранее недостаточная точность и нестабильность географической привязки разновременных и разноканальных изображений КМСС-М, возникающая, как правило, при погрешностях сопутствующей навигационной информации [19], приводит к существенным ограничениям совместимости со стандартными методами, используемыми для предварительной и тематической обработки данных действующих спутниковых систем для оптико-электронной съемки, таких как Terra\ Aqua(MODIS), NPP (VIIRS), Landsat (ETM+, OLI), Sentinel-2 (MSI) и многих других. Возникающие независимо в различных каналах искажения географической привязки изображений КМСС-М имеют, как правило, локально-линейный характер, но различную и меняющуюся в пространстве направленность со средним значением сдвига несколько километров (иногда достигая значений десятков километров). Одной из возможных причин указанных наблюдаемых эффектов может быть использование модели рельефа по неудовлетворительно привязанному изображению на этапе орто-ректификации снимков.
Разработка автоматических методов компенсации искажений географической привязки и обеспечение возможности формирования гармонизированных временных серий мультиспектральных измерений на уровне отдельных пикселей КМСС-М является в настоящий момент необходимым шагом для использования потенциала спутниковых данных этого прибора.
Формирование актуализируемого эталона низкого пространственного разрешения
Для штатной работы описываемого метода требуется использование опорного корректно привязанного спутникового изображения, которое характеризует актуальное распределение яркостей наблюдаемых объектов земной поверхности. Формируемое эталонное мультиспектральное изображение должно быть свободно от влияния мешающих факторов, таких как облачность и тени, характеризоваться ежедневной временной актуализацией и не должно содержать пропущенных значений для обеспечения возможности эффективной привязки снимков произвольной территории и даты съемки.
Разработка в ИКИ РАН унифицированной технологии построения временных серий высокого временного разрешения для различных зарубежных и российских спутниковых систем [18, 20] обеспечивает возможность формирования актуализированного спектрального эталона, который подходит для решения этой задачи. Технология опирается на реализацию метода локальной взвешенной регрессии полиномами LOESS [21] для восстановления временных рядов безоблачных спутниковых наблюдений без необходимости использования вспомогательных масок облачности и теней. Указанный метод использует сезонную серию всех доступных значений восстанавливаемого индикатора (вегетационного индекса или измерений в отдельном канале), а в качестве метрики весов используются значения спектральных индексов, которые чувствительны к воздействию мешающих факторов (рис 1). Этот подход подтвердил свою эффективность при восстановлении безоблачных временных серий спутниковых данных других сенсоров (Sentinel-2(MSI), NPP(VIIRS), Terra\Aqua(MODIS)), в том числе в тропических регионах мира [18, 22].
В качестве эталона в настоящей работе выступает восстановленное безоблачное геопривязанное изображение MODIS, получаемое путём весовой интерполяции временной серии сеансов продукта MOD09. В качестве весов при восстановлении используются нормализованные значения индекса NDSI, чувствительного к влиянию мешающих факторов. Эталонные изображения MODIS автоматически формируются на произвольную дату для территории России и приграничных регионов в красном и ближнем ИК-каналах прибора на основе ресурсов ЦКП «ИКИ-Мониторинг».
Рис. 1. Пример восстановления временного ряда ежедневных значений NDVI для участка сенокоса, полученный путём весовой интерполяции сеансов продукта MOD09
Методология
Описываемый в работе метод географической привязки основан на максимизации значения корреляции Пирсона при поиске оптимального локального смещения части корректируемого изображения при сравнении с эталонным изображением. Универсальность и технологическое удобство разработанного метода заключается в том, что корректируемое изоб-
ражение может не быть радиометрически калибровано, а используемое при допривязке эталонное изображение может иметь кратно более низкое пространственное разрешение. Выбор метрики корреляции для уточнения привязки обусловлен также и её универсальностью при организации полного цикла подготовки данных КМСС-М, включающего, помимо до-привязки, маскирование облачности и теней, дока-либровку, атмосферную коррекцию и восстановление пропусков во временных сериях изображений - этапы, на которых также используется рассчитанное в процессе допривязки максимальное значение корреляции, что более подробно описано в работах [19, 23].
Для корректной работы метода необходимо использовать низкодетальное эталонное безоблачное спутниковое изображение земной поверхности в соответствующем спектральном канале, восстановленное описанным способом с обеспечением максимальной наполненности данными и актуализированное на дату съемки прибором КМСС-М. Корректируемое и эталонное изображения должны быть подготовлены в единой картографической проекции таким образом, чтобы углы пикселей эталона совпадали с углами пикселей КМСС-М.
Для оптимизации вычислительных процессов на начальном этапе происходит грубая привязка - однократный поиск наиболее подходящего (с учетом общей нелинейности искажений) систематического смещения изображения КМСС-М относительно эталона в диапазоне ±14 км. Поиск происходит с целью максимизации значения коэффициента корреляции Пирсона при сопоставлении корректируемого и эталонного изображений в исходных пространственных разрешениях.
После учета систематического сдвига изображения КМСС-М происходит компенсация локальных ошибок привязки. Для восстановления оптимального положения корректируемого фрагмента изображения КМСС-М размером 100 на 100 пикселей на следующем этапе происходит загрубление группы пикселей в квадрате со сторонами 4 на 4 пиксела КМСС-М путем осреднения их яркостей. На рис. 2а схематически изображены границы пикселей подготовленных изображений КМСС-М (тонкие серые линии) и вчетверо менее детального эталона МОБШ (толстые серые линии). Далее производится расчет коэффициента пространственной корреляции Пирсона К при сопоставлении загрубленного и эталонного фрагментов изображений, а также буферной области вокруг него шириной 100 пикселей. Поиск осуществляется в интервале смещений загрубленного изображения в диапазоне ±1,5 километра по отношению к исходному положению - экспериментально обнаруженный максимальный диапазон локальных аномалий географической привязки. Для обеспечения точности привязки на уровне размера пиксела КМСС-М загрубление происходит с использованием скользящей с шагом
1 пиксел сетки загрубляемых пикселей (пунктирные и штрих-пунктирные линии на рис. 2а). При переборе групп пикселей указанным образом существует только 16 уникальных вариантов, поэтому при сдвиге и повторении положения скользящей сетки загрубление в целях оптимизации не производится, а используются ранее рассчитанные значения. Оптимальным считается такое положение участка изображения КМСС-М, где достигается абсолютный максимум значения К (рис. 26). Найденное компенсирующее смещение присваивается центру (узлу) анализируемого фрагмента изображения КМСС-М. Поиск оптимального положения происходит для всех вышеуказанным образом заданных безоблачных фрагментов изображения с шагом 100 пикселей КМСС-М. На последнем этапе на основе найденных в узлах значений происходит билинейная интерполяция смещений для обеспечения бесшовного преобразования изображения.
загрубляемых пикселей высокого разрешения (пунктирные и штрих-пунктирные линии) на фоне общей сетки пикселей высокого разрешения (тонкие линии) и сетки пикселей эталона (толстые линии), б) двумерное представление функции коэффициента корреляции Пирсона в зависимости от положения сеток загрубления г.
Описанный метод обеспечивает возможность автоматического устранения локальных аномалий географической регистрации изображений вплоть до 260 пикселей КМСС-М (более 15 км) в любую сторону от ожидаемого положения.
Для оценки эффективности описанного метода при использовании на больших территориях были проведены три эксперимента, позволяющие получить численные оценки ошибок привязки по данным результатов обработки большого количества изображений на территории России за весь бесснежный период 2020 года наблюдений.
Первый эксперимент включал в себя оценку эффективности метода с использованием модельных наборов данных, полученных на основе изображений Sentinel-2 (MSI), второй эксперимент позволил оценить абсолютную ошибку привязки эталонных изображений MODIS путём сравнения с данными Sentinel-2 (MSI), а в третьем эксперименте были получены оценки ошибки потоковой автоматической привязки данных КМСС-М с использованием низкодетального эталона MODIS путём сравнения привязанных изображений с высокодетальными данными Sentinel-2 (MSI).
Экспериментальная оценка эффективности
метода привязки на основе модельных данных Sentinel-2 (MSI)
В рамках первого эксперимента с целью получения оценки эффективности метода на основе модельных данных были использованы изображения Sentinel-2 (MSI) с разрешением 10 метров в красном и ближнем инфракрасном каналах, преобразованные до 60 и 240 метров, то есть до пространственного разрешения приборов КМСС-М и MODIS соответственно.
Модельные данные Sentinel-2 (MSI) характеризуются абсолютной ошибкой географической привязки не более 12 метров (2с) и ошибкой разновременного и разноспектрального совмещения менее 0,3 пиксела (3 с) [24]. Использование модельных данных позволяет исключить влияние на оценку точности привязки совокупности сторонних факторов, проявляющихся в процессе кросс-сенсорного сопоставления разно-платформенных спутниковых данных, таких как различия состояния атмосферы, аппаратных функций спектральных каналов, геометрии освещения и наблюдения в различные моменты времени съемки одной территории.
Эксперимент заключался в случайном автоматическом выборе безоблачных участков изображения размером около 6 на 6 км на случайно выбранных снимках Sentinel-2 A/B, загрублённых путем осреднения до разрешения 60 метров (аналог КМСС-М), и смещении этих областей в случайном направлении в диапазонах от -1200 до +1200 метров, формируя модельное искажение локальной привязки. Вышеописанным методом автоматически находилось смещение, при котором достигалось максимальное значение пространственной корреляции с модельным изображением, аналогичным образом загрублённым до 240 метров (аналог MODIS). Таким образом, для каждого модельного искажения привязки автоматически определялось компенсирующее смещение и оценивался мо-
дуль их абсолютных различий, который рассматривался в качестве абсолютной ошибки определения корректного положения исследуемым методом (рис. 36). В эксперименте использовались снимки Sentinel-2A / В для всей территории зернового пояса России бесснежного периода наблюдений 2020 года (рис. 3 а).
.Мурманск |ртербург Анадырь
Москва Екатеринбург ( Якутск
•Л/Г '.'••
• 159 163 171 177 162 170 176 180 181 192 202 ■ 220 191 ' 201 219 233 Красноярск Л _ Хабаровск Иркутск Г*. * —— Владивосток
60"Е 70"Е ЗОЕ 90°Е 100°E 110°Е 120°Е 130°Е
1200 а 1000 § 800
г
5 400 т 200
0 —,—,—,—,—,—,—,—,—,—,—,—,—,—I
2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 Ощйанщелмптпжнци
б)
Рис. 3. а) Расположение тестовых участков для модельного эксперимента на территории России,
серой линией указаны границы зернового пояса РФ, цветом - номер дня года, б) распределение абсолютных ошибок определения привязки модельных изображений
Результаты модельного эксперимента, полученные на основе анализа более 1100 случайно выбранных указанным образом модельных участков в различных частях территории России за различные даты бесснежного периода 2020 года, позволили получить среднее значение ошибки определения внесенных искажений в красном и инфракрасном каналах 3,6 метров (6 % от размера пиксела-аналога КМСС-М с разрешением 60 метров). Таким образом, результаты первого эксперимента указали на принципиальную возможность привязки модельных данных высокого пространственного разрешения по низкодетальным изображениям разработанным методом с близкой нулю абсолютной ошибкой автоматического определения искажений привязки изображений для широкого диапазона физико-географических условий и сезона наблюдений.
Экспериментальная оценка абсолютной ошибки привязки актуализируемого эталона МОБШ
Во втором эксперименте была произведена автоматическая оценка абсолютной ошибки привязки
подготовленных данных MODIS, которые выступают в качестве низкодетального эталона при автоматической допривязке изображений КМСС-М. В рамках этого эксперимента предполагалось, что изображения MODIS содержат ошибки привязки, которые должны быть измерены (скомпенсированы) путем сопоставления этих данных с соответствующими с точки зрения спектрального канала, времени и территории изображениями Sentinel-2 (MSI).
Изучаемые мультиспектральные безоблачные эталонные изображения MODIS были получены на территории зернового пояса РФ с ежедневной временной детализацией путем использования весовой интерполяции временной серии сеансов продукта MOD09 с последующим перепроецированием восстановленных изображений к разрешению 240 метров из исходной синусоидальной в широтно-долготную проекцию с ожидаемой максимальной ошибкой проецирования не более 12 метров (выбранным методом геометрического преобразования). В этом эксперименте полученные прибором MSI изображения с разрешением 10 метров в соответствующих спектральных каналах играли роль допривязываемых данных высокого разрешения. Оценка точности привязки осуществлялась на основе участков размером 6 на 6 км. В процессе оценки происходил перебор и загрубление путём осреднения групп пикселей изображения MSI размером 24 на 24 пиксела для формирования сопоставляемого с эталоном MODIS изображения низкого пространственного разрешения. При этом текущее положение сдвигаемого с шагом 10 метров изображения MSI фиксировалось с вычислением метрики корреляции и модуля сдвига. Соответствующий максимуму корреляции сдвиг характеризовал отклонение положения фрагмента изображения MODIS от корректного (т.е. исходного) положения изображения MSI.
В рамках второго эксперимента было обработано 736 случайно выбранных на территории России участков изображений MODIS в инфракрасном канале и 680 участков в красном канале. Среднее значение абсолютной ошибки привязки данных MODIS составило 18 метров в инфракрасном канале и 19 метров в красном канале (менее 8% размера пиксела) (рис. 4). Таким образом, погрешность привязки подготовленных эталонных изображений MODIS, оцененная на основе данных декаметрового пространственного разрешения и случайно выбранных дат за бесснежный период 2020 года, позволяет обеспечить привязку снимков КМСС-М с субпиксельной точностью и не представляет препятствия для использования MODIS в качестве эталона при коррекции снимков КМСС-М.
Технология автоматической географической
привязки изображений КМСС-М с помощью эталона MODIS
Разработанный метод географической привязки был включен в технологию потоковой обработки
данных КМСС-М, развернутую в ИКИ РАН [23]. Технология предусматривает переход на тайловую (гранульную) структуру пространственной организации данных КМСС-М в широтно-долготной проекции, введение фиксированного стандарта номенклатуры имен продуктов для повышения удобства пространственно-временного анализа, распространения продуктов и их производных. В принятом стандарте в имена файлов включена информация о названии продукта, дате (год, день и время) съемки, идентификаторе камеры и номере гранулы. Технология предусматривает восстановление и ежедневную актуализацию эталона низкого пространственного разрешения и его совместный анализ с подготовленными данными КМСС-М. Результаты работы технологии доступны в картографическом интерфейсе систем семейства «Созвездие-Вега» (sozvezdie-vega.ru). Общий вид блок-схемы технологии автоматической привязки данных КМСС-М приведен на рис. 5.
о)
< .Мурманск Анадырь
^еанкт-4 1етёрбург
Москва ч Екатеринбург Якутск
tVt
VI-'.v ТС Красноярск Ti« Иркутск Хабаровск
• 159 162 181 191
163 170 192 201 йламосток
171 176 • 202 219
177 180 • 220 233
100°Е 110°Е 120"Е
250 200 • 150 100 50 0
а
15
25 35 45 55 65 75 85 Нцв1мшйа11рц|щм
95
б;
Рис. 4. а) Расположение тестовых участков для оценки ошибки привязки эталона МОВ1Б на территории России,
серой линией указаны границы зернового пояса РФ, цветом - номер дня года, б) распределение абсолютных ошибок привязки эталона
Применение технологии автоматической привязки к архиву необработанных спутниковых данных КМСС-М на территории зернового пояса России за 2020 год позволило оценить ошибку привязки в красном и ближнем ИК-канале для каждого безоблачного и бесснежного фрагмента размером 100 на 100 пикселей каждого полученного снимка. Агрегация и анализ собранной статистики обеспечили возможность оценки распределения ошибок привязки для широкого диапазона физико-географических условий. Сред-
няя ошибка привязки снимков КМСС-М составила 3 километра в обоих каналах (рис. 6).
Эталон Сеансы
MODIS продукта
MODQ9
Рис. 5. Общая схема технологии автоматической привязки изображений КМСС-М
Кэнал№с1 KmviNIR
О 5000 10000 15000 20000
Мсадоинбищиищн
Рис. 6. Распределение модуля найденной ошибки привязки необработанных изображений в красном и ближнем ИК-каналах КМСС-М
На рис. 6 заметны два видимых «горба» на распределении в обоих каналах. Анализ исходных снимков КМСС-М действительно указывает на две достаточно выраженные группы: группа снимков с характерными значениями искажений привязки порядка 1 км, которая обеспечена информацией со звездных датчиков, и группа снимков с искажениями порядка 10 км, которая была обеспечена привязкой только на основе информации о эфемеридах аппарата.
Оценка результатов автоматической привязки изображений КМСС-М на основе данных Sentinel-2 (MSI)
В настоящем эксперименте была проведена оценка ошибок географической привязки данных КМСС-М, автоматически скорректированных с помощью эталонных данных MODIS в процессе работы описанной технологии. Аналогично автоматическая оценка ошибок привязки скорректированных изображений осуществлялась на основе изображений Senti-nel-2 (MSI) на базе подхода, использованного в двух предыдущих экспериментах. Для этого случайным образом выбирались пары фрагментов снимков КМСС-М и MSI за одинаковые даты и территории,
свободные от влияния облачности и теней на обоих изображениях. В рамках настоящего эксперимента было обработано 3842 тестовых участка размером 100 на 100 пикселей КМСС-М (6 на 6 км), случайно выбранных на территории зернового пояса России за бесснежный период 2020 года. Анализ всего объема полученных экспериментальных данных позволил получить распределение (рис. 7) и среднее значение ошибки привязки данных КМСС-М по сравнению с соответствующими изображениями декаметрового разрешения Sentinel-2(MSI), которое составило 43 метра в красном и инфракрасном каналах при пространственном разрешении привязываемых изображений 60 метров.
450 400 350 300 | 250 б 200 ? 150 100 50 |
о ■
Ицукошйанрпцн
Рис. 7. Распределение абсолютных ошибок привязки скорректированных изображений КМСС-М, полученных на территории зернового пояса РФ в 2020 году
Проведенный эксперимент показал, что автоматически скорректированные на территорию России изображения КМСС-М в среднем обладают субпиксельной точностью географической привязки. Таким образом, точность привязки скорректированных по данным низкого пространственного разрешения изображений КМСС-М обеспечивает возможность построения временных серий мультиспектральных измерений спектральной яркости земной поверхности, необходимых для решения широкого спектра научных и практических задач дистанционного мониторинга растительного покрова.
Обсуждение и заключение
В рамках настоящего исследования был описан метод и построенная на его основе технология автоматической географической привязки спутниковых изображений по актуализируемому опорному эталонному изображению кратно более низкого пространственного разрешения.
Экспериментальная оценка метода на основе модельных данных декаметрового пространственного разрешения Sentinel-2 (MSI) продемонстрировала его высокую устойчивость при работе в широком диапазоне физико-географических условий и сезона наблюдений.
Оценка ошибки географической привязки подготовленного эталона с приведенным пространственным разрешением 240 метров, полученная на основе
изображений Sentinel-2 (MSI) с использованием представительной выборки на территории России, продемонстрировала очень высокие характеристики подготовленных данных MODIS. В частности, среднее значение ошибки привязки эталонного изображения оказалось менее 20 метров в красном и ближнем ИК-каналах при максимальном значении ошибки подготовки данных для работы метода, не превышающей 12 метров. Как было отмечено ранее, в основополагающей работе [8] указывается, что средняя ошибка привязки исходных изображений MODIS составляет 50 метров, однако оставались неясными возможные величины погрешностей, возникающих при подготовке данных в центрах обработки и распространения LPDAAC (USGS), включая проецирование в синусоидальную проекцию. Тем более любопытно, что обнаруженная в настоящей работе ошибка привязки восстановленного путём весовой интерполяции безоблачного эталона оказывается вдвое меньше ожидаемой.
Наконец, оценка результатов автоматической потоковой геокоррекции изображений КМСС-М на территории зернового пояса РФ с помощью описанного метода и построенной на его основе технологии продемонстрировала в среднем субпиксельную точность привязки скорректированных изображений в красном и ближнем ИК-каналах, в то время как средняя абсолютная ошибка привязки исходных изображений КМСС-М составила 3 километра. Отметим, что настоящая технология пока не распространена на измерения в зеленом канале КМСС-М по причине отсутствия соответствующих восстановленных ежедневных эталонных изображений MODIS. В будущем планируется обеспечить создание и актуализацию эталона для зеленого канала и оценить точность привязки изображений КМСС-М на основе данных MODIS с пространственным разрешением 500 метров.
Во введении отмечалось, что возможность достижения субпиксельной привязки в настоящее время описана во множестве исследований [4 - 7], однако особенностью настоящей работы и разработанного подхода является практическая достижимость субпиксельной привязки данных на основе их сопоставления с хорошо привязанным эталоном низкого пространственного разрешения. Субпиксельная точность в данном случае обеспечивается использованием дополнительной пространственной информации об актуализированном распределении значений спектральной яркости земной поверхности окружающих пикселей. При достаточном уровне неоднородности ландшафта на масштабах порядка размера пиксела эталона формируется уникальная картина распределения яркостей смешанных пикселей, которая достоверно меняется при смещениях даже на субпиксельные расстояния, что подтверждается модельным экспериментом. Кроме этого, как было отмечено выше, указанная точность обеспечивается высокоточной привязкой исходных данных MODIS, на основе которых
формируется эталон и которая более чем вдвое дополнительно повышается благодаря использованию весовой интерполяции сезонной последовательности разновременных наблюдений с формированием безоблачных восстановленных ежедневных изображений.
Извлеченные из последовательности скорректированных описанным методом изображений временные серии дистанционных измерений могут быть использованы для анализа сезонной и многолетней динамики спектрально-отражательных характеристик подстилающей поверхности на уровне отдельных пикселей КМСС-М. Отмечается технологическое удобство разработанного метода, заключающееся в отсутствии необходимости использования данных измерений в других, помимо целевого, спектральных диапазонах, и в возможности работы с данными, не прошедшими радиометрическую калибровку, что существенно упрощает его применимость к данным и других спутниковых систем для оптического дистанционного зондирования Земли.
Благодарности
Работа выполнена при поддержке Министерства науки и высшего образования в рамках темы «Мониторинг» (госрегистрация № 122042500031-8) с использованием инфраструктуры Центра коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды [25].
References
[1] Pan H, Tao C, Zou Z. Precise georeferencing using the rigorous sensor model and rational function model for Zi-Yuan-3 strip scenes with minimum control. ISPRS J Photogramm Remote Sens 2016; 119: 259-266. DOI: 10.1016/j.isprsjprs.2016.06.005.
[2] Hariyanto T, Kurniawan A, Pribadi CB, Al Amin R. Optimization of ground control point (GCP) and independent control point (ICP) on orthorectification of high resolution satellite imagery. Int Symposium on Global Navigation Satellite System 2018 (ISGNSS 2018) 2018: 02008. DOI: 10.1051/e3sconf/20199402008.
[3] Seo JH, Jeong S, Kim KO. Smart rectification on satellite images. Proc KSRS Conf 2002; 2002.10a: 75-80.
[4] Eugenio F, Marques F, Marcello J. Pixel and sub-pixel accuracy in satellite image georeferencing using an automatic contour matching approach. Proc 2001 Int Conf on Image Processing 2001; 1: 822-825. DOI: 10.1109/ICIP.2001.959172.
[5] Müller R, Krauß T, Schneider M, Reinartz P. Automated georeferencing of optical satellite data with integrated sensor model improvement. Photogramm Eng Remote Sensing 2012; 78(1): 61-74. DOI: 10.14358/PERS.78.1.61.
[6] Leprince S, Barbot S, Ayoub F, Avouac J.-P. Automatic and precise orthorectification, coregistration, and subpixel correlation of satellite images, application to ground deformation measurements. IEEE Trans Geosci Remote Sens 2007; 45(6): 1529-1558. DOI: 10.1109/TGRS.2006.888937.
[7] Ye Z, Kang J, Yao J, Song W, Liu S, Luo X, Tong X. Robust fine registration of multisensor remote sensing images based on enhanced subpixel phase correlation. Sensors 2020; 20(15): 4338. DOI: 10.3390/s20154338.
[8] Wolfe RE, Nishihama M, Fleig AJ, Kuyper JA, Roy DP, Storey JC, Patt FS. Achieving sub-pixel geolocation accuracy in support of MODIS land science. Remote Sens Environ 2002; 83(1-2): 31-49. DOI: 10.1016/S0034-4257(02)00085-8.
[9] Lowe DG. Distinctive image features from scale-invariant keypoints. Int J Comput Vis 2004; 60: 91-110. DOI: 10.1023/B:VISI.0000029664.99615.94
[10] Alganci U, Sertel E. Automated orthorectification of VHR satellite images by SIFT-based RPC refinement. ISPRS Int J Geoinf 2018; 7: 229. DOI: 10.3390/ijgi7060229.
[11] Long T, Jiao W, He G, Zhang Z. A fast and reliable matching method for automated georeferencing of remotely-sensed imagery. Remote Sens 2016; 8(1): 56. DOI: 10.3390/rs8010056.
[12] Zhukov BS, Grishantseva LA, Kondratieva TV, Nikitin AV, Permitina LI, Polyanskiy IV. In-flight geometric calibration of KMSS-2 multispectral satellite imaging system on board Meteor-M No.2-2 satellite [In Russian]. Sov-remennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2019; 16(6): 93-100. DOI: 10.21046/20707401-2019-16-6-93-100.
[13] Zhukov BS, Zhukov SB, Kondratieva TV, Nikitin AV. Automation of in-flight geometric calibration of multispectral satellite imaging system KMSS-M on board Meteor-M No.2 satellite [in Russian]. Sovremennye Problemy Dis-tantsionnogo Zondirovaniya Zemli iz Kosmosa 2018; 15(6): 201-212. DOI: 10.21046/2070-7401-2018-15-6201-212.
[14] Alecu C, Chrysoulakis N, Oancea S, Stancalie G. The georeferencing errors of satellite data in remote sensing applications. Proc SPIE 2007; 6748: 67481Q. DOI: 10.1117/12.747001.
[15] Polyanskiy IV, Zhukov BS, Kondratieva TV, Prokhorova SA, Smetanin PS. Medium-resolution multispectral satellite imaging system for hygrometeorological spacecraft [In Russian]. Sovremennye Problemy Distantsionnogo Zondi-rovaniya Zemli iz Kosmosa 2019; 16(6): 83-92. DOI: 10.21046/2070-7401-2019-16-6-83-92.
[16] Egorov VA, Bartalev SA, Kolbudaev PA, Plotnikov DE, Khvostikov SA. Land cover map of Russia derived from Proba-V satellite data [In Russian]. Sovremennye Prob-lemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2018; 15(2): 282-286. DOI: 10.21046/2070-7401-2018-152-282-286.
[17] Plotnikov DE, Bartalev SA, Loupian EA, Tolpin VA. Accuracy assessment for winter crops mapping in springsummer growing season with MODIS data [In Russian]. Sovremennye Problemy Distantsionnogo Zondirovaniya
Zemli iz Kosmosa 2017; 14(4); 132-148. DOI: 10.21046/2070-7401-2017-14-4-132-145.
[18] Plotnikov D, Elkina E, Dunaeva E, Khvostikov S, Loupian E, Bartalev S. Development of the method for automatic winter crops mapping by means of remote sensing aimed at crops state assessment over the republic of Crimea [in Russian]. Taurida Herald of the Agrarian Sciences 2020; 1(21), 64-83. DOI: 10.33952/2542-0720-2020-1-21-64-83.
[19] Plotnikov DE, Kolbudaev PA, Zhukov BS, Matveev AM, Bartalev SА, Egorov VA, Kashnitskii AV, Proshin AA. The collection of multispectral KMSS-M (Meteor-M No. 2) satellite data aimed at quantitative assessment of the Earth surface [In Russian]. Sovremennye Problemy Distantsionnogo Zondi-rovaniya Zemli iz Kosmosa 2020; 17(7): 276-282. DOI: 10.21046/2070-7401-2020-17-7-276-282.
[20] Plotnikov D, Kolbudaev P, Matveev A, Loupian E, Proshin A. Daily surface reflectance reconstruction using LOWESS on the example of various satellite systems. 2022 VIII International Conference on Information Technology and Nanotechnology (ITNT-2022). 18 August 2022. DOI: 10.1109/ITNT55410.2022.9848630.
[21] Cleveland WS. Robust locally weighted regression and smoothing scatterplots. J Am Stat Assoc 1979; 74(368): 829-836.
[22] Elkina ES, Egorov VA, Plotnikov DE, Samofal EV, Bartalev SA, Patil VC, Sunil JK., Chavan VS. Developent of satellite monitoring methods for sugarcane crop condition assessment in Peninsular India. Sovremennye Prob-lemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2019; 16(5): 159-173. DOI: 10.21046/2070-7401-2019-165-159-173.
[23] Kolbudaev P, Plotnikov D, Loupian E, Proshin A, Matveev A. The methods and automatic technology aimed at imagery georeferencing, cloud screening, atmospheric and radi-ometric correction of KMSS-M satellite data. E3S Web of Conferences 2021; 333(2021): 01006. DOI: 10.1051/e3sconf/202133301006.
[24] The European Space Agency. Sentinel online. Radiometric performance. Source:
(https:// sentinels.copernicus. eu/web/sentinel/technical-guides/sentinel-2-msi/performance).
[25] Loupian EA, Proshin AA, Bourtsev MA, Balashov IV, Bartalev SA, Efremov VYu, Kashnitskiy AV, Mazurov AA, Matveev AM, Sydneva OA, Sychugov IG, Tolpin VA, Uvarov IA. IKI center for collective use of satellite data archiving, processing and analysis systems aimed at solving the problems of environmental study and monitoring. Sovremennye Problemy Distantsionnogo Zondi-rovaniya Zemli iz Kosmosa 2015; 12(5): 263-284.
Сведения об авторах
Плотников Дмитрий Евгеньевич, 1984 года рождения, окончил в 2007 году факультет аэрофизики и космических исследований по специальности «Прикладные математика и физика» Московского физико-технического института (национальный исследовательский университет). Кандидат физико-математических наук по специальности 01.04.01 (2012 год). В настоящее время заведующий сектором в отделе «Технологии спутникового мониторинга» Института космических исследований РАН. За время работы в ИКИ РАН принимал участие в выполнении российских и международных научно-исследовательских проектов, направленных на развитие методов мониторинга растительного покрова. Область научных интересов: разработка автоматических методов дистанционного мониторинга растительного покрова, анализ временных серий спутниковых индикаторов, методы машинного обучения. ORCID: 0000-0002-1272-7050. E-mail: dmitplot@4902.iki.rssi.ru .
Колбудаев Павел Алексеевич, 1987 года рождения, в 2010 году окончил Московский физико-технический институт (национальный исследовательский университет) по специальности «Прикладная математика и физика», специализация «Космическая физика». В настоящее время работает в Институте космических исследований РАН в отделе «Технологии спутникового мониторинга» в должности младшего научного сотрудника. Область научных интересов: технологии дистанционного зондирования Земли, программирование, предварительная обработка спутниковых данных. E-mail: kolbudaev@d902.iki.rssi.ru .
Лупян Евгений Аркадьевич, 1961 года рождения, окончил в 1984 году факультет проблем физики и энергетики Московского физико-технического института (национальный исследовательский университет). В 1998 году защитил диссертацию на соискание степени доктора технических наук. С 2001 года заместитель директора по науке ИКИ РАН. В настоящее время заведующий отделом «Технологии спутникового мониторинга». Область научных интересов: разработка методов, технологий и информационных систем автоматизированной обработки спутниковых данных для решения геоэкологических задач. E-mail: smis@d902. iki.rssi.ru.
ГРНТИ: 89.57.35
Поступила в редакцию 17 января 2022 г. Окончательный вариант - 11 марта 2022 г.
An automatic method for subpixel registration of KMSS-M imagery based on coarse-resolution actualized reference
D.E. Plotnikov1, P.A. Kolbudaev1, E.A. Loupian1 1 Space Research Institute of Russian Academy of Sciences, Moscow, Russia
Abstract
The paper describes a method for automatic subpixel-accurate geographic referencing of imagery acquired by KMSS-M with 60 m spatial resolution, based on leveraging a coarse, reconstructed, cloud-free and daily updated MODIS surface reflectance reference image. The method is based on maximizing Pearson's correlation value when determining an optimal local displacement of the distorted image fragment by comparing with the reference image. To assess the effectiveness of the method when used over continental-scale and heterogeneous areas, three experiments were carried out providing quantitative estimates of imagery registration errors: an experiment with model datasets, an experiment to estimate the absolute registration error of MODIS reference imagery, and an experiment to estimate the registration error of geocorrected KMSS-M data. Experimental evaluation of the method based on model datasets of decameter-resolution Sentinel-2 (MSI) imagery demonstrated its robustness when used over a variety of environmental conditions over a one year-long observation period. The average georeferencing error of MODIS coarse-resolution reference was shown to be less than 20 meters in Red and Near-infrared bands. Corrected KMSS-M imagery evaluation over the Russian Grain Belt within 2020 has shown, on average, the subpixel referencing accuracy both in Red and Near-infrared bands, while the average absolute georeferencing error of the original uncorrected KMSS-M imagery was shown to be about 3 kilometers. Subpixel registration accuracy of KMSS-M imagery, corrected with MODIS-based coarse-resolution reference, opens new prospects for using multi-temporal analysis of this multi-spectral surface reflectance data in a variety of scientific and practical applications associated with vegetation cover satellite monitoring. The technological flexibility of the method ensures its applicability to data from other satellite systems for Earth optical remote sensing.
Keywords: KMSS-M, Meteor-M-2, image georeferencing, MODIS, Sentinel-2, LOESS.
Citation: Plotnikov DE, Kolbudaev PA, Loupian EA. An automatic method for subpixel registration of KMSS-M imagery based on coarse-resolution actualized reference. Computer Optics 2022; 46(5): 818-827. DOI: 10.18287/2412-6179-CO-1098.
Acknowledgements: This work was financially supported by the RF Ministry of Science and Higher Education within a "Monitoring" research program (state reference number 122012400187-6).
Authors' information
Dmitry Evgenievich Plotnikov, (b. 1984) graduated from Moscow Institute of Physics and Technology (MIPT, National Research University), faculty of Aerophysics and Space Research, majoring in Applied Mathematics and Physics. Currently he is Head of the sector in the Department of Satellite Monitoring Technologies at the Space Research Institute of Russian Academy of Sciences. Ph.D. in Experimental Physics (2012). Participated in the implementation of Russian and international scientific projects aimed at remote vegetation cover monitoring. Research interests: automatic methods for remote monitoring of vegetation cover, satellite biophysical indicators, time series analysis, vegetation assessment over large areas, machine learning. ORCID: 0000-0002-1272-7050. E-mail: dmitplot@d902.iki.rssi.ru .
Pavel Alkseevich Kolbudaev, (b. 1987) graduated from Moscow Institute of Physics and Technology (MIPT, National Research University) in 2010, majoring in Applied Mathematics and Physics. Currently he has a position of junior scientist in the Department of Satellite Monitoring Technologies at the Space Research Institute of Russian Academy of Sciences. Research interests: Earth remote sensing technologies, programming, satellite data preprocessing. E-mail: kolbudaev@d902.iki.rssi.ru .
Evgeny Arkadievich Loupian, (b. 1961) graduated from Moscow Institute of Physics and Technology (MIPT, National Research University), faculty of Problems of Physics and Energy. Doctor of Sciences since 1998. Since 2001, he is Deputy Director of Space Research Insitute of RAS. Currently, he is Head of the Department of Satellite Monitoring Technologies. Research interests: development of methods, technologies and information systems for automated processing of satellite data for geoecological applications. E-mail: smis@d902. iki.rssi.ru .
Received January 17, 2022. The final version - March 11, 2022.
