CC BY
93
СПЕКТРАЛЬНОЕ И ПРОСТРАНСТВЕННОЕ СВЕРХРАЗРЕШЕНИЕ ПРИ КОМПЛЕКСИРОВАНИИ ДАННЫХ ДЗЗ РАЗЛИЧНЫХ ИСТОЧНИКОВ
А.М. Белов1, А.Ю. Денисова1
1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34
Аннотация
В статье предлагается алгоритм получения пространственного и спектрального сверхразрешения для совокупности изображений дистанционного зондирования Земли, полученных при помощи различной съёмочной аппаратуры. Результат работы алгоритма рассматривается как модель идеального источника данных, обладающего большей точностью представления наблюдаемой территории, чем каждое из входных изображений, имеющих более низкое пространственное и спектральное разрешение. Предложенный алгоритм основан на методе градиентного спуска и использует уточнённую модель наблюдения изображений, включающую спектральную дискретизацию и интерполяцию, возникающую при переходе от наблюдаемых входных изображений к модельному представлению. В статье описывается экспериментальное исследование предложенного алгоритма на модельных изображениях низкого разрешения, полученных из гиперспектрального снимка дистанционного зондирования Земли. Практическое применение предлагаемого алгоритма заключается в совместной обработке данных ДЗЗ различного уровня, позволяющей стереть границы, возникающие из-за конструктивных различий изображающих систем.
Ключевые слова: повышение разрешения, данные дистанционного зондирования Земли, метод градиентного спуска, регуляризация.
Цитирование: Белов, А.М. Спектральное и пространственное сверхразрешение при комплексировании данных ДЗЗ различных источников / А.М. Белов, А.Ю. Денисова // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 855-863. - DOI: 10.18287/2412-6179-2018-42-5-855-863.
Введение
Одни и те же величины, измеренные различными сенсорами дистанционного зондирования Земли (ДЗЗ), в силу конструктивных особенностей и особенностей движения платформы, могут иметь различные значения регистрируемой спектральной отражательной способности для одних и тех же объектов земной поверхности. Данное обстоятельство делает невозможным классификацию разнородных данных ДЗЗ с использованием одинаковых настроек алгоритмов классификации и делает несравнимыми между собой значения признаков, рассчитанных по данным разных систем ДЗЗ. Таким образом, для унифицированной обработки массивов разнородных данных ДЗЗ актуальной задачей является разработка модели «идеального источника данных», т.е. синтезированного представления, обладающего более высокими характеристиками качества изображения по отношению к исходным данным.
В рамках данной статьи под моделью «идеального источника данных» понимается изображение наблюдаемой земной поверхности, имеющее более высокое пространственное и спектральное разрешение, чем исходные изображения ДЗЗ, использованные для его построения. Следовательно, задача построения «идеального источника данных» равносильна задаче повышения пространственного и спектрального разрешения изображений ДЗЗ, полученных с различных съёмочных систем для одной и той же территории.
Задача повышения пространственного разрешения в обработке изображений исследована более детально и представлена следующей группой методов:
1) Интерполяционные методы [1, 2] используют различные адаптивные и неадаптивные алгоритмы фильтрации и интерполяции, например: полиномиальная интерполяция, фильтры низких частот, методы на основе использования алгоритма Ландвебера [2], вейвлет-интерполяция и т.п. Достоинством данной группы методов является отсутствие необходимости определять модель наблюдения и низкая вычислительная сложность, которая позволяет их использовать в реальном времени. Однако, большинство интерполяционных методов повышения разрешения приводят к потерям текстурных особенностей малого масштаба, размытию изначально чётких границ и появлению эффекта границ исходной сетки дискретизации. Иными словами, применение методов этой группы ограничено областями с простой формой границ и с относительно плавно меняющимися яркостями;
2) Частотные методы [2, 3] предполагают явное использование модели наблюдения, при этом для решения задачи повышения разрешения применяется математическая теория спектральных преобразований, в частности, преобразования Фурье. Общим для методов данной группы является формирование модели наблюдения из следующих компонент: модель движения камеры низкого разрешения, модель сенсора низкого разрешения, модель дискретизации и шум наблюдений. Различные методы рассматривают различные искажения к оценке параметров геометрической трансформации кадров, начиная со смещения и заканчивая
аффинным преобразованием. Действие сенсора, как правило, моделируется линейной системой с постоянными коэффициентами. В качестве дискретизации выступает равномерная дискретизация с частотой, согласованной с частотой Найквиста. Шум белый и статистически не зависит от полезного сигнала.
Различные реализации частотного подхода отличаются друг от друга используемыми соотношениями в частотной области и моделями искажений, на которые они рассчитаны. Большинство методов использует предположения, что трансформация изображений является глобальной и представляет собой смещение кадра изображения по вертикали и горизонтали, а параметры размытия в каждой точке одинаковы [2]. Однако существуют и адаптивные реализации. Примером такого метода является AWF SR (Adaptive Winer Filter for Super Resolution - адаптивная винеровская фильтрация), предложенная Hardie в работе [3];
3) Оптимизационные методы, или, иначе, регуляри-зационные методы, включают в себя алгоритмы, использующие различные методы и критерии оптимизации для поиска параметров модели наблюдения и, одновременно, для восстановления изображений. Среди используемых критериев оптимизации присутствуют: критерий наименьших квадратов с ограничениями, максимальная апостериорная оценка [4], максимум правдоподобия [5]. Преимущество оптимизационного подхода заключается в отсутствии необходимости разрабатывать дополнительные методы для идентификации параметров искажений, так как идентификация происходит в процессе решения задачи оптимизации.
В качестве методов оптимизации преимущественно применяются метод согласованного градиента и метод градиентного спуска. Данные методы являются итерационными и, как следствие, требуют обеспечения сходимости к некоторому решению. Сходимость обеспечивается с помощью различных условий регуляризации, среди которых распространены такие подходы как общая вариация (total variation), билатеральный фильтр и другие [6].
Методы данного класса можно подразделить на детерминированные и недетерминированные, т.е. стохастические, по критерию оптимизации. Особенностью стохастических алгоритмов является присутствие в оптимизируемом функционале априорной модели восстанавливаемого изображения, в качестве которой используются марковские случайные поля, поля с распределением Гиббса или Гаусса [2]. Основным достоинством таких алгоритмов является сохранение границ при правильно подобранных параметрах регуляризации;
4) Методы проекций на выпуклые множества (Projection onto Convex Sets Approaches - POCS) [2, 7] позволяют учитывать различного рода нерегулярности в искажениях, например, колебания размытия или параметров трансформации на изображении. Однако данные методы имеют и недостатки, такие, как невыполнение условия единственности решения, медленная сходимость и высокая вычислительная сложность [2];
5) Прочие методы. К данному классу можно отнести, например, гибридные методы, использующие частотный подход для оценки параметров регистрации изображения и оптимизационный подход для повышения разрешения [8], а также разнообразные методы повышения разрешения на основе обучения со словарём (dictionary-based super resolution) [9-11] и нейронных сетей.
Перечисленные выше методы, главным образом, касаются пространственного разрешения изображений. Повышение разрешения цветных изображений является отдельной областью исследований, требующей реализации несколько других подходов. Оптимизационный подход одинаково распространён как для повышения пространственного разрешения, так и для цветового, с тем исключением, что для оптимизации цветового разрешения может быть использован переход в другое цветовое пространство, например, в цветность-насыщенность-тон (HSV) [4]. Однако применение других цветовых пространств для данных ДЗЗ не актуально ввиду того, что количество спектральных компонент может быть больше трёх или иметь отличный от стандартного RGB-представления физический смысл. Другим вариантом повышения разрешения цветных изображений является рассмотрение внутренней структуры линейки детекторов каждого спектрального канала [12]. При этом в рамках одного изображения уже предполагается наличие смещения при регистрации каждого из цветных кадров. Однако данный подход не повышает спектральное разрешение компонент изображения, а напротив, использует цветовую информацию для повышения пространственного разрешения.
Одна из последних работ [13], посвящённых повышению именно спектрального разрешения данных ДЗЗ, использует аппроксимацию сплайном наблюдаемого значения отражательной способности, регистрируемой гиперспектральным сенсором, и применяет итерационный алгоритм для восстановления квазинепрерывного исходного сигнала из полученной аппроксимации. Однако данный метод не позволяет повысить пространственное разрешение изображения.
Таким образом, существующие методы повышения пространственного и спектрального разрешения изображений действуют независимо друг от друга и в большинстве случаев требуют, чтобы исходные данные были сформированы съёмочными системами с одинаковыми характеристиками пространственной и спектральной дискретизации, а также одинаковыми функциями размытия точки, но при разных положениях камеры.
Новизной предлагаемого в настоящей статье решения является формирование единой модели источника на основе данных сенсоров ДЗЗ с учётом различий их пространственного и спектрального разрешения одновременно. Рассматриваемая задача является задачей объединения изображений, полученных несколькими изображающими системами, в единое изображение с более высокими характеристиками про-
странственного и спектрального разрешения, чем у исходных изображений. Получаемое в результате изображение называется далее «моделью идеального источника данных». Термин «идеальный» используется для отражения более высоких качеств получаемого объединённого изображения по отношению к исходным изображениям.
Методологическую основу решения задачи построения «идеального источника данных» составляет метод наискорейшего спуска и B-TV метод регуляризации (bilateral total variation) [4]. В отличие от существующих методов повышения разрешения рассматриваемая в настоящей статье процедура рассчитана на одновременное повышение спектрального и пространственного разрешения, что выражается в используемом представлении оператора формирования наблюдаемых изображений, который детально описывается в тексте статьи в параграфе 1. В статье (параграф 2) приводятся результаты экспериментальной проверки работоспособности предложенного метода с использованием изображений, полученных из гиперспектральных изображений ДЗЗ в результате моделирования оператора формирования наблюдаемых изображений различными мультиспектральными сенсорами ДЗЗ.
Данная статья является частью более обширного исследования, посвящённого совместной обработке данных ДЗЗ различных источников для задач тематической классификации. Очевидно, что при использовании снимков ДЗЗ, полученных разными съёмочными системами, необходимо учитывать также и различия во времени получения снимков. Однако, в рамках настоящего исследования различное время получения снимков не учитывается и составляет область дальнейших исследований.
1. Предлагаемое решение
Модель регистрации изображений низкого разрешения
В соответствии с общей логикой формирования изображений оптическими сенсорами ДЗЗ можно построить модель искажений между наблюдаемыми изображениями низкого разрешения и восстанавливаемым изображением модели «идеального источника данных» X. Будем рассматривать K различных изображающих систем, каждой из которых соответствует |k изображений низкого разрешения Y^:
Ym = АадЛу wu (X)Xх
\Х=1
l = 1,..., Lk, |= 1,..., I*,
где представляет собой l-й канал |-ого изображе-
ния низкого разрешения, полученного k-й изображающей системой; Х% является изображением высокого разрешения для Х-го канала, причём количество каналов восстанавливаемого изображения высокого разрешения больше или равно количеству каналов используемых изображений низкого разрешения
L > max (Lk).
k=1,..., Ky ’
Выражение (1) задаёт общий вид уравнения наблюдения и описывает действие следующих искажений, характерных для оптических систем ДЗЗ.
1) wkl(X) определяют коэффициенты функции спектрального отклика (Spectral Response Function -SRF) при формировании l-го спектрального канала k-й изображающей системы низкого разрешения из спектральных каналов, соответствующих оцениваемой модели «идеального источника данных». Коэффициенты wkl (Х) могут быть определены как интеграл соответствующей функции спектрального отклика на диапазоне длин волн, соответствующем каналу с номером Х:
Z2 (Х)
J Wki (u )du
(Х) = ^------------, (2)
J Wk, (u )du
—ю
где Wkl (u) - непрерывная функция спектрального отклика для l-го канала k-го изображения низкого разрешения, u - длина волны регистрируемого излучения, а СДХ) и ^2(Х) задают полосу пропускания спектрального канала с номером Х для модели «идеального источника».
На практике функция спектрального отклика оптических сенсоров моделируется с помощью функции Гаусса [7] и определяется для каждого канала l центральной длиной волны и диапазоном длин волн, внутри которого значение функции спектрального отклика убывает в два раза. Данные параметры функции спектрального отклика приводятся в документации соответствующих изображающих систем.
2) F^ представляет собой оператор движения и кадрирования, характеризующий смещение и форму кадра камеры низкого разрешения по отношению к геометрии кадра восстанавливаемого изображения высокого разрешения. В настоящей статье рассматривается случай, когда для каждой из рассматриваемых изображающих систем низкого разрешения доступны |k изображений, сдвинутых относительно восстанавливаемого кадра. При наличии географической привязки исходные изображения низкого разрешения YK можно рассматривать совмещёнными в единой системе координат, однако из-за неточности преобразований привязки изображений возможно небольшое смещение геопривязанных кадров относительно друг друга. Далее предполагается, что оператор F^ задаёт смещение каждого из изображений Yk^ относительно некоторого эталонного положения кадра, соответствующего восстанавливаемому изображению высокого разрешения X. С учётом предварительного совмещения изображений низкого разрешения Yk в единой системе координат, на практике значения геометрических преобразований Fk могут быть определены с помощью методов оценки геометрических преобразований кад-
(1)
ров, например, с помощью метода оптического потока [14-15]. Поэтому в рамках данной статьи способы оценки межкадровых деформаций не рассматриваются и операторы F^ полагаются известными.
3) Ик задаёт оператор размытия изображения вследствие расфокусировки и других явлений, приводящих к формированию размытия в процессе регистрации изображения в результате действия оптической системы. В настоящей работе оператор Ик полагается известным и моделирует размытие в виде конечной линейной системы с постоянными параметрами [16].
4) Dk представляет собой оператор дискретизации с шагом Tk > Т, соответствующим разрешению k-й изображающей системы низкого разрешения, где T - шаг дискретизации восстанавливаемого изображения высокого разрешения X. Оператор дискретизации моделируется как последовательное действие операторов усреднения яркости по поверхности детектора изображающей системы D1k и пространственной децимации D2k в Гк=ГТк/т! раз, где Г-1 - округление до ближайшего целого числа, большего, чем аргумент операции, а оператор D1k представляет собой свёртку изображения с прямоугольным окном размера rk«rk. Таким образом, оператор дискретизации Dk представляет собой равномерную дискретизацию с усреднением.
Все рассматриваемые операторы Dk, Ик, F^ являются линейными, и операторы Ик и F^ можно поменять местами, тогда выражение (1) может быть представлено в виде:
Ущ = DkFkHk X Wl (X)Xx,
X=1 (3)
l = 1,..., Lk, | = 1,..., |k.
Уравнение (3) определяет рассматриваемую в настоящей работе модель регистрации изображений низкого разрешения. Оценка модели «идеального источника данных» X, предлагаемой в данной работе, производится в дискретном виде с шагом дискретизации меньшим, чем шаг дискретизации наблюдаемых изображений низкого разрешения Т< Тк, к = 1, ..., K и с количеством спектральных компонент
L > max (Lk).
к =1,...,K у '
Оценка модели идеального источника данных
В рамках предлагаемого в настоящей работе подхода предлагается выполнять оценку неизвестной модели «идеального источника данных» методом градиентного спуска [17] с модифицированными ре-гуляризирующими условиями, предложенными в работе [4] для задачи повышения разрешения цветовых RGB изображений с эффектом неравномерной пространственной дискретизации цветов (super resolution and demosaicing reconstruction).
Метод градиентного спуска является итерационным, и формирование n-го приближения Xn) должно производиться с такими же параметрами пространственной и спектральной дискретизации, как и для восстанавливаемого изображения высокого разрешения
X = (XbX2, ...,XL). Однако наблюдаемые изображения низкого разрешения имеют отличные от требуемых параметры пространственной и спектральной дискретизации, поэтому модель наблюдения (3) была дополнена операторами искажений, которые отвечают за формирование изображений Zk, к = 1, ..., K, являющихся объединением изображений YkS,, S = 1, ..., Sk для каждой из рассматриваемых изображающих систем и имеющих параметры пространственной дискретизации такие же, как у восстанавливаемого изображения X:
Zu = XF-Ik (Ykii), к = 1,...,K, l = 1,...,Lk, (4)
S к S=1
где Zki - l-й канал объединённого изображения Zk для k-й изображающей системы, Ik задаёт оператор интерполяции по пространственным координатам с шагом Т/ Тк, F— являются операторами обратной геометрической трансформации -го наблюдаемого изображения k-й изображающей системы низкого разрешения, приводящими наблюдаемое интерполированное изображение к параметрам кадра восстанавливаемого изображения. Операторы Ik и Fk-1 полагаются линейными. Рассматривая теперь Zk в качестве наблюдаемого изображения, запишем функционал ошибки моделирования J0 (X) в виде:
Jо( X) =
=XX
к=1 l=1
1XF-SIk±Wk, (X)DkHkFk,Xx -Zkl
S к S=1 X=1
(5)
В большинстве практических случаев непосредственная оптимизация функционала (5) является плохо обусловленной задачей, поэтому для получения решения используется регуляризация. В настоящей работе используется B-TV регуляризация, предложенная в работе [4]. Данный способ регуляризации был развит в работе [18] в задаче повышения разрешения RGB-изображений с эффектом мозаичности (mosaicing), т.е. разной пространственной дискретизации для разных цветовых компонент RGB-изображения. Предложенное в [18] решение было рассчитано на использование компоненты яркости в цветовом пространстве YIQ. В отличие от [18] мы использовали среднюю яркость по всем каналам, и в результате используемый в настоящей работе регуляризационный член имеет вид:
Ji(X) =X Xa'''+"IIXl -SIS2[Xl\
(6)
i=-P J=-P L
где X L
1 L
=—X XX - средняя яркость по компонентам
X=1
восстанавливаемого изображения, S1i и S2J - операторы пространственного сдвига изображения на i пикселей в горизонтальном и J пикселей в вертикальном направлениях соответственно, ае[0,1] - весовой коэффициент.
Тогда решаемая задача оптимизации имеет вид:
X = argmin{Jo(X) + pj,(X)} , (8)
X
где р - весовой коэффициент регуляризирующего члена.
Для решения оптимизационной задачи (8) был выбран метод градиентного спуска [17]. Изображение v-й спектральной компоненты высокого разрешения ищется согласно следующей итерационной формуле:
Xj”+l1 = Xjn) -yVJ(Xv^), v = 1,...,L , (9)
где XVn) - n-ое приближение изображения высокого разрешения, VJ(X„(n)) - значение градиента функционала J(X) для v-компоненты n-го приближения, у - шаг алгоритма.
На каждой итерации алгоритма вычисляется значение градиента VJ(X„(n)) функционала (8) для текущего приближения и затем производится расчёт следующего приближения с использованием формулы (9).
Значение градиента функционала (8) для v-й компоненты n-го приближения имеет вид (10). В выражении (10) оператору H-T соответствует свёртка в обратном времени, т.е. с зеркально отображённой
импульсной характеристикой, соответствующей оператору Hk , а E- единичный оператор.
Для выполнения итерационной процедуры (9) необходимо задать начальное приближение X(0). В настоящей статье предлагается формировать начальное приближение в два этапа. На первом этапе для каждой точки (шь ш2) многоканальных изображений Zk, полученных по формуле (4) из изображений низкого разрешения, производится приведение изображений Zkl(шь ш2), l = 1, ..., Lk к изображению X-(, ( = 1, ..., L с набором каналов ( = 1, ..., L путём линейной интерполяции. На втором этапе начальное приближение формируется как среднее значение полученных после спектральной интерполяции значенийX-(, X = 1, ..., L:
1 K
X X0)= K X Xkx. (11)
K k=1
Таким образом, формирование изображения «идеального источника данных» включает в себя этапы получения начального приближения (11) и оптимизации методом градиентного спуска с использованием формул (9) и (10).
K Lk
Wkl (v) -
(
VJ (Xv) = £HIF-^ IkDkFkl. sign
k =1 l=1 Ы $=1
1 Xf--1 IkDkFKHk £wk, (X)Xx
X
VL-= k ?='
— Z-,
+ pX X <ar~(E — S— Js—‘)sign(-LX(X( — SSXx) I.
(10)
2. Экспериментальное исследование
Постановка эксперимента
Для оценки качества повышения спектрального и пространственного разрешения модели «идеального источника данных» мы использовали изображения, синтезированные на основе реальных гиперспектральных данных ДЗЗ. Гиперспектральные снимки были выбраны в качестве источников наиболее точной спектральной дискретизации для формирования синтезированных мультиспектральных изображений различных изображающих систем.
В качестве эталонных изображений высокого разрешения рассматривались мультиспектральные изображения с L спектральными каналами, полученные из фрагментов снимка JasperRidge98av.tif сенсора AVIRIS [19]. Размер этих изображений составлял 200*200 точек.
Для формирования изображений низкого спектрального и пространственного разрешения применялась модель наблюдения (1). Коэффициенты wkl(() определялись по формуле (2) с Гауссовой функцией Wkl(u). При этом каждая из функций Wkl(u) характеризовалась центральной длиной волны спектрального диапазона u°u и параметром 5kl, определяющим радиус области усреднения вокруг центральной длины волны.
Операторы F^ представляли собой поступательное движение на %-i; и пикселей изображения по вертикали и горизонтали относительно эталонного расположения кадра низкого разрешения. Параметры
Х-? и ниже определяются в пикселях изображений низкого разрешения и имеют смысл погрешности геопривязки. Операторы Hk определяли функцию размытия точки для каждой из изображающих систем низкого разрешения и задавались в виде двумерных Гауссовых функций с радиусом пятна размытия, равным CTk. В качестве операторов дискретизации Dk рассматривалась равномерная дискретизация эталонного изображения высокого разрешения по вертикали и горизонтали с шагом Tk.
Известно, что для обеспечения определенности задачи повышения пространственного разрешения в rk = Tk/T раз необходимо использовать г-2 изображений низкого разрешения [18], поэтому для каждой из моделируемых изображающих систем генерировалось rk2 изображений низкого разрешения. Регуляри-зированные решения могут быть получены предложенным методом также и в недоопределённом и переопределённым случаях, однако исследование этих случаев выходит за рамки настоящей статьи. Были проведены три эксперимента, в каждом из которых рассмотрены две изображающие системы с различными комбинациями параметров модели наблюдения. Исходное изображение высокого разрешения и примеры полученных изображений низкого разрешения (приведённые к размеру исходного изображения) представлены на рис. 1.
Для оценки качества получаемой модели «идеального источника данных» было произведено моделирование изображений с более низким спектральным и
пространственным разрешением из исходных изображений с последующим восстановлением разрешения до исходного. Параметры моделирования изображений низкого и высокого разрешения приведены в табл. 1.
Табл. 1. Параметры моделирования изображений
k Гк Lk xk?, # CTk L
Эксперимент 1
1 4 4 -0,5...0,5 2 7
2 2 6 -0,5...0,5 1
Эксперимент 2
1 6 4 -0,5.0,5 3 7
2 4 6 -0,5.0,5 2
Эксперимент 3
1 4 4 -0,5.0,5 2 12
2 2 6 -0,5.0,5 1
а)
б)
в) I
Рис. 1. Исходное изображение (а) и изображения низкого разрешения: rk = 2 (б), rk = 4 (в), rk = 6 (г)
Процедура восстановления была реализована с помощью итерационной формулы (9) с использованием 175, 95 и 300 итераций для 1-го, 2-го и 3-го экспериментов соответственно, с параметром у, равным 20. В качестве интерполяции Ik по пространственным координатам использовалась интерполяция по ближайшему соседу с шагом 1/Tk, т.е. недостающие пиксели изображения высокого разрешения устанавливались равными значению ближайшего пикселя низкого разрешения. Здесь и далее шаг дискретизации восстанавливаемого изображения высокого разрешения полагается равным T = 1.
Для вычисления градиента использовалась формула (10) с параметрами а, равным 0,1, р, равным 2, Р равным 0,5. При формировании начального приближения использовалась линейная интерполяция для получения оценки спектральных компонент изображения высокого разрешения.
Результаты повышения спектрального и пространственного разрешения предложенным методом сравнивались по критерию среднеквадратической ошибки е оценки спектральных компонент изображения высокого разрешения в каждой точке:
е =
f L M Л
X X (Xх (mbm2) -Xл(mbm2))2
у Л=1 m-i, m2 =1
(12)
где Хл - компонента идеального изображения высокого разрешения, Хл - восстановленная компонента «идеального источника данных».
Результаты
На рис. 2-4 представлены результаты описанных выше экспериментов. Для сравнения приведены одни и те же спектральные каналы начального приближения X(0), а также восстановленного X и идеального X изображений. Для экспериментов 1 и 2 приведён спектральный канал 4, соответствующий длине волны 655 нм, для эксперимента 3 приведен спектральный канал 6, соответствующий длине волны 635 нм.
a) б) \
Рис. 2. Результаты эксперимента 1: начальное приближение (а), восстановленное изображение (б)
а) б) |
Рис. 3. Результаты эксперимента 2: начальное приближение (а), восстановленное изображение (б)
а) б) |
Рис. 4. Результаты эксперимента 3: начальное приближение (а), восстановленное изображение (б)
Также для демонстрации качества повышения спектрального разрешения на рис. 5 приведены спектральные сигнатуры идеального и восстановленного изображений и начального приближения в точке (110, 80).
Для каждого эксперимента были рассчитаны среднеквадратические ошибки начального приближения и восстановленного изображения. Численные данные экспериментов приведены в табл. 2. Из неё видно, что СКО оценки модели идеального источника
1/2
данных в среднем в 1,9 раза меньше, чем СКО начального приближения по отношению к идеальному изображению.
2800 2600 2400 2200 2000 1600 1600
1400 —1 1 1 -*■ 1 1 <а) 1-2-3-4-5-6-7
2800 2600 —
2400 —
2200 —
2000 1600 —
1600 —
1400 —|------1-----1---
в) 1 2 3 4 5 6 7 8 9 10 11 12
Рис. 5.Спектральные профили в точке (110, 80) для изображений X, X и X(0: эксперимент 1 (а), эксперимент 2 (б), эксперимент 3 (в)
Табл. 2. Среднеквадратическая ошибка начального приближения и восстановленного изображения
№ e( X(0), X) e( X, X)
1 509,36 257,96
2 556,99 326,97
3 575,77 282,22
Полученные результаты показывают, что предложенный метод позволяет повысить спектральное и пространственное разрешение изображений низкого разрешения и сформировать таким образом модель «идеального источника данных», обладающего более высокими характеристиками качества изображения.
Заключение
В статье предложен алгоритм оценки модели «идеального источника данных» для комплексирова-ния изображений ДЗЗ с различными характеристиками пространственной и спектральной дискретизации. Под моделью «идеального источника данных» понимается многоканальное изображение, имеющее лучшее пространственное и спектральное разрешение,
чем наблюдаемые изображения, использованные для его восстановления. Предложенный алгоритм оценки модели идеального источника данных основан на методе градиентного спуска и B-TV регуляризации и позволяет выполнять восстановление изображения по серии кадров нескольких изображающий систем. В отличие от существующих подходов повышения пространственного и спектрального разрешения, предложенный метод рассматривает комплексную модель искажений и выполняет одновременное повышение как пространственного, так и спектрального разрешения, что подтверждается представленными в статье результатами экспериментов с синтезированными на основе гиперспектральных данных ДЗЗ мультиспектральными изображениями. Дальнейшее направление исследований связано с изучением условий повышения качества оценки «идеального источника данных» с учётом возможных отличий в исходных изображениях ДЗЗ, связанных с различным временем регистрации исходных изображений, а также с повышением вычислительной эффективности предложенной процедуры оценки модели идеального источника данных.
Благодарности
Статья подготовлена при поддержке грантов РФФИ № 18-07-00748 а, 16-29-09494 офи_м.
Литература
1. Fattal, R. Image upsampling via imposed edge statistics /
R. Fattal // ACM Transactions on Graphics. - 2007. -Vol. 26, Issue 3. - 95. - DOI: 10.1145/1276377.1276496.
2. Park, S.C. Super-resolution image reconstruction: a technical overview / S.C. Park, M.K. Park, M.G. Kang // IEEE Signal Processing Magazine. - 2003. - Vol. 20, Issue 3. -P. 21-36. - DOI: 10.1109/MSP.2003.1203207.
3. Hardie, R. A fast image super-resolution algorithm using an adaptive Wiener filter / R. Hardie // IEEE Transactions on Image Processing. - 2007. - Vol. 16, Issue 12. -P. 2953-2964. - DOI: 10.1109/TIP.2007.909416.
4. Farsiu, S. Fast and robust multiframe super resolution /
S. Farsiu, M.D. Robinson, M. Elad, P. Milanfar // IEEE Transactions on Image Processing. - 2004. - Vol. 13, Issue 10. - P. 1327-1344. - DOI: 10.1109/TIP.2004.834669.
5. Farsiu, S. Fast and robust super-resolution / S. Farsiu,
M.D. Robinson, M. Elad, P. Milanfar // Proceedings of the 2003 International Conference on Image Processing. -2003. - Vol. 3. - P. 291-294. - DOI:
10.1109/ICIP.2003.1246674.
6. Krylov, A. Adaptive total variation deringing method for
image interpolation / A. Krylov, A. Nasonov // Proceedings of the 15th International Conference on Image Processing (ICIP’08). - 2008. - P. 2608-2611. - DOI:
10.1109/ICIP.2008.4712328.
7. Akgun, T. Super-resolution reconstruction of hyperspectral images / T. Akgun, Y. Altunbasak, R.M. Mersereau // IEEE Transactions on Image Processing. - 2005. - Vol. 14, Issue 11. - P. 1860-1875. - DOI: 10.1109/TIP.2005.854479.
8. Li, L. Super-resolution reconstruction of high-resolution satellite ZY-3 TLC images / L. Li, W. Wang, H. Luo, S. Ying // Sensors. - 2017. - Vol. 17, Issue 5. - 1062. -DOI: 10.3390/s17051062.
9. Song, H. Improving the spatial resolution of landsat TM/ETM+ through fusion with SPOT5 images via learning-
based super-resolution / H. Song, B. Huang, Q. Liu, K. Zhang // IEEE Transactions on Geoscience and Remote Sensing. - 2015. - Vol. 53, Issue 3. - P. 1195-1204. - DOI: 10.1109/TGRS.2014.2335818.
10. Gong, R. How to deal with color in super resolution reconstruction of images / R. Gong, Y. Wang, Y. Cai, X. Shao // Optics Express. - 2017. - Vol. 25, Issue 10. - P. 1114411156. - DOI: 10.1364/OE.25.011144.
11. Freeman, W.T. Example-based super-resolution / W.T. Freeman, T.R. Jones, E.C. Pasztor // IEEE Computer Graphics and Applications. - 2002. - Vol. 22, Issue 2. - P. 56-65. -DOI: 10.1109/38.988747.
12. Karch, B.K. Adaptive Wiener filter super-resolution of color filter array images / B.K. Karch, R.C. Hardie // Optics Express. - 2013. - Vol. 21, Issue 16. - P. 18820-18841. -DOI: 10.1364/OE.21.018820.
13. Jia, G. Spectral super-resolution reflectance retrieval from remotely sensed imaging spectrometer data / G. Jia, A. Hu-eni, D. Tao, R. Geng, M.E. Schaepman, H. Zhao // Optics Express. - 2016. - Vol. 24, Issue 17. - P. 19905-19919. -DOI: 10.1364/OE.24.019905.
14. Sun, D. Secrets of optical flow estimation and their principles / D. Sun, S. Roth, M.J. Black // 2010 IEEE Computer Society Conference on Computer Vision and Pattern Rec-
ognition. - 2010. - P. 2432-2439. - DOI:
10.1109/CVPR.2010.5539939.
15. Adiv, G. Determining three-dimensional motion and structure from optical flow generated by several moving objects / G. Adiv // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1985. - Vol. 7, Issue 4. - P. 384-401. -DOI: 10.1109/TPAMI.1985.4767678.
16. Методы компьютерной оптики / А.В. Волков, Д.Л. Го-ловашкин, Л.Д. Досколович, Н.Л. Казанский, В.В. Кот-ляр, В.С. Павельев, Р.В. Скиданов, В.А. Сойфер, В.С. Соловьев, Г.В. Успленьев, С.И. Харитонов, С.Н. Хонина; под ред. В.А. Сойфера. - изд. 2-е, испр. - М.: Физматлит, 2003. - 688 с. - ISBN: 5-9221-0434-9.
17. Методы оптимизации / Н. Моисеев, Ю. Иванилов, Е. Столярова. - М.: «Наука», 1978. - 352 с.
18. Farsiu, S. Multiframe demosaicing and super-resolution of color images / S. Farsiu, M. Elad, P. Milanfar // IEEE Transactions on Image Processing. - 2006. - Vol. 15, Issue 1. - P. 141-159. - DOI: 10.1109/TIP.2005.860336.
19. Vane, G. The airborne visible/infrared imaging spectrometer (AVIRIS) / G. Vane, R.O. Green, T.G. Chrien, H.T. Enmark, E.G. Hansen, W.M. Porter // Remote Sensing of Environment. - 1993. - Vol. 44, Issues 2-3. - P. 127-143. - DOI: 10.1016/0034-4257(93)90012-M.
Сведения об авторах
Белов Александр Михайлович, 1980 года рождения. В 2003 году с отличием окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (Самарский университет) по специальности «Прикладная математика и информатика». В 2007 году получил степень кандидата физико-математических наук. В настоящее время работает доцентом кафедры геоинформатики и компьютерной безопасности в Самарском университете. Область научных интересов: обработка изображений и геоинформационные системы. Автор 37 научных публикаций, из них 14 статей в научных журналах. Член Поволжского отделения Российской ассоциации распознавания образов и анализа изображений. E-mail: [email protected] .
Денисова Анна Юрьевна, 1988 года рождения, в 2011 году окончила Самарский государственный аэрокосмический университет имени академика С.П. Королёва (ныне Самарский университет) по специальности «Прикладная математика и информатика». В 2014 году защитила диссертацию на соискание степени кандидата технических наук. Работает старшим научным сотрудником в научно-исследовательской лаборатории №55 (Самарский университет). Область научных интересов: обработка изображений, геоинформационные системы.
E-mail: denisova [email protected] .
ГРНТИ: 28.21.15, 28.17.19, 89.57.35, 89.57.45 .
Поступила в редакцию 13 июля 2018 г. Окончательный вариант - 21 августа 2018 г.
SPECTRAL AND SPATIAL SUPER-RESOLUTION METHOD FOR EARTH REMOTE SENSING IMAGE FUSION
A.M. Belov* 1, A. Y. Denisova1
1 Samara National Research University, 34, Moskovskoye shosse, 443086, Samara, Russia
Abstract
In the article we propose a spatial and spectral super-resolution algorithm for a set of multichannel images obtained by various Earth remote sensing detectors. We regard the result of the algorithm as a model of an ideal data source, which has a better accuracy of the observed terrain representation than each of the input images having lower spatial and spectral resolution. The proposed algorithm utilizes a method of gradient descent and applies a refined model of image observation, including both spectral and spatial down-sampling and up-sampling. The article describes an experimental study of the proposed algorithm and a comparison of the quality of its work with bilinear interpolation of low-resolution images. The practical application of the proposed algorithm consists in the joint processing of remote sensing data of various levels, which makes it possible to erase the boundaries that arise from the design differences of imaging sensors.
Keywords: super-resolution, remote sensing data, gradient descent method, regularization.
Citation: Belov AM, Denisova AY. Spectral and spatial super-resolution method for Earth remote sensing image fusion. Computer Optics 2018; 42(5): 855-863. - DOI: 10.18287/2412-6179-2018-42-5-855-863.
Acknowledgements: The work was partially funded by the Russian Foundation for Basic Research under grants ## 18-07-00748 a, 16-29-09494 ofi_m.
References
[1] Fattal R. Image upsampling via imposed edge statistics. ACM Transactions on Graphics. 2007; 26(3): 95. DOI: 10.1145/1276377.1276496.
[2] Park SC, Park MK, Kang MG. Super-resolution image
reconstruction: a technical overview. IEEE Signal Processing Magazine 2003; 20(3): 21-36. DOI:
10.1109/MSP.2003.1203207.
[3] Hardie R. A fast image super-resolution algorithm using
an adaptive Wiener filter. IEEE Transactions on Image Processing 2007; 16(12): 2953-2964. DOI:
10.1109/TIP.2007.909416.
[4] Farsiu S, Robinson MD, Elad M, Milanfar P. Fast and ro-
bust multiframe super resolution. IEEE Transactions on Image Processing 2004; 13(10): 1327-1344. DOI:
10.1109/TIP.2004.834669.
[5] Farsiu S, Robinson D, Elad M, Milanfar P. Fast and robust super-resolution. Proceedings of the International Conference on Image Processing 2003; 3: 291-294. DOI: 10.1109/ICIP.2003.1246674.
[6] Krylov A, Nasonov A. Adaptive total variation deringing method for image interpolation. Proceedings of 15th International Conference on Image Processing (ICIP’08) 2008: 2608-2611. DOI: 10.1109/ICIP.2008.4712328.
[7] Akgun T, Altunbasak Y, Mersereau RM. Super-resolution reconstruction of hyperspectral images. IEEE Trans Image Proc 2005; 1411: 1860-1875. DOI: 10.1109/TIP.2005.854479.
[8] Li L, Wang W, Luo H, Ying S. Super-resolution reconstruction of high-resolution satellite ZY-3 TLC images. Sensors 2017; 17(5): 1062. DOI: 10.3390/s17051062.
[9] Song H, Huang B, Liu Q, Zhang K. Improving the spatial resolution of landsat TM/ETM+ through fusion with SPOT5 images via learning-based super-resolution. IEEE Transactions on Geoscience and Remote Sensing 2015; 53(3): 1195-1204. DOI: 10.1109/TGRS.2014.2335818.
[10] Gong R, Wang Y, Cai Y, Shao X. How to deal with color in super resolution reconstruction of images. Opt Express 2017; 25(10): 11144-11156. DOI: 10.1364/OE.25.011144.
[11] Freeman WT, Jones TR, Pasztor EC. Example-based super-resolution. IEEE Computer Graphics and Applications 2002; 22(2): 56-65. DOI: 10.1109/38.988747.
[12] Karch BK, Hardie RC. Adaptive Wiener filter superresolution of color filter array images. Opt Express 2013; 21(16): 18820-18841. DOI: 10.1364/OE.21.018820.
[13] Jia G, Hueni A, Tao D, Geng R, Schaepman ME, Zhao H. Spectral super-resolution reflectance retrieval from remotely sensed imaging spectrometer data. Opt Express 2016; 24(17): 19905-19919. DOI: 10.1364/OE.24.019905.
[14] Sun D, Roth S, Black MJ. Secrets of optical flow estimation and their principles. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2010: 2432-2439. DOI: 10.1109/CVPR.2010.5539939.
[15] Adiv G. Determining three-dimensional motion and structure from optical flow generated by several moving objects. IEEE Trans Pattern Anal Mach Intell 1985; 7(4): 384-401. DOI: 10.1109/TPAMI.1985.4767678.
[16] Soifer VA, ed. Methods for computer design of diffractive optical elements. New York: John Wiley & Sons, Inc; 2002. ISBN: 978-0-471-09533-0.
[17] Moiseev N, Ivanilov Y, Stolyarova E. Optimization methods [In Russian]. Moscow: “Nauka” Publisher; 1978.
[18] Farsiu S, Elad M, Milanfar P. Multiframe demosaicing and
super-resolution of color images. IEEE Transactions on Image Processing 2006; 15(1): 141-159. DOI:
10.1109/TIP.2005.860336.
[19] Vane G, Green RO, Chrien TG, Enmark HT, Hansen EG,
Porter WM. The airborne visible/infrared imaging spectrometer (AVIRIS). Remote Sensing of Environment 1993; 44(2-3): 127-143. DOI: 10.1016/0034-
4257(93)90012-M.
Author’s information
Aleksandr Mikhailovich Belov (b. 1980) graduated from S.P. Korolyov Samara State Aerospace University (Samara University), majoring in Applied Mathematics and Informatics in 2003.He received Candidate’s Degree in Physics and Mathematics in 2007. Currently he is holding position of associate professor of Geoinformatics and Computer Sequrity department at Samara university. His research interests are currently focused on image processing and geoinformation systems. He is author of 37 publications, including 14 papers. Member of the Russian Pattern Recognition and Image Processing Association. E-mail: [email protected] .
Anna Yurievna Denisova (b. 1988). Graduated from Samara National Research University (Samara University) in 2011 as Master of Mathematics and Computer Science. She received a degree of Candidate in Technical Sciences in 2014. Now works at Samara University. The area of research interest includes image processing and geoinformational systems. E-mail: denisova [email protected] .
Received July 13, 2018. The final version - August 21, 2018.
