CC BY
99
УДК 004.932.4:519.652
DOI: 10.18698/1812-3368-2017-1-124-141
ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЙ ПРИ ПОВЫШЕНИИ РАЗРЕШЕНИЯ НА ОСНОВЕ ПРОСТРАНСТВЕННОГО СПЕКТРАЛЬНОГО СИНТЕЗА
В.Ю. Игнатьев1, 2 И.А. Матвеев 2 А.Б. Мурынин1, 2
А.Н. Трекин1
vladimir.ignatiev.mipt@gmail.com
ivanmatveev@mail.ru
office@aerocosmos.info
amurynin@bk.ru
alexey.trekin@gmail.com
1 Научно-исследовательский институт аэрокосмического мониторинга «Аэрокосмос», Москва, Российская Федерация
2 Вычислительный центр им. А.А. Дородницына ФИЦ «Информатика и управление» РАН, Москва, Российская Федерация
Аннотация
Рассмотрены два метода улучшения изображений с использованием спектральных представлений. Первый метод основан на предположении, что доступна информация о деталях высокого пространственного разрешения, задаваемая дополнительным опорным изображением. Изображение высокого разрешения построено с помощью комбинации пространственных спектров основного и опорного изображений. Второй метод не требует привлечения дополнительной информации. Изображение высокого разрешения синтезировано на основе аналитического продолжения спектра исходного изображения в область высоких пространственных частот. Выполнено исследование по выбору численной меры сходства (различия) изображений в задаче оценки качества повышения пространственного разрешения с применением разработанных методов. Получены результаты поиска оптимальных параметров спектрального синтеза в заданном пространственном разрешении. Проведено сравнение результатов оценки качества изображений, улучшенных с помощью интерполяции Ланцоша, и разработанными методами с оптимальными параметрами
Ключевые слова
Повышение разрешения, спектральный синтез, оценка качества
Поступила в редакцию 13.07.2016 © МГТУ им. Н.Э. Баумана, 2017
Исследования проведены при финансовой поддержке Министерства образования и науки Российской Федерации в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» (уникальный идентификатор проекта КРМЕИ57414Х0086). Работа выполнена при поддержке РФФИ (проект № 16-51-55019)
Введение. Проблема оценки качества изображений возникает как инструмент анализа результатов обработки изображения в таких задачах, как мониторинг природных катастроф [1-4], экологический мониторинг [5-7, 10], анализ и синтез полей яркости на входе аппаратуры дистанционного зондирования Земли [8, 9, 11], устранение шумов [13], повышение пространственного разрешения изображения [12, 14], совмещения изображений одной сцены и распознавания образов [15] и т. д. Под оценкой качества изображений обычно понимают степень близости улучшенного ( Ires ) и эталонного ( Iet ) изображений. Один из основных и естественных методов оценки качества улучшения изображения — визуальная оценка, которая заключается в экспертном сравнении улучшенного и эталонного изображений. При этом сопоставляют такие характеристики объектов изображения, как наличие артефактов, натуральность цветов, четкость границ, сдвиг сцены и т. д. Данный подход является чисто качественным и не позволяет проводить численное сравнение различных методов между собой.
Общий вид функционала расчета степени близости Ires и Iet :
(Ires, Iet ) —— a, a e R. (1)
Обычно a e [0, 1] и в случае оценки сходства изображений a — 0 свидетельствует о сильном различии изображений, если a —1, то изображения близки в этой метрике. В случае оценки различия изображений a — 0 полагают, что изображения близки в этой метрике, a — 1 указывает на сильное различие изображений.
В настоящее время разработано большое количество различных метрик [16], которые позволяют дать численную оценку качества изображений. По способу обработки изображений их можно подразделить на два больших класса:
1) интегральные — сходство/различие оценивается для изображений целиком;
2) с усреднением по окну — сходство/различие оценивается внутри окна заданного размера и усредняется по всему изображению.
В этой работе оценено качество методов повышения пространственного разрешения изображений на основе спектрального синтеза. Характерное отличие предлагаемых методов — наличие опорного (вспомогательного) изображения высокого (в сравнении с улучшаемым изображением) пространственного разрешения. Возможно также определить набор параметров, которые влияют на степень улучшения качества изображения. Рассмотрен процесс настройки предлагаемых методов путем поиска оптимальных значений параметров.
В случае цифровых растровых изображений задача изменения пространственного разрешения сформулирована как изменение числа пикселей растра, также называемое передискретизацией, а в случае увеличения разрешения — интерполяцией (upsampling). Теория передискретизации одного изображения хорошо разработана. В ее основе лежит известная теорема Котельникова, согласно которой любой непрерывный сигнал I(x) с финитным спектром (таким, в котором нет частот выше некоторой частоты ю0) может быть представлен в
виде отсчетов дискретного сигнала с частотой дискретизации сс^ > 2со0. Такое преобразование взаимно однозначно, т. е. по дискретному сигналу 1(хт) можно
восстановить исходный сигнал !"(х) без искажений:
~ да
1(Х) = X I(Хт ЫпС (с (X - Хт )), (2)
т=-да
где этс(х) = 8т(тсх)/(лх) — нормированный кардинальный синус. Для простоты записан одномерный сигнал, изображение является двумерным сигналом. Здесь и далее обозначения I и А используют для непрерывного сигнала и его спектра, а обозначения I и А — для их дискретных представлений.
Идеальная передискретизация эквивалентна восстановлению непрерывного сигнала по его отсчетам с последующей дискретизацией на новой частоте. Функция этс(х) не является финитной, поэтому для точной передискретизации согласно (2) необходимо обработать бесконечное число отсчетов, что нереализуемо на практике. В вычислениях интерполяция осуществляется приближенно с помощью финитных выражений общего вида
[ х+Ш]
1(х) « X 1(хт) Ь(х - хт), (3)
т = [х-Ш ]
где [х] — целая часть х; Ш — ширина окна, или апертура фильтра; Н(х) — импульсная характеристика соответствующего восстанавливающего фильтра.
В зависимости от решаемой задачи разработано большое число различных фильтров к(х). В обработке изображений чаще всего используют полиномиальные методы [17]: метод ближайшего соседа (полиномы нулевого порядка), билинейный (первого порядка) и бикубический методы, а также метод Ланцоша с импульсной характеристикой [18]:
h( x) =
sinc(x)sinc(x / a), x e[-a;a]\0; 1, x = 0;
0, иначе,
где а е N — натуральное число, называемое порядком фильтра Ланцоша. Разработаны также нелинейные модели, существенно зависящие от области их применения [19-21].
В прикладных задачах при повышении пространственного разрешения может быть доступно не единственное исходное изображение, а несколько [22-24]. Такая постановка возникает при обработке мультиспектральных данных дистанционного зондирования [25, 26]. Следует отметить целесообразность улучшения качества изображений в целях распознавания трехмерных ригидных объектов и оценки их характеристик по видеопотоку [15, 27]. Типичная задача такого класса — создание изображения высокого разрешения по набору двух изображений, одно из которых имеет низкое разрешение и должно быть увеличено (исходное изображение), а второе представляет собой ту же сцену, зареги-
стрированную в высоком разрешении, но в ином спектральном диапазоне (опорное изображение), поэтому имеет ту же форму деталей, но другие значения интенсивностей. В некотором смысле необходимо совместить яркости исходного изображения и структуру опорного. В настоящей работе эта задача решена методом пространственно-спектрального синтеза. Созданный метод синтеза также применяют в ситуации отсутствия опорного изображения (т. е. в задаче интерполяции), результаты сравнивают с аналогичными результатами, полученными фильтром Ланцоша.
В настоящей работе проведен анализ различных метрик для оценки качества изображений, полученных с помощью разработанных методов повышения пространственного разрешения на основе спектрального синтеза.
Улучшение качества изображений с привлечением опорных изображений. Подход основан на увеличении пространственного разрешения изображений путем добавления информации о деталях изображения с помощью моделирования пространственного спектра изображения в области высоких частот. Для этого используется дополнительная информация, извлекаемая из опорного изображения высокого разрешения. Основной процедуре улучшения предшествует несколько этапов обработки улучшаемого и опорного изображений.
Предварительная обработка и приведение изображений. Предварительная обработка изображений включает в себя передискретизацию исходного изображения до разрешения опорного, взаимную привязку исходного и опорного изображений, приведение их гистограмм. Передискретизацию исходного изображения проводят методом билинейной интерполяции. Взаимная привязка заключается в установлении соответствия между точками двух изображений. Она необходима для устранения относительных пространственных сдвигов, которые появляются ввиду использования разных датчиков для получения двух изображений одной области. Используемые методы описаны в работе [15].
Спектральное преобразование. Объединение спектров. Для вычисления спектра A (u, v) изображения I(m, n ) применяют дискретное косинусное преобразование (ДКП) [28]. Использование ДКП объясняется тем, что получаемый в результате спектр, как и исходное изображение, состоит из действительных чисел, в отличие от преобразования Фурье. Далее происходит процедура слияния фурье-образов исходного (Iinit ) и опорного (Iheip ) изображений. Учитывается, что на исходном изображении наиболее значимыми являются низкие частоты, а с опорного изображения берутся высокие частоты:
Ares (m, n) = G(m, n)Ainit (m, n) + P(1 -G(m, n))AMp (m, n),
где Ainit — двумерный косинусный спектр исходного изображения; A^p, — двумерный косинусный спектр опорного изображения; G (m, n ) — весовая функция, близкая к единице в области малых значений m = 1,.. ,M и n = 1,.. ,N и уменьшающаяся в области высоких значений. Здесь в качестве весовой функции был применен гауссиан
2
2_h
G(m, n) = exp---
2а2
/
К синтезированному спектру Ares впоследствии применяют обратное косинусное преобразование и получают изображение повышенного разрешения.
Метод можно отнести к группе методов, осуществляющих внедрение деталей изображения с высоким разрешением в изображение с более низким разрешением. Основные операции при введении информации о деталях осуществляются в пространстве фурье-образов путем моделирования спектра в области высоких частот. Таким образом, удовлетворяются потребности в детализации и уменьшении спектральных искажений на полученном изображении с увеличенным пространственным разрешением.
Улучшение качества изображений без привлечения опорного изображения. Описан метод улучшения качества изображений без использования опорного изображения, полученного с реального датчика, что в задачах дистанционного зондирования Земли из космоса особенно актуально ввиду значительной стоимости изображений высокого разрешения. Вместо него с помощью спектрального преобразования синтезируется изображение, имеющее заданные характеристики в области высоких пространственных частот. Рассмотрим особенности этого метода.
В методе используют двумерное дискретное спектральное преобразование Фурье [28], а точнее амплитудный (Л(ы,v) =| F(u,v) |) и фазовый (Ф(ы, у) = = апС^(1т(Яы,у))/В.е(Яы,у))) спектры фурье-образа Р (ы, у) изображений, поступающих на вход метода.
Амплитудный спектр изображения убывает по степенному закону, также при представлении сигнала фурье-образом большее значение для сохранения деталей и текстуры имеют компоненты фазового спектра, а компоненты амплитуды допустимо изменять [25]. Следовательно, при экстраполяции значений амплитуд в область высоких частот можно получить моделированный амплитудный спектр искомого улучшенного изображения. Фазовый спектр моделированного изображения извлекается с искусственно синтезируемого вспомогательного изображения !шр, которое получается в результате применения одного из известных методов повышения пространственного разрешения на основе интерполяционных фильтров к исходному изображению [16]. При использовании указанного метода устраняют такие недостатки, как спектральное отклонение увеличенного изображения и появление на нем несуществующих деталей (артефактов). Ограничением применения этого метода является степень возможного увеличения пространственного разрешения. Поскольку синтез вспомогательного изображения осуществляется с помощью интерполяционных фильтров, при многократном увеличении разрешения резко падает качество получаемых изображений.
Для получения вспомогательного изображения можно использовать один из стандартных способов повышения пространственного разрешения, в насто-
ящей работе применяли билинейную интерполяцию. Продолжение амплитудного спектра, т. е. его экстраполяцию в область высоких частот, осуществляют с помощью разрезов спектра. Разрезом s(k) амплитудного спектра A(m, n), m, n = 0,..., N -1, построенным для угла а, назовем последовательность чисел s(0),..., s(N -1), s(k) = A (k cos a, k sin а). Переменная k — волновое число, измеряемое в пикселях. Значения разреза в точках с нецелыми координатами вычисляют интерполяцией (3). Строят набор разрезов для углов а е [0;тс), в силу симметрии амплитудного спектра значения разреза при ае[ тс; 2 тс) не вычисляются. Число разрезов s задается равным разрешению результирующего изображения. Таким образом, период углов, с которым получаются разрезы матрицы амплитудного спектра, равен Aa« arctg(l/(qN)), где q — коэффициент масштабирования; N — размер исходного изображения. Каждый разрез, состоящий из N чисел, пополняется до pN чисел путем экстраполяции. Ввиду наличия слишком выбивающихся значений на низких частотах для экстраполяции используют не весь разрез, а только его часть от некоторого значения k0 .
Зависимости амплитуд пространственных волн от волновых чисел k могут быть описаны степенной функцией с показателем степени p. Используя этот факт, все разрезы линеаризуются логарифмированием. Получается линейная зависимость с некоторым углом наклона p, которая продолжается в область высоких частот. Затем выполняют экспоненциирование и получают набор из разрезов, имеющих продолжение в область высоких частот. На следующем шаге совершается обратный переход от набора разрезов к амплитудному спектру изображения. Для этого по такому же принципу, что и на шаге построения разрезов, вычисляют значения в точках дискретного спектра изображения.
Далее подготовленные отдельно амплитудный и фазовый спектры объединяются в фурье-образ, к которому применяют обратное преобразование.
Оценка качества изображений. Поскольку оценка качества изображения, получаемого с помощью описанных выше методов, зависит от параметров метода и метрики, сначала необходимо выбрать наиболее адекватную метрику, а затем находить оптимальные значения параметров. Рассмотрим отдельно процедуры оценки качества работы метода и поиска оптимальных значений параметров для настройки метода.
Процедура тестирования методов повышения разрешения. Эталонное изображение высокого разрешения Iet передискретизуется в исходное изображение низкого разрешения I¡n¡t. Так моделируется получение изображения низкого разрешения при известном лучшем. В качестве опорного выбирают изображение высокого разрешения с другого датчика. Затем методы повышения разрешения применяют к изображению I¡n¡t, приводя его к исходному высокому разрешению, обозначим полученное изображение Ires. Качество результатов методов проверяют при сравнении изображений Ires и Iet различными приведенными ниже метриками.
Среднеквадратическая ошибка (Mean Square Error):
1 N M
MSE(x, y) =-X X I x(m,n) ~ y(m'n) |2 >
NM n=i m=1
где x, y — области внутри скользящего окна для изображений Ires и Iet; N, M — размеры скользящего окна; m, n — номер столбца и строки пикселя изображения.
Нулевое значение среднеквадратической ошибки означает полное совпадение изображений, значение MSE возрастает при усилении отличий. Такие метрики, как PSNR (Peak Signal-to-Noise Ratio), RMSE, ERGAS, MAE, NCD [16, 29] основаны на метрике MSE и поэтому не рассмотрены в настоящей работе.
Индекс структурного сходства SSIM (Structural Similarity) принимает значения от 0 (несовпадение) до 1 (полное совпадение) [30]:
( 2цxЦy + С1 ) ( 2Cxy + С2 )
SSIM(x, y ) =
(iX +iy + ci )(X + c2)'
где цх, цу, а2х, а2у, аху — средние значения, дисперсии и ковариация х и у;
С = №1)2, С2 = (к21)2; I = 2р -1 — динамический диапазон значений пикселей; р — количество бит на пиксель; к1 = 0,01, к2 = 0,03.
Модифицированный индекс структурного сходства с-ш881М на основе вейвлет-коэффициентов принимает значения от 0 (несовпадение) до 1 (полное совпадение) [30]:
cwSSIM (c x, c y) = ■
7
2 Zcx, jcy ,j + K
j=1
7 ■ 12 12
Z |cx, j\ +Z |cy, j\ + k
j=1 j=1
где cx = {cXjj | j = 1,..., J}, cy = {cytj | j = 1,..., J} — наборы комплексных вейвлет-коэффициентов для соответствующих областей изображений Ires и Iet; Cy,j — комплексно-сопряженное число для Cy,j; K >0, K ^ 1, K e R — стабилизирующая константа.
Нормализованная корреляция CCnorm принимает значения от 0 (несовпадение) до 1 (полное совпадение) [24]:
Z (x(m, n) - Цх)(y(m, n) -ц) CC (x y) = m,n
^^normy-^y У ) i-•
/ Z (x(m, n) -Цх )2 Z (y(m, n) - ц )2
V m,n m,n
Настройка параметров метода. Пусть задан набор параметров {ak }K=P от которых непосредственно зависит качество изображения, получаемого после применения метода повышения пространственного разрешения. Выбрано эталонное изображение Iet известного пространственного разрешения r. Задана область определения {Dk}K=1 для каждого параметра ak, к = 1,...,K. Выбрана метрика (или набор метрик). Тогда настройка метода заключается в поиске значений параметров, доставляющих оптимум функционалу (1):
' arg min f (Ires («1, •••, а к), Iet), если метрика f (•, •)
akeDk
* * показывает степень различия Iet и Ires;
al, ак argmax f(Ires (ai, • .., а к), Iet), если метрика f(-, •)
ak^Dk
показывает степень сходства Iet и Ires,
где Ires — изображение повышенного разрешения, полученное в результате применения метода.
Вычислительные эксперименты. При проведении численных экспериментов с помощью описанных выше методов на тестовых rgb-изображениях повышение пространственного разрешения осуществляется в 2, 4, 8 раз, при этом соотношение между пространственными разрешениями Iet и Ihelp равнялось 3:1 (3 и 1 m/pix).
Метрики, описанные ранее, тестируют с помощью набора методов повышения разрешения (реализованных в стандартных библиотеках Mathlab) на различных масштабах. Численные оценки качества повышения разрешения приведены в табл. 1. Цветом выделены значения оценок, которые совпали для различных методов внутри одной метрики, полужирным — значения оценок, соответствующие лучшим методам внутри каждой метрики.
Таблица 1
Сравнение метрик при оценке качества повышения разрешения в 2, 4 и 8 раз
Метод MSE CC SSIM cwSSIM CC ^^norm
Nearest При оценке 0,0019 качества пов 0,9705 ышения разре 0,8636 шения в 2 раз 0,9999 а 0,9475
Bilinear 0,0017 0,9755 0,8670 0,9997 0,9615
Bicubic 0,0011 0,9838 0,9111 0,9999 0,9731
Lanczos2 0,0011 0,9841 0,9123 0,9999 0,9736
Lanczos3 0,0008 0,9871 0,9287 0,9999 0,9784
Nearest ри оценке ка 0,0059 чества повыи 0,9027 ления разреш 0,5866 ения в 4 раза 0,9977 0,8225
Bilinear 0,0056 0,9126 0,6031 0,9959 0,8582
Bicubic 0,0047 0,9273 0,6529 0,9987 0,8786
Lanczos2 0,0046 0,9277 0,6540 0,9987 0,8792
Lanczos3 0,0042 0,9339 0,6750 0,9990 0,8882
Nearest При оценке ка 0,0118 чества повы 0,7932 иения разреш 0,3500 ения в 8 раз 0,9719 0,5986
Bilinear 0,0115 0,8049 0,3766 0,9561 0,6529
Bicubic 0,0106 0,8201 0,3979 0,9762 0,6766
Lanczos2 0,0106 0,8206 0,3984 0,9765 0,6774
Lanczos3 0,0102 0,8270 0,4057 0,9842 0,6865
Фрагменты изображений, улучшенных стандартными методами, которые позволяют совместно с численными оценками выбирать наиболее подходящую метрику для решаемой задачи, представлены на рис. 1.
Рис. 1. Фрагменты изображения, увеличенного в 2 (б-е), 4 (з-м) и 8 (о-т) раз, полученные методами nearest (б, з, о), bilinear (в, и, п), bicubic (г, к, р), Lanczos2 (д, л, с), Lanczos3 (е, м, т), а также эталонное изображение (а, ж, н)
Проанализировав численные данные, приведенные в табл. 1, и визуальное качество изображений (см. рис. 1), установили, что наиболее адекватными метриками для оценки качества изображений являются метрики Спогт, шББТМ с окном размером 20 х 20 пикселей и интегральная метрика СС.
Результаты экспериментов по поиску оптимальных значений параметров для предлагаемых методов повышения разрешения приведены на рис. 2. Зависимости мер сходства, вычисленные с помощью метрик Спогт (рис. 2, а) и СС (рис. 2, б), совпадают и позволяют определить локальный максимум. Наличие максимума соответствует оптимальным значениям параметров метода, которые для Ь-изображений определяют соотношение между количеством информации о цветовом составе пикселей и информации о деталях, получаемой из опорного изображения 1мр, в методе слияния спектров. Контрольные оценки качества выполняют
по метрике Спо1т, так как она рассчитывается методом скользящего окна, а, следовательно, является более чувствительной к локальным изменениям яркости сравниваемых изображений.
Зависимость меры сходства, вычисленной с помощью метрики т881М (рис. 2, в), позволяет найти локальный максимум. Оптимальные значения параметров, соответствующие максимуму, для такого метода характеризуют метрику т881М как не объективную для оценки качества, поскольку вместо информации о деталях используется информация о цветовом составе пикселей (это будет показано ниже).
Отбраковку хороших метрик осуществляют по следующему принципу. При визуальном сравнении с эталонным изображением (см. рис. 1, а, ж, н) результатов увеличения стандартными методами понятно, что для численных оценок в таком пространственном разрешении следует использовать только результаты, полученные при увеличении в 2 и 4 раза. При увеличении в 8 раз очевидна значительная нехватка информации для получения приемлемого визуального качества, хотя метод 1апсго$3 оказывается ожидаемо лучшим при сравнении (см. рис. 1, н-т и табл. 1).
Рассмотрим примеры улучшения качества г%Ь-изображений с помощью разработанных методов и с учетом найденных оптимальных значений параметров метода.
При визуальном анализе учитывается качество восстановления цветов пикселей и степень четкости границ на одном и том же фрагменте изображения, улучшенного различными методами. Согласно фрагментам, приведенным на рис. 3 и 4, при увеличении пространственного разрешения в 2 раза методы показывают близкое визуальное качество, хотя метод слияния лучше всех восстанавливает детали (что подтверждается численными оценками, приведенными в табл. 2), но при этом хуже сохраняет информацию о цвете пикселей. Метод синтеза с экстраполяцией дает некоторый промежуточный результат (см. рис. 3, г) отностительно метода слияния и метода 1апгсо$3.
г
*~*погт
0,99 0,98 0,97 0,96 0,95 0,94 0,93 0,92 0,91 0,90 0,89
СС 1,00
0,98
0,96
0,94
0,92
0,90
0,88
0,86
0,84
0,82
в
Рис. 2. Зависимости мер сходства изображений 1е, и , вычисленных по метрикам
Спогт (а), СС (б) и шББШ (в)
д е ж з
Рис. 3. Сравнение результатов улучшения качества изображений разработанными методами с учетом найденных оптимальных значений параметров и методом Lanzcos3: а — эталонное изображение; б-г — увеличение пространственного разрешения в 2 раза; д-з — увеличение пространственного разрешения в 4 раза
а б
Рис. 4. Сравнение эталонного изображения (а) с результатом улучшения качества
изображения методом слияния (б) с учетом найденных оптимальных значений параметров при увеличении пространственного разрешения в 8 раз
Дальнейшее увеличение кратности при повышении пространственного разрешения показывает значительное преимущество при восстановлении деталей объектов на изображении, полученном методом слияния, по сравнению с изображениями, полученными двумя другими методами, но при этом заметна сильная нехватка информации о цвете пикселей.
Численные оценки качества изображений, улучшенных различными методами при увеличении пространственного разрешения в 2, 4 и 8 раз, представлены в табл. 2.
Как показывают визуальный анализ и сравнение численных оценок качества улучшенных изображений, найденные оптимальные значения параметров для предлагаемых методов позволяют добиться уровня сходства либо лучше известных методов, либо очень близкого к ним.
Таблица 2
Численные результаты оценки СС„огт качества изображений, улучшенных различными методами при увеличении пространственного разрешения в 2, 4 и 8 раз
Метод При увеличении пространственного разрешения
в 2 раза в 4 раза в 8 раз
Слияния 0,9794 0,9517 0,9158
Синтеза с экстраполяцией 0,9776 0,8562 -
Lanczos3 0,9784 0,8882 -
Метод слияния совместно с использованием метода привлечения опорного изображения показывает сравнимо хорошие результаты не только при увеличении разрешения в 2 раза, но и в 8 раз, что позволяет утверждать о его хорошей применимости.
Заключение. Описаны два метода повышения качества изображений, позволяющие получить улучшенное изображение с более высоким пространственным разрешением с использованием одного исходного изображения низкого разрешения. Подходы основаны на экстраполяции пространственных спектров изображений. При этом первый метод предполагает применение опорного изображения другого спектрального диапазона с более высоким разрешением, а второй — улучшать качество исходного изображения без привлечения опорного изображения. Методы протестированы на реальных данных дистанционного зондирования при увеличении разрешения изображений в 2, 4 и 8 раз. Описана процедура настройки параметров предлагаемых методов повышения качества изображения. Найдены оптимальные значения параметров метода при повышении пространственного разрешения до заданных размеров.
ЛИТЕРАТУРА
1. Bondur V.G. Modern approaches to processing large hyperspectral and multispectral aerospace data flows // Izvestiya, Atmospheric and Oceanic Physics. 2014. Vol. 50. No. 9. P. 840-852. DOI: 10.1134/S0001433814090060
2. Bondur V.G., Zverev A.T. A method of earthquake forecast based on the lineament analysis of satellite images // Doklady Earth Sciences. 2005. Vol. 402. No. 4. P. 561-567.
3. Bondur V.G. Satellite monitoring of wildfires during the anomalous heat wave of 2010 in Russia // Izvestiya, Atmospheric and Oceanic Physics. 2011. Vol. 47. No. 9. P. 1039-1048. DOI: 10.1134/S0001433811090040
4. Бондур В.Г., Смирнов В.М. Метод мониторинга сейсмоопасных территорий по ионосферным вариациям, регистрируемым спутниковыми навигационными системами // Доклады Академии Наук. Науки о Земле. 2005. Т. 402. № 5. С. 675-679.
5. Бондур В.Г., Килер Р.Н., Старченков С.А., Рыбакова Н.И. Мониторинг загрязнений прибрежных акваторий с использованием многоспектральных спутниковых изображений высокого пространственного разрешения // Исследование Земли из космоса. 2006. № 6. С. 42-49.
6. Бондур В.Г., Зубков Е.В. Выделение мелкомасштабных неоднородностей оптических характеристик верхнего слоя океана по многозональным спутниковым изображениям высокого разрешения. Часть 1. Эффекты сброса дренажных каналов в прибрежные акватории // Исследования Земли из космоса. 2005. № 4. С. 54-61.
7. Бондур В.Г. Аэрокосмические методы и технологии мониторинга нефтегазоносных территорий и объектов нефтегазового комплекса // Исследование Земли из космоса. 2010. № 6. С. 3-17.
8. Бондур В.Г., Дулов В.А., Мурынин А.Б., Юровский Ю.Ю. Исследование спектров морского волнения в широком диапазоне длин волн по спутниковым и контактным данным // Исследование Земли из космоса. 2016. № 1-2. С. 7-24. DOI: 10.7868/S0205961416010048
9. Мурынин А.Б. Восстановление пространственных спектров морской поверхности по оптическим изображениям в нелинейной модели поля яркости // Исследование Земли из космоса. 1990. № 6. С. 60-70.
10. Бондур В.Г., Мурынин А.Б. Методы восстановления спектров морского волнения по спектрам аэрокосмических изображений // Исследование Земли из космоса 2015. № 6. С. 3-14. DOI: 10.7868/S0205961415060020
11. Бондур В.Г. Методы моделирования полей излучения на входе аэрокосмических систем дистанционного зондирования // Исследование Земли из космоса. 2000. № 5. С. 16-27.
12. Бочкарева В.Г., Матвеев И.А., Мурынин А.Б., Цурков В.И. Методы улучшения качества изображений, основанные на пространственном спектральном анализе // Известия РАН. Теория и системы управления. 2015. № 6. С. 115-123.
13. Гурченков А.А., Бочкарeва В.Г., Мурынин А.Б., Трeкин А.Н. Улучшение качества изображений методом экстраполяции пространственных спектров // Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки. 2016. № 2. С. 91-102.
DOI: 10.186981/1812-3368-2016-2-91-102
14. Трекин А.Н., Матвеев И.А., Мурынин А.Б., Бочкарева В.Г. Метод повышения разрешения космических изображений с использованием априорной информации в векторной форме для сохранения границ // Машинное обучение и анализ данных. 2015. Т. 1. № 12. С. 1717-1730. DOI: 10.1109/83.951537
15. Матвеев И.А., Мурынин А.Б. Идентификация объектов по стереоизображениям. Оптимизация алгоритмов восстановления поверхности // Известия РАН. Теория и системы управления. 1998. Т. 37. № 3. С. 149-155.
16. A survey of classical methods and new trends in pansharpening of multispectral images / I. Amro, J. Mateos, M. Vega, R. Molina, A.K. Katsaggelos // EURASIP Journal on Advances in Signal Processing. 2011. Vol. 1. No. 79. P. 1-22. DOI: 10.1186/1687-6180-2011-79
17. Getreuer P. Linear methods for image interpolation // Image Processing On Line. 2011. Vol. 1. URL: http://dx.doi.org/10.5201/ipol.2011.g_lmii (дата обращения: 18.06.2016).
18. Turkowski K., Gabriel S. Filters for common resampling tasks. In: Graphics gems I. Boston: Acad. Press, 1990. P. 147-165.
19. Su D., Willis P. Image interpolation by pixel level data-dependent triangulation // Computer Graphics Forum. 2004. Vol. 23. P. 189-202. DOI: 10.1111/j.1467-8659.2004.00752.x
20. Tappen M.F., Russell B.C., Freeman W.T. Efficient graphical models for processing images // Computer Vision and Pattern Recognition. 2004. P. 673-680. DOI: 10.1109/CVPR.2004.89
21. Tsurkov V.I. An analytical model of edge protection under noise suppression by anisotro-pic diffusion // J. Computer and Systems Sciences International. 2000. Vol. 39. No. 3. P. 437-440.
22. Aly H., Dubois E. Image up-sampling using total variation regularization with a new observation model // IEEE Transactions on Image Processing. 2005. Vol. 14. No. 10. P. 16471659. DOI: 10.1109/TIP.2005.851684
23. Bevilacqua M. Algorithms for super-resolution of images and videos based on learning methods // Image Processing. Universite Rennes. 2014. Vol. 1.
URL: https://people.rennes.inria.fr/Christine.Guillemot/theseMarco.pdf (дата обращения: 14.08.2016).
24. Визильтер Ю.В., Желтов С.Ю. Проблемы технического зрения в современных авиационных системах // Механика, управление и информатика. 2011. № 6. С. 11-44.
25. Бондур В.Г. Моделирование двумерных случайных полей яркости на входе аэрокосмической аппаратуры методом фазового спектра // Исследование Земли из космоса. 2000. № 5. С. 28-44.
26. Zomet A., Peleg S. Multi-sensor super-resolution // Applications of Computer Vision. 2002. (WACV-2002). Proceedings. Sixth IEEE Workshop on. IEEE. 2002. P. 27-31.
DOI: 10.1109/ACV.2002.1182150
27. Матвеев И.А., Мурынин А.Б. Принципы построения системы стереоскопического зрения для управления движением робота // Известия РАН. Теория и системы управления. 2003. № 3. С. 184-192.
28. Методы компьютерной обработки изображений / под ред. В.А. Сойфер. М.: Физматлит, 2003. 782 с.
29. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с.
30. Wang Z., Simoncelli E.P. Translation insensitive image similarity in complex wavelet domain // Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '05). 2005. Vol. 2. P. 573-576. DOI: 10.1109/ICASSP.2005.1415469
Игнатьев Владимир Юрьевич — младший научный сотрудник НИИ аэрокосмического мониторинга «Аэрокосмос» (Российская Федерация, 105064, Москва, Гороховский переулок, д. 4).
Матвеев Иван Алексеевич — д-р техн. наук, заведующий сектором Вычислительного центра им. А.А. Дородницына ФИЦ «Информатика и управление» РАН (Российская Федерация, 119333, Москва, ул. Вавилова, д. 40).
Мурынин Александр Борисович — канд. техн. наук, старший научный сотрудник НИИ аэрокосмического мониторинга «Аэрокосмос» (Российская Федерация, 105064, Москва, Гороховский переулок, д. 4), научный сотрудник Вычислительного центра им. А.А. Дородницына ФИЦ «Информатика и управление» РАН (Российская Федерация, 119333, Москва, ул. Вавилова, д. 40).
Трекин Алексей Николаевич — младший научный сотрудник НИИ аэрокосмического мониторинга «Аэрокосмос» (Российская Федерация, 105064, Москва, Гороховский переулок, д. 4).
Просьба ссылаться на эту статью следующим образом:
Игнатьев В.Ю., Матвеев И.А., Мурынин А.Б., Трекин А.Н. Оценка качества изображений при повышении разрешения на основе пространственного спектрального синтеза // Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки. 2017. № 1. C. 124-141. DOI: 10.18698/1812-3368-2017-1-124-141
IMAGE QUALITY ASSESSMENT BY UPSAMPLING METHODS BASED ON SPATIAL SPECTRUM SYNTHESIS EXTRAPOLATION
V.Yu. Ignatyev1 I.A. Matveev1, 2 A.B. Murynin1,
1, 2
vladimir.ignatiev.mipt@gmail.com
ivanmatveev@mail.ru
office@aerocosmos.info
amurynin@bk.ru
alexey.trekin@gmail.com
1, 2
A.N. Trekin1
1 Aerocosmos Institute for Scientific Research of Aerospace Monitoring, Moscow, Russian Federation
2 Dorodnitsyn Computing Centre Federal Research Centre Computer Science and Control, Russian Academy of Sciences, Moscow, Russian Federation
The study tested two methods of image enhancement Upsampling, spectral synthesis,
using spectral representations. The first approach is based quality assessment
on the assumption that the required information about
the high spatial resolution details is obtained from the
additional reference image. High-resolution image is
constructed using a combination of spatial spectra of the
main and reference images. The second approach does
not require the use of additional external information
(reference image). High-resolution image is synthesized
by the analytic continuation of the original image
spectrum to the region of high spatial frequencies. We
carried out a study into the selection of a numerical
measure of image similarity (difference) in the quality
assessment problem. We found optimal parameters of
spectral synthesis at a given spatial resolution and
compared the results of quality assessment of the images
enhanced by Lanczos interpolation and by developed
methods with the optimal parameters
REFERENCES
[1] Bondur V.G. Modern approaches to processing large hyperspectral and multispectral aerospace data flows. Izvestiya, Atmospheric and Oceanic Physics, 2014, vol. 50, no. 9, pp. 840852. DOI: 10.1134/S0001433814090060
[2] Bondur V.G., Zverev A.T. A method of earthquake forecast based on the lineament analysis of satellite images. Doklady Earth Sciences, 2005, vol. 402, no. 4, pp. 561-567.
[3] Bondur V.G. Satellite monitoring of wildfires during the anomalous heat wave of 2010 in Russia. Izvestiya, Atmospheric and Oceanic Physics, 2011, vol. 47, no. 9, pp. 1039-1048. DOI: 10.1134/S0001433811090040
[4] Bondur V.G., Smirnov V.M. Method for monitoring seismically hazardous territories by ionospheric variations recorded by satellite navigation systems. Doklady Earth Sciences, 2005, vol. 403, no. 5, pp. 736-740.
[5] Bondur V.G., Kiler R.N., Starchenkov S.A., Rybakova N.I. Monitoring of the pollution of the ocean coastal water areas using space multispectral high resolution imagery. Issledovanie Zemli iz kosmosa, 2006, no. 6, pp. 42-49 (in Russ.).
Abstract
Keywords
[6] Bondur V.G., Zubkov E.V. Showing up the small-scale ocean upper layer optical inhomogeneities by the multispectral space images with the high surface resolution. Part 1. The canals and channels drainage effects at the coastal zone. Issledovaniya Zemli iz kosmosa, 2005, no. 4, pp. 54-61 (in Russ.).
[7] Bondur V.G. Aerospace monitoring methods and techniques for oil-and-gas territories and complexes of oil-and-gas object. Issledovanie Zemli iz kosmosa, 2010, no. 6, pp. 3-17 (in Russ.).
[8] Bondur V.G., Dulov V.A., Murynin A.B., Yurovskiy Yu.Yu. Research on wave spectrum in wide wavelength band using satellite and contact data. Issledovanie Zemli iz kosmosa, 2016, no. 1-2, pp. 7-24 (in Russ.). DOI: 10.7868/S0205961416010048
[9] Murynin A.B. Spatial seasurface spectrum reconstruction using optical images in nonlinear field of brightness model. Issledovanie Zemli iz kosmosa, 1990, no. 6, pp. 60-70 (in Russ.).
[10] Bondur V.G., Murynin A.B. Reconstruction methods for seavawe spectrum using aerospace images spectrum. Issledovanie Zemli iz kosmosa, 2015, no. 6, pp. 3-14 (in Russ.). DOI: 10.7868/S0205961415060020
[11] Bondur V.G. The methods of the emission model field which be formed on enter of airspace remote sensing system. Issledovanie Zemli iz kosmosa, 2000, no. 5, pp. 16-27 (in Russ.).
[12] Bochkareva V.G., Matveev I.A., Murynin A.B., Tsurkov V.I. Methods for improving image quality using spatial spectral analysis. Journal of Computer and Systems Sciences International, 2015, vol. 54, no. 6, pp. 897-904. DOI: 10.1134/S1064230715060027
[13] Gurchenkov A.A., Bochkareva V.G., Murynin A.B., Trekin A.N. Image quality improvement by method of spatial spectrum extrapolation. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Estestv. Nauki [Herald of the Bauman Moscow State Tech. Univ., Nat. Sci.], 2016, no. 2, pp. 91-102. DOI: 10.186981/1812-3368-2016-2-91-102
[14] Trekin A.N., Matveev I.A., Murynin A.B., Bochkareva V.G. A method for upsampling of remote sensing images using vector data for preserving edges. Mashinnoe obuchenie i analiz dannykh [Journal of Machine Learning and Data Analysis], 2015, vol. 1, no. 12, pp. 1717-1730. DOI: 10.1109/83.951537
[15] Matveev I.A., Murynin A.B. Identification of objects on the basis of stereo images: Optimization of algorithms for reconstruction of a surface. Journal of Computer and Systems Sciences International, 1998, vol. 37, no. 3, pp. 487-493 (Russ. version: Izvestiya RAN. Teoriya i sistemy upravleniya, 1998, vol. 37, no. 3, pp. 149-155).
[16] Amro I., Mateos J., Vega M., Molina R., Katsaggelos A.K. A survey of classical methods and new trends in pansharpening of multispectral images. EURASIP Journal on Advances in Signal Processing, 2011, vol. 1, no. 79, pp. 1-22. DOI: 10.1186/1687-6180-2011-79
[17] Getreuer P. Linear methods for image interpolation. Image Processing On Line, 2011, vol. 1. Available at: http://dx.doi.org/10.5201/ipol.2011.g_lmii (accessed 18.06.2016).
[18] Turkowski K., Gabriel S. Filters for common resampling tasks. In: Graphics gems I. Boston, Acad. Press, 1990. Pp. 147-165.
[19] Su D., Willis P. Image interpolation by pixel level data-dependent triangulation. Computer Graphics Forum, 2004, vol. 23, pp. 189-202. DOI: 10.1111/j.1467-8659.2004.00752.x
[20] Tappen M.F., Russell B.C., Freeman W.T. Efficient graphical models for processing images. Computer Vision and Pattern Recognition, 2004, pp. 673-680. DOI: 10.1109/CVPR.2004.89
[21] Tsurkov V.I. An analytical model of edge protection under noise suppression by anisotropic diffusion. J. Computer and Systems Sciences International, 2000, vol. 39, no. 3, pp. 437-440.
[22] Aly H., Dubois E. Image up-sampling using total variation regularization with a new observation model. IEEE Transactions on Image Processing, 2005, vol. 14, no. 10, pp. 1647-1659. DOI: 10.1109/TIP.2005.851684
[23] Bevilacqua M. Algorithms for super-resolution of images and videos based on learning methods. Image Processing. Universite Rennes, 2014, vol. 1.
Available at: https://people.rennes.inria.fr/Christine.Guillemot/theseMarco.pdf (accessed 14.08.2016).
[24] Vizil'ter Yu.V., Zheltov S.Yu. Problems of technical vision in aviation systems. Mekhanika, upravlenie i informatika [Mechanics, Control and Informatics], 2011, no. 6, pp. 11-44 (in Russ.).
[25] Bondur V.G. Phase-spectral method's modeling of two-dimension stochastic brightness field, formed at the airspace apparatus entrance. Issledovanie Zemli iz kosmosa, 2000, no. 5, pp. 28-44 (in Russ.).
[26] Zomet A., Peleg S. Multi-sensor super-resolution. Applications of Computer Vision, 2002. (WACV-2002). Proceedings. Sixth IEEE Workshop on. IEEE, 2002, pp. 27-31.
DOI: 10.1109/ACV.2002.1182150
[27] Matveev I.A., Murynin A.B. Principles of development of a stereovision system for motion control of a robot. Journal of Computer and Systems Sciences International, 2003, vol. 42, no. 3, pp. 490-498.
[28] Soyfer V.A., ed. Metody komp'yuternoy obrabotki izobrazheniy [Methods of image computer processing]. Moscow, Fizmatlit Publ., 2003. 782 p.
[29] Gonzalez R.C., Woods R.E. Digital image processing. Prentice Hall, 2002.
[30] Wang Z., Simoncelli E.P. Translation insensitive image similarity in complex wavelet domain. Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '05), 2005, vol. 2, pp. 573-576. DOI: 10.1109/ICASSP.2005.1415469
Ignatyev V.Yu. — junior researcher scientist of Aerocosmos Institute for Scientific Research of Aerospace Monitoring (Gorokhovskiy pereulok 4, Moscow, 105064 Russian Federation).
Matveev I.A. — Dr. Sci. (Eng.), Head of sector, Dorodnitsyn Computing Centre Federal Research Centre Computer Science and Control, Russian Academy of Sciences (Vavilova ul. 40, Moscow, 119333 Russian Federation).
Murynin A.B. — Cand. Sci. (Eng.), senior researcher scientist of Aerocosmos Institute for Scientific Research of Aerospace Monitoring (Gorokhovskiy pereulok 4, Moscow, 105064 Russian Federation), researcher of Dorodnitsyn Computing Centre Federal Research Centre Computer Science and Control, Russian Academy of Sciences (Vavilova ul. 40, Moscow, 119333 Russian Federation).
Trekin A.N. — junior researcher scientist of Aerocosmos Institute for Scientific Research of Aerospace Monitoring (Gorokhovskiy pereulok 4, Moscow, 105064 Russian Federation).
Please cite this article in English as:
Ignatyev V.Yu., Matveev I.A., Murynin A.B., Trekin A.N. Image Quality Assessment by Upsampling Methods Based on Spatial Spectrum Synthesis Extrapolation. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Estestv. Nauki [Herald of the Bauman Moscow State Tech. Univ., Nat. Sci.], 2017, no. 1, pp. 124-141. DOI: 10.18698/1812-3368-2017-1-124-141
