CC BY
33ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
СРАВНЕНИЕ МЕТОДОВ ИНТЕРПОЛЯЦИИ ПРИ ДОСТИЖЕНИИ СВЕРХРАЗРЕШЕНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ АНАЛИЗА НЕСКОЛЬКИХ КАДРОВ
Кокошкин А.В., Коротков В.А., Новичихин Е.П.
Институт радиотехники и электроники им. В.А. Котельникова РАН, Фрязинский филиал, http://fire.relarn.ru Фрязино 141190, Московская область, Российская Федерация
Поступила 08.04.2019, принята 18.04.2019
Представлена действительным членом РАЕН И.Б.Петровым
Увеличение разрешения на основе использования нескольких кадров одного объекта приводит к появлению дополнительных ошибок. Эти ошибки являются как следствием ошибок в определении положений кадров, так и следствием ошибок интерполяции. В данной работе анализируются только ошибки, вызванные интерполяцией. Рассматриваются зависимость ошибок от числа используемых кадров, вида интерполяции, вида исходного изображения. Показано, что после усреднения по положениям отдельных кадров, ключевыми зависимостями являются зависимость ошибок от числа кадров и вида интерполяции. Показано, что не имеет смысла анализировать ошибки интерполяции непосредственно после процедуры интерполяции. После необходимой процедуры спектральной фильтрации относительно небольшие ошибки интерполяции существенно увеличатся. Изменится и вид зависимости ошибок от числа кадров. Поэтому основные выводы целесообразно делать на основе анализа ошибок интерполяции после процедуры фильтрации. С точки зрения минимизации ошибок предпочтительным является использование интерполяцией кубическим сплайном и спектральная интерполяция.
Ключевые слова: интерполяция, сверхразрешение, изображение, кадр
УДК 621.369
Содержание
1. Введение (85)
2. основные предположения (86)
3. Формирование тестового изображения (87)
4. интерполяция (87)
4.1. Одно тестовое изображение (87)
4.2. пять тестовых изображений (89)
5. заключение (90) литература (90)
1. ВВЕДЕНИЕ
Увеличение разрешения изображений, полученных летательными аппаратами, является актуальной задачей. В работе [1] дан подробный обзор по методам сверхвысокого разрешения (суперразрешения) для реконструкции
изображения на основе нескольких кадров низкого разрешения. Основной источник дополнительной информации для
суперразрешения — это изображения одного и того же объекта, незначительно смещённого на последовательных кадрах. Пиксели камеры, получающей изображение, имеют ненулевой размер, поэтому наблюдаемое значение пикселя соответствует не значению в конкретной точке на
реальном изображении, а является усреднением по некоторой окрестности точки. Объект смещается, как правило, на нецелое число пикселей, поэтому оказывается возможным использовать информацию нескольких кадров для построения одного изображения высокого разрешения.
На рис. 1 представлена схема работы метода суперразрешения, который состоит из трех стадий. На первой стадии (рис. 1 цифры 1, 2 и 3) определяют сдвиг кадров низкого разрешения. После определения сдвига кадров с точностью до пикселя переходят к стадии определения субпиксельного сдвига (рис. 1 цифра 4). При этом определение субпиксельного сдвига кадров может быть выполнено разными способами, в частности, с помощью нейронных сетей [2], с предварительным увеличением кадров и поиском изображения, которое, будучи уменьшенным с учётом движения, даст минимальное суммарное квадратичное отклонение от исходных изображений низкого разрешения [3, 4], с помощью прямого определения субпиксельного смещения по положению максимума функции взаимной корреляции кадров изображения [5]. На заключительной стадии производится
Рис. 1. Схема работы метода упфразрешения. Цифрами 1, 2, 3 обозначены кадры низкого разрешения. Цифра 4 обозначает изображение из совмещённых с учётом субпиксельных смещений кадров низкого разрешения. Цифра 5 соответствует интерполированному изображению, полученному из изображения 4.
совмещение имеющейся серии кадров с известными субпиксельными смещениями, которое выполняется с помощью интерполяции [1] (рис. 1, изображение 5).
В процессе такой обработки возникают ошибки, связанные как с определением субпиксельных смещений, так и со свойствами непосредственно метода интерполяции. Оценка возникающих при этом ошибок является важной, актуальной задачей [6]. Действительно, мало тем или иным способом (методом) получить изображение увеличенного разрешения, необходимо также узнать, в какой мере результат адекватен действительности.
Информацию о субпиксельных смещениях можно получить из полученных кадров низкого разрешения и условий измерения. Например, если известна скорость и направление движения фотокамеры, можно пренебречь наличием вибрации и прочих неконтролируемых факторов. Поэтому величина ошибок при определении субпиксельных смещений кадров в значительной мере зависит от условий измерения, контролируемых человеком. В то же время, ошибки интерполяции зависят как от метода интерполяции, от набора субпиксельных смещений, так и от получаемого изображения. Ранее оценки ошибок интерполяции делались только при использовании тестовых изображений или каких-либо предположений о свойствах изображений [1, 5-11]. При этом предполагается, что величина ошибок для выбранного метода интерполяции зависит только от вида изображения.
В то же время алгоритм, предложенный в работе [7], мог бы позволить создать метод, позволяющий оценить ошибки интерполяции экспериментальных данных без использования тестовых изображений и предполагаемых свойств получаемого изображения. Метод [7] не позволяет вычислить точную величину ошибки интерполяции, с его помощью можно лишь оценить возможную погрешность интерполяции.
В работе [15] проанализированы возможности такого метода оценки ошибки интерполяции без использования тестовых изображений и предполагаемых свойств получаемого изображения для оценки ошибок синтеза изображений с суперразрешением, полученных на основе использования нескольких кадров.
Следует отметить, что величина ошибок интерполяции не определяет величину ошибок восстановления изображения с увеличенным разрешением по сравнению с исходными кадрами. Дело в том, что после получения интерполированного изображения производится спектральная фильтрация для повышения качества реконструированного изображения высокого разрешения [15]. В процессе этой фильтрации величина ошибок возрастает. однако, в зависимости от вида интерполяции, одинаковые по величине ошибки интерполяции могут приводить к разным ошибкам после фильтрации интерполированных изображений.
В данной работе мы исследуем зависимость величины отличия восстановленного
изображения от количества используемых кадров и вида интерполяции.
Будем рассматривать следующие методы интерполяции:
а) интерполяция обратных взвешенных расстояний (ИОВР) [11], применяемая в картографии;
б) интерполяция кубическим сплайном [10, 16];
в) спектральная интерполяция [17];
г) линейная интерполяция на основе триангуляции [18].
2. ОСНОВНЫЕ ПРЕДПОЛОЖЕНИЯ
1. Объектив, формирующий изображение, является идеальным. Явление дифракции отсутствует. Действует только геометрическая оптика.
2. Ограничение разрешения изображений определяется только количеством светочувствительных элементов (пикселей) на единицу площади.
3. Светочувствительные пиксели плотно упакованы и не имеют промежутков между
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
собой. За счет этого условия изображение, которое содержит мелкие объекты и узкие полосы, может быть восстановлено полностью, поскольку отсутствуют элементы изображения, попадающие между пикселями.
4. Изображение в пределах одного пикселя усредняется равномерно.
5. Пиксели имеют квадратную форму.
6. Субпиксельный сдвиг кадров относительно друг друга задан.
3. ФОРМИРОВАНИЕ ТЕСТОВОГО ИЗОБРАЖЕНИЯ
Цель этого пункта — формирование серии тестовых изображений низкого разрешения из одного изображения высокого разрешения. Изображение низкого разрешения производит светочувствительная матрица низкого
разрешения, у которой размеры пикселей в N раз больше, чем у тестового изображения. Для получения одного кадра мы должны усреднить тестовое изображение по N пикселям по горизонтали и вертикали. На рис. 2 представлено исходное (128x128 пикселей) и усреднённое (А = 4) изображение аэрофотоснимка "Бишкек 2 512". Усреднённое изображение демонстрирует возможное качество изображения при идеальном восстановлении из N кадров.
При формировании тестового изображения предположим, что отдельные кадры формируются вдоль горизонтальной оси, но субпиксельное смещение происходит по обеим осям одновременно.
Из усреднённого тестового изображения для формирования одного кадра мы можем взять каждый N пиксель по горизонтали и вертикали. Отсчёт пикселей первого кадра начинаем с левого верхнего угла. Начало каждого следующего кадра происходит со сдвигом по горизонтали и вертикали. Величина сдвига может быть не целой и лежит в пределах умноженного на А-Для обеспечения нецелого сдвига необходимо
(а)
Рис. 3. Изображения: а) первый кадр; Ь) первые N = 5 кадров из 16, расположенные последовательно друг за другом. применить интерполяцию. Если сдвиг больше Ар, то произведем совмещение с точностью до пикселя, как в работе [5].
Таким образом, при моделировании квазинепрерывного изображения предлагается брать шаг дискретизации по каждой координате в N раз мельче, чем формируют матричные фотоприемники. А при обработке цифрового изображения (с большим, т.е. «единичным» шагом) предлагается считать сверхразрешением возврат к этому мелкому шагу.
Все полученные вышеуказанным образом кадры можно представить в виде общего рисунка - рис. 3 (фрагмента рис. 2Ь).
При получении рис. 3 задавалась матрица сдвигов 5т кадров относительно первого кадра.
На этом этап формирования тестового изображения закончен. Далее мы будем использовать только рис. 3Ь и Таблицу 1.
4. ИНТЕРПОЛЯЦИЯ
4.1. Одно тестовое изображение
На основе заданных субпиксельных сдвигов Зт и серии последовательных кадров (рис. 3Ь) можно с помощью интерполяции получить изображение с разрешением большим, чем на исходных кадрах.
На рис. 4 представлены результаты интерполяции, полученные на основе 5 кадров из изображения рис. 3Ь.
Рис. 4 иллюстрирует тот факт, что качество изображения как результат интерполяции слабо зависит от вида интерполяции. В Таблице 2 приведены среднеквадратичные отклонения изображений, представленных на
Таблица 1.
Матрица сдвигов кадров относительно первого кадра. 1 строка - номер кадра. 2 и 3 строка соответственно величина сдвигов по горизонтали и вертикали в долях пикселя.
Рис. 2. Исходное
пикселов и усреднённое
м 178x178
2
0 375
0 625
3
0 625
П
4
0 875
0 375
Г
г
Таблица 2.
Среднеквадратичные отклонения изображений
3 10 15
Количество кадров
а
ИОВР кубический сплайн спектральная интерполяция линейная интерполяция
Усредненное изображение 6.296 4.596 4.642 6.101
Отфильтрованное изображение 17.248 14.087 14.693 17.795
(с) (4
Рис. 4. Результаты интерполяции изображения, полученного из 5 кадров рис. 3Ь. Изображения, приведенные на рис. 4 являются результатом а) интерполяции обратных взвешенных расстояний (ИОВР); Ь) интерполяции кубическим сплайном; с) спектральной интерполяции; С) линейной интерполяции на основе триангуляции.
рис. 4 от усредненного исходного изображения, представленного на рис. 2Ь.
На рис. 5 представлены графики среднеквадратичного отклонения
(СКО) интерполированных (рис. 5а) и отфильтрованных с помощью фильтра Винера [8] (рис. 5Ь) изображений в зависимости от числа использованных кадров.
СКО Иг
Графики, приведенные на рис. 5 показывают, что фильтр Винера приводит к увеличению среднеквадратичной ошибки. Этот факт иллюстрируют данные, приведенные в Таблице 2.
На рис. 6 приведены изображения, полученные из изображений рис. 4 с помощью фильтра Винера.
Сравнение изображений рис. 4 и рис. 6 позволяет сделать вывод о том, что артефакты, которые появились на интерполированных изображениях, зависят от вида примененной интерполяции. Следует отметить, что минимальная СКО у изображений, полученных с помощью интерполяции сплайном и спектральной интерполяции. На рис. 7 приведены графики СКО, усредненных по 20 реализациям матрицы сдвигов кадров низкого разрешения.
Графики на рис. 7 свидетельствуют о том, что большие СКО вызваны применением ИОВР и линейной интерполяции. Меньшие СКО получаются при использовании кубического сплайна и спектральной интерполяции.
Количество кадров
(Р)
Рис. 5. Графики среднеквадратичного отклонения интерполированных — (а) и отфильтрованных — (Ь) изображений в зависимости от числа использованных кадров. Графики соответствуют: ИОВР — красная линия (1), кубический сплайн— зеленая линия (2), спектральная интерполяция — синяя линия (3), линейная интерполяция — черная линия (4).
Рис. 6. Изображения, полученные из изображений рис. 4 с помощью фильтра Винера. Изображения соответствуют: а) интерполяции обратных взвешенных расстояний (ИОВР); Ь) интерполяции кубическим сплайном; с) спектральной интерполяции; с) линейной интерполяции на основе триангуляции.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
СКО 15
Количество кадров
{а)
СКО 30
{а)
МНЯ
лык
п
мш»
ш ■ 3
щ
(с) с
Рис. 8. Дополнительные тестовые изображения.
Ь ю
Количество кадров
(а)
СКО
Количество кадров
(Ь)
Рис. 7. Графики СКО, усредненные по 20 реализациям, интерполированных — (а) и отфильтрованных — (Ь) изображений в зависимости от числа использованных кадров. Графики соответствуют: ИОВР — красная линия (1), кубический сплайн— зеленая линия (2), спектральная интерполяция — синяя линия (3), линейная интерполяция — черная линия (4)
Анализ графиков на рис. 7 позволяет предположить, что при условии нормирования, графики усредненных по различным реализациям матрицы ^ сдвигов кадров будут слабо зависеть от изображения и определяться видом интерполяции. 4.2. Пять тестовых изображений На рис. 2 п рис. 8 приведены исходные тестовые изображения, использованные ниже для проверки этой гипотезы.
Количество кадров
(Ь)
Рис. 9. Графики нормированной СКО, усредненные по 20 реализациям 3 для 5 изображениям, представленным на рис. 2 и рис. 8. Цветом выделены графики, соответствующие изображениям:рис. 8а — красная линия (1), рис. 8Ь — бордовая линия (2), рис. 2а — синяя линия (3), рис. 8с — фиолетовая линия (4), рис. 8С — зеленая линия (5). Рис. 8а и рис. 8Ь иллюстрируют соответственно случаи изображений,
м»/м*/ иI///' ь»» '* с/и/ с/ ш (/и^/т/!и// &сг-м
интерполированных и отфильтрованных фильтром Винера На рис. 9 приведены графики СКО для ИОВР в случае представленных выше тестовых изображений (рис. 2, рис. 8). ско
Количество кадров
{а)
СКО
Количество кадров
(Ь)
Рис. 10. Графики СКО, усредненные по 20 реализациям 3т и усредненным по 5 изображениям, представленным на рис. 2 и рис. 8. Графики СКО интерполированных — (а) и отфильтрованных — (б) изображений в зависимости от числа использованных кадров. Графики соответствуют: ИОВР — красная линия (1), кубический сплайн — зеленая линия (2), спектральная интерполяция — синяя линия (3), линейная интерполяция — черная линия (4).
Графики на рис. 9 показывают, что зависимость СКО от числа использованных кадров более выражена, чем зависимость от тестового изображения. Это позволяет в дальнейшем рассматривать и анализировать зависимость СКО от числа кадров и вида изображения, используя графики СКО, усредненные по изображениям.
На рис. 9 приведены графики СКО для различных видов интерполяций в зависимости от количества использованных кадров. Эти графики получены с помощью усреднения по представленным на рис. 2 и рис. 8 изображениям и соответствующей нормировки.
Графики на рис. 10 позволяют заключить, что если усреднить СКО по реализациям матрицы сдвигов и нормировать на значение СКО для одного кадра, то зависимость СКО от вида изображения значительно ослабляется. Это дает возможность прогнозировать величину нормированной СКО в зависимости от метода интерполяции и количества использованных кадров — рис.10.
5. ЗАКЛЮЧЕНИЕ
Использование нескольких кадров низкого разрешения для получения изображения высокого разрешения требует выполнения нескольких этапов. Полученные кадры низкого разрешения необходимо проанализировать с целью определения величины смещения относительно друг друга. Результаты решения этой непростой задачи влияют существенным образом на конечный результат. Второй этап соответствует получению изображения высокого разрешения с помощью интерполяции на основе уже вычисленных величин смещения кадров низкого разрешения. С увеличением количества исходных кадров СКО уменьшается. Однако величина СКО зависит и от вида используемой интерполяции. Обычно ошибки интерполяции рассматривают при сравнении с тестовым изображением. Но сравнение усредненного изображения с интерполированным изображением не дает полной картины. В нашем случае целесообразно рассматривать СКО, исходя из сравнения отфильтрованного изображения с исходным неусредненным изображением. Такое сравнение позволяет сделать вывод о том, что целесообразно использование кубического сплайна и спектральной интерполяции. Кроме того, спектральная интерполяция может иметь определенное преимущество перед
интерполяцией кубическим сплайном в случае
малых количеств использованных кадров
низкого разрешения.
Работа выполнена в рамках государственного задания
ЛИТЕРАТУРА
1. Elham K, Kaveh K, Javadi S. A Survey on SuperResolution Methods for Image Reconstruction. Int. J. of Computer Applications, 2014, 90(3):32-39.
2. Мишин АБ. Метод, алгоритм и адаптивное устройство обработки изображений на базе КМОП-видеодатчиков с использованием нейроподобных структур. Дисс. на соискание уч. ст. канд. техн. наук. Юго-Зап. гос.ун-т. Курск, 2014.
3. Маркелов КС. Модель повышения информативности цифровых изображений на базе метода суперразрешения. Инженерный вестник (электр. журнал АИН им. А.М. Прохорова), 2013, № 03, 77-48211/552065.
4. Насонов АВ. Регуляризирующие методы повышения разрешения изображений и суперразрешения. Дисс. на соискание уч. ст. канд. физ.-мат. наук. МГУ имени М.В. Ломоносова, Москва, 2011.
5. Гошин ЕВ, Котов АП, Фурсов ВА. Двухэтапное формирование пространственного преобразования для совмещения изображений. Компьютерная оптика, 2014, 38(4):886-891.
6. Ермаков ДМ, Шарков ЕА, Чернушич АП. Оценка точности интерполяционной схемы спутникового радиотепловидения. Современные проблемы дистанционного зондирования Земли из космоса, 2015, 12(2):77-88.
7. Кокошкин АВ, Коротков ВА, Коротков КВ, Новичихин ЕП. Об использовании простого способа оценки ошибки интерполяции экспериментальных данных. Журнал радиоэлектроники [электронный журнал], 2016, №9, Режим доступа: http://jre.cplire.m/jre/sep16/5/ text.pdf. (дата обращения 23.05.2017).
8. Гонсалес Р, Вудс Р. Цифровая обработка изображений. М., Техносфера, 2005, 1071 с.
9. Шарый СП. Курс вычислительных методов. Новосибирск, Изд. ИВТ СО РАН, 2016.
10. Форсайт Дж, Малькольм М, Моулер К. Машинные методы математических вычислений. М., Мир, 1980, 279 с.
11. Shutko AM, Haldin A, Krapivin V, Novichikhin E, Sidorov I, Tishchenko Y, Haarbrink R, Georgiev G, Kancheva R, Nikolov H, Coleman T, Archer F, Pampaloni P, Paloscia S, Krissilov A, Carmona AC. Microwave Radiometry in Monitoring and Emergency Mapping of Water Seepage and Dangerously High Groundwaters. JUT, 2007, 1:76-82.
12. Иванов ВА, Киричук ВС, Косых ВП. Оценивание субпиксельного сдвига дискретных изображений. Автометрия, 2007, 43(3):15-30.
13. Гудков СА. Метод обработки сигналов вихретокового датчика контроля параметров
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
дисперсных сред. XVIII Межд. научно-практич. конф. «Современные техника и технологии.», Секция 2: Приборостроение. Томск, 2012, с. 183-184.
14. Бабак ВП, Пономаренко ПВ. Локализация места положения сквозных дефектов по сигналам акустической эмиссии. Автоматика, автоматизация, электротехнические комплексы и системы, 2007, 1(19):39-46.
15. Кокошкин АВ, Коротков ВА, Коротков КВ, Новичихин ЕП. Оценка ошибок синтеза изображений с СУПЕРразрешением на основе использования нескольких кадров. Компьютерная оптика, 2017, 41(5):701-711.
16. Нестеренко ЕА. Возможность использования сплайн-поверхности для построения поверхностей по результатам съемок. Записки СПб Горного института. 2013, 204:127-133.
17. Кокошкин АВ, Коротков ВА, Коротков КВ, Новичихин ЕП. Использование спектра Фурье изображениядляретуширования и восстановления отсутствующих частей искажённого аппаратной функцией изображения. Журнал радиоэлектроники
[электронный журнал], 2016, №7, Режим доступа: http://ire.cplire.rU/ire/iul16/4/text.html. 18. Скворцов АВ. Триангуляция Делоне и ее применение. Томск, Изд. ТГУ, 2002, 128 с.
Кокошкин Александр Владимирович
с.н.с.
ФИРЭ им. В.А. Котельникова РАН
Фрязино 141190, Московская область, Россия
shvarts65@mail.ru
Коротков Вадим Андреевич
с.н.с.
ФИРЭ им. В.А. Котельникова РАН Фрязино 141190, Московская область, Россия 138kirill@mail.ru Новичихин Евгений Павлович
к.ф.-м.н, с.н.с.
ФИРЭ им. В.А. Котельникова РАН Фрязино 141190, Московская область, Россия epnov@mail.ru.
COMPARISON OF INTERPOLATION METHODS WHEN ACHIEVING SUPER-RESOLUTION OF IMAGES BASED ON THE ANALYSIS OF SEVERAL FRAMES
Alexander V. Kokoshkin, Vadim A. Korotkov, Evgeny P. Novichikhin
Kotelnikov Institute of Radioengineering and Electronics of RAS, Fryazino Branch, http://fire.relarn.ru Fryazino 141190, Moscow Region, Russian Federation shvarts65@mail.ru, 138kirill@mail.ru, epnov@mail.ru
Abstract. Increasing the resolution based on the use of multiple frames of the same object leads to additional errors. These errors are the result of errors in determining the position of frames, as well as the result of interpolation inaccuracy. In this paper, only errors caused by interpolation are analyzed. We consider the dependence of errors on the number of frames used, the type of interpolation, the type of the original image. It is shown that after averaging over the positions of individual frames, the key dependencies are the dependence of errors on the number of frames and the type of interpolation. It is shown that it does not make sense to analyze interpolation errors immediately after the interpolation procedure. After the required spectral filtering procedure, relatively small interpolation errors will increase significantly. Change and the type of dependence of errors on the number of frames. Therefore, it is advisable to draw the main conclusions based on the analysis of interpolation errors after the filtering procedure. From the point of view of error minimization, it is preferable to use interpolation by a cubic spline and spectral interpolation. Keywords: interpolation, superresolution, image, frame UDC 621.369
Bibliography — 18 references Received08.04.2019, accepted 18.04.2019 RENSIT, 2019, 11(1):85-91_DOI: 10.17725/rensit.2019.11.085
