CC BY
50
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
ОЦЕНКА ОШИБОК СИНТЕЗА ИЗОБРАЖЕНИЙ С СУПЕРРАЗРЕШЕНИЕМ НА ОСНОВЕ ИСПОЛЬЗОВАНИЯ НЕСКОЛЬКИХ КАДРОВ
А.В. Кокошкин1, В.А. Короткое1, К.В. Короткое1, Е.П. Новичихин1 Институт радиотехники и электроники им. В.А. Котельникова РАН, Фрязино, Россия
Аннотация
Предлагаемая работа показывает возможность оценки ошибок синтеза изображений с суперразрешением, полученных на основе использования нескольких кадров. Показана возможность выявления областей с большими ошибками интерполяции, основываясь только на применяемом методе интерполяции и интерполируемых данных. Продемонстрирована возможность определения необходимого количества использованных для формирования изображения кадров по величине оценки ошибок интерполяции. В данной работе приводятся как результаты интерполяции сформированных тестовых кадров, способ корреляционного субпиксельного определения сдвигов кадров относительно 1 кадра, так и оценка возникающих при этом ошибок интерполяции. Показано, что до проведения измерений нельзя предсказать количество кадров, необходимое для достижения необходимого уровня ошибок интерполяции. Предлагаемый метод позволяет контролировать величину ошибок в процессе измерений. Показано, что оценка ошибок метода суперразрешения, основанная на тестовых изображениях, малоперспективна, поскольку величина ошибок зависит как от самого изображения, так и от набора субпиксельных смещений кадров низкого разрешения. Приведён весь путь получения результатов работы, начиная от формирования тестового изображения и заканчивая выводами.
Ключевые слова: интерполяция, оценка ошибок интерполяции, обработка экспериментальных данных.
Цитирование: Кокошкин, А.В. Оценка ошибок синтеза изображений с суперразрешением на основе использования нескольких кадров / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Новичихин // Компьютерная оптика. - 2017. - Т. 41, № 5. - С. 701-711. -DOI: 10.18287/2412-6179-2017-41-5-701-711.
Введение
Суперразрешение - это процесс математической обработки, в котором создаётся изображение в более высоком разрешении из серии кадров изображения одного и того же объекта с более низким разрешением.
В процессе формирования исходных изображений высокочастотные компоненты могут теряться по разным причинам, в том числе из-за малого числа сенсорных регистрирующих ячеек, переотражённого света от различных элементов, движения и не сфокусированности камеры. Суперразрешение является попыткой получить детали изображения, которые теряются. Другими словами, сверхразрешение предсказывает или интерполирует потерянные данные из имеющихся и сводит к минимуму размытие и сглаживание изображения. В работе [1] дан подробный обзор по методам сверхвысокого разрешения (суперразрешения) для реконструкции изображения на основе нескольких кадров низкого разрешения.
Методы суперразрешения в настоящее время активно разрабатываются и используются во многих областях. В частности, в таких системах мониторинга, как дистанционное зондирование, идентификация и распознавание лиц людей и номерных знаков автомобилей, автоматическое распознавание целей, спутниковый и аэрофотомониторинг, сканирование медицинских объектов, микроскопия поверхностей и т.п.
Основной источник дополнительной информации для суперразрешения — это изображения одного и того же объекта, незначительно смещённого на последовательных кадрах. Пиксели камеры, получающей изображение, имеют ненулевой размер, поэтому наблюдаемое значение пикселя соответствует не значению в конкретной точке на реальном изображении, а является усреднением по некоторой окрестности точки. Объект смещается, как правило, на нецелое число пикселей, поэтому оказывается возможным использовать информацию нескольких кадров для построения одного изображения высокого разрешения.
На рис. 1 представлена схема работы метода суперразрешения, который состоит из трех стадий. На первой стадии (рис. 1, цифры 1, 2 и 3) определяют сдвиг кадров низкого разрешения. После определи-ния сдвига кадров с точностью до пикселя переходят к стадии определения субпиксельного сдвига (рис. 1, цифра 4). При этом определение субпиксельного сдвига кадров может быть выполнено разными способами, в частности, с помощью нейронных сетей [2], с предварительным увеличением кадров и поиском изображения, которое, будучи уменьшенным с учётом движения, даст минимальное суммарное квадратичное отклонение от исходных изображений низкого разрешения [3, 4], с помощью прямого определения субпиксельного смещения по положения максимума функции взаимной корреляции кадров изображения [5]. На заключительной стадии производится совме-
щение имеющейся серии кадров с известными субпиксельными смещениями, которое выполняется с помощью интерполяции [1] (рис. 1, изображение 5).
В процессе такой обработки возникают ошибки, связанные как с определением субпиксельных смещений, так и со свойствами непосредственно метода интерполяции. Оценка возникающих при этом ошибок является важной, актуальной задачей [6]. Действительно, мало тем или иным способом (методом) получить изображение увеличенного разрешения, необходимо также узнать, в какой мере результат адекватен действительности.
| ! ! 1 ени
1
9—9~Ф—т
3
21 е-'йМ^те "Т
ИЙНН
1 : ! а
I
—Ця—Ца- -Ца- &Ц- -бС: зЬ-ч :-ч в-ч е-ч|е-> ^ -(К-Ф-Ф-Нс-
Ф—а В--] В--В Е—9
Е--1 [--1 ["9 Е-ф") В"3$
!--!^
:--: :-■:}:--: -:{:
Рис. 1. Схема работы метода суперразрешения.
Цифрами 1, 2, 3 обозначены кадры низкого разрешения.
Цифра 4 обозначает изображение из совмещённых с учётом субпиксельных смещений кадров низкого разрешения. Цифра 5 соответствует интерполированному изображению, полученному из изображения 4
Информацию о субпиксельных смещениях можно получить из полученных кадров низкого разрешения и условий измерения. Например, если известна скорость и направление движения фотокамеры, можно пренебречь наличием вибрации и прочих неконтролируемых факторов. Поэтому величина ошибок при определении субпиксельных смещений кадров в значительной мере зависит от условий измерения, контролируемых человеком. В то же время ошибки интерполяции зависят как от метода интерполяции, от набора субпиксельных смещений, так и от получаемого изображения. Ранее оценки ошибок интерполяции делались только при использовании тестовых изображений или каких-либо предположений о свойствах изображений [1, 5-11]. При этом предполагается, что величина ошибок для выбранного метода интерполяции зависит только от вида изображения. В то же время с помощью алгоритма, предложенного в работе [7], можно создать метод, позволяющий оценить ошибки интерполяции экспериментальных данных без использования тестовых изображений и предполагаемых свойств получаемого изображения. Метод [7] не позволяет вычислить точную величину ошибки
интерполяции, с его помощью можно лишь оценить возможную погрешность интерполяции.
В данной работе проанализированы возможности такого метода оценки ошибки интерполяции без использования тестовых изображений и предполагаемых свойств получаемого изображения для оценки ошибок синтеза изображений с суперразрешением, полученных на основе использования нескольких кадров.
1. Описание методики оценки ошибок синтеза изображения с суперразрешением
Рассмотрим работу метода суперразрешения на примере такой важной для практического применения задачи, как аэрофотосъемка. С целью увеличения разрешения используем серию кадров одного интересующего объекта, которые производятся последовательно вдоль полёта. Задача совмещения этих кадров может быть разбита на два шага с использованием функции взаимной корреляции этих кадров. Сначала производится грубое совмещение с точностью до пикселя. Далее необходимо сделать субпиксельное совмещение, которое опишем подробно. Несмотря на то, что в целом движение летательного аппарата можно описать как одномерное, в реальности из-за многих неконтролируемых факторов (вибрация, воздушные потоки и неоднородности воздушной среды, порывы ветра и т.п.) субпиксельное смещение оказывается двухмерным.
Мы опишем как процесс формирования тестовой серии кадров низкого разрешения, формирование изображения большего разрешения из этой серии, так и оценку ошибок, интерполяции.
В данной работе мы будем использовать интерполяционный метод. Он состоит из трех этапов:
1. Этап регистрации, во время которого определяются величины сдвигов (с субпиксельной точностью) кадров относительно первого кадра.
2. Этап интерполяции для получения изображения с более высоким разрешением, чем у исходных кадров.
3. Этап фильтрации для повышения качества реконструированного изображения высокого разрешения, полученного в стадии 2.
В этой работе мы попытаемся определить на полученном изображении области, где ошибки интерполяции могут быть неприемлемыми.
Основные предположения
1. Объектив, формирующий изображение, является идеальным. Явление дифракции отсутствует. Действует только геометрическая оптика.
2. Ограничение разрешения изображений определяется только количеством светочувствительных элементов (пикселей) на единицу площади.
3. Светочувствительные пиксели плотно упакованы и не имеют промежутков между собой. За счет этого условия изображение, которое содержит мелкие объекты и узкие полосы, может быть восстановлено полностью, поскольку отсутствуют элементы изображения, попадающие между пикселями.
4. Изображение в пределах одного пикселя усредняется равномерно.
5. Пиксели имеют квадратную форму.
6. Предварительная работа по совмещению с точностью до пикселя отдельных кадров проведена. Это условие не обязательно, но если оно выполнено, то максимум взаимной функции корреляции между разными кадрами будет располагаться в начале координат (0, 0).
7. Субпиксельный сдвиг кадров относительно друг друга не задан (не известен).
2. Формирование тестового изображения
Цель этого этапа - формирование серии тестовых изображений низкого разрешения из одного изображения высокого разрешения. Изображение низкого разрешения производит светочувствительная матрица низкого разрешения, у которой размеры пикселей в N раз больше, чем у тестового изображения. Для получения одного кадра мы должны усреднить тестовое изображение по Ыр пикселям по горизонтали и вертикали. На рис. 2 представлено исходное (128*128 пикселей) и усреднённое (Ыр = 4) изображение аэрофотоснимка.
Рис. 2. Исходное изображение (а) размером 128*128 пикселов и усреднённое (б)
Усреднённое изображение демонстрирует возможное качество изображения при идеальном восстановлении из 42 = 16 кадров.
При формировании тестового изображения предположим, что отдельные кадры формируются вдоль горизонтальной оси, но субпиксельное смещение происходит по обеим осям одновременно.
Из усреднённого тестового изображения для формирования одного кадра мы можем взять каждый Ыр пиксель по горизонтали и вертикали. Отсчёт пикселей первого кадра начинаем с левого верхнего угла. Начало каждого следующего кадра происходит со сдвигом по горизонтали и вертикали. Величина сдвига и может быть нецелой, и лежит в пределах 0...1, умноженного на Ыр. Для обеспечения не целого сдвига необходимо применить интерполяцию. Если сдвиг больше Ыр, то произведём совмещение с точностью до пикселя, как в работе [5].
Таким образом, при моделировании квазинепрерывного изображения предлагается брать шаг дискретизации по каждой координате в Ыр раз мельче, чем формируют матричные фотоприемники. А при обработке цифрового изображения (с большим, т.е. «единичным» шагом) предлагается считать сверхразрешением возврат к этому мелкому шагу.
Все полученные вышеуказанным образом кадры можно представить в виде общего рисунка - рис. 3 (фрагмент рис. 2б).
Рис. 3. Изображения: а) первый кадр; б) все N = 5 кадров, расположенные последовательно друг за другом
При получении рис. 3 задавалась матрица сдвигов Бт кадров относительно первого кадра:
Табл. 1. Матрица сдвигов Бт кадров относительно первого кадра. 1 строка - номер кадра. 2 и 3 строка соответственно величина сдвигов по горизонтали и вертикали в долях пикселя
1
0
0
2
0,375
0,625
3
0,625
0
4
0,875
0,375
5
0,375
0
На этом этап формирования тестового изображения закончен. Далее мы будем использовать только рис. 3б, а табл. 1 нам послужит для сравнения с вычисленными значениями сдвигов.
Ниже мы рассмотрим получение изображения более высокого разрешения, чем на рис. 3а, используя только изображения на рис. 3б.
I. Этап регистрации
На этом этапе мы вычислим значения сдвигов отдельных кадров рис. 3б относительно первого кадра. Это можно сделать, например, так, как описано в [5], но с применением предварительной интерполяции, поскольку предполагаемая величина смещения кадров меньше размера пикселя кадра. В работе [12] была показана малая эффективность такого подхода. Мы это сделаем с помощью взаимной корреляции с первым кадром, но без применения предварительной интерполяции.
На изображениях рис. 2 и 3 присутствуют крупные области, ориентированные в горизонтальном направлении, связанные с рулежной или взлетной полосой (в центре изображений) и зданием (внизу изображений).
Особенно это хорошо видно на рис. 3б где изображена серия из 5 кадров. Это объясняет анизотропный характер взаимной корреляционной функции (ВКФ), изображённой на рис. 4а.
б) -4 -2 0 2 4
Рис. 4. График функции Я - нормированной взаимной корреляции 1 и 3 кадра (а), разрез этого графика (б)
На рис. 4 представлен график функции Я - нормированной взаимной корреляции 1 и 3 кадра.
Перед определением величин субпиксельных смещений мы должны найти положение максимума ВКФ по обеим осям (х и у) с точностью до пикселя [5]. На рис. 4а этот максимум расположен в начале координат, точке (0, 0). Разрезы, с помощью которых ищут максимум ВКФ с субпиксельной точностью, проводятся через найденное положение максимума
ВКФ с точностью до пикселя (рис. 4б). В силу того, что отклонение пиксельного максимума от истинного (с точностью до субпикселя) невелико (доли пикселя), то и влияние отклонения на ошибку определения положения максимума мало.
В работах [13, 14] показано, что для случая сложной формы функции взаимной корреляции сигнала (наличие нескольких максимумов в функции корреляции) целесообразно пользоваться определением центра тяжести ВКФ. В нашем случае это не так -функция корреляции имеет один явно выраженный максимум. Поэтому мы вправе воспользоваться более простым способом. Далее мы увидим, что влияние ошибок в определении субпиксельного положения максимума невелико (рис. 5, 10, 11).
На рис. 4б видно, что график Я относительно максимума несимметричен. Очевидно, что величина этой несимметрии определяется величиной смещения кадров. Следует отметить, что значения функции взаимной корреляции в точках, далёких от максимума, практически не зависит от субпиксельного положения максимума. На рис. 4б видно, что значения в точках с координатами -2 и 3, -3 и 4, -4 и 5 практически одинаковы. Поэтому будем рассматривать только точки вблизи максимума корреляционной функции. Предположим, что разрез вдоль координатной оси функции взаимной корреляции вблизи максимума представляет собой равнобедренный треугольник со срезанной вершиной. На рис. 4б этот треугольник обозначен прерывистой линией. Наклон сторон треугольника определяется расположением точек в окрестности максимума. Положение вершины этого треугольника определяет субпиксельный сдвиг кадров вдоль координатных осей.
На основании заданных наклонов сторон равнобедренного треугольника и его же стороны (рис. 4б, прерывистая линия) решением геометрической задачи выведем формулу для оценки величины субпиксельного сдвига. Если обозначить значения функции взаимной корреляции на разрезе рис. 4б вблизи максимума последовательно как Я1 ... Я3, причём Я2 соответствует максимуму, то величину субпиксельного сдвига можно оценивать как:
Ах =
Я3 - Я1
Ах =
2
Я2 " Я1 Я3 " Я1
Я2 " Я3
, если Ях £ Я3 и
если Яг > Я3,
(1)
где Ах обозначает величину субпиксельного сдвига; Яь..Я3 - значения функции взаимной корреляции в точках с координатами -1, 0, 1 (рис. 4б).
Использование (1) позволяет по функциям взаимной корреляции кадров относительно первого кадра вычислить массив сдвигов 8_ш.
Результаты вычисленных таким образом сдвигов кадров от заданных сдвигов по обеим осям (как по оси х (обозначены треугольниками), так и по оси у (ромбы)) для 16 вариантов субпиксельных сдвигов
1
2
1
(рис. 5) показывают, что полученная зависимость близка к линейной. На этом этап регистрации заканчивается. 1>0
О 0,2 0,4 0,6 0,8 sm Рис. 5. График зависимости вычисленного сдвига (smv - по вертикали, smg - по горизонтали) от заданного Sm. Ромбами и треугольниками отмечены результаты
вычислений по вертикали и по горизонтали соответственно, а прямая обозначает идеальные случаи в отсутствие ошибок определения субпиксельных сдвигов
II. Этап интерполяции
На основе рассчитанных субпиксельных сдвигов S_m и серии последовательных кадров (рис. 3б) можно с помощью интерполяции получить изображение с разрешением большим, чем на исходных кадрах. В качестве одного из возможных видов интерполяции мы используем интерполяцию обратных взвешенных расстояний (ИОВР) [11], применяемую в картографии. Использование этого метода целесообразно при нерегулярной сетке узлов интерполяции.
Результаты применения интерполяции с учётом рис. 3б и рис. 5 представлены на рис. 6.
Рис. 6а соответствует размеру 32*32 пикселя. Если интерполировать его с целью увеличения количества пикселей, то внешний вид изменится (рис. 6б).
Сравнение рис. 6б, в позволяет сделать вывод о том, что не видно заметной разницы в изображениях, полученных с помощью интерполяции одного кадра и пяти кадров. Показать явное изменение разрешения можно только после этапа фильтрации.
III. Этап фильтрации
Цель этапа фильтрации - повышение качества реконструированного изображения высокого разрешения, полученного в предыдущей стадии. Это достигается за счёт компенсации искажения, вызванного усреднением светочувствительной матрицы. Мы будем сравнивать результаты, полученные из кадров неизменного размера - 32*32. Из таких кадров мы получаем изображения 128*128 пикселей с помощью интерполяции с учетом субпиксельного смещения. Поэтому используем фильтр, компенсирующий функцию рассеяния точки в виде квадратного пятна размером четыре пикселя по горизонтали и по вертикали [8].
На обрабатываемом изображении (рис. 6в) присутствует шум, вызванный ошибками интерполяции. Для уменьшения влияния этого шума на получаемое
изображение используем упрощённый фильтр Винера [8] (формула 5.8-3).
Рис. 6. Изображение одного кадра (а); Интерполированные изображения из одного кадра с увеличением размера в 4 раза, (б) и пяти кадров (в)
F (u, v) = (
1
\H (u, v )|2
H(u, v) H(u, v)|2 + K
)G (u, v),
(2)
где ^(и, V), G(u, V) - спектры восстановленного и искаженного изображения соответственно, Н(и, V) - искажающая функция (ее частотное представление); К -эмпирическая константа; и, V - пространственные частоты. Искажающая функция Н(и, V) соответствует функции рассеяния точки в виде квадратного пятна
размером четыре пикселя по горизонтали и четыре пикселя по вертикали.
В результате из изображений (рис. 6б, в) получим изображения более высокого качества - рис. 7а, б.
Рис. 7. Отфильтрованные интерполированные изображения одного кадра (а), пяти кадров (б) и десяти кадров (в)
Из рис. 7 видно, что использование пяти кадров существенно увеличивает разрешение по сравнению с изображением, полученным из одного кадра. Явно видны мелкие детали изображения. Для сравнения приведено изображение рис. 7в, полученное из десяти
кадров. На этом изображении (рис. 7в) появились еще более мелкие детали.
Однако возникает вопрос, можно ли выделить те области на полученном изображении, которые не содержат ошибок интерполяции или наоборот содержат их слишком много. Насколько велики ошибки интерполяции?
Обычно при использовании интерполяции проверяют её результаты на тестовых примерах [6]. Однако такая проверка не позволяет на практике выделить области с возможно большими ошибками интерполяции. Другим вариантом является построение математических моделей исследуемого процесса, на основе которых можно как выбирать метод интерполяции, так и предсказывать области больших или малых ошибок интерполяции [9]. При обработке изображений оба эти метода далеко не всегда применимы.
Еще один метод оценки ошибки интерполяции экспериментальных данных можно было бы сделать на основе результатов работы [7]. Применим этот метод для выделения проблемных областей и областей интерполированного изображения, не содержащих заметных ошибок интерполяции.
Для удобства использования модифицируем указанный метод.
3. Алгоритм метода оценки ошибки интерполяции
Величины 2\(хи у), которые необходимо интерполировать, равны измеренным величинам до их обработки.
1. Вычислим интерполированное значение 2(х, у) в точке с координатами (х, у).
2. Если эта точка является узлом интерполяции, то значение яркости соответствует измеренной величине и поэтому считаем, что ошибка в этой точке равна нулю.
3. Если точка (х, у) не является узлом интерполяции, то находим ближайший узел интерполяции (х7-, у) со значением сигнал 2/(х/, у)
4. Узел с координатами (х/,у) удаляем, а вместо него новым узлом считаем интерполированную точку (х, у).
5. Вычисляем интерполированное значение в точке (х/, у7) с помощью узлов интерполяции с новым узлом интерполяции (х, у).
6. Вычисляем модуль \2/(х/,уг)-2(х/,у)|, который и будем считать оценкой ошибки интерполяции в точке (х, у). На основании результатов работы [7] разница в значениях 2/(х/, у/) до второй интерполяции и после нее возникла именно из-за того, что узел интерполяции переместился из точки (х/,у/) в точку (х,у).
В этом методе оценки производится две интерполяции. Применение алгоритма [7] производится для двумерного случая с заменой одного двумерного узла вместо двух одномерных при второй интерполяции.
4. Оценка ошибок интерполяции
На рис. 8 приведены рассчитанные нами нормированные ошибки интерполяции и оценки ошибок интерполяции на основе работы [7].
Рис. 8. Нормированные: ошибки интерполяции (а)
и оценки ошибки интерполяции (б) для десяти кадров
На рис. 8 видно, что области относительно малых (чёрный цвет) ошибок и оценок ошибок практически совпадают при обеих интерполяциях. Малые ошибки соответствуют большим областям постоянной яркости.
Области относительно больших (белый цвет) оценок ошибок (рис. 7б) могут не реализоваться в виде областей больших реальных ошибок (рис. 7а), если в каком-либо направлении эти области малы по размерам. Однако в среднем области больших ошибок определены верно.
Сравнение рис. 8а с рис. 8б позволяет сделать вывод о том, что используемый метод оценки ошибок интерполяции в среднем позволяет достоверно определить области больших и малых ошибок интерполяции.
На рис. 9 приведены графики ошибок Бг (прерывистая линия) и оценки ошибок Бг0 (сплошная линия) для 2 строк изображения. Видно, что оценка ошибки вполне справедлива.
Строки изображения, рассмотренные на рис. 9, соответствуют разным примерам интерполяции. Рис. 9а иллюстрирует поведение ошибок интерполяции и их оценок в случае наличия измеренных пикселей на этой строке.
Ошибка интерполяции практически совпадает с её оценкой. Рис. 9б соответствует строке, на которой нет ни одного измеренного пикселя, а все получены с помощью интерполяции. Однако и для этого случая
оценка ошибки правильно определяет порядок ошибок интерполяции. 15
б) 0 50 100 ?
Рис. 9. Графики ошибок Ег (прерывистая линия) и оценки
величины ошибок Ег0 (сплошная линия) для 2 строк изображения. Случай 64 строки соответствует рис. 8а, а 79 строк — рис. 8б
При практическом применении рассмотренного выше способа увеличения разрешения за счёт использования серии кадров важно оценить ошибки интерполяции для всего полученного изображения из заданного количества кадров. Для оценки ошибок интерполяции можно рассмотреть изменение оценки ошибок интерполяции с изменением количества использованных при интерполяции кадров.
На рис. 10 представлены графики среднеквадратичной ошибки и оценок среднеквадратичной ошибки в зависимости от количества использованных кадров.
-1-1-, ~
10
8ко -$кО
% \\
\ \ \
\
5 10 15
Рис. 10. Графики среднеквадратичной ошибки зкО (прерывистая линия) и оценок среднеквадратичной ошибки в зависимости от количества использованных кадров /. Сплошная линия зко соответствует случаю точно известных субпиксельных смещений, зк о точечная линия - случаю смещений, вычисленных с помощью (1)
Малое изменение оценки ошибок от использования точных значений и вычисленных значений субпиксельных смещений говорит о достаточной точности оценки этих смещений. О достоверности оценок ошибок интерполяции свидетельствует небольшое отличие среднеквадратичных ошибок и оценок среднеквадратичных величин ошибок. На рис. 10 видно, что увеличение числа использованных кадров больше 8 нецелесообразно. Хорошо заметно, что среднеквадратичная ошибка хотя и уменьшается, но не стремится к нулю при увеличении числа кадров. На наш взгляд, это обусловлено выбором набора субпиксельных смещений кадров. Эти смещения выбирались исходя из того, чтобы интерполяция при формировании изображения из нескольких кадров была принципиально необходима. При другом наборе субпиксельных смещений кадров эта ошибка будет стремиться к нулю.
На рис. 11 представлены графики среднеквадратичной ошибки и оценок среднеквадратичной ошибки в зависимости от количества использованных кадров при другом наборе субпиксельных смещений. Сравнение рис. 10 и рис. 11 позволяет сделать вывод о том, что целесообразность увеличения числа кадров больше 8 зависит от конкретного набора субпиксельных смещений.
10 8 6 4 2 0
К ■, \
\
sko
.......— sk_o
---skO
ч
V
5 10 15
Рис. 11. Графики среднеквадратичной ошибки $кО (прерывистая линия) и оценок среднеквадратичной ошибки в зависимости от количества использованных кадров ¡. Сплошная линия зко соответствует случаю точно известных субпиксельных смещений, зк_о точечная линия - случаю смещений, вычисленных с помощью (1). Наборы смещений рис. 10 и рис. 11 различны
Реальные измерения обычно приводят к разным наборам субпиксельных смещений для каждого из кадров. Поэтому до измерений нельзя предсказать количество кадров, необходимое для достижения необходимого уровня малости ошибок интерполяции. Достоинством рассматриваемого в статье метода является возможность контролировать величину ошибок в процессе измерений.
Выводы
а) Использование предложенного метода оценки ошибки интерполяции позволяет определить границы областей с малыми и большими ошибками интерполяции.
б) Показано, что до проведения измерений нельзя предсказать количество кадров, необходимое для достижения необходимого уровня ошибок интерполяции. Предлагаемый метод позволяет контролировать эту величину ошибок в процессе измерений.
в) Оценка ошибок метода суперразрешения, основанная на тестовых изображениях, малоперспективна, поскольку величина ошибок зависит как от самого изображения, так и от набора субпиксельных смещений кадров низкого разрешения.
г) Предложен простой метод определения субпиксельных смещений, основанный на взаимной функции корреляции. В этом методе используется пять значений функции корреляции (по три вдоль осей, причем один общий).
Литература
1. Karimi, E. A survey on super-resolution methods for image reconstruction / E. Karimi, K. Kangarloo, Sh. Javadi // International Journal of Computer Applications. - 2014. -Vol. 90, Issue 3. - P. 32-39. - DOI: 10.5120/15557-4300.
2. Мишин, А.Б. Метод, алгоритм и адаптивное устройство обработки изображений на базе КМОП-видеодатчиков с использованием нейроподобных структур : дис. ... канд. техн. наук : 05.13.05 / Мишин Александр Борисович. - Курск, 2015. - 102 с. -415080570001.
3. Маркелов, К.С. Модель повышения информативности цифровых изображений на базе метода суперразрешения / К. С. Маркелов // Инженерный вестник 7748211/552065. - 2013. - № 03. - С. 525-542.
4. Насонов, А.В. Регуляризирующие методы повышения разрешения изображений и суперразрешения : дис. ... канд. техн. Наук : 05.13.18 / Насонов Андрей Владимирович. - М., 2011. - 110 с.
5. Го шин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений / Е.В. Гошин, А.П. Котов, В.А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 886-891.
6. Ермаков, Д.М. Оценка точности интерполяционной схемы спутникового радиотепловидения / Д.М. Ермаков, Е.А. Шарков, А.П. Чернушич // Современные проблемы дистанционного зондирования Земли из космоса. -2015. - Т. 12, № 2. - С. 77-88.
7. Кокошкин, А.В. Об использовании простого способа оценки ошибки интерполяции экспериментальных данных [Электронный ресурс] / А.В. Кокошкин, В.А Коротков, К.В. Коротков, Е.П. Новичихин // Журнал Радиоэлектроники. - 2016. - № 9. - URL: http ://jre.cplire.ru/j re/sep16/5/text. pdf (дата обращения 23.05.2017).
8. Гонсалес, Р. Цифровая обработка изображений / Р. Гон-салес, Р. Вудс. - М.: Техносфера, 2005. - 1071c. - ISBN 5-94836-028-8.
9. Шарый, С.П. Курс вычислительных методов / С.П. Ша-рый. - Новосибирск: НГУ, Институт вычислительных технологий СО РАН, 2016. - 498 с.
10. Форсайт Дж. Машинные методы математических вычислений. / Дж. Форсайт, М. Малькольм, К. Моулер -М.: Мир, 1980. - 279 с.
11. Shutko, A.M. Microwave radiometry in monitoring and emergency mapping of water seepage and dangerously high
groundwaters / A. M. Shutko, A. Haldin, V. Krapivin, E. Novi-chikhin, I. Sidorov, Yu. Tishchenko, R. Haarbrink, G. Georgi-ev, R. Kancheva, H. Nikolov, T. Coleman, F. Archer, P. Pam-paloni, S. Paloscia, A. Krissilov, A.C. Carmona // Journal of Telecommunications and Information Technology. - 2007. -No 1. - P. 76-82.
12. Иванов, В.А Оценивание субпиксельного сдвига дискретных изображений / В.А. Иванов, В.С. Киричук, В.П. Косых // Автометрия. - 2007. - Т. 43, № 3. - С. 15-30.
13. Гудков, С.А. Метод обработки сигналов вихретокового датчика контроля параметров дисперсных сред / С.А. Гудков // Современные техника и технологии СТТ-2012. - 2012. - С. 183-184.
14. Бабак, В.П. Локализация места положения сквозных дефектов по сигналам акустической эмиссии / В.П. Бабак, П.В. Пономаренко // Автоматика, автоматизация, электротехнические комплексы и системы. -2007. - № 1. - С. 39-46.
Сведения об авторах
Кокошкин Александр Владимирович, 1965 года рождения, в 1989 году окончил Московский энергетический институт (МЭИ, ныне Национальный исследовательский университет «МЭИ») по специальности 0707 «Радиоэлектронные устройства», работает старшим научным сотрудником во Фрязинском филиале Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: цифровая обработка изображений, методы по улучшению пространственного разрешения радиоизображений, реконструкция и восстановление изображений, исследования рассеивающих характеристик земных покровов в миллиметровом диапазоне радиоволн (поляризационные особенности, статистические характеристики рассеяния, идентификация покровов), распознавание объектов на изображениях. E-mail: [email protected] .
Коротков Вадим Андреевич, 1958 года рождения, научный сотрудник, Фрязинский филиал Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: цифровая обработка изображений, методы по улучшению пространственного разрешения радиоизображений, реконструкция и восстановление изображений, исследование рассеивающих характеристик земных покровов в миллиметровом диапазоне радиоволн (поляризационные особенности, статистические характеристики рассеяния, идентификация покровов), распознавание объектов на изображениях. E-mail: 138kirill@mail. ru .
Коротков Кирилл Вадимович, 1991 года рождения, инженер, Фрязинский филиал Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: цифровая обработка изображений, методы по улучшению пространственного разрешения радиоизображений, реконструкция и восстановление изображений, исследование рассеивающих характеристик земных покровов в миллиметровом диапазоне радиоволн (поляризационные особенности, статистические характеристики рассеяния, идентификация покровов), распознавание объектов на изображениях. E-mail: [email protected] .
Новичихин Евгений Павлович, 1948 года рождения, заведующий лабораторией, к.ф.-м.н., Фрязинский филиал Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котель-никова РАН. Область научных интересов: дистанционное зондирование, обработка данных, обработка изображений. E-mail: [email protected] .
ГРНТИ: 27.41.17
Поступила в редакцию 10 июня 2016г. Окончательный вариант - 1 июня 2017г.
ESTIMATION OF SUPER-RESOLUTION IMAGING ERRORS BASED ON THE USE OF MULTIPLE FRAMES
A. V. Kokoshkin1, V.A. Korotkov1, K. V. Korotkov1, E.P. Novichikhin1
1 The Kotel'nikov Institute ofRadio-engineering and Electronics (IRE) of the Russian Academy of Sciences,
Fryazino, Russia
Abstract
This work shows the possibility of estimating errors of super-resolution imaging based on the use of several frames. The possibility of identifying areas with large interpolation errors is shown, based only on the interpolation method and interpolated data used. The possibility of determining the necessary number of frames used for imaging from the interpolation error estimate is demonstrated. In this paper, we present both the results of interpolation of the generated test frames, the method of correlation subpixel detection of frame shifts relative to 1 frame, and the estimates of the resulting interpolation errors. It is shown that before measurements, the number of frames nec-
essary to achieve the required level of interpolation errors can not be predicted. The proposed method allows the error value to be controlled during the measurement. It is shown that the estimation of errors of the super resolution method based on test images is not very promising, since the error value depends both on the image itself and on a set of subpixel offsets of low-resolution frames. We discuss the entire procedure of obtaining the results of the work, starting from the test image generation and ending with the conclusions.
Keywords: interpolation, estimation error, experimental data processing.
Citation: Kokoshkin AV, Korotkov VA, Korotkov KV, Novichikhin EP. Estimation of superresolution imaging errors based on the use of multiple frames. Computer Optics 2017; 41(5): 701711. DOI: 10.18287/2412-6179-2017-41-5-701-711.
References
[1] Karimi E, Kangarloo K, Javadi Sh. A survey on superresolution methods for image reconstruction. International Journal of Computer Applications 2014; 90(3): 32-39. DOI: 10.5120/15557-4300.
[2] Mishin AB. A method, an algorithm and the adaptive processing device of images on base KMOP-iVu with use of neurosimilar structures [In Russian]. The thesis for the Candidate's degree in Technical Sciences. Kursk; 2014.
[3] Markelov KS. Model of increase in informational content of digital images on the basis of a superpermission method [In Russian]. Engineering Bulletin 7748211/552065 2013; 3: 525-542.
[4] Nasonov AV. Regularizing methods of increase in permission of images and superpermission [In Russian]. The thesis for the Candidate's degree in physical and mathematical sciences. Moscow 2011.
[5] Goshin YeV, Kotov AP, Fursov VA. Two-stage formation of a spatial transformation for image matching. Computer Optics 2016, 38(4), 886-891.
[6] Ermakov DM, Sharkov EA, Chernushich AP. Assessment of the accuracy of the interpolation scheme of satellite ra-diothermovision [In Russian]. Current Problems in Remote Sensing of the Earth from Space 2015; 12(2): 77-88.
[7] Kokoshkin AV, Korotkov VA, Korotkov KV, No-vichihin EP. A simple method of estimation of the experimental data interpolation error [In Russian]. Journal of Radio Electronics 2016; 9. Source <http://jre.cplire.ru/jre/sep16/5/text.pdf).
[8]
[9]
Gonzalez RC, Woods RE. Digital image processing. 2nd ed. published by Pearson Education, Inc, publishing as Prentice Hall. 2002. ISBN: 978-0-2011-8075-6. Sharyi SP. Course of computational methods [In Russian]. Novosibirsk: "Institute of Computational Technologies SB RAS" Publisher; 2016.
[10] Forsythe GE, Malcolm MA, Moler CB. Computer Methods for Mathematical Computations. Englewood, NJ: Prentice-Hall, Inc.; 1977.
[11] Shutko AM, Haldin A, Krapivin V, Novichikhin E, Si-dorov I, Tishchenko Yu, Haarbrink R, Georgiev G, Kancheva R, Nikolov H, Coleman T, Archer F, Pampa-loni P, Paloscia S, Krissilov A, Carmona AC. Microwave radiometry in monitoring and emergency mapping of water seepage and dangerously high groundwaters. Journal of Telecommunications and Information Technology 2007; 1: 76-82.
[12] Ivanov VA, Kirichuk VS, Kosih VP. Estimation of subpixel shift of discrete images. Optoelectronics, Instrumentation and Data Processing 2007; 43(3): 205-217. DOI: 10.3103/S8756699007030016.
[13] Gudkov SA. Metod of processing of signals of the eddy current sensor of monitoring of parameters of dispersion mediums [In Russian]. Proceedings of the Modern Technique and Technologies MTT'2012 2012: 183-184.
[14] Babak VP, Ponomarenko PV. Localization of the position of through defects on signals of an acoustic emission [In Russian]. Automatic Equipment, Automation, Electrotechnical Complexes and Systems 2007; 1: 39-46.
Authors' information
Alexander Vladimirovich Kokoshkin, (b. 1965), graduated from the Moscow Power Engineering Institute (MPEI; presently - the National Research University "MPEI") in 1989 majoring in Radio-electronic Devices. Currently he works as the senior research associate in Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotel'nikov of the Russian Academy of Sciences. Area of scientific interests: digital processing of images, methods on improvement of spatial resolution of radio images, reconstruction and recovery of images, researches of the disseminating characteristics of terrestrial covers in the millimetric range of radio waves (polarizing features, statistical characteristics of dispersion, identification of covers), recognition of objects on images. E-mail: [email protected] .
Vadim Anreevich Korotkov, (b. 1958), research associate, Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotelnikov of the Russian Academy of Sciences. Area of scientific interests: digital processing of images, methods on improvement of spatial resolution of radio images, reconstruction and recovery of images, research of the disseminating characteristics of terrestrial covers in the millimetric range of radio waves (polarizing features, statistical characteristics of dispersion, identification of covers), recognition of objects on images. E-mail: [email protected] .
Kirill Vadimovich Korotkov, (b. 1991), engineer, Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotelnikov of the Russian Academy of Sciences. Area of scientific interests: digital processing of images, methods on improvement of spatial resolution of radio images, reconstruction and recovery of images, research of the disseminating characteristics of terrestrial covers in the millimetric range of radio waves (polarizing features, statistical characteristics of dispersion, identification of covers), recognition of objects on images. E-mail: [email protected] .
Evgeny Pavlovich Novichikhin, (b. 1948), chief of laboratory, Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotelnikov of the Russian Academy of Sciences. Area of scientific interests: remote sensing, data processing, digital processing of images. E-mail: [email protected] .
Received June 10, 2016. The final version - June 1, 2017.
