CC BY
22
БЫСТРОЕ ВОССТАНОВЛЕНИЕ СМАЗАННОГО ИЗОБРАЖЕНИЯ, ПОЛУЧЕННОГО ГОРИЗОНТАЛЬНО ВРАЩАЮЩЕЙСЯ КАМЕРОЙ
А.В. Козак 1, Б.Я. Штейнберг 1, О.Б. Штейнберг 1 1 Южный федеральный университет, Институт математики, механики и компьютерных наук имени И.И. Воровича,
Ростов-на-Дону, Россия
Аннотация
В предлагаемой статье решается задача восстановления смазанного изображения, полученного горизонтально вращающейся камерой. Математической моделью данной задачи является уравнение со сверткой на циклической группе. В прежних работах авторов рассмотрен случай невырожденного уравнения. В данной статье рассматривается общий случай, допускающий вырожденность уравнения свертки. Разработан алгоритм, на основе которого написана быстрая программа восстановления смазанных таким образом изображений. Сложность представленного в данной статье алгоритма для вырожденного уравнения свертки такая же, как для невырожденного случая. Приводится анализ погрешностей вычислений, влияющих на качество изображения. Влияние погрешностей начальных данных алгоритма для вырожденного уравнения не хуже, чем для невырожденного.
Ключевые слова: оптические устройства, обработка изображений, компьютерное зрение, смазанное изображение, погрешность вычислений, свёртка.
Цитирование: Козак, А.В. Быстрое восстановление смазанного изображения, полученного горизонтально вращающейся камерой / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Компьютерная оптика. - 2018. - Т. 42, № 6. - С. 1046-1053. - DOI: 10.18287/2412-6179-2018-42-6-1046-1053.
Введение
В данной статье рассматривается восстановление смазанного изображения, получаемого вращающейся горизонтально с равномерной скоростью камерой.
Метод Люси-Ричардсона [1 - 3] восстанавливает смазанные изображения более общего происхождения, чем в данной работе, работает с матрицей общего вида и требует С-Ы2 операций, где N - количество пикселей в строке изображения, константа С пропорциональна количеству итераций, которое может иметь порядок нескольких десятков [2]. К близким работам можно отнести методы коррекции изображений в подвижных системах [4, 5]. Известно много методов фильтрации шумов и размытостей изображений, которые сводятся к решениям уравнений или вычислениям операторов типа свертки с компактным носителем (опорной областью, функцией рассеяния точки) [6], [7]. К таким же методам относятся и итерационный алгоритм Ван Циттерта [8], фильтр Винера [9] и др.
Быстрый алгоритм восстановления смазанного изображения представлен в статье [10].
Рассматриваемая в данной работе задача приводит к решению уравнения дискретной свертки на циклической группе с ядром - характеристической функции сегмента. Величина этого сегмента (длина смаза) определяется скоростью вращения камеры и может быть сопоставима с размерностью изображения, что отличает данную задачу от [6], [7]. Представленная статья продолжает исследования авторов [11 - 14], в которых был разработан быстрый алгоритм решения рассматриваемой задачи, исследовались погрешности получаемого решения (качества восстановленного изображения) в случае невырожденной матрицы дискретной свертки и была представлена зависимость числа обусловленности матрицы, получаемой СЛАУ (системой линейных ал-
гебраических уравнений) соответствующей дискретной свертки, от размерности (числа пикселей в строке изображения) и величины смаза, которая определяется скоростью вращения камеры.
Рассматриваемые в [11 - 14] алгоритмы требуют для каждой строки изображения 3Ы + 2к 2 операций, где N - количество пикселей в строке, к - величина (количество пикселей) смаза.
В данной работе рассмотрен более общий алгоритм, чем в предыдущих работах авторов [11 - 14], применимый в случае вырожденной матрицы СЛАУ, которая соответствует уравнению свертки, моделирующему смазывание изображения. Объем вычислений алгоритма при переходе к общему случаю практически не возрастает. Численные эксперименты показывают быстродействие, удовлетворяющее требованиям практически значимых современных приложений.
В предлагаемом алгоритме, как и в алгоритме [12], [14], невысокое (около 4) отношение количества вычислительных операций к количеству входных данных. В работе [15] отмечено отставание прогресса в скорости чтения данных от скорости вычислительных операций. На современных процессорах умножение чисел может быть более чем на порядок быстрее считывания аргументов этого умножения. Это означает, что распараллеливание не даст ускорения этому алгоритму, поскольку узким местом такого алгоритма является передача данных в процессор по шине из оперативной памяти. Но борьба за быстродействие этого алгоритма оправдана, поскольку со считанным в локальную (кэш) память изображением за счет сэкономленного времени можно провести другую обработку (устранение раз-мытостей, распознавание образов...).
Поскольку сложность предлагаемого в данной работе алгоритма такая же, как и в [14], данный алгоритм на порядок превосходит алгоритм [10].
Следует отметить, что метод фильтра Винера не применим к рассматриваемой в данной статье задаче, поскольку этот метод предполагает (после преобразования Фурье) деление на символ исходного оператора свертки, который в данном случае вырожден.
В работе [14] описана зависимость качества восстановления изображения (числа обусловленности матрицы модельной системы) от скорости вращения снимающей камеры и построен график такой зависимости. В данной работе получены график и формулы зависимости качества восстановленного изображения от размерности матрицы для невырожденного случая. На основании этих формул делаются оценки качества восстановленного изображения для вырожденного случая. Приводятся примеры с оценками СКО (средне квадратичного отклонения).
Математическая модель задачи восстановления смазанных цилиндрических панорам и ее особенности
Будем рассматривать идеальную ситуацию, в которой смаз на матрице цифровой камеры происходит строго горизонтально. Будем считать, что изображение равномерно сдвигается вправо относительно матрицы цифровой камеры на к пикселей. Пусть {х г }<еМшу^ - исходное изображение, которое мы будем представлять как цилиндрическую панораму разрешением ш*Ы. Тогда смазанное изображение будет вычисляться по формуле
Ун =-
4j®\
+... + x,
н® (k-1)
k
где г = 1, 2,..., т, ] = 1, 2,...,Ы, © - сложение по модулю N. Для восстановления изображения для каждой строки Хг исходного изображения необходимо решить уравнение
АХ / = кУ1 х,
где - соответствующая строка смазанного изоб-
ражения (символ т означает транспонирование),
циклическая матрица размеров N*N вида
Г1 1 ••• 1 1 0 0 0 ••• 0 01
0 1 ••• 1 1 1 0 0 ••• 0 0
0 0 ••• 1 1 1 1 1 ••• 0 0
0 0 ••• 0 1 1 1 1 ••• 0 0
A = 0 0 ••• 0 0 1 1 1 ••• 1 0
0 0 ••• 0 0 0 1 1 ••• 1 1
1 0 ••• 0 0 0 0 1 ••• 1 1
1 1 ••• 0 0 0 0 0 ••• 1 1
. 1 1 ••• 1 0 0 0 0 ••• 0 1,
.(1)
В каждой строке и каждом столбце последней матрицы содержится ровно к единиц. В работе [12] показано, что ранг матрицы А вычисляется по формуле
r = rang (A) = N - НОД(N, k) +1.
Здесь и далее будем использовать обозначение: НОД - наибольший общий делитель. Из данной формулы, в частности, вытекает, что матрица A - обратима тогда и только тогда, когда НОД (N, k) = 1.
Если матрица СЛАУ вырождена, то в силу того, что она совместна, она имеет бесконечно много решений. Это множество представляет собой некоторую гиперплоскость в N-мерном пространстве (N -количество неизвестных в системе). Все координаты вектора решений СЛАУ могут быть представлены в виде линейной комбинации (N - r) параметров (параметры общие для всех строк изображения). Если пиксель представлен /-битным словом (наиболее распространен вариант / = 8 - один байт), то среди бесконечного множества решений следует искать те, которые находятся в N-мерном кубе [0, 2/ - 1]N.
Алгоритм преобразования исходной СЛАУ
Рассмотрим СЛАУ
AX = Y (2)
с матрицей A вида (1). Предлагаемый алгоритм решения СЛАУ будет использовать только элементарные преобразования строк. При описании алгоритма будем иллюстрировать только основную матрицу системы. При этом программа, реализующая данный алгоритм, должна работать только с правой частью, поскольку преобразования основной матрицы системы известны до начала работы программы. Таким образом, используемая память программы - N чисел (правая часть системы уравнений).
Из каждого уравнения вычтем последующее, а из последнего уравнения - первое. Эта серия преобразований не равносильная. В результате получим СЛАУ
A'X = Y'
(3)
с матрицей
Г1 0 • •0 0 -1 0 0 • •0 0
0 1 • •0 0 0 -1 0 • •0 0
0 0 • •1 0 0 0 0 • •0 0
0 0 • •0 1 0 0 0 • • -1 0
A' = 0 0 • •0 0 1 0 0 • •0 -1
-1 0 • •0 0 0 1 0 • •0 0
0 -1 • •0 0 0 0 1 • •0 0
0 0 • • -1 0 0 0 0 • •1 0
. 0 0 • • 0 -1 0 0 0 • • 0 1
. (4)
Теорема 1. Ранг матрицы (4) на единицу меньше ранга матрицы (1). Если к матрице (4) добавить строку с номером N - к + 1 из (1), то получим матрицу
Л" =
1 0 • • 0 0 -1 0 0 • • 0 0
0 1 • • 0 0 0 -1 0 • • 0 0
0 0 • • 1 0 0 0 0 • • 0 0
0 0 • • 0 1 0 0 0 • • -1 0
0 0 • • 0 0 1 0 0 • • 0 -1
-1 0 • • 0 0 0 1 0 • • 0 0
0 -1 • • 0 0 0 0 1 • • 0 0
0 0 • • -1 0 0 0 0 • • 1 0
0 0 • • 0 -1 0 0 0 • • 0 1
0 0 • • 0 0 0 1 1 • • 1 1
(5)
размером (N + 1)*N с рангом, равным рангу матрицы (1) (см. [11]).
Очевидно, что СЛАУ Л"Х = H, где правая часть H имеет вид H = (yi,y2,•••,y'N,yN_i+1)T, равносильна
СЛАУ (2).
Сведение задачи восстановления изображений с вырожденной СЛАУ к решению параметризованных задач с невырожденной СЛАУ
Рассмотрим случай, в котором числа N и к не являются взаимно простыми. Пусть d = НОД (N, к). Тогда СЛАУ (3) распадается на d независимых СЛАУ. Для каждого j = 0, 1,., (d - 1) в уравнения с номерами i = 0, 1,., N, для которых i = j (mod N), входят только переменные с такими же номерами i = j (mod N), причем эти переменные не входят ни в какие другие уравнения. Получается d СЛАУ вида (2) с одинаковыми матрицами размера N/ d, у которых ненулевые элементы «1» и «- 1» стоят в столбцах, номера которых отличаются на величину к/d(mod N /d). Поскольку числа N/ d и к/d взаимно простые, то ранг этой матрицы равен (N/ d - 1). Если добавить к этой матрице строку, у которой первые (N/ d - к/ d) элементов нули, а последние к/ d единицы, то получится матрица ранга N / d.
Введем массив параметров Qj, j = 0, 1,., (d - 1), которыми обозначим частичные суммы переменных
XN -к+1 + XN-к+1+d + XN- к+1+2d + + XN-d+1 = Q1, XN-к+2 + XN-к +2+d + XN-к+2+2d + + XN-d+2 = Q2 ,
(6)
ХИ-к+d + ХИ-к+2d + XN - к+3d + + XN = Qd .
Из равенств (6) и последнего уравнения СЛАУ с матрицей (5) вытекает, что все d параметров связываются одним уравнением
Q1 + Q2 +•••+Qd-1 + Qd = Hn+1,
где Hn + 1 = Yn-к + 1. Теперь для каждого j = 0, 1,..., (d - 1) сгруппируем уравнения с номерами i = 0, 1,., N, для которых i =j (mod N), в одну подсистему и припишем к ней j-е уравнение из (6)
ХЫ-к+] + ХЫ-к+]+d + ХЫ—к+]+2d + + ХЫ-d+> _ 0,] . (7)
Полученная подсистема с параметром обратима, так как НОД (Ы/ d, к/ d) = 1. Для всех ] = 0, 1,., ^ - 1) матрицы подсистем одинаковы, отличия только в правой части и имени параметра. Таким образом, все подсистемы можно решать одновременно с одной матрицей и многими различными правыми частями.
Пример восстановления смазанного изображения в случае вырожденной модельной матрицы
Проиллюстрируем изложенные выше соображения на примере N = 10, к = 4. Для данного примера d=НОД(Ы, к) = 2. Система уравнений (3) принимает вид
Х1 — Х5 = Н1 , Х6 — Х10 = Н6 ,
Х2 Хб — 2 , Х! + Х7 — Н7 ,
Х3 Х7 — ^Н з , Х2 + Хв — ^Н 8 ,
Х4 Xg — H 4 ,
Х3 + X9 — H 9 ,
Х5 Х9 — Н5, Х4 + Хю — Ню.
Эта система распадается на две независимых системы по пять уравнений с пятью неизвестными: одна состоит из уравнений с нечетными номерами и нечетными переменными, а другая - с четными. При переходе к СЛАУ с матрицей (5) к этим системам добавляется еще одно уравнение
Х7 + Хв + Х9 + Хю — Нц .
Это уравнение можно заменить тремя уравнениями, введя две новые переменные О1 и 02:
Х7 + Х9 — °1,
< Х8 + Х10 — 02 , ,01 + 02 — Н„.
Теперь СЛАУ с матрицей (3) для рассматриваемого примера (Ы = 10, к = 4) можно представить следующим образом:
Х\ Х5 — -Н \,
Х3 Х7 — Н3 ,
Х5 Х9 — Н5 ,
—Х1 + Х7 — Н7,
(8)
Х3 + Х9 — Н 9 , Х7 + Х9 — 01.
Х2 — Х6 — Н2 , Х4 Хв — Н 4 , Х6 — Х10 — Н6 , —Х2 + Х8 — Н8 , —Х4 + Хю — Н10 , ^ Х8 + Х10 — 02 . Здесь О1+ О2 = Ни.
Матрицы обеих подсистем (6) и (7) одинаковы, а правые части имеют вид
(9)
(Н1, Н3, Н5, Н7, Н9,0)х + (0,0,0,0,0,е1)х
(Н2, Н4, Н6, Н8, Н10,0)х + (0,0,0,0,0, е2)х.
Каждая из двух подсистем обратима относительно входящих в нее пяти координат вектора X, но имеет параметр Ql или Q2 соответственно. Систему (6) можно решать алгоритмом, описанным в [14], но с двумя правыми частями (Н1, Нз, Н5, Н9, 0)х и (0, 0, 0, 0, 0, Ql)х. Систему (7) можно решать аналогично. Очевидно, что решения обеих систем со второй правой частью будут одинаковы. Решение системы (6) с правой частью (0, 0, 0, 0, 0, Ql)х нетрудно найти, оно равно (1/2) ^1, Ql, Ql, Ql, Ql, Ql), что легко проверяется.
Общее решение СЛАУ будет получено в виде:
Х = Д -
Хз = Яз
Х5 = Я5
Х7 = Я7
Х9 = Я9
а 2 , Х2 : = Я2 + & 2 ,
2 , Х4 = Я4 + 2 ,
2 , Х6 = Я6 + 2 ,
2 , Х8 = Я + .92. 2 ,
2 , Х10 = Я10 +& 2
где
Ql + Q2 = Н11.
Частное решение задачи восстановления изображений с вырожденной СЛАУ
Все решения рассматриваемой СЛАУ описываются параметрами Ql, Q2,...,Qd 1, Qd, которые связаны соотношением
Ql + Q2 + ••• + Qd-l + Qd = Н N+1.
В данной работе (эвристически) рассмотрены значения параметров
Ql = Q2 =••• = Qd-1 = Qd =
Нк
d
Такая фиксация параметров приводит к достаточно качественным восстановлениям изображений, которые представлены на следующих рисунках.
На рис. 1 представлено исходное изображение. На рис. 2 приведено смазанное изображение. Далее будем приводить только восстановленные изображения при разных величинах смаза.
На рис. 3 - 8 представлены восстановленные изображения при различных величинах смаза.
Из представленных на рисунках восстановленных изображений видно, что с увеличением наибольшего общего делителя НОД (^ к) качество восстановления изображения снижается, но для разумных значений параметров остается приемлемым.
Рис. 1. Исходное изображение. Количество пикселей в строке N = 720
Рис. 2. Изображение, смазанное на 43 пикселя
Рис. 3. Величина смаза к = 43. НОД(720, 43) = 1 '^"^¿мтт*......' ЦрБбк* .
Рис. 4. Величина смаза к = 86. НОД(720, 86) = 2
Рис. 5. Величина смаза к = 8. НОД(720, 8) = 8
Рис. 6. Величина смаза к = 24. НОД(720, 24) = 24
и
Рис. 7. Величина смаза к = 90. НОД(720, 90) = 90
Рис. 8. Величина смаза к = 120. НОД(720, 120) = 120
Оценки погрешностей при получении рассматриваемого частного решения задачи восстановления изображений с вырожденной СЛАУ Качество восстановления изображения зависит от погрешностей при решении СЛАУ, моделирующей смазанное изображение. Эти погрешности в значительной степени определяются числом обусловленности матрицы СЛАУ. В прежней работе авторов [14] (случай невырожденной СЛАУ) показан график зависимости числа обусловленности матрицы СЛАУ от величины смаза к при фиксированной размерности матрицы. В данном параграфе приведем анализ и графики зависимости числа обусловленности матрицы (1) от размерности матрицы при фиксированной величине смаза к.
Предположим, что условие обратимости матрицы выполнено, и найдем ее число обусловленности Cond(A) = ||A||-||A-1||. Под нормой матрицы будем понимать норму оператора умножения на эту матрицу, индуцированную евклидовой нормой.
Теорема 2. Число обусловленности матрицы A находится по формуле
1 + 8^ + 8^2 +• • • + 8^k+11 Cond (A) = max^-\,
г', j 1 + 8 j +8^2 +• • • + 8ук+1
где 8i, 8j - комплексные корни степени N из единицы.
Доказательство. Так как преобразование Фурье изометрическое, то
\\A\\ = |F 1 AFI = |\diag(VХь•••,Xn-1)||:
= max
A || = I\F 1A1 = I\diag (X-1, X-1, •X -
= max
M
min
где Хг- - собственные числа матрицы А, которые становятся диагональными элементами после преобразования Фурье. Отсюда
Cond (A) = maxp-4- = max
|1-
M I1+8-1+s-2+■
• + S,
Теорема доказана.
Расчеты показывают, что число обусловленности существенно зависит от соотношения между N и к. Для N=hm + l число обусловленности растет линейно по m при фиксированном l = 1, 2, ..., к - 1. График зависимости Cond(A) от N при к = 17 показан на рис. 9.
У\
9000 8000 7000 6000 5000 4000 3000 2000 1000
О 200 400 600 800 1000 1200 1400 1600
Рис. 9. График зависимости числа обусловленности от ширины изображения при величине смаза, равной 17
Таким образом, поскольку решение вырожденной СЛАУ размерности N сводится к решению N/ d независимых невырожденных СЛАУ, можно сделать вывод о том, что погрешности при вычислении рассматриваемого частного решения вырожденной СЛАУ оцениваются меньшей величиной (в d раз), чем для невырожденной СЛАУ той же размерности. График зависимости погрешности (среднеквадратичное отклонение восстановленного изображения от исходного) от величины смаза показан на рис. 10.
УЬ
1.4624Е9
Ряд1
illii.J-.IL]ч.ь ...iJ
LuLL.
-I..L J Li..
Ли
1.4622Е9 1.4620Е9 1.4618Е9 1.4616Е9 1.4614Е9
1.4612Е9
0 100 200 300 400 500 600 х
Рис. 10. График зависимости СКО от величины смаза при фиксированном количестве пикселей в строке N = 720
Отклонение восстановленного отображения от исходного эталона состоит из двух слагаемых:
1) Отклонение, вызванное ростом погрешности начальных данных. Это отклонение ограничено погрешностью начальных данных умноженной на число обусловленности матрицы СЛАУ. Погрешность начальных данных зависит от количества бит для хранения пикселя.
2) Отклонение, вызванное выбором конкретного
решения из линейного многообразия решений.
Всплески на графике находятся в точках, для кото-
рых величина НОД N к) имеет большое значение и,
следовательно, размерность многообразия решений
велика.
Заключение
В данной статье, которая является развитием предшествующих работ, рассматривается проблема построения быстрого алгоритма восстановления смазанных изображений с оценками качества восстановления. Авторам видится следующий путь к решению этой проблемы: сначала получить решение проблемы в простых частных случаях, а затем более сложные задачи сводить к изученным простым. В данной статье сделан очередной шаг на этом пути: получен быстрый алгоритм восстановления изображения, смазанного при горизонтально вращающейся камере, в случае вырожденной системы уравнений математической модели; получены оценки качества восстановленных изображений.
Литература
1. Lucy, L.B. An iterative technique for the rectification of observed distributions / L.B. Lucy // The Astronomical Journal. -1974. - Vol. 79. - P. 745. - DOI: 10.1086/111605.
2. Richardson, W.H. Bayesian-based iterative method of image restoration / W.H. Richardson // Journal of the Optical Society of America. - 1972. - Vol. 62, Issue 1. - P. 55-59. -DOI: 10.1364/JOSA.62.000055.
3. Whyte, O. Non-uniform deblurring for shaken images / O. Whyte, J. Sivic, A. Zisserman, J. Ponce // International Journal of Computer Vision. - 2012. - Vol. 98, Issue 2. -P. 168-186. - DOI: 10.1007/s11263-011-0502-7.
4. Корнилова, А. MEMS-датчики в задачах компьютерного зрения: мы их просто недооцениваем [Электронный ресурс] / А. Корнилова, Я. Кириленко // Международная конференция по программной инженерии CEE-SECR '17. - URL: http://2017.secr.ru/program/submitted-presentations/mems-sensors-in-computer-vision (дата обращения 8.11.2018).
5. Фурсов, В.А. Интернет-технология коррекции динамических искажений на изображениях в мобильных устройствах [Электронный ресурс] / В.А. Фурсов, П.Ю. Якимов. - 2017. - URL: http://keldysh.ru/abrau/2017/09.pdf (дата обращения 8.11.2018). DOI: 10.20948/abrau-2017-09.
6. Фурсов, В.А. Восстановление изображений КИХ-фильтрами, построенными путём непосредственной идентификации инверсного тракта // Компьютерная оптика. - 1996. - № 16. - C. 103-108.
7. Дронникова, С.А. Улучшение качества изображений при обработке видеокадров с различным временем экс-
позиции / С.А. Дронникова, И.П. Гуров // Научно-технический вестник информационных технологий, механики и оптики. - 2017. - Т. 17, № 3. - С. 424-430. -DOI: 10.17586/2226-1494-2017-17-3-424-430.
8. Гуров, И.П. Улучшение качества изображений методом Ван Циттерта / И.П. Гуров, Д.С. Смирнов // Научно-технический вестник Санкт-Петербургского государственного института точной механики и оптики (технического университета). Информационные технологии, вычислительные и управляющие системы. - 2002. -Вып. 6. - С. 178-182.
9. Грузман, И. С. Цифровая обработка изображений в информационных системах : учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спек-тор. - Новосибирск: Изд-во НГТУ, 2000. - 168 с.
10. Cho, S. Fast motion deblurring / S. Cho, S. Lee // ACM Transactions on Graphics. - 2009. - Vol. 28, Issue 5. - 145.
- DOI: 10.1145/1618452.1618491.
11. Козак, А.В. Уравнение дискретной свёртки с характеристической функцией сегмента и его приложение / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг. - В кн.: Труды научной школы И.Б. Симоненко. Выпуск второй.
- Ростов-на-Дону: Изд-во Южного федерального университета, 2015. - С. 157-167.
12. Козак, А. В. Оценка погрешностей при решении уравнения свёртки для восстановления смазанных изображений / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Тезисы международной конференции «Современные методы и проблемы теории операторов и гармонического анализа и их приложения VI», г. Ростов-на-Дону, 2429 апреля 2016 г. - 2016.
13. Козак, А.В. Развитие исследований быстрого восстановления смазанного изображения / А. В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Тезисы международной конференции «Современные методы и проблемы теории операторов и гармонического анализа и их приложения VII», г. Ростов-на-Дону, 23-28 апреля 2017 г.
- 2017. - C. 28-29.
14. Козак, А.В. Быстрое и точное восстановление смазанного изображения, полученного вращающейся камерой / А.В. Козак, Б.Я. Штейнберг, О.Б. Штейнберг // Труды Международной конференции по программной инженерии CEE-SECR '16. - 2016. - 11.
15. Graham, S.L. Getting up to speed: The future of supercomputing / S.L. Graham, M. Snir, C.A. Patterson. - Washington: National Academies Press, 2005. - 289 p. - ISBN: 978-0-309-09502-0.
Сведения об авторах
Козак Анатолий Всеволодович, 1950 года рождения, в 1971 году окончил Ростовский государственный университет (РГУ, ныне - Южный федеральный университет) по специальности «Математика», работает доцентом кафедры алгебры и дискретной математики Южного федерального университета. Область научных интересов: операторы типа свертки, обработка графических изображений. E-mail: [email protected] .
Штейнберг Борис Яковлевич, 1953 года рождения, в 1975 году окончил Ростовский государственный университет (РГУ, ныне - Южный федеральный университет) по специальности «Математика», работает заведующим кафедрой алгебры и дискретной математики Южного федерального университета. Область научных интересов: высокопроизводительные вычисления, свертки, компиляторы. E-mail: [email protected] .
Штейнберг Олег Борисович, 1982 года рождения, в 2004 году окончил Ростовский государственный университет (РГУ, ныне - Южный федеральный университет) по специальности «Прикладная математика», работает старшим научным сотрудником в Южном федеральном университете. Область научных интересов: компьютерная оптика, обработка изображений, быстрые алгоритмы, параллельные вычисления. E-mail: [email protected] .
ГРНТИ: 28.23.15.
Поступила в редакцию 15 марта 2018 г. Окончательный вариант - 20 октября 2018 г.
FAST RESTORATION OF A BLURRED IMAGE OBTAINED BY A HORIZONTALLY ROTATING CAMERA
A.V. Kozak1, B. Y. Steinberg1, O.B. Steinberg1
1 Southern Federal University, Rostov-on-Don, Russia
Abstract
A problem of restoration of a blurred image obtained by a horizontally rotating camera is considered in this paper. The mathematical model of this problem is the convolution equation on a cyclic group. In the previous papers of the authors, the case of a non-singular equation was considered. The general case that admits the degeneracy of the convolution equation is considered in this paper. An algorithm is developed based on which a fast program for recovering blurred images is written. The complexity of the algorithm presented in this paper for the degenerate convolution equation is the same as for the non-singular case. The analysis of calculation errors affecting the image quality is given. The influence of the errors of the algorithm's initial data for a degenerate equation is not higher than for a non-singular case.
Keywords: optical devices, image processing, machine vision, blurred image, computation errors, and convolution.
Citation: Kozak AV, Steinberg BY, Steinberg OB. Fast restoration of a blurred image obtained by a horizontally rotating camera. Computer Optics 2018; 42(6): 1046-1053. DOI: 10.18287/24126179-2018-42-6-1046-1053.
References
[1] Lucy LB. An iterative technique for the rectification of observed distributions. The Astronomical Journal 1974; 79: 745. DOI: 10.1086/111605.
[2] Richardson WH. Bayesian-based iterative method of image restoration. J Opt Soc Am 1972; 62(1): 55-59. DOI: 10.1364/JOSA.62.000055.
[3] Whyte O, Sivic J, Zisserman A, Ponce J. Non-uniform deblurring for shaken images. Int J Comput Vis 2012; 98(2): 168-186. DOI: 10.1007/s11263-011-0502-7.
[4] Kornilova A, Kirilenko Ia. MEMS-sensors in Computer Vision: we underestimate them. Software Engineering Conference Russia CEE-SECR '17. Source: (http://2017.secr.ru/program/submitted-presentations/mems-sensors-in-computer-vision).
[5] Fursov VA, Yakimov PYu. Internet technology for correcting dynamic distortions on images in mobile devices. 2017. Source: (http://keldysh.ru/abrau/2017/09.pdf). DOI: 10.20948/abrau-2017-09.
[6] Fursov VA. Restoration of images by FIR-filters constructed by direct identification of the inverse tract. Computer Optics 1996; 16: 103-108.
[7] Dronnikova SA, Gurov IP. Image quality enhancement by processing of video frames with different exposure time. Scientific and Technical Journal of Information Technologies, Mechanics and Optics 2017; 17(3): 424-430. DOI: 10.17586/2226-1494-2017-17-3-424-430.
[8] Gurov IP, Smirnov DS. Improving the quality of images by the method of Van Zittert. Sci Tech J Inf Technol Mech Opt 2002; 6: 178-182.
[9] Gruzman IS, Kirichuk BC, Kosykh VP, Peretyagin GI, Spektor AA. Digital processing of images in information systems. Novosibirsk: Publishing house of NSTU; 2000.
[10] Cho S, Lee S. Fast motion deblurring. ACM Transactions on Graphics 2009; 28(5): 145. DOI: 10.1145/1618452.1618491.
[11] Kozak AV, Steinberg BY, Steinberg OB. The discrete convolution equation with the characteristic function of a segment and its application. In Book: Transactions of Scientific School of I.B. Simonenko. Issue 2. Rostov-on-Don: Publishing House of the Southern Federal University; 2015: 157-167.
[12] Kozak AV, Steinberg BY, Steinberg OB. Estimation of errors in solving the convolution equation for reconstructing blurred images. Abstracts of the International Conference «Modern Methods, Problems and Applications of Operator Theory and Harmonic Analysis VI», Rostov-on-Don. 2016.
[13] Kozak AV, Steinberg BY, Steinberg OB. Development of studies on the fast reconstruction of a blurred image. Abstracts of the international conference «Modern methods, problems and applications of operator theory and harmonic analysis VII», Rostov-on-Don, April 23-28 2017: 28-29.
[14] Kozak AV, Steinberg BY, Steinberg OB. Fast and accurate restoration of blurred image obtained by rotating the camera. Proceedings of the 12th Central and Eastern European Software Engineering Conference in Russia CEE-SECR '16. 2016: 11. DOI: 10.1145/3022211.3022222.
[15] Graham SL, Snir M, Patterson CA. Getting up to speed: The future of supercomputing. Washington: National Academies Press, 2005. ISBN: 978-0-309-09502-0.
Authors' information
Anatoly Vsevolodovich Kozak (b. 1950) graduated from Rostov State University in 1971 (presently, Southern Federal University, short - SFEDU), majoring in «Mathematics». Currently he works as the associated professor of Algebra and Discrete Mathematics department. Research interests are convolution type operators, image processing. E-mail: [email protected] .
Boris Yakovlevich Steinberg (b. 1953) graduated from Rostov State University in 1975 (presently, Southern Federal University, short - SFEDU), majoring in «Mathematics». Currently he works as the head of Algebra and Discrete Mathematics chair. Research interests are high-performance computing, convolution, compilers. E-mail: [email protected] .
Oleg Borisovich Steinberg (b. 1982) graduated from Rostov State University in 2004 (presently, Southern Federal University, short - SFEDU), majoring in «Applied Mathematic». Currently he works as the senior researcher of Algebra and Discrete Mathematics department. Research interests are computer optics, image processing, fast algorithms, parallel computing. E-mail: [email protected] .
Received March 15, 2018. The final version - October 20, 2018.
