CC BY
13
Синтез ядра вращательного смаза в цифровом изображении с использованием измерений трехосного гироскопа
Н.Н. Василюк1
1 ООО «Электрооптика», 107076, Россия, г. Москва, ул. Стромынка, д. 18, к. 1
Аннотация
Предложен метод вычисления ядра смаза, возникающего при вращении цифровой камеры. Вращение измеряется трёхосным гироскопом, скреплённым с камерой. Получены дифференциальные уравнения траектории вращательного смаза, исходящей из выбранного пикселя цифрового изображения. Уравнения записаны в фокальной плоскости объектива без вычисления промежуточных элементов внешнего ориентирования камеры. Приведено выражение для интеграла от энергетической освещённости вдоль траектории смаза, создаваемой точечным источником излучения. В интеграле учитываются функция рассеяния объектива и апертурные функции отдельных фоточувствительных ячеек матричного фотоприёмника. Расчёт значений интеграла для всех фоточувствительных ячеек, освещённых точечным источником, даёт дискретное ядро вращательного смаза, начинающееся в выбранным пикселе цифрового изображения. Описаны алгоритмы численного интегрирования полученных уравнений. Выполнен анализ уравнения смаза, выделены характерные особенности ядер, и показана их неоднородность - ядра вращательного смаза для различных пикселей при произвольном вращении камеры не совпадают между собой. Приведён пример синтеза ядер смаза для заданных параметров вращения цифровой камеры.
Ключевые слова: ядро смаза, коррекция смаза, вращательный смаз, гироскоп, согласованный фильтр.
Цитирование: Василюк, Н.Н. Синтез ядра вращательного смаза в цифровом изображении с использованием измерений трехосного гироскопа / Н.Н. Василюк // Компьютерная оптика. -2022. - Т. 46, № 5. - С. 763-773. - DOI: 10.18287/2412-6179-CO-1081.
Citation: Vasilyuk NN. Synthesis of the rotational blur kernel in a digital image using measurements of a triaxial gyroscope. Computer Optics 2022; 46(5): 763-773. DOI: 10.18287/2412-6179-CO-1081.
Введение
Цифровая камера представляет собой единую конструкцию, состоящую из объектива и полупроводникового матричного фотоприёмника (МФП) c электронной схемой считывания. Объектив строит оптическое изображение пространства предметов на фоточувствительной поверхности МФП, размещённой в фокальной плоскости. МФП состоит из дискретных фоточувствительных ячеек одинакового размера и формы. Каждая ячейка участвует в пространственной дискретизации оптического изображения, преобразуя падающий на неё поток излучения в поток фотоэлектронов. Фотоэлектроны накапливаются внутри зарядовой ёмкости ячейки в течение времени экспозиции, по завершении которого накопленный заряд подвергается аналого-цифровому преобразованию. Цифровые коды выносятся из МФП через схему считывания и выстраиваются в виде двумерной числовой матрицы, которая называется цифровым изображением или растром. Элементы растра называются пикселями. Особенности схемотехнических решений МФП, обеспечивающих преобразование заряда в цифровой код, в данной работе не рассматриваются.
Если оптическое изображение пространства предметов неподвижно относительно поверхности МФП, то каждая фоточувствительная ячейка выделяет толь-
ко один дискретный элемент оптического изображения. В этом случае цифровое изображение формируется в соответствии с характеристиками резкости и разрешения, достигнутыми при изготовлении цифровой камеры. Такое цифровое изображение называется статическим. Движущееся оптическое изображение перемещается относительно неподвижных ячеек МФП. Если величина перемещений, совершённых за время экспозиции, больше размера ячейки, то один и тот же элемент оптического изображения будет присутствовать в двух и более пикселях цифрового изображения. Искажения такого рода, присутствующие в цифровом изображении, полученном из подвижного оптического изображения, называются смазом. Смаз ухудшает разрешение цифрового изображения и затрудняет определение координат его характерных точек [1].
Общий подход к коррекции смаза состоит в нахождении так называемого ядра смаза - дискретной функции, которая сворачивается со статическим изображением и превращает его в «смазанное». Если результатом коррекции является восстановление художественных качеств цифрового изображения, то вычисляется «обратная свертка» смазанного изображения с ядром смаза, которая даёт новое изображение, близкое к статическому в смысле заданного критерия качества [2 - 6]. Если цифровое изображение нужно только для обнаружения точечных объектов и
измерения их координат и к нему не предъявляются художественные требования, то коррекция смаза сводится к локальному улучшению резкости изображения, без устранения смаза в целом. Этот тип коррекции может быть выполнен методами согласованной фильтрации, в которых неоднородная импульсная реакция корректирующего фильтра строится непосредственно из ядра смаза, без вычисления обратной свертки [7, 8].
Движение оптического изображения в плоскости МФП возникает при перемещении объектов пространства предметов относительно поля зрения камеры. Относительные перемещения могут быть вызваны как движениями объектов относительно камеры, так и собственными поворотами и перемещениями камеры. Для вычисления ядра смаза необходимо получить информацию о перемещении оптического изображения относительно плоскости МФП во время экспозиции. Если движущееся оптическое изображение насыщено сложными структурными элементами, то ядро смаза можно получить в результате цифровой обработки смазанного изображения [9 - 11]. Для этого не требуется никакой дополнительной информации о структуре движения.
Если смазанное изображение зашумлено или содержит мало структурных элементов, то выделить ядро смаза из самого изображения не удаётся и приходится привлекать информацию о движении от других источников. Параметры движения наблюдаемого объекта относительно камеры могут быть получены из автоматического сопровождения цифрового изображения этого объекта [12, 13]. Параметры собственного движения камеры относительно пространства предметов могут быть измерены непосредственно, если камера скреплена с какой-либо навигационной системой, измеряющей вектор скорости и ориентацию камеры [14, 15]. Собственное движение камеры можно разложить на поступательное перемещение её проективного центра и на вращение камеры вокруг этого центра. Для определённости будем называть смаз, возникающий при обоих типах движения камеры, смазом общего вида. Если поступательное перемещение проективного центра камеры за время экспозиции таково, что угловое перемещение наблюдаемой сцены меньше углового размера фоточувствительной ячейки, то поступательным движением камеры можно пренебречь. В этой ситуации причиной смаза будут только повороты камеры во время экспозиции, которые могут быть вычислены из измерений трёхосного гироскопа - векторного датчика угловой скорости, встроенного в конструкцию камеры [16 - 19].
Подавляющее большинство опубликованных методов коррекции смаза используют измерения инерциальных датчиков для восстановления художественных качеств смазанного изображения [18 - 24]. В этих методах ядро смаза вычисляется не в форме свёрточного, а в форме матричного оператора, дей-
ствующего на статическое изображение в целом и превращающего его в смазанное. Матричный оператор необратим, поэтому обратное преобразование представляет собой некорректную оптимизационную задачу, которая восстанавливает изображение, близкое к статическому в смысле заданной меры качества и регуляризации. Для вычисления матричного оператора смаза общего вида требуется полное решение задачи инерциальной навигации внутри интервала экспозиции: должны быть вычислены траектория поступательного движения проективного центра и приращение ориентации камеры. Для коррекции вращательного смаза достаточно вычислить только приращение ориентации. Такие методы не предназначены для реализации в реальном масштабе времени и используются для восстановления смазанных изображений в постобработке.
В данной работе рассматривается алгоритм синтеза свёрточного ядра вращательного смаза, который может быть реализован в реальном времени. Ядро синтезируется для каждого пикселя смазанного изображения в отдельности. Характерной особенностью алгоритма является использование дифференциального уравнения траектории смаза, записанного исключительно в плоскости изображения, без явного выхода в трёхмерное пространство. Вращение камеры измеряется гироскопом в виде отсчётов вектора угловой скорости или вектора малого поворота. Промежуточного вычисления приращения ориентации камеры не требуется - интегрирование уравнений ориентации камеры заменяется интегрированием уравнения траектории смаза. На каждую траекторию накладываются дискретизированные изображения функции рассеяния точки (ФРТ) объектива. После сложения всех ФРТ вдоль траектории получается дискретное ядро смаза для выбранного пикселя. При синтезе ядра смаза естественным образом учитывается различие траекторий смаза для различных пикселей - ядро смаза оказывается неоднородным по растру. Описанный алгоритм синтеза неоднородного ядра вращательного смаза может быть использован как в задачах обнаружения слабосветящихся точечных объектов, так и в более общих задачах коррекции цифровых изображений.
1. Системы координат цифровой камеры и преобразования между ними
Растр содержит H строк и W столбцов, направления которых совпадают с одноимёнными направлениями сетки фоточувствительных ячеек МФП. Нумерация строк и столбцов в растре совпадает с нумерацией строк и столбцов в МФП и выполняется от начального элемента - левого верхнего пикселя растра или левой верхней ячейки МФП соответственно. Строки нумеруются сверху вниз, столбцы - слева направо. Положение каждого пикселя внутри растра задаётся парой целочисленных индексов (h, w), кото-
рые называются растровыми координатами пикселя, где h = 0...H-1 - номер строки, w = 0...W-1 - номер столбца, в которых расположен пиксель. Начальный пиксель имеет растровые координаты (0, 0).
В качестве геометрической модели цифровой камеры используется модель камеры-обскуры, которая строит изображение пространства предметов в фокальной плоскости объектива по правилам центрального проектирования (рис. 1). Проективным центром камеры является задняя узловая точка S объектива. Фоточувствительная поверхность МФП размещается в фокальной плоскости объектива. Ориентация камеры относительно пространства предметов задаётся при помощи системы координат камеры (СКК).
Рис. 1. Взаимное расположение систем координат камеры, МФП и характерных точек объектива. Начальный элемент - ячейка с индексами (0, 0) выделена серым цветом
Начало O СКК расположено в точке с растровыми координатами (hO, wO) пресечения оптической оси объектива и плоскости МФП и совпадает с задним фокусом объектива. Оси хскк и ускк лежат в плоскости МФП и направлены вдоль столбцов и строк МФП соответственно, в стороны увеличения растровых координат. Ось zckk направлена вдоль оптической оси объектива в сторону пространства предметов. Геометрическим изображением удалённого точечного источника света Z является точка Z’ пересечения прямой ZS с фокальной плоскостью объектива.
Фоточувствительные ячейки в МФП предполагаются квадратными с длиной стороны а. Геометрическое изображение точечного источника может располагаться в любом месте ячейки, поэтому растровые координаты такого изображения задаются дробными значениями в долях пикселя. Точка внутри физической фотоприёмной ячейки, которой соответствуют целочисленные индексы пикселя в цифровом изображении, выбирается произвольно, исходя из удобства решения конкретной задачи. Здесь выбран вариант, в котором целочисленные индексы соответствуют левому верхнему углу ячейки. Ширина зазора между фоточувствительными ячейками считается пренебрежимо малой и в расчётах не учитывается.
Направление на удалённый источник Z относительно камеры задаётся единичным направляющим вектором s , лежащим на прямой ZS. В СКК этот вектор представляется столбцом своих координат
s = [sx Sy sz]T. Направление, задаваемое вектором s, проектируется объективом камеры в точку Z’, положение которой задаётся вектором p, лежащим в плоскости МФП. Начало вектора p лежит в точке O, конец - в точке Z’. Этот вектор полностью определяется двумя координатами p = [x y]T относительно осей xcck и усск, которые называются векторными координатами геометрического изображения Z’ точечного источника Z:
x = F sx = F sx
'с'Г'
Sz 1
1
_ у _ _sy _ 1 _ sy _
(1)
где F = OS - фокусное расстояние объектива. Для выражения (1) существует обратное - если в плоскости МФП задана точка с векторными координатами p, то ей соответствует направляющий вектор в пространстве предметов
s =
1
7pt p+f 2
-p
F
(2)
Векторные и растровые координаты точки связаны соотношениями
p = а
" h hO " h" p hO
, = +
w - wo _ w а w _
Точка с векторными координатами p попадает в пиксель с растровыми координатами
" h" ( ■ ho Î
= floor p +
w la _ wo X
где floor (x) - функция округления к - да.
Параметры F, hO, wo, объединённые с параметрами ориентации растра относительно СКК и коэффициентами дисторсии объектива, обычно называются элементами внутреннего ориентирования камеры. Для выбранного способа определения СКК направления одноимённых (первой и второй) осей растровых и векторных координат совпадают, поэтому их взаимная ориентация описывается единичной матрицей. Дисторсия объектива, согласно принятой модели камеры-обскуры, в работе явно не учитывается. То есть она либо пренебрежимо мала, либо может быть устранена вычислительным способом.
Выберем правую ортогональную инерциальную систему координат (ИСК), оси которой совпадают с осями СКК в момент /э начала экспозиции очередного кадра. В момент времени /є[/з, /э+Тэ], где Тэ -время экспозиции, ориентация СКК относительно ИСК задаётся ортогональной матрицей
s11 s12 s13
СИСК ИСК s23
^СКК СКК _ s21 s22
s31 s32 s33
называемой также матрицей внешнего ориентирования камеры. Здесь sp - коэффициент матрицы SS, расположенный в строке i = 1.. .3 и в столбце j = 1.. .3. Элементами внешнего ориентирования камеры называются параметры, однозначно описывающие её ориентацию: коэффициенты Sip, коэффициенты кватерниона ориентации, компоненты вектора конечного поворота и т.д. Все перечисленные типы элементов внешнего ориентирования связаны между собой взаимно однозначными соответствиями. В данной работе в качестве элементов внешнего ориентирования используются только коэффициенты Sp.
Верхние и нижние символы в записи S ИСК указывают на направление преобразования координатного вектор-столбца. Например, если один и тот же вектор r задан вектор-столбцами своих координат Гиск и Гскк = г в ИСК и в СКК, то г = SgCK^CK. Из курсов механики известны дифференциальные уравнения для компонент матрицы S ИСК с начальным условием S ИСК (t3) = I3 (точкой обозначено дифференцирование по времени):
S ИСК = -[ωχ] S ИСК, (3)
и для компонент вектора s с начальным условием 8(/э) = so:
s = -ω xs = -[ωχ] s, (4)
где In - единичная матрица размера n*n; ω ^[ωχ ωγ ωζ]τ - компоненты вектора угловой скорости камеры в СКК; [ωχ] - кососимметричная матрица, составленная из компонент левого вектора в координатной записи векторного произведения,
0 -ωζ Oy
ωζ 0 -ω.
-ffly ωχ 0
2. Дифференциальное уравнение траектории смаза
Если камера поворачивается во время экспозиции, то геометрическое изображение Z’ неподвижной точки Z описывает некоторую траекторию в плоскости МФП, которая называется траекторией вращательного смаза. Рассмотрим траекторию, которая в момент времени /Э начинается в точке с векторными координатами p0 = [x0 y0]T. Этой точке соответствует постоянный направляющий вектор s , указывающий на неподвижную точку в пространстве предметов. Координаты вектора s относительно СКК в момент времени /Э вычисляются согласно (2)
so =
1
-y/pipo + F2
-Po
F
[-xo -yo f]T
(xo2 + yo2 + F2)1/2 .
В момент времени t ^ tэ на точку Z будет указывать тот же самый вектор s , но с новыми координатами
s = SИ
э — кЭс
-1
(xo2 + yo2 + F 2)1/2
xo s„ + yo % - Fsu xo s21 + yo s22 - Fs23 .
x0s31 + y0s32 - Fs33
Подстановка новых координат s в (1) даёт векторные координаты ξ = [ξ ξγ]τ позиции, в которую переместится изображение Z’ неподвижной точки Z в момент t > fe
F xos11 + ypŞ12 - Fsi3
x0s31 + y0s32 - Fs33 F x0s21 + y0s22 - Fs23 x0s31 + y0s32 - Fs33
(5)
Траекторию смаза, начинающуюся в произвольной точке po плоскости изображения, можно выразить двумя способами. Обычный способ основан на промежуточном вычислении матрицы пространственной ориентации камеры на момент времени /е[/э, tэ+Tэ]. Для этого решается матричное дифференциальное уравнение (3) и при помощи коэффициентов матрицы SS выполняется преобразование точки р0 в новую точку ξ согласно (5). Множество всех точек {ξ = ξ(ί): /е[/э, tэ+Tэ]} образует искомую траекторию смаза.
Другой способ состоит в построении дифференциального уравнения движения точки Z’ в плоскости изображения. Уравнение строится для векторных координат Z’, а их зависимость от времени учитывается при помощи скалярных компонент вектора угловой скорости камеры, заданных в СКК. Уравнение может зависеть от постоянных элементов внутреннего ориентирования и не должно содержать переменных элементов внешнего ориентирования камеры. Для получения искомого дифференциального уравнения траектории смаза продифференцируем (1) по времени
F sx sx d ' F '
сьэ' _ sy _ _ sy _ dt 1
1 1
1
F fI , 1 ' s2 sxs’y Λ sx
l12 1 - sx2 - sy s2
sz sxsy J J _ sy J
и учтём выражения для отдельных множителей:
1 f 2 +ξ2 +ξ^
1 - s'2 - sy2 = F2 ,
= ( f 2 +ξ2 +ξy )1/2
sz F ,
s2x sxsy 1 Г ξ2 ξ *ξ y 1
sxs’y sy; F2 +ξ2 +ξ2 ^ξ y ξ2 J
В результате получаем
( f 2 +ξ2 +ξ2 )1/2 f 2 +ξχ ξx ξy sx
F2 ξ x ξ y f 2 +ξy sy
(6)
Компоненты sx и sy получаются из (4):
&x ЬгГ
1
О
_ sy _ 1
о
So*
и подставляются в (6):
Уравнение (7) вместе с начальным условием ξ(ίβ) = po представляют окончательный вид уравнения траектории вращательного смаза в плоскости изображения.
3. Энергетический расчёт смазанного изображения
Объектив строит оптическое изображение точечного источника Z в виде функции рассеяния точки (ФРТ), описывающей распределение потока излучения по плоскости МФП вокруг геометрического изображения Z’. При проектировании объективов стараются сохранить однородность размеров ФРТ в фокальной плоскости. При этом форма ФРТ существенно искажается по мере увеличения угла θ (рис. 1) между оптической осью и направлением на источник [25]. Изображения источников, расположенных на оптической оси объектива, как правило, имеют круглую форму. Поскольку размеры ФРТ относительно малы и не изменяются в плоскости МФП, искажением формы ФРТ обычно пренебрегают и аппроксимируют её функцией Гаусса [26]
где σΑ - параметр размера кружка рассеяния, который выбирается из условия попадания в кружок диаметром dA заданной доли 0 <A < 1 потока излучения
A = Ц Ф(X, У) dxdy = 1 - exp
Da
dA ] 8σΑ J,
где Da = {(x, y): (x2+y2)1/2 < dA /2} - область интегрирования внутри кружка рассеяния. Отсюда
σ a =
2yl-2ln(1 - A)'
d
A
При проектировании цифровой камеры размер пятна рассеяния объектива согласуется с размером ячейки МФП и указывается в виде квадратной апертуры размером NA*NA ячеек, которая полностью вписывается в кружок рассеяния. Отсюда dA =%[2aNA и
σΑ = 0,5aNA / λ/- ln(1 - A). Как правило, выбирают
A = 83,8 % - доля потока излучения внутри центрального максимума кружка Эйри и σA = 0,5aNA Dj-ln0,16 (рис. 2).
Время экспозиции Тэ одного кадра сравнительно мало по сравнению с характерным временем измене-
ния яркости наблюдаемого источника, поэтому поток фотонов P, падающий на переднюю линзу объектива, можно считать постоянным. Поток P порождает в МФП поток электронов Pe = ηΡ, где 0 < η < 1 - коэффициент пропорциональности, рассчитываемый из спектральной плотности мощности падающего излучения, полосы пропускания объектива и квантовой эффективности МФП [27].
Рис. 2. Расположение кружка рассеяния ФРТ c апертурой Na = 3 относительно фотоприёмных ячеек ФПМ при попадании геометрического изображения Z’ в позицию с растровыми координатами α[δξχ δξγ]τ внутри центральной ячейки. Центральная ячейка выделена серым цветом
Если ξ - векторные координаты геометрического изображения в момент времени t, то поток электронов распределится по плоскости МФП в виде Ф(х - ξ*, у - ξ). Скорость накопления Ie ξ Ie (h, w) электронов в фотоприёмной ячейке с растровыми координатами (h, w) в этот же момент времени
да да
І e = PeV( h, w) J J Ah,w (X, у)Ф( X -ξ*, У -ξ у )dxdy, (8)
-да -да
где Ah,w (x, у) - апертурная функция ячейки (h, w), описывающая геометрическую форму её фоточувствительной зоны; V(h, w) - коэффициент виньетирования для ячейки (h, w), учитывающий ослабление освещённости оптического изображения при больших углах θ. Ослабление считается постоянным в пределах одной ячейки. Значение V (h, w) определяется виньетированием объектива и сокращением видимой площади входного зрачка при увеличении угла θ. Для сокращения записи оба указанных эффекта учитываются в одном коэффициенте V(h, w):
V(h, w) = Vp (h, w)cos 0(h, w),
cos 0(h, w)
F
(a 2(M2 + Aw2) + F 2)1/2’
где 0(h, w) - угол между оптической осью объектива и проективной прямой, проходящей через левый верхний угол ячейки (h, w) и точку S; VP(h, w) < 1 -функция виньетирования, обусловленная исключительно оптико-механической конструкцией объектива
и заданная в растровых координатах, причём Vp(ho, wo) = 1. Если не учитывать геометрический шум и неоднородность чувствительности отдельных ячеек, то апертурные функции Ah, w(x,у) можно считать одинаковыми
Ah,w (x, у) =
если
a Ah < x < a(Ah +1); aAw < y < a(Aw +1); (9)
0, в остальных случаях;
где Ah = h - ho, Aw = w - wo; 0 < кПл < 1 - коэффициент передачи апертурной функции, в котором учитывается неполное использование площади фотоприёмной ячейки для преобразования свет-сигнал.
Точка ξ попадает внутрь некоторой ячейки с растровыми координатами (p, q): ^ = a(p - ho) + δξχ, ξy = a(q - wo) + δξy, причём 0 < δξχ, δξy < a. Подставим апертурную функцию (9) в (8) c заменой переменных x = x + a Ah , y = y + aAw :
/e = kUA PV (h, w) x
ГГ „ - , , (10)
xl I Ф^ + ha-δξ x, y + w a-δξ y) dxdy,
0 0
где h = h - p , w = w - q - смещения ячейки (h, w) относительно ячейки (p, q), содержащей геометрическое изображение точечного источника. Из (10) видно, что скорость генерации зарядов в ячейке (h, w) зависит только от смещения (h, w) и от координат δξ*, δξγ геометрического изображения внутри ячейки (p, q). Однородность модели ФРТ позволяет ввести дискретную функцию от растровых координат
Ф(/г,w,δξ) = ИФ(x + δ£,y + Sy) dxdy, (11)
0 0
где δ£ = ha - δξ x, Sj) = w a - δξ y, которая показывает, как распределяется поток излучения по ячейкам внутри оптического изображения точечного источника, если его геометрическое изображение попало в точку δξ = [δξ* δξy]T центральной ячейки с растровыми координатами (0, 0). Начало растровых координат h, w находится в левом верхнем углу ячейки (0, 0), а растровые координаты окружающих ячеек могут принимать отрицательные значения (рис. 2). Интеграл (11) выражается через стандартную функцию ошибок [26]:
Ф^, w, δξ)=4
erf
^ Sx + a ^
V2(
- erf
f sx л
erf
^ Sy + a ^
V2<
- erf
OA у
( Sy Л
V2<
υΑ у
V^ua у
V2<
V^zaja у
(12)
С учётом новой функции Ф(/г, ir, δξ) выражение (10) перепишется в виде
Величина яркости /(h, w) пикселя цифрового изображения получается после аналого-цифрового преобразования заряда, накопленного в ячейке (h, w) за время экспозиции ТЭ:
Із +Тэ
1 (h w) = кПлkАЦП I /e dt = із
із +Тэ
= килкдЦПPeV(h, w) І Ф(к, ir, δξ^Ι,
Із
(13)
где клцп - коэффициент передачи АЦП. Коэффициент клцп связан с единицей младшего разряда (ЕМР) АЦП обратным соотношением ЕМР = 1/ клцП. При таком определении ЕМР измеряется в количестве электронов [e-].
4. Численный расчёт ядра смаза 4.1. Интегрирование уравнений траектории смаза
Трехосный гироскоп измеряет вращение камеры в виде компонент вектора угловой скорости Шк = ω(4) либо в виде компонент вектора малого поворота за период измерения
ök = I ω(Ι) dt,
Jtt-1
где tk = kTr, k = 0,1,... - дискретные моменты измерения; Тг - постоянный период измерения. Измеренные значения содержат погрешности измерения и обозначаются ωк или θк соответственно. Как правило, измерения гироскопа не синхронизируются c началом экспозиции и для получения значений угловой скорости в произвольный момент времени внутри интервала [ІЭ, ІЭ+ТЭ] требуется интерполяция. Время экспозиции ТЭ относительно мало, поэтому для интерполяции можно использовать полиномы нулевого или первого порядка, коэффициенты которых получаются методом наименьших квадратов (МНК). Для интерполяции используются K+1 последовательных измерений гироскопа {ш; }д0 или {θ; }K=0, полученных между началом Ін=кнТГ < ІЭ и концом tK=ккТГ < ІЭ+ ТЭ интервала интерполяции [Ін, ік], накрывающего интервал экспозиции [іэ, іэ+Тэ]с[ін, ік]. Здесь кн, кк - порядковые номера измерений гироскопа в начале и в конце интервала интерполяции; K = кк - кн; i = 0...K - индекс внутри обрабатываемого массива измерений; или θ; -элементы интерполируемого массива измерений, такие что = ώ кн +i или θ; = θкн +i. Формулы для МНК-
интерполяции нулевого порядка
«9(1) = b(0) = const, b(0) =—1— У * ώK-i или
b(0) =—1— У θ,^-i.
Тг (K +1)^ '=0 K i
Ie = кПлpv(h, w^(h, w, δξ).
Формулы для МнК-интерполяции первого порядка
ώ(ί) = a(1)(t - 4:) + b(1),
a(1) =—6— У К (K - 2i) ώK-i, KCTr ‘=0
b(1) = C У K=0(2K+1 - 3i) ώ K-i, C
или
a(1) = b(1) =
6
KCT2 __1_
KCTr
XK=o(K - 2i) Ok-i,
XK= 0 [K (4K + 5) - 6i(K +1)]
K-i j
где C=K2 + 3K + 2, ώ(ί) - интерполированный вектор угловой скорости камеры с выбранным порядком интерполяции.
Уравнения смаза решаются методом Эйлера в дискретные моменты (4}"Э0, где u = 0...Ыэ - номер узла дискретной сетки, Ыэ - количество интервалов разбиения, причём to = fe, 4Э = £з +Тэ. За один шаг разбиения времени экспозиции Atu = tu - tu-1 геометрическое изображение должно переместиться не более чем на половину пикселя. Для постоянного шага Δ4 = At3 = a / (2vmax), tu = to +uAt3, Ы = Тэ / At3, где vmax = F max( | ώ(4) |, | ώ(4 + Тэ) |} - максимальная
скорость геометрического изображения в плоскости МФП.
Если траектория смаза вычисляется через интегрирование ориентации камеры, то сначала интегрируется уравнение (3)
SK (tu ) = (i 3 - Atu [ώ u-1x])ScKK (tu-1),
ScÎibC (t0) = ώu = ώ(4 X
а затем, согласно (5), рассчитываются отсчёты траектории смаза (ξu =ξ(tu Л^Зо для начальной точки p0. Если траектория вычисляется из дифференциального уравнения (7), то
ξu =ξu-1 +AuΜ(ξu-1)(âu-1, ξ0 =Ρ0.
F
4.2. Интегрирование яркости пикселей в цифровом изображении смаза
Непрерывное значение δξ дискретезируется внутри ячейки на двумерной квадратной сетке размером ЫсхЫс с координатами узлов Aac[i j]T, Aac = a/ Nc, где i,j = 0,., Nc -1 - двумерные индексы узлов (рис. 3). Дискретные индексы для точки δξ:
i = floor i -δξ^ І, j = floor i -δξ^I, n =iNc + j, (14)
yAac ) {Aac J
где n = 0...NС -1 - одномерный индекс для двумерной пары индексов (i,j) = mod (n, Nc). При внутриячеечной дискретизации значение функции (12) в точке δξ заменяется её значением в узле с индексами (14):
Ф(h, ir, δξ) и Ф(h, w, Aac [i j]T) ξ фn (h, w).
Рис. 3. Расположение узлов внутриячеечной дискретизации для Nc = 4: черные круги - узлы ячейки (h, w); серые круги -узлы ячейки (h+1, w); черные квадраты - узлы ячейки (h, w+1); серый квадрат - узел ячейки h+1, w+1)
Большая часть объёма под Гауссовой аппроксимацией ФРТ сосредоточена в ограниченной окрестности её максимума, поэтому каждую функцию Фп (h, w) можно приблизить двумерной квадратной матрицей размера ΝφΧΝφ, отбросив малые значения Фп (h, w):
ΐ |Ф n (h, w), если Фп (h, мО^рф
Фп (h, w) = <! X ,
[0, если Фn (h, w) < РФ
где 0 < 1гФ< 1 - порог отбрасывания. С практической точки зрения размер Νφ удобно назначать нечётным и одинаковым для всех матриц (Фn (h, w)}^-1. При нечётном ΝΦ значение Фn (0,0) находится в центре квадратной апертуры ΝΦχΝΦ. Величина ΝΦ устанавливается не меньше, чем максимальная длина строки или столбца ненулевых элементов среди всех матриц (Ф n (h, w)}^-1, после чего эти матрицы дополняются нулями до одинакового размера ΝφΧΝφ. Так как объем под непрерывной ФРТ Ф(/, w, δξ) равен единице, матрицы (Ф n (h, іг)}^1Со-1 тоже нормируются к единице
где Νφ/2= 0,5(Νφ-1).
Матрица Фn (h, w) представляет собой дискретную φΡΤ при попадании геометрического изображения в узел внутриячеечной сетки с индексом n (рис. 4). Каждому дискретному отсчёту ξ„ траектории смаза соответствуют растровые координаты пикселя (pu, qU), в который попал этот отсчёт: ξ*Μ= a(pu - ho) + δξ№ £,yu = a(qu - wo) + δξ^. Индексы (pu, qu, nu ^ всех дискретных φΡΤ на дискретной траектории смаза рассчитываются из значений (ξ„ }u=30 согласно (14). Яр-
кость (13) пикселя с растровыми координатами (h, w) выражается через дискретные ФРТ:
I(h, w) и кпАкАЦП At3Pe :
<V(h, w) nu (h - Pu, w - qu).
(15)
«Смазанное» цифровое изображение точечного источника, начинающееся в произвольном пикселе с растровыми координатами (p, q), полностью содержится в некоторой прямоугольной области C(p, q) = {(h, w): hB^ h < hH, wn < w < wn), накрываю-
щей все ненулевые значения (15), причём p0 = p, q0 = q. Область C(p, q) содержит внутри себя пиксель (D, q), а её границы внутри полноразмерного растра задаются номерами верхней hB (начальной) и нижней hН (конечной) строк и номерами левого wn (начального) и правого wn (конечного) столбцов. Размеры области C (p, q) зависят от координат (p, q) начального
пикселя и от параметров вращения камеры и составляют HяχWя пикселей, где H = hH - hB+1, Wя = wn -wn +1. Ядро смаза в пикселе (p, q) получается из (15) в два этапа. Сначала выделяются компоненты, зависящие только от геометрии смаза:
N3-1
H (h, w; p, q) = F(h, w) Σ Ф% (h - pu, w - qu),
u=0
причём H (h, w; p, q)^0, если hB^ h < hH и wn^ w < wn; H (h, w; p, q) ξ 0 в остальных случаях. Затем выделенные компоненты нормируются к единичной сумме для получения окончательного вида искомого ядра смаза H (h, w; p, q)
H(h, w; p, q) =
H (h, w; p, q)
sh]
hfc w
=ΣΣH (l, m; p, q) = Σ Σ H (l, m; p, q).
l =0 m=0 l=hH m=wh
a)
0 0 0.011 0.011 0 0 0
0 0.023 0.05 0.05 0.023 0 0
0.011 0.05 0.11 0.11 0.05 0.011 0
0.011 0.05 0.11 0.11 0.05 0.011 0
0 0.023 0.05 0.05 0.023 0 0
0 0 0.011 0.011 0 0 0
0 0 0 0 0 0 0
6)
0 0 0 0 0 0 0
0 0 0.019 0.028 0.019 0 0
0 0.019 0.061 0.061 0.019 0
0 0.028 у 0.028 0
0 0.019 0.061 0.061 0.019 0
0 0 0.019 0.028 0.019 0 0
0 0 0 0 0 0 0
-3 -2 -1
в)
0 0 0 0 0 0 0
0 0 0 0.019 0.016 0 0
0 0 0.04 0.059 0.023 0
0 0.019 ш 0.04 0
0 0.016 0.059 ®:ίΙ 0.033 0
0 0 0.023 0.04 0.033 0.013 0
0 0 0 0 0 0 0
Рис.4. Негативные изображения дискретных ФРТ для n = 0 (a), n = 10 (б) и n = 15 (в) при NC = 4, Νφ = 7 и ϊτφ = 0,01. Белый круг - узел сетки внутрипиксельной дискретизации, для которого рассчитана дискретная ФРТ. Центральный пиксель ФРТ выделен белой рамкой. Внутри ячеек указаны значения коэффициентов дискретной ФРТ
u=0
Для каждого начального пикселя (p, q) нужно индивидуально вычислять не только значения коэффициентов H(h, w; p, q), но и пределы изменения [hB, hH] и [wn, wn] внутриядерных индексов, поэтому ядро смаза неоднородно в плоскости оптического изображения. Ядро можно рассматривать как импульсную реакцию двумерного неоднородного КИХ-фильтра, согласованного со смазом, начавшимся в пикселе с растровыми координатами (p, q). Свертка смазанного изображения {I(h, w^hL-;с неоднородным согласованным фильтром записывается в общем виде
H-1W-1
I(h, w) = ΣΣH(h,w;p,q)I(p, q).
p=0 q=0
Далее будут найдены специальные условия, при которых удаётся построить однородное ядро смаза. Для таких условий форма, размеры и расположение начального пикселя (p, q) внутри границ [hB, hH] и [wn, wn] ядра не зависят от координат начального пикселя:
hH - hB = const, wn - wn = const,
MB = p - hB = const, MH = hH - p = const,
Awn = q - wn = const, Awn = wn - q = const.
Свертка для однородного ядра принимает привычную форму
H-1 W-1
I(h, w) = ΣΣ H(h - p, w - q)I(p, q) =
p=0 q=0
AhH Awn
= Σ Σ H(l, m)I(p -1, q - m).
l=-AhB m=-Awn
5. Анализ уравнения и пример синтеза ядра вращательного смаза
Величина |ξ| ограничена геометрическими размерами МФП, причём max||| = гмфп < F и уравнение (7) можно рассматривать с точностью до членов первого порядка относительно векторных координат. После простой замены независимой переменной t ^ t + t3, переводящей интервал [э, ?э +73] в интервал [0, 73], линеаризованное уравнение (7) приобретает вид
0 ωζ ων
ξ и ξ + F У , ξ(0) = Ρ0, (16)
-ωζ 0 -ωχ
где гмфп - максимальное расстояние от точки O до границы МФП. Если угловая скорость вращения камеры во время экспозиции постоянна или интерполи-
руется нулевым порядком, то (16) превращается в систему линейных дифференциальных уравнений с постоянными коэффициентами. Такая система решается аналитически для ωζ Ф 0:
W) = Rz (t)Ро +—(Rz (t) -12ωу ]Т , (17)
ωζ
и для ωζ = 0
появление стационарной точки, в которой не будет вращательного смаза (линейный и поворотный смаз скомпенсируют друг друга). Векторные координаты этой точки находятся из решения уравнения, полученного приравниванием правой части (7) к нулю
Γξ j ] 1 ξ* ξ у ω* - (F2 +ξ2 )ωγ
Ι_ξ* J F ωζ -(F2 +ξ5 )ω* +ξ* ξ^ _
) = ро +1—[ω у -ω* ]T.
Матрица
R z (t) =
cos ωφ - sin ωφ
sin ωφ cos ωφ
(18)
задаёт поворот в плоскости изображения (вокруг оси zcKK), возникающий при ωζ Ф 0, причём
lim Rz (t) = I2, lim|"(Rz (t) -I2 [/ωζ ]= t ° 1 .
ωζ ^0 ωζ ^0 — 1 °
То есть решение (17) в пределе ωζ^-0 переходит в решение (18). Аналитическое решение позволяет приближённо представить траекторию ξ вращательного смаза в виде комбинации ξ = ξлин + ξπΒΡ линейного ξЛИн и поворотного ξΠΒΡ смазов. Линейный смаз
ξ
ЛИН
—
ωζ
(Rz (t) -12 [
ω* ων
и tF у
ω^ -ω*
возникает вследствие вращения камеры вокруг оси, параллельной фокальной плоскости. В первом приближении этот смаз не зависит от расположения начального пикселя, т.е. его можно считать однородным. Поворотный смаз
ξΠΒΡ = Rz (t)p0
Р0 +'^zt
0
-1
1
возникает при вращении камеры вокруг оптической оси объектива. Величина этого смаза зависит от удаления начального пикселя от точки O. Поворотный смаз является основной причиной неоднородности вращательного смаза.
Камера имеет различную чувствительность к сма-зам: скорость | ξЛИН | линейного смаза практически однородна в фокальной плоскости; максимальная скорость | ξПВР |= ıazrM(ra поворотного смаза проявляется только на краю поля зрения. Если исключить из рассмотрения специальные широкоугольные объективы, то для практически значимых камер технического зрения гМПф < F и доминирующей компонентой смаза при ω^(ω2ν + ω2)12 будет линейный смаз. Если ωz »(ω2 +ω2 )12, то доминирующим будет поворотный смаз.
Если угловая скорости вращения камеры постоянна и ωz »(ω2 +ω2 )12, то на изображении возможно
Если эта система уравнений совместна, то координаты стационарной точки получаются методом простых итераций с начальным приближением, взятым из (16): ξ*0 Fω* / (Bz, ξ^0 F/ ωζ.
Синтез ядра вращательного смаза выполним для одного кадра, полученного при постоянной угловой скорости камеры ω = [- 0,08 0,08 10]T градус /с с временем экспозиции ТЭ = 0,2 с и периодом измерений гироскопа Тг = 0,005 с. Параметры камеры: F = 10 см, a = 4 мкм, H = W = 1024 пикселей. Дискретные ФРТ рассчитывались в соответствии с параметрами рис. 4. На рис. 5 показаны синтезированные ядра смаза, для наглядности рассчитанные с шагом 100 пикселей по вертикали и горизонтали.
0 200 400 600 800 1000
Рис. 5. Негативное изображение ядер смаза в плоскости растра. Черный круг - стационарная точка вращательных смазов. Рамкой в левой верхней части рисунка выделено ядро, увеличенное на рис. 6
При выбранных параметрах модели проявляются все эффекты вращательного смаза, описанные выше. Т.к. bz » (ω2 +ω2 )12, доминирующим является поворотный смаз, длина которого увеличивается к периферии МФП. Множество ядер смаза имеет выраженную стационарную точку с растровыми координатами [712 312]T, отмеченную черным кружком. В правой верхней части рис. 5 чёрной рамкой выделено ядро смаза, начинающееся в пикселе [400 700]T. Увеличенное изображение ядра, на которое наложены начальная точка и траектория смаза, показано на рис. 6.
Заключение
Предложенный алгоритм позволяет синтезировать ядро вращательного смаза в цифровых изображениях за счёт использования измерений трехосного гироскопа, скреплённого с камерой. Никакой цифровой
обработки смазанного изображения для синтеза ядра смаза не требуется. Алгоритм естественным образом учитывает неоднородность ядра смаза внутри растра. Такой алгоритм может быть полезен в задачах коррекции смаза в зашумлённых изображениях с небольшим числом структурных элементов. Ядро смаза можно рассматривать как импульсную реакцию согласованного КИХ-фильтра в задачах обнаружения изображений слабосветящихся точечных объектов на фоне случайных шумов.
Рис. 6. Негативное изображение ядра смаза, начинающегося в пикселе [400 700]T, на которое наложена траектория смаза (белая линия). Белый круг - начальный пиксель траектории
Синтез ядра вращательного смаза основан на интегрировании Гауссовой аппроксимации ФРТ вдоль траектории смаза. Траектория смаза рассчитывается двумя способами. В первом способе сначала определяется последовательность матриц ориентации камеры, рассчитанных в узлах траектории смаза внутри интервала экспозиции. Затем для каждого узла траектории при помощи полученной последовательности матриц выполняется проективное преобразование координат начального пикселя. Второй способ расчёта траектории смаза состоит в решении системы из двух нелинейных дифференциальных уравнений без промежуточного определения матрицы ориентации.
Последовательность матриц ориентации получается в результате решения системы из девяти линейных дифференциальных уравнений, связанных шестью условиями нормировки. Число дифференциальных уравнений в системе можно сократить до трёх нелинейных или четырёх линейных, если задавать ориентацию камеры соответственно в виде трёх углов Эйлера или четырёх коэффициентов нормированного кватерниона. Однако такой подход не даёт особого выигрыша в количестве вычислительных операций, так как в каждом узле траектории из выбранных параметров ориентации всё равно приходится рассчитывать матрицу ориентации для выполнения проективного преобразования.
В первом способе расчёта траектории смаза последовательность матриц рассчитывается только один раз и применяется для преобразования всех началь-
ных пикселей. Во втором способе система уравнений смаза решается индивидуально для каждого начального пикселя, так как координаты этого пикселя принимаются в качестве начальных условий. Если обрабатывается кадр большого формата, то эффективней будет первый способ - достаточно один раз решить систему уравнений ориентации и для каждого пикселя выполнить последовательность вычислительно простых проективных преобразований. Для обработки небольшой зоны интереса, построенной вокруг предполагаемого изображения точечного объекта, выгодней будет второй способ. Пороговые размеры зоны интереса, определяющие выбор между двумя способами расчёта траектории, зависят от технических параметров конкретной реализации алгоритма -типа вычислительной платформы, способа программной реализации, настроек компилятора и т. д.
References
[1] Pashkov VS. Influence of the image “blurring” on accuracy estimates of its coordinates [In Russian]. In Book: Mechanics, control and informatics. Collection of works. IKI RAN Publisher; 2009: 225-230.
[2] Titkov BV, Komrakov DN, Krasnov AS, Konishev AS. Compensation of the images linear velocity blur [In Russian]. Proc A F Mozhaisky Military Space Academy 2012; 636: 50-53.
[3] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichikhin EP. Blind reconstruction of images distorted by blur and defocus with unknown shape and parameters of the instrumentation function [In Russian]. Journal of Radio Electronics 2014; 9: 4.
[4] Breykina KV, Umnyashkin SV. Image quality estimation for blur compensation using Lucy-Richardson method [In Russian]. Proc Univ Electronics 2020; 25(2): 167-174. DOI: 10.24151/1561-5405-2020-25-2-167-174.
[5] Tselousov AV. Motion blur compensation for digitail images restoration using generative adversarial network [In Russian]. Proc DSPA 2018; 8(3): 213-217.
[6] Fursov VA. Image restoration with fir filters constructed by direct identification of the inverse tract [In Russian]. Computer Optics 1996; 16: 103-108.
[7] Vasilyuk NN. Electronic correction of blurred images in the scanning optoelectronic system [In Russian]. Electromagnetic Waves and Electronic Systems 2009; 14(12): 41-48.
[8] Vasilyuk NN. Differential equation of the blur trajectory for the scanning optoelectronic system [In Russian]. Electromagnetic Waves and Electronic Systems 2009; 14(12): 49-51.
[9] Smirnov PV, Tashlinsky AG. Algorithm for compensating for the blurring effect of a moving object in a sequence of frames [In Russian]. Radioelectronic Technique 2013; 1: 141-145.
[10] Karnaukhov VN, Mozerov MG. Reconstruction of multispectral images by the gradient reconstruction method and estimation of blur parameters based on the multipurpose matching model [In Russian]. Information Processes 2016; 16(2): 162-169.
[11] Kozak AV, Steinberg OB, Steinberg BY. An algorithm for the restoration of blurred image obtained with a rotating camera tilted to the horizon. Computer Optics 2020; 44(2): 229-235. DOI: 10.18287/2412-6179-CO-598.
[12] Smirnov PV, Tashlinsky AG, Смирнов ПВ. Algorithm for the selection of a moving object in the sequence of images with compensation for the "blur" effect [In Russian]. Radioelectronic Technique 2015; 1(7): 121-130.
[13] Smirnov PV, Voronov ID. Using disparity field estimates to compensate for the blur effect of fast-moving objects [In Russian]. Radioelectronic Technique 2017; 1(10): 106-110.
[14] Akimenko TA, Larkin EV, Luchansky OA. Estimation of the image blur in the vision system of a mobile wheeled robot [In Russian]. Bulletin of the Ryazan State Radio Engineering University 2008; 23: 84-87.
[15] Oktyabrsky VV, Ostrovsky AS, Salaman RS. Compensation technique for an unevenly distributed blur of aerial photographs of multi-matrix digital aerial cameras for planned-perspective shooting in conditions of insufficient illumination of the terrain [In Russian]. Proc A F Mozhaisky Military Space Academy 2021; 677: 107-117.
[16] Ruzavin AV. Compensation of image motion blurring on the basis indications of the camcorder's inertial sensors [In Russian]. Proceedings of the Saint-Petersburg State University of Aerospace Instrumentation Research Conference 2018: 241-244.
[17] Bessonov RV, Belinskaya EV, Brysin NN, Voronkov SV, Kurkina AN, Forsh AA. Star trackers in astroinertial systems of flying vehicles [In Russian]. Current Problems in Remote Sensing of the Earth from Space 2018; 15(6): 920. DOI: 10.21046/2070-7401-2018-15-6-9-20.
[18] Shah CA, Schickler W. Automated blur detection and re-
moval in airborne imaging systems using IMU data. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (2012 XXII ISPRS Congress) 2012; XXXIX-B1: 321-323.
DOI:10.5194/isprsarchives-XXXIX-B1-321-2012.
[19] Joshi N, Kang SB, Zitnick CL, Szeliski R. Image deblurring using inertial measurement sensors. ACM Trans Graph 2010; 29(4): 30. DOI: 10.1145/1778765.1778767.
[20] Zhang Y, Hirakawa K. Combining inertial measurements with blind image deblurring using distance transform. IEEE Trans Comput Imaging 2016; 2(3): 281-293. DOI: 10.1109/TCI.2016.2561701.
[21] Bae H, Fowlkes CC, Chou PH. Accurate motion deblur-
ring using camera motion tracking and scene depth. 2013 IEEE Workshop on Applications of Computer Vision 2013: 148-153. DOI:
10.1109/WACV.2013.6475012.
[22] Hu Z, Yuan L, Lin S, Yang MH. Image deblurring using smartphone inertial sensors. 2016 IEEE Conf on Computer Vision and Pattern Recognition 2016: 1855-1864. DOI: 10.1109/CVPR.2016.205.
[23] Yang C, Feng H, Xu Z, Chen Y, Li Q. Image deblurring utilizing inertial sensors and a short-long-short exposure strategy. IEEE Trans Image Process 2020; 29: 4614-4626. DOI: 10.1109/TIP.2020.2973499.
[24] Sörös G, Münger S, Beltrame C, Humair L. Multiframe visual-inertial blur estimation and removal for unmodified smartphones. J WSCG 2015; 23(2): 101-109.
[25] Gebgart AY, Kolosov MP. Design features of the lens objectives of celestial-orientation apparatus for spacecraft. J Opt Tech 2015; 82(6): 357-360. DOI 10.1364/JOT.82.000357.
[26] Baranov PS, Mantsvetov AA. Optimization of the ratio of the lens scattering circle radius to the pixel size to improve the accuracy of estimating the coordinates of images of small objects [In Russian]. Proc Higher Educational Institutions of Russia. Radio Electronics 2016; 2: 49-53.
[27] Prokhorov ME, Zakharov AI, Touchin MS. Optimum characteristics of the star tracker optical system and matrix photosensor [In Russian]. In Book: Avanesov GA, ed. Modern problems of orientation and navigation of spacecraft: Proceedings of the all-russian scientific and technical conference. Moscow: IKI RAN Publisher; 2013: 80-90.
Сведения об авторе
Василюк Николай Николаевич, 1976 года рождения, кандидат физико-математических наук, заместитель главного конструктора ООО «Электрооптика». Область научных интересов: оптико-электронные следящие системы, системы навигации и ориентации, методы комплексирования в навигационных системах.
E-mail: [email protected] . ORCID: https://orcid.org/0000-0003-2317-8066.
ГРНТИ: 28.23.15
Поступила в редакцию 10 декабря 2021 г. Окончательный вариант - 14 марта 2022 г.
Synthesis of the rotational blur kernel in a digital image using measurements
of a triaxial gyroscope
N.N. Vasilyuk1
1 Electrooptika, LLC, 107076, Moscow, Russia, Stromynka, d.18, k.1
Abstract
A method for calculating of a blur kernel arising from the rotation of a digital camera is proposed. The rotation is measured with a three-axis gyroscope attached to the camera. Differential equations of a continuous trajectory of the rotational blur starting from a selected pixel are obtained. These equations are presented both in the form of an explicit system of differential equations for the blur curve in the focal plane and in the form of a matrix equation for the increment of the camera attitude. An expression is given for the integral of the energy illumination from a point light source along the continuous blur trajectory. The integral takes into account the point spread function and the aperture functions of individual photosensitive cells of the photodetector array.
The calculation of the integral values for all photosensitive cells illuminated with the point source gives a discrete kernel of rotational blur starting at the selected pixel. Algorithms for the numerical integration of the blur equations are described. The analysis of the blur equations are carried out, characteristic features of the kernels are highlighted and their non-homogeneity is shown, with the kernels of rotational blur revealed not to coincide with each other for different pixels. An example of the synthesis of the blur kernels for given rotation parameters of the digital camera is given.
Keywords: blur kernel, blur correction, rotational blur, gyroscope, matched filter.
Citation'. Vasilyuk NN. Synthesis of the rotational blur kernel in a digital image using measurements of a triaxial gyroscope. Computer Optics 2022; 46(5): 763-773. DOI: 10.18287/2412-6179-CO-1081.
Author’s information
Nikolay Nikolaevich Vasilyuk (b. 1976), PhD in Physics, deputy chief design officer at Electrooptika LLC. Research interests: optoelectronic tracking and detection systems, navigation and orientation systems, navigation sensors fusion. E-mail: [email protected] . ORCID: https://orcid.org/0000-0003-2317-8066.
Received December 10, 2021. The final version - March 14, 2022.
