ПОСТРОЕНИЕ ФУНКЦИИ ИМПУЛЬСНОГО ОТКЛИКА ДЛЯ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ, ИСКАЖЕННЫХ ВСЛЕДСТВИЕ ДВИЖЕНИЯ КАМЕРЫ Текст научной статьи по специальности «Математика»

Построение функции импульсного отклика для восстановления изображений, искаженных вследствие движения камеры

fO CS

о

CS

о ш m

X

<

m О X X

Борисовская Ольга Викторовна

к.т.н, доцент кафедры прикладной информатики и информационной безопасности, Российский экономический университет им. Г.В. Плеханова, [email protected]

Борисовская Алена Алексеевна

магистрант кафедры ИУ7 «Программное обеспечение ЭВМ и информационные технологии», МГТУ им. Н. Э. Баумана, [email protected]

В работе исследуется задача оценки параметров искажения изображений для их последующей реконструкции. Восстановление изображения подразумевает устранение расфокусировки, размытости или шума. В данной работе рассматривается искажение типа смаз. Для этого искажения параметрами являются величина смаза в пикселях и угол смаза. В качестве характеристики ухудшения качества смазанного изображения используется оптическая передаточная функция (OTF, Optical Transfer Function). Сравниваются два подхода к оценке OTF по движению камеры или объекта. Первый подход заключается в вычислении OTF для точной функции движения. Второй возможный подход к оценке OTF заключается в аппроксимации фактической функции движения во время экспозиции с помощью простой функции (например, линейной или синусоидальной). Для решения задачи вычисления OTF рассматривается метод, основное преимущество которого заключаются в возможности получить аналитическое выражение оптической передаточной функции, применимое к любому виду движения. Этот метод предполагает получение аналитического выражения OTF в виде степенного ряда через статистические моменты движения за время экспозиции.

Показано, что аппроксимации суммой младших порядков дают удовлетворительные результаты точности. Обосновано, что использование данного метода позволяет получить выражения OTF не только для линейного движения, но и для высокочастотной вибрации, параболического (равноускоренного) движения, низкочастотной вибрации и экспоненциального затухающего движения. Делается вывод о том, что данный метод расчета OTF может быть реализован для восстановления в реальном времени изображения, смазанного вследствие произвольного движения.

Ключевые слова: реконструкция смазанного изображения, функция импульсного отклика, оценка оптической передаточной функции, высокочастотная вибрация.

Введение

Движение камеры часто является основной причиной ухудшения качества изображения в системах воздушной и наземной разведки, робототехники, машинного и компьютерного зрения. Количественная характеристика ухудшения изображения необходима для оценки и его последующего восстановления. Удобной формой для характеристики этого ухудшения является оптическая передаточная функция (OTF, Optical Transfer Function).

OTF может быть использована при математической обработке любого произвольного относительного движения камеры и объекта во время съемки.

Принципы построения аналитического выражения для OTF

Более ранние методы расчета OTF основывались на пространственно-частотном анализе синусоидального отклика [1] или на анализе функции распространения в пространственной области. Метод расчета пространственной частоты OTF приводит к аналитическим выражениям OTF только для простых видов движения, таких как линейное движение и высокочастотная вибрация [2]. Для более сложных функций движения и для функций движения, которые не могут быть выражены аналитически, больше подходит метод пространственной области. OTF рассчитывается численно и получается в виде числового выражения [3].

Аналитическое выражение для OTF в общем виде описывается формулой:

OTF(ß) = F[PSF(x)] = PSF(x)exp(-jü)xx)dx, (1)

где ш — пространственная угловая частота, PSF — функция разброса точек, а F(^) — оператор преобразования Фурье.

Рассматриваемый новый метод расчета OTF заключается в получении аналитического выражения OTF в виде степенного ряда на основе статистических моментов движения за время экспозиции. Теоретически для оценки OTF необходима бесконечная сумма моментов. На практике можно использовать конечные суммы.

Передаточная функция модуляции (MTF) может быть получена как модуль OTF, а фазовая передаточная функция (PTF) может быть получена как ее фаза.

Основное преимущество нового метода вычисления OTF заключаются в том, что он позволяет получить аналитическое выражение OTF, применимое к любому виду движения. Предыдущие методы позволяли рассчитать OTF только для определенных типов движения.

Данный метод (метод моментов) для расчета OTF может быть применен при восстановлении изображения, смазанного в результате произвольного движения объекта или камеры. Поскольку алгоритмы восстановления изображения устанавливают взаимосвязь между входом и выходом системы формирования изображения (вход - изображение объекта, выход -искаженное изображение), удобной формой для определения этой связи является OTF, которая используется многими алгоритмами восстановления изображений [4]. OTF рассчитыва-

ется на основе функции движения камеры или объекта, информация о которой может быть получена от датчиков движения, установленных на камере.

Возможны два подхода к оценке OTF по движению камеры или объекта: на основе точной функции движения и на основе ее аппроксимации.

1) Первый подход заключается в вычислении OTF для точной функции движения. Если используется метод моментов с этим подходом, суммарные коэффициенты (моменты движения) должны быть либо измерены аналоговыми средствами, либо рассчитаны численно. Затем рассчитывается OTF на желаемых пространственных частотах.

В этом случае новый метод расчета OTF быстрее и точнее, чем численные методы, поскольку информация о движении камеры напрямую используется для расчета OTF. Никаких промежуточных вычислений, таких как PSF (Point Spread Function), не требуется.

OTF может быть получена на любой желаемой пространственной частоте. Таким образом, разрешение по пространственной частоте можно легко адаптировать к требованиям алгоритма восстановления изображения.

2) Второй возможный подход к оценке OTF заключается в аппроксимации фактической функции движения во время экспозиции с помощью простой функции (например, линейной или синусоидальной) [2]. Параметры простого движения оцениваются и подставляются в выражение OTF. Предложенный метод оценки OTF применим и для приближенной функции движения, но невыгоден в случае равномерной скорости или высокочастотной вибрации, поскольку для них уже существуют более компактные аналитические выражения [5].

OTF для непрерывной функции движения

OTF и его модуль (MTF) являются мощными инструментами оценки ухудшения качества изображения. Аналитические выражения этих функций более удобны для статистического анализа, чем численные.

Далее рассмотрим аналитическую модель расчета оптической передаточной функции OTF для непрерывной функции движения. Предположим произвольное относительное движение между объектом и датчиком, где x(t) — составляющая движения, поперечная оптической оси (рисунок 1).

x(t) изображается как функция x в течение времени экспозиции. Таким образом, эта гистограмма представляет собой саму функцию линейного расширения LSF.

OTF(ß) = F[LSF(x)] = LSF(x)exp(-jo)xx)dx, (2) где ш — пространственная угловая частота, а F(^) — оператор преобразования Фурье.

Поскольку LSF абсолютно интегрируема (абсолютный интеграл равен 1) и отлична от нуля на конечном интервале (между минимальным и максимальным значениями x), OTF является аналитической [6] и, следовательно, может быть разложена в виде ряда Тейлора:

ОЩш) = Z»„ з

1 дпОТР(ш)

ЧШпШ = 0

(3)

п! дшп

производная OTF при нулевой пространственной частоте из уравнения (2):

....... . 3" Ь5Р(х)ехр(-]'шх)1!х (4)

Рисунок 1 - Функция движения

Функция разброса точек (PSF, Point Spread Function), обусловленная движением, описывает ухудшение изображения в пространственной области. Если движение происходит только в одном направлении, достаточно учесть функцию линейного расширения [LSF(x)]. LSF (Linear Spread Function) движения представляет собой функцию плотности вероятности (PDF, Probability Density Function) [3]. Иными словами, движение изображения приводит к пространственному перемещению отклика линейного изображения. Это перемещение интегрируется по времени экспозиции. Такое движение может быть описано гистограммой x(t), где частота появления данной части

дшп дшп

Поскольку функция линейного расширения LSF представляет собой функцию плотности вероятности PDF движения, интеграл в последнем выражении может быть интерпретирован как статистический n-й момент (mn) функции смещения x(t):

Гю xnLSF(x) = Е(хп) Атп, (5)

где E(^) — оператор среднего.

Написание уравнения (5) с помощью функции движения x(t) приводит к

mn = E(xn) = f_^xnm(t)dt=±J^ xn(t)dt (6)

где ft = 1 / te - временная PDF.

Следовательно, из уравнений (3), (4) и (6), имеем

OTF(o>) = Z"=0 (7a)

mn = Ht'+te хП№, (7b)

te Lx

Таким образом, уравнение (7) определяет прямую связь между статистическими моментами функции движения и OTF. Исключена необходимость вычисления функции линейного расширения LSF и ее преобразования Фурье, что не всегда возможно аналитически.

Из уравнения (7) видно, что если движение симметрично относительно оси x = 0, то все нечетные моменты равны нулю и, таким образом, OTF действительна, а PTF равна нулю до первого нуля MTF.

Важно отметить, что связь между функцией движения и ее OTF не является линейной (см. (7)). Таким образом, линейные комбинации функций движения не приводят к линейным комбинациям соответствующих им OTF.

OTF для линейного движения

Во многих случаях функция движения изображения может быть аппроксимирована простой аналитической функцией [7]. Рассмотрим пример получения аналитических выражений OTF, используя метод моментов для линейного движения.

Рассмотрим линейное движение с постоянной скоростью V. Функция смещения определяется выражением:

x(t) = Vt,tx<t<tx + te, (8)

где tx - момент начала движения, а te - период движения. n-й момент рассчитывается по уравнению (7b).

rnn(tx;V, te) = f f+te (VtTdt = f-i- Vtx

te Jtx te(n+l)

Подставляя в уравнение (7а), получаем:

(9)

OTF (aj) = ^

[v(tx + te)]n+1 -

exp(-jVtxto)

-jVteu

n=u

Из этого результата получаем:

MTF(aj) = IOTF(ü))I = \sinc = lsinc(ndf)l а также:

PTF((») = phase(OTF) = -(2nVtx + nd)f

[exp(-jVtea>) -1]

X X

о го А с.

X

го m

о

м о м

CJ

2п , гп+1 „ .

при — <{ <—^,п = 0,1,...

РТР(ш) = р1ш5е(0ТР) = -(2пУЬх + пй) (10)

2п-1 с 2п . „

при-</ <—,п = 1,2,...

й й

где & = У1е - пространственная протяженность размытия,

/ = ^ - пространственная частота.

Рисунок 2 представляет собой график функции движения

О 0.1 42 D.3 0.4 16 0.6 0.7 0.0 0.9 1 TIME

Рисунок 2 - Линейное перемещение

среза 1/d. Ошибка 0.04 получается с использованием трех центральных моментов (N=6), а аппроксимация восьмого порядка (четыре центральных момента) дает максимальную погрешность 0.01 на частоте среза 1/d.

Вышеприведенный анализ рассматривает только одномерное движение OTF. Метод можно распространить на двумерное движение, используя процедуры, подобные описанным в уравнениях (2)-(7).

Двумерное движение можно разложить на две ортогональные составляющие x(t) и y(t). Вместо LSF в уравнении (2) необходимо использовать функцию рассеяния точки PSF, а координаты разложения Тейлора выражаются через совместные моменты x и у, а не через одну переменную. Это может потребовать значительно большего количества расчетов.

Однако, поскольку, как правило, движение во время экспозиции часто происходит по линии, предпочтительно повернуть оси так, чтобы они совпадали с направлением движения, а затем рассчитать однонаправленную OTF по уравнению (7). OTF можно повторно повернуть к исходным осям или оси изображения можно выровнять по новым осям.

со

CS

о

CS

О ш m

X

<

m о х

X

Сплошные кривые на рисунках 3 и 4 представляют и PTF (см. уравнение 10) этого движения.

IL

tÜL6

0 02 0.4 0i 0.8 1 1.2 1.4 1.6 2

SPATIAL FREQUENCY [сусЫтп|

Рисунок 3 - Точный MTF (сплошная кривая) и аппроксимированный MTF N-го порядка

И

-ЛИ

О 02 0.4 0.6 0.В 1 1.2 1.4 1.6 1.3 2 SPATIAL F REÛUEHCV fqdesAnm] Рисунок 4 - Точный PTF (сплошная кривая) и аппроксимированный PTF N-го порядка (пунктирные линии)

Для N=4, 8 и 10 показаны приближенные кривые MTF и PTF, рассчитанные по сумме центральных моментов N-го порядка. Для некоторых функций движения можно получить простые замкнутые выражения из суммы ряда (7а). В общем случае, особенно когда функция движения не задана аналитически, приходится вычислять бесконечную сумму (7а). Практически сумма может быть усечена до N-го порядка:

OTF(o>)*ZNn=0 (11)

Отметим, что, поскольку функция централизованного линейного движения, которая выражается уравнением 12 симметрична относительно оси времени, все нечетные центральные моменты равны нулю.

xc(t) ±x(t) -m, (12)

Таким образом, на самом деле нужна только половина моментов (N/2). Детали меньше степени размытия (d) неразрешимы. MTF на частотах выше 1/d помечается как ложное разрешение. На более высоких пространственных частотах наличие MTF подразумевает искажение изображения. Как видно на рисунках 2 - 4, только два центральных момента (N=4) необходимы для максимальной ошибки 0.15 в MTF на частоте

Заключение

В данной работе представлен метод оценки OTF изображения, состоящий в получении аналитических, а не численных выражений OTF для любого вида относительного движения камеры и изображения: линейного, высокочастотной вибрации, параболического (равноускоренного) движения, низкочастотной вибрации и экспоненциального затухающего движения.

Особенностью данного метода является то, что информация о движении камеры напрямую используется для оценки OTF. При этом OTF выражается как бесконечная сумма степенного ряда согласно статистическим моментам функции движения.

Было показано, что аппроксимации суммой младших порядков дают удовлетворительные результаты точности.

Обосновано, что представленный метод может быть применен для анализа и восстановления смазанного изображения в реальном времени, искаженного вследствие произвольного движения камеры.

Литература

1. Wulich D. and Kopeika N. S. Image resolution limits resulting from mechanical vibration // Optical Engineering, Vol. 26, Issue 6, 1987. P. 529-533.

2. Trott T. The effects of motion in resolution // Photogramm Eng. 26(2), 1960. P. 819-827.

3. Hadar O., Dror I., and Kopeika N. S. Image resolution limits resulting from mechanical vibration. Part IV: Real time numerical calculation of optical transfer functions and experimental verification // Optical Engineering, Vol. 33. 1994. P. 566-578.

4. Hadar O., Dror I., and Kopeika N. S. Real-time restoration of images degraded by motion and vibration // in Trends in Optical Engineering, J. Menon, ed. (Council of Scientific Research, Vilayil Gardens, Trivandrum, India), 1993. P. 287-298.

5. Jensen N. Optical and Photographic Reconnaissance System (Wiley, New York), 1968. P. 116-124.

6. Papoulis A. Systems and Transforms with Applications in Optics (McGraw-Hill, New York), 1968. P. 81-83.

7. Zayezdny A., Tabak D., and Wulich D. Engineering Application of Stochastic Processes (Research Studies Press, London). 1989.

Building an optical transfer function for restoring images blurred due to camera

movement Borisovskaya O.V., Borisovskaya A.A.

Plekhanov Russian University of Economics, Bauman Moscow State Technical University

JEL classification: C10, C50, C60, C61, C80, C87, C90

The paper considers the problem of estimating the distortion parameters of smeared images for their reconstruction. Restoring an image involves eliminating defocus, blur, or noise. In this paper, the blur type distortion is considered. For this distortion, the parameters are the blur value in pixels and the blur angle. An optical transfer function (OTF, Optical Transfer Function) is used as a quality degradation characteristic of a blurred image. Two approaches to estimating OTF from the movement of a camera or an object are compared. The first approach is to calculate the OTF for the exact motion function. A second possible approach to OTF estimation is to approximate the actual motion function during exposure with a simple function (eg linear or sinusoidal). To solve the problem of calculating OTF, a method is considered, the main advantage of which is the ability to obtain an analytical expression for the optical transfer function applicable to any type of movement. This method involves obtaining an analytical expression of OTF in the form of a power series through the statistical moments of motion during the exposure time.

It is shown that approximations by sums of lower orders give satisfactory accuracy results. It is substantiated that the use of this method makes it possible to obtain OTF expressions not only for linear motion, but also for high-frequency vibration, parabolic (uniformly accelerated) motion, low-frequency vibration, and exponential damped motion. It is concluded that this OTF calculation method can be implemented to restore in real time an image blurred due to arbitrary movement.

Keywords: Smeared image reconstruction, deconvolution, optical transfer function estimation, high frequency vibration

References

1. Wulich D. and Kopeika N. S. Image resolution limits resulting from mechanical

vibration // Optical Engineering, Vol. 26, Issue 6, 1987, pp. 529-533.

2. Trott T. The effects of motion in resolution // Photogramm Eng. 26(2), 1960, pp.

819-827.

3. Hadar O., Dror I., and Kopeika N. S. Image resolution limits resulting from

mechanical vibration. Part IV: Real time numerical calculation of optical transfer functions and experimental verification // Optical Engineering, Vol. 33. 1994. P. 566-578.

4. Hadar O., Dror I., and Kopeika N. S. Real-time restoration of images degraded by

motion and vibration // in Trends in Optical Engineering, J. Menon, ed. (Council of Scientific Research, Vilayil Gardens, Trivandrum, India), 1993, pp. 287-298.

5. Jensen N. Optical and Photographic Reconnaissance System (Wiley, New York),

1968, pp. 116-124.

6. Papoulis A. Systems and Transforms with Applications in Optics (McGraw-Hill, New

York), 1968, pp. 81-83.

7. Zayezdny A., Tabak D., and Wulich D. Engineering Application of Stochastic

Processes (Research Studies Press, London). 1989.

X X

o

OD >

c.

X

OD m

o

ho o ho CJ