Метод восстановления смазанных изображений по двум кадрам Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.395

Метод восстановления смазанных изображений по двум кадрам

© Т.В. Крапчатова, М.В. Филиппов МГТУ им. Н.Э. Баумана, Москва, 105005, Россия

Изображения, полученные во время аэрофотосъемки при больших скоростях движения летательного аппарата и на малых высотах, практически всегда подвержены искажению (смаз). При этом часто съемка осуществляется с перекрытием, что позволяет использовать несколько кадров для улучшения качества изображения. В работе предлагается метод восстановления смазанных изображений по двум кадрам. Восстановление изображения производится итеративно на отдельном шаге по методу сопряженных градиентов с регуляризацией. Полученные результаты подтверждают улучшение качества по сравнению с восстановлением по единственному изображению, так как появляется возможность восстановить частоты, которые теряются вследствие смаза.

Ключевые слова: аэрофотосъемка, смаз, шум, восстановление изображения, искажающая функция, регуляризация, направление смаза, билатеральная фильтрация.

Введение. Одним из наиболее эффективных решений для получения информации об объектах на заданной местности является аэрофотосъемка. С ее помощью решают множество задач в таких областях, как картография, геодезия, моделирование объектов местности, планирование застройки, лесное хозяйство и экология, разведка и отслеживание изменений заданных объектов [1]. Расходы на проведение данной процедуры достаточно велики, что приводит к необходимости установления жестких требований к качеству результата и процессу его проведения.

Каждый из маршрутов летательного аппарата тщательно прорабатывается, чтобы съемка проводилась с перекрытием, т. е. часть участка местности, сфотографированного на одном снимке, обязательно должна быть отображена и на другом (рис. 1). Даже современное цифровое оборудование не позволяет полностью избежать потерь информации на изображении вследствие искажений. Опытным путем было установлено, что при высотах около 500 м и скорости полета 400 км/ч всегда происходит смаз результирующего изображения вне зависимости от качества оборудования аэрофотосъемки. Это связано с относительным движением камеры и объекта съемки за время экспозиции. Для устранения возможных искажений и улучшения качества фотоснимков применяют различные методы цифровой обработки изображений. Ликвидацию смаза проводят не специаль-

ными приборами, совмещенными с камерой, а с помощью программы, что гораздо дешевле, надежнее и эффективнее.

1. Постановка задачи. В данной работе представлен метод восстановления изображения по двум смазанным кадрам. В качестве исходных данных рассматриваются аэрофотоснимки, полученные при авиасъемке летательным аппаратом с малой высоты, когда вследствие движения получаются смазанные изображения. В некоторых случаях аппарат дважды пролетает по одному маршруту, чтобы получить несколько сходных кадров местности в одной точке со смазом в различных направлениях, что позволяет использовать несколько кадров для получения максимально качественного результирующего изображения.

В работе проведено сравнение результатов, полученных с помощью представленного метода и при использовании одного кадра, по критериям качества и быстродействия. Оценка качества результата проводилась на основе так называемого визуального критерия, поскольку отсутствовало идеальное несмазанное изображение. Требования к быстродействию являются важными, так как иногда может потребоваться обработка в режиме онлайн-трансляции. Однако определяющим критерием при сравнении методов является качество получаемого результата.

Выделим основные ограничения на возможные искажения кадров изображения, для устранения которых разрабатывался представленный метод.

1. Смаз возникает в результате прямолинейного и равномерного движения камеры относительно объекта съемки. Таким образом, смаз можно считать прямолинейным и инвариантным к сдвигу.

Рис. 1. Аэрофотосъемка местности летательным аппаратом с перекрытием. (В продольном направлении перекрытие достигает около 60 % кадра, в поперечном — около 30 %)

2. С учетом возможных корректировок на ветер, направление полета летательного аппарата, с которого проиодится съемка, примем, что направление смаза может изменяться с отклонением не более 90° от горизонтального [2]. Горизонтальное направление совпадает с идеальной траекторией движения летательного аппарата при отсутствии ветра.

3. Высота полета летательного аппарата существенно больше высоты снимаемых объектов местности. Угол наклона камеры относительно снимаемой местности не превышает 2° относительно перпендикуляра. Поэтому объекты на изображении можно считать равноудаленными от объектива камеры а их смаз — одинаковым. Это позволяет не учитывать глубину объекта на изображении в перспективе.

Возможные различия в условиях съемки (например, появление дымки над рекой) и в деталях (передвижение людей, машин, птиц и др.) считают пренебрежимо малыми или незначительными и приравнивают к шуму.

2. Анализ существующих подходов. С математической точки зрения в пространственной области искаженное изображение можно представить следующим образом:

g(X y) = h( X y)* f(X y) + n( X y), (!)

где fx, y) — исходное неискаженное изображение; h(x, y) — искажающая функция; n(x, y) — аддитивный шум; g(x, y) — искаженное изображение. Символ «*» обозначает свертку. Согласно этой модели, для восстановления исходного изображения нужно к искаженному изображению применить операцию, обратную свертке (декон-волюцию).

Свертка функций в пространственной области эквивалентна их умножению в частотной области преобразований Фурье, поэтому приведенное выше уравнение модели искажения можно записать в эквивалентном представлении в частотной области:

G(u, v) = H (u, v)* F (u, v) + N (u, v), (2)

где заглавными буквами обозначены соответствующие преобразования Фурье функций из уравнения свертки (1) [2].

Из анализа уравнений (1) и (2) следует, что задача восстановления изображения является некорректной, так как количество возможных решений бесконечно [3].

Самым простым случаем является восстановление изображения с известной искажающей функцией одним из классических методов: параметрическим фильтром Винера, методом максимального правдоподобия Люси — Ричардсона и др. [3]. Однако на практике вид искажающей функции, как правило, неизвестен.

В последнее время основное внимание уделяется методам слепой деконволюции, при которой изначально неизвестна искажающая функция изображения. Именно такая ситуация обычно имеет место в реальной жизни. Существует целый класс методов восстановления, основанных на данном подходе. При восстановлении стараются выделить как можно больше изначальной информации, чтобы сделать предположения о характере смаза. Если такой информации недостаточно, то итеративно уточняют вид искажающей функции для получения наилучшего приближения [4 - 7]. В некоторых работах авторы используют шаг предварительной обработки изображения, на котором сначала применяют специальные фильтры для сглаживания шума или выделения границ, что дает хорошие результаты при использовании итеративной схемы вычислений [8]. Кроме того, часто используют предположение об искажении, инвариантном к сдвигу, что существенно влияет на эффективность вычислений [3, 9, 10].

Все существующие методы слепой деконволюции можно разделить на два типа: восстановление изображения по одному или нескольким искаженным кадрам с различными параметрами смаза и уровнем шума. В первом случае основное внимание уделяется восстановлению коэффициентов или самой искажающей функции с помощью сложных математических вычислений и алгоритмов, применяемых к одному кадру. Во втором случае имеется возможность получить больше информации об идеальном изображении по его нескольким искаженным кадрам и использовать эту особенность в реализации метода. В данной работе будет предложен метод восстановления по двум кадрам.

3. Метод восстановления по двум кадрам. Изложенный ниже метод восстановления качественного изображения по двум смазанным кадрам, полученным аэрофотосъемкой объектов заданной местности с перекрытием, основан на использовании итерационной процедуры синтеза искажающей функции, описанной в [9, 11], и алгоритма определения направления смаза [12]. Время обработки аэрофотоснимков должно быть небольшим, и это накладывает некоторые ограничения на вычислительную сложность алгоритма, что также учитывалось при выборе схемы реализации метода.

Для решения поставленной задачи использовался классический подход для восстановления изображения методом слепой деконво-люции (рис. 2), при котором на основе априорной информации об искажении определяются параметры искажающей функции, а затем с помощью уже известных значений проводится синтез более качественного изображения [2].

Рассмотрим основные идеи предлагаемого метода.

1. Считая смаз неравномерным, но инвариантным к сдвигу и прямолинейным, можно возникающие искажения представить в виде одномерной функции.

2. Два кадра одного изображения позволяют получить больше информации об исходном изображении, так как в общем случае их смаз происходит по-разному. Следовательно, для каждого из кадров нужно определить свою одномерную искажающую функцию.

3. Направления смаза кадров не совпадают, поэтому определяются для каждого из кадров по отдельности.

4. Использование двух кадров одного изображения позволяет поставить корректную задачу для вычисления самой искажающей функции смаза каждого кадра, а не обратной к ней, как в большинстве существующих методов. Основным преимуществом данного подхода является возможность восстановления более широкого диапазона помех, так как для обратной функции не учитываются близкие к нулю значения.

5. Определение функции смаза и синтез изображения проводятся по отдельности, что позволяет существенно упростить вычислительную сложность алгоритма.

6. При восстановлении искажающей функции используется регуляризация по £2-норме, что позволяет существенно повысить устойчивость метода к шуму и возникающим краевым эффектам.

Анализ искажения

Априорная информация

^Определение^ параметров искажающей у, функции

Г

Искажающая функция

Синтез результирующего изображения

Л

У

Рис. 2. Классическая последовательность операций по восстановлению

изображения

Анализ существующих методов слепой деконволюции позволил выделить основные этапы обработки искаженных смазом и шумом кадров одного изображения.

Алгоритм восстановления изображения можно представить в виде такой последовательности:

1) выравнивание между собой кадров одного изображения;

2) определение направления смаза каждого кадра;

3) вычисление искажающей функции по двум смазанным кадрам и известным направлениям их смаза;

4) обработка изображения с известной искажающей функцией кадров;

5) фильтрация изображения для удаления шума и незначимых деталей.

Рассмотрим каждый из этапов подробнее.

Этап 1. Выравнивание изображений. Прежде чем проводить восстановление изображения по нескольким кадрам, необходимо установить соответствие между ними. Два кадра g1 и g2 одного изображения могут быть смещены относительно друг друга, особенно если их съемка проводилась через достаточно большой промежуток времени. Можно применять обыкновенные методы выравнивания с высоким разрешением и другие итеративные методы, основанные на минимизации ошибки суммарной разницы в интенсив-ностях соответствующих пикселов двух кадров изображения [3, 11]. Для сильно искаженных изображений может быть добавлено слагаемое с параметром регуляции, которое позволяет задавать небольшие смещения для увеличения точности преобразования [9]. При этом не обязательно добиваться точного совпадения, можно учитывать только аффинные преобразования и сильные сдвиги, поскольку оставшееся незначительное несоответствие может быть включено в искажающую функцию [11].

В данной работе этап по выравниванию кадров исключается, так как существует немало эффективных методов, позволяющих выполнить необходимые аффинные преобразования и сдвиг в нужном направлении [3].

Этап 2. Вычисление функции смаза. На этом этапе примем известным направление смаза и используем предположение о выровненных кадрах одного изображения относительно друг друга.

Обозначим gi-й кадр рассматриваемого изображения, смазанный одномерной функцией импульсного отклика к = (кг(1),...Д(К)) под углом а,, где К — количество отсчетов функции импульсного отклика. Оригинальное (идеальное) изображение обозначим как f Тогда взаимосвязь gj и/можно записать следующим образом:

К-1

gI (х у) = 2 к (k)f(x+к С08(а X у+к )). (3)

к=0

Для упрощения введем обозначение для свертки под определенным углом:

gl = f *а,к.

Эта модель применима только в случае одномерной искажающей функции, инвариантной к сдвигу. Для использования в более общем случае изображение следует разделить на регионы, имеющие приблизительно сходные помехи, и проводить восстановление для каждого региона в отдельности. Для цифрового изображения f используется интерполяция по уровням интенсивности в частотной области.

По теореме о свертке кадры g1 и g2 могут быть получены сверткой идеального изображения f с функциями импульсного отклика к1 и к2 соответственно:

gl = f *а1 к, g2 = f *а2 к2 (4)

Поскольку свертка является коммутативной операцией, результаты применения искажающей функции первого кадра ко второму и наоборот дают тот же самый результат. С учетом данного свойства получаем линейное преобразование:

(^*а2 к2)(х,у) = (g2 к,)(х,у).

Данное преобразование применимо для всех пикселов области Я каждого кадра изображения. Размеры области Я рассчитываются с учетом выбранного метода определения граничных условий, который будет рассмотрен отдельно. Восстановление функций импульсного отклика к1 и к2 проводится минимизацией средней квадратичной ошибки:

Щ,К) = 2 [(й *а2кг)(х,у)-(g2 А)(х,у)]2. (5)

х, у^Я

Вычисление производной данной ошибки для определения к1 и к2 приводит к системе линейных уравнений с К1 = К2 неизвестными, где К1 и К2 — количество отсчетов функции импульсного отклика смазанных кадров и й2 соответственно. Обычно используют функции импульсного отклика с количеством отсчетов в 15.30 пикселов в зависимости от размера изображения.

Чтобы исключить тривиальность и увеличить устойчивость решения, к системе уравнений добавляем условие, что сумма к1 и к2 должна быть равна 1 (закон сохранения энергии искажающей функции). Также можно добавить другие ограничения, такие как условие на сглаженность искажающих функций, но в данной работе они не используются. Решение системы простых линейных уравнений позволяет получить функцию импульсного отклика смаза, которая затем будет использована для восстановления изображения.

Этап 3. Определение направления смаза. Одним из основных ограничений рассматриваемого метода является предположение о более сильном размытии значений интенсивностей пикселов изображения по направлению смаза в отличие от остальных направлений. В зависимости от формы искажающей функции интенсивность изображения наиболее равномерно и плавно изменяется в направлении сма-за. Более того, в этом направлении существует зависимость между пикселами, формирующими смаз оригинального неискаженного объ-

екта, что и позволяет вычислить направление, форму и размер искажающей функции, которая зависит от типа движения во время экспозиции.

Автокорреляционную и спектральные функции оригинального изображения можно считать практически изотропными. Вследствие движения наибольшее искажение интенсивности изображения происходит в направлении движения. В частотной области операция вычисления производной уменьшает влияние низких и увеличивает влияние высоких частот. Поскольку эффект размытия можно наблюдать только в направлении движения, то интенсивность низких частот увеличивается, а высоких — уменьшается в других направлениях. Следовательно, производная в направлении смаза сильнее, чем в других, должна подавлять интенсивность. Таким образом, направление движения определяется по наименьшему значению спектральной функции производной изображения.

Направление к смаза изображения определяется относительно горизонтальной оси по наименьшему значению суммарной интенсивности производной изображения по следующим формулам:

N-1М -1

I (а/ )-¿¿А 0', ] )|,

,=1 ]=1

А/ (,', ]) = / (,', ] )* П(,', ]), (6)

п(, ]) = Г-1 1- 1®(к) 1

иу, J)- _ 0 1в(к) _ .

В формулах (6) все функции определены при к градусах.

Этап 4. Восстановление изображения. Устранение смаза изображения по известной искажающей функции чаще всего производится с применением фильтра Винера. Однако лучший результат может быть получен с использованием итеративных методов в пространственной области. Итеративную деконволюцию достаточно легко применить к нескольким изображениям. Для восстановления изображения / минимизирует квадратичную ошибку следующего вида:

Е-¿Iк -/Л , ,=1

где || || обозначает норму Ь2.

На основании метода сопряженных градиентов получаем следующую итеративную схему:

1) инициализируем восстановленное изображение / средним двух исходных изображений:

f2( +й2);

2) итеративно вычисляем fЛ, используя градиент квадратичной ошибки Е:

/л ^ /л + N 2 кт (И, - fЛ к) - X ^ (7)

где кТ — транспонированная функция импульсного отклика к,.

Последнее слагаемое обозначает производную от функции регуляризации Ь при f=/л и может быть вычислено по формуле

= dxT*

df

p/:p-isignf) + dy pcp-1 signf)

гл p-1

где ^хТ и — транспонированные производные отсчетов; X — параметр регуляризации.

Во всех тестах при вычислениях были выбраны следующие значения параметров: X = 0,004 и р = 1,25. Для оценки ошибки используется квадратичная мера отличия в пространстве Ь2, так как в случае использования меры в пространстве Ь1 возможно возникновение изломов функции из-за модуля функции.

Этап 5. Билатеральная фильтрация. В качестве дополнительного шага по сравнению с известными алгоритмами в работе был использован специальный фильтр для выделения основных объектов и сглаживания шума и незначимых мелких деталей исходного изображения. В настоящее время существует множество методов шумоподавления и их модификаций, но каждый из них обладает определенными особенностями и своей областью применения.

В данной работе был выбран билатеральный фильтр, результатом работы которого является вычисление интенсивности каждого пиксела как взвешенного среднего интенсивностей соседних пикселов [13]. Этот фильтр сглаживает изображение с сохранением резких границ в соответствии со следующей формулой:

WT 2 ^ (IР - 4G (|IP - Iq\)Iq

Ip WpqeR

где p — позиция центрального пиксела; q — позиция соседнего пиксела; S — множество возможных позиций пикселей изображения, R — область кадра, описанная ранее на этапе 2; Iq, IpeR — интенсивности пикселов p и q в диапазоне [0,1]; Gas, Gar — функции Гаусса с параметрами os, or; Wp — сумма весов для нормализации значений.

4. Результаты и выводы. Предложенный метод восстановления изображения был реализован в программном продукте на языке С++. В ходе тестирования на искусственно смазанных изображениях была выявлена зависимость качества восстановления от направлений смаза кадров: наилучшее качество восстановления можно получить, если смаз происходил в перпендикулярных направлениях, так как информация о неискаженных интенсивностях одного кадра позволяет восстановить искажение второго кадра почти полностью. В случае совпадения направлений смаза двух кадров качество восстановления не будет отличаться от восстановления по одному кадру. Вычислительная сложность алгоритма сравнима с 0(2пк\о% п), где п — количество рассматриваемых отсчетов искаженного изображения; к — длина смаза.

4

, ДГ/ у*/ щ

Рис. 3. Восстановление изображения по одному и двум кадрам. Вверху два смазанных изображения с гауссовым шумом; слева внизу — результат восстановления классическим методом слепой деконволюции по единственному изображению; справа внизу — результат обработки предложенным в работе методом восстановления по двум смазанным кадрам. Время обработки предложенным методом — 37 с на изображении в 500x500 пикселов и искажающей функции в 18x18 пикселов

Полученные результаты подтверждают улучшение качества восстановления при использовании нескольких смазанных кадров одного изображения по сравнению с восстановлением по единственному смазанному изображению, так как появляется возможность восстановить частоты, которые теряются вследствие смаза (рис. 3). У любого метода, основанного на восстановлении по одному кадру, даже при условии качественно восстановленной функции импульсного отклика остается ограничение, связанное с недостатком необходимой информации о смазанных элементах. Применение метода можно расширить на сходные ситуации из реальной жизни: съемка из движущегося транспорта, карманной камерой на ходу, в полете, при спуске на лыжах и др. Несколько последовательно снятых в этих ситуациях кадров можно использовать в качестве исходных данных представленного метода.

Для дальнейшего улучшения представленного метода можно предложить следующее:

1) включить шум в математическую модель представления изображения, что позволит повысить устойчивость к искажению этого типа;

2) определять направление смаза можно более быстрым методом с использованием разложения значений интенсивности по пирамиде Гаусса (метод предложен в работе [8]);

3) улучшить изначальное приближение на первой итерации. Использовать не просто среднее, а учитывать степень искажения каждого из кадров (описание подхода дано в работе [14]);

4) при неравномерном смазе на различных участках изображения встроить в алгоритм разбиение на регионы с одинаковым смазом и производить их восстановление по отдельности.

Представленный в статье метод позволяет восстанавливать изображение по двум смазанным кадрам. Использование двух кадров с различными направлениями смаза позволяет извлечь больше информации для формирования восстановленного изображения и получить более качественный результат. Рассматривается смаз прямолинейный и неравномерный, что наилучшим образом описывает реальные искажения при аэрофотосъемке. Преимуществом метода является подход к определению искажающей функции каждого из кадров, так как позволяет восстанавливать больший диапазон помех. Итеративный процесс восстановления, основанный на методе сопряженных градиентов со встроенной регуляризацией, с последующей фильтрацией шума позволяет достаточно быстро получить качественный результат. Эффективность метода подтверждают эксперименты, проведенные на реальных и искусственно смазанных изображениях, а также сравнение с результатами обработки существующими методами восстановления по нескольким кадрам.

ЛИТЕРАТУРА

[1] http://agpmeridian.ru/technology/digital_aerial_photography/

[2] Компенсация угла сноса платформы аэрофотосъемочной камеры, 2012,

http://habrahabr.ru/post/145799/

[3] Гонсалес Р., Вудс Р. Цифровая обработка изображений. Москва, Техносфера, 2006, 1072 с.

[4] Cho S., Matsushita Y., Lee S. Removing non-uniform motion blur from images. In Proc. ICCV, 2007, pp. 1-8.

[5] Yuan L., Sun J., Quan L. Image deblurring with blurred/noisy image pairs. ACM Trans. Graphics, 2007, vol. 26, no. 3, p. 1.

[6] Shan Q., Jia J. and Agarwala A. High-quality motion deblurring from a single image. ACM Trans. Graphics, 2008, vol. 27, no. 3, p. 73

[7] Hirsch M., Sra S., Scholkopf B., Harmeling S. Efficient Filter Flow for Space-Variant Multiframe Blind Deconvolution. Max Planck Institute for Biological Cybernetics, 2009

[8] Cho S., Lee S. Fast Motion Deblurring. Image Processing and Computer Vision, SIGGRAPH, 2009, p. 8.

[9] Rav-Acha, A., Peleg, S. Restoration of multiple images with motion blur in different directions. Workshop on the Application of Computer Vision. Palm Springs, 2000, pp. 22-28.

[10] Rav-Acha, A., Peleg, S. Restoration of Multiple Images with Varying Motion Blur. School of Computer Science and Engineering, 2005, p. 46.

[11] Rav-Acha, A., Peleg, S. Twomotion-blurred images are better than one. Pattern Recognition Letters, 2004, no. 26, pp. 311-317.

[12] Y. Yitzhaky, N.S. Kopeika. Identification of Blur Parameters from Motion Blurred Images. Graphical Models And Image Processing, 1997, vol. 59, no. 5, September, pp. 310-320.

[13] Tomasi, C., Manduchi, R.: Bilateral filtering for gray and color images. Proc. of International Conference on Computer Vision, IEEE, 1998, p. 839-846.

[14] Lu J., Poon E., Plataniotis K.N. Restoration of motion blurred images, 2005, p. 4.

Статья поступила в редакцию 10.06.2013

Ссылку на эту статью просим оформлять следующим образом:

Крапчатова Т.В., Филиппов М.В. Метод восстановления смазанных изображений по двум кадрам. Инженерный журнал: наука и инновации, 2013, вып. 6. URL: http://engjournal.ru/catalog/it/hidden/767.html

Крапчатова Татьяна Вячеславовна — магистр кафедры «Программное обеспечение ЭВМ и информационные технологии» МГТУ им. Н.Э. Баумана. Автор 2 статей. Область научных интересов: цифровая обработка изображений. e-mail: [email protected]

Филиппов Михаил Владимирович родился в 1953 г., окончил МИФИ в 1977 г. Канд. техн. наук, доцент кафедры «Программное обеспечение ЭВМ и информационные технологии» МГТУ им. Н.Э. Баумана. Автор более 50 научных и учебно-методических публикаций в области автоматизированного проектирования и цифровой обработки сигналов Область научных интересов: цифровая обработка сигналов, распознавание образов, разработка средств защиты информации. e-mail: [email protected]