CC BY
171
Электронное научно-техническое издание
НАУКА и ОБРАЗОВАНИЕ
Эя №ФС 77 - 30569. Государственная регистрация №0421100025.155Н 1994-0408_
Метод ускоренного восстановления изображений, смазанных при движении
77-30569/340562
# 02, февраль 2012 Переславцева Е. Е., Филиппов М. В.
УДК 621.395
МГТУ им. Н.Э. Баумана profitЫg@ramЫer ш
Введение
Смаз при движении является общим дефектом, который приводит к появлению нечетких изображений с неминуемой потерей информации. Причина возникновения смаза -в природе датчиков, принимающих поступающий сигнал за время съемки изображения. Если за время экспозиции датчики камеры двигаются, происходит смаз изображения.
В большинстве работ рассматриваемое искаженное изображение g(x,y) без учета шума описывается с помощью двумерной свертки исходного изображения /(х,у) с линейной, инвариантной к сдвигу функцией импульсного отклика И(х,у):
g(х у) = /(х у) * Кх у) = 2 у (п т)к(х - п у - т)
( п,т )
где *- оператор двумерной линейной свертки, причем х, у, п, т - целые числа[6]. Для восстановления исходного изображения /(х,у) необходимо применение операции деконволю-ции к функции импульсного отклика И(х,у) испорченного изображения g(x,y).
В большинстве случаев функция импульсного отклика И(х,у) предполагается известной до проведения деконволюции. В этом случае применяются классические линейные методы восстановления. Существует много методов деконволюции, применяемых в такой ситуации, таких как обратная фильтрация, фильтр Винера, фильтрация методом наименьших квадратов, рекурсивный фильтр Калмана и принудительные итеративные де-конволюционные методы [6].
На практике функция смаза часто неизвестна, а количество информации о реальном изображении очень мало. Поэтому реальное изображение /(х,у) должно быть восстановлено непосредственно из g(x,y) с использованием неполной информации о процессе смаза и реальном изображении. Такие оценочные подходы, в которых модель искажения
предполагается линейной, называются слепой деконволюцией. При слепом восстановлении изображений по характеристикам искаженного изображения должны быть найдены исходное изображение и функция импульсного отклика.
Есть несколько причин для использования методов слепой деконволюции при восстановлении. Получение предварительной информации о снимаемой сцене в реальных ситуациях бывает дорогим, опасным или физически невозможным. Например, в областях дистанционного сбора данных или в астрономии смаз не может быть точно смоделирован случайным процессом, так как колебания функции импульсного отклика сложно описать. В задачах обработки изображений в реальном времени, например, в медицинских видеоконференциях, параметры функции импульсного отклика не могут быть заранее определены для мгновенного восстановления. Кроме того, техники восстановления реального времени, используемые для оценки смаза, могут дать существенную ошибку, которая породит артефакты в восстановленном изображении[2].
Общая проблема задач слепой деконволюции связана с задачей разделения двух сигналов, / и к, связанных отношением конволюции, где оба сигнала неизвестны или частично известны. Эта важная проблема возникает как дополнение к задаче восстановления во многих приложениях, таких как анализ сейсмических данных и другие.
В большинстве методов слепой деконволюции частичная информация объединяется по оптимальным критериям, которые необходимо минимизировать (или максимизировать), чтобы найти оценочные значения каждого известного параметра.
Есть несколько важных составляющих проблемы слепой деконволюции изображений:
1. Для проведения операции деконволюции изображение и функция импульсного отклика должны обладать свойством несократимости. Несократимый сигнал - это сигнал, который не может быть точно выражен с помощью конволюции двух или более компонентов сигнала, при учете, что двумерная дельта-функция не является компонентой сигнала. Это важное свойство системы, потому что если изображение или функция импульсного отклика будут сократимыми, тогда полученное решение будет являться приближенным.
2. В классическом подходе к восстановлению линейными методами целью является получение наиболее точного приближения к реальному изображению. В идеале / (х, у) = / (х, у), где / (х, у) - приближенное изображение (оценка), полученное с помощью процедуры восстановления. Цель методов слепого восстановления - получить масштабированную и сдвинутую копию оригинального изображения. После проведения
слепой деконволюции, если это возможно, масштабирование и сдвиг могут быть восстановлены с помощью дополнительных действий [6].
3. На практике во многих случаях изображение можно представить в виде следующей линейной модели:
g( x у) = f( x y) *h( x y)+n( x у) ,
где g(x, y) - испорченное изображение, f (x, y) - исходное изображение, h(x, y) - функция импульсного отклика, а n( x, y ) - шум. Шумовая компонента очень важна, так как в практических случаях шум является довольно существенным. Основные типы шума - это:
1. электронный шум, полученный вследствие теплового движения электронов в электронных частях снимающих систем;
2. фотоэлектрический шум, возникающий в результате статистической природы
света;
3. зернистый шум, возникающий из-за зернистости пленки, на которую записывается изображение;
4. дискретный шум, появляющийся при дискретизации изображения[4].
Слепая деконволюция - это задача восстановления четкой версии исходного смазанного изображения, при условии, что ядро смаза неизвестно. Математически можно разложить смазанное изображение g на составные части, как
g = h ® f + n (1)
где f - визуально правдоподобное четкое изображение, а h - неизвестное неотрицательное ядро смаза, размер которого мал по сравнению с размером изображения, n - шум (для удобства аналитического описания предполагаем его приблизительно Гауссовым)[1]. Данная задача является плохо обусловленной и существует бесконечный набор пар (h,f), объясняющий любое полученное значение g. Например, одно нежелательное решение, которое полностью удовлетворяет уравнению (1) - это решение с отсутствием смаза: h -дельта ядра (тождественно ядру), а f=g. Некорректная природа проблемы предполагает, что для g или h должны быть введены дополнительные предположения.
Цель слепой деконволюции - вывести h и f из одиночного входного g. В качестве дополнительного условия предполагается, что h неотрицательно и его величина мала по сравнению с размером изображения.
1. Существующие методы восстановления изображений
Существует два основных подхода к задаче слепой деконволюции:
1. Определение функции импульсного отклика отдельно от восстанавливаемого изображения, чтобы использовать полученную информацию позже, применив один из известных классических методов восстановления. Оценка функции импульсного отклика и восстановление изображения - это отдельные процедуры для данного подхода. Алгоритмы, используемые для реализации данного метода, являются вычислительно простыми.
2. Включение идентификационной процедуры функции импульсного отклика в восстанавливающий алгоритм. Этот подход подразумевает одновременную оценку функции импульсного отклика и восстанавливаемого изображения, что приводит к более сложным вычислительным алгоритмам.
Слепая деконволюция одиночного объекта является некорректной задачей, так как число неизвестных превышает число известных данных. В ранних подходах на ядро смаза накладываются ограничения и используются параметризированные формы для ядра[2]. Недавно были предложены несколько методов для обработки более общих случаев смаза, использующих изображение одиночного объекта. Хотя эти методы могут давать превосходные результаты восстановления, они требуют интенсивных вычислений. Обычно для восстановления изображения простого объекта заданного размера этими методами требуется несколько минут[5].
Большинство методов слепого восстановления работают итеративно, попеременно оптимизируя ядро смаза и скрытое изображение. В процессе обработки ядро смаза вычисляется по найденному варианту скрытого (искомого) изображения и исходному смазанному изображению.
Ядро затем используется для вычисления нового скрытого изображения путем применения «неслепой» деконволюции к исходному смазанному изображению. Найденное скрытое изображение используется для вычисления ядра на следующей итерации. Интенсивные вычисления существующих методов основаны на применении сложных алгоритмов, используемых для нахождения ядра и скрытого изображения. Для вычисления ядра необходима оптимизация, включающая большие матрицы и вектора, а для управления «неслепой» деконволюцией с нелинейными априорными распределениями вероятностей необходимы методы усовершенствованной оптимизации[7].
В последнее время многие авторы добились успехов в решении задачи «слепой» деконволюции, используя поочередную оптимизацию/и к в итеративном процессе восстановления. Для того чтобы ускорить вычисление изображения / в итеративный процесс
был введен новый «предсказывающий» шаг. Резкие (сильно выделяющиеся) края предсказываются по вычисленному искомому изображению f на шаге предсказания и затем самостоятельно используются для получения ядра.
Этот подход позволил избежать использования вычислительно неэффективных априорных распределений вероятностей для неслепой деконволюции, необходимых, чтобы определить искомое (скрытое) изображение. Небольшие артефакты деконволюции могут быть отброшены на шаге предсказаний следующей итерации без задержки вычисления ядра. Для неслепой деконволюции использовался простой метод с Гауссовым априорным распределением вероятностей, которое может быть быстро вычислено с помощью Фурье-преобразований. Так как на шаге предсказаний использовались только простые методы обработки изображений, комбинация простой неслепой деконволюции и предсказаний дала эффективный способ вычисления скрытого изображения, используемого для определения ядра.
На шагах вычисления скрытого изображения и определения ядра в указанном порядке решаются уравнения вида:
В уравнениях (2) и (3) компонента р - h * ^ отвечает за подгонку данных, для которой использовалась норма L2, а р{ и р11- компоненты регуляризации. Для компоненты р{ применялось общее варьирование, а для компоненты подгонки данных наряду со значениями пикселей используются производные изображения. Для р1 было использовано несколько компонент регуляризации, таких как нормы ^ и Ь2, общая вариативность и априорное однородное распределение вероятностей, означающее отсутствие регуляризации.
Для определения ядра была сформулирована оптимизационная функция, в которой производные изображения использовались совместно со значениями пикселей. Был применен метод сопряженных градиентов (СГ) для решения численных систем, полученных из оптимизационной функции, и преобразования Фурье для вычисления градиента, необходимого для СГ-метода. Работа с производными изображений позволила сократить количество преобразований Фурье с 12 до 2, избежав 5/6 вычислений, необходимых для вычисления градиента. Также количество условий численной системы, использующей производные изображения, меньше, чем при использовании значений пикселей, что позволило методу сопряженных градиентов сходиться быстрее. Поэтому процесс численной оптимизации для оценки ядра значительно ускорился.
f ' = arg minf||g - h * f|| + pf (f ) h'= arg minh||g - h * f|| + ph (h)
(2)
(3)
Основная цель итеративной чередующейся оптимизации - постепенное улучшение ядра смаза к. Конечный результат восстановления получается с помощью последней операции неслепой деконволюции, которая выполняется с финальным значением ядра к и смазанным изображением g. Промежуточные представления исходного изображения, полученные во время итераций, не имеют прямого влияния на результат восстановления. Они влияют на результат только косвенно, способствуя улучшению ядра к.
Успех итеративных методов основан на двух важных свойствах их способов вычисления четкого изображения: восстановление острых краев и подавление шума в однородных областях; эти свойства позволяют произвести точное вычисление ядра. Хотя предполагается, что смаз постоянен по всему изображению, более точно ядро смаза может быть получено в участках с резкими краями. Например, нельзя определить ядро смаза в областях с постоянной интенсивностью. Так как естественное изображение обычно содержит участки с резкими краями, ядро смаза может быть эффективно найдено по краям, восстановленным при вычислении скрытого изображения. Подавление шума в однородных областях также важно, так как такие области обычно занимают куда большую часть естественного изображения, чем выраженные края. Если шум в однородных областях не будет подавлен, он будет значительно воздействовать на компоненту подгонки данных, снижая точность вычисления ядра по резким краям.
В настоящей работе предложен алгоритм, позволяющий заметно сократить время восстановления изображения в описанном подходе.
2. Быстрая слепая деконволюция
Предполагая, что восстанавливаемое изображение имеет достаточно выраженные края, и, используя фильтры изображения вместо применения вычислительно дорогого нелинейного априорного распределения вероятностей, было ускорено вычисление скрытого изображения в процессе определения резких краев и подавления шума.
Процесс нахождения скрытого изображения разделен на две части: простая декон-волюция и предсказание. С помощью быстрой деконволюции с Гауссовым априорным распределением вероятностей удаляется смаз с целью получения первой версии / скрытого изображения.
Благодаря характеристикам Гауссова априорного распределения вероятностей / содержит гладкие края и шум в однородных областях. На шаге предсказания получается улучшенная оценка/ с помощью восстановления острых краев и удаления шума из /эффективными методами фильтрования изображения. В результате, / дает оценку
высококачественного скрытого изображения, необходимую для правильной оценки ядра, несмотря на низкое качество простой деконволюции.
Для оценки ядра использовался метод сопряженных градиентов для решения уравнения (3). В процессе решения необходимо вычислять градиент энергетической функции много раз. Получение градиента требует выполнения сложных вычислений, включая перемножение огромных матриц и векторов. Однако перемножение совпадает с операцией конволюции, и было ускорено при помощи быстрых преобразований Фурье. Однако, при выполнении быстрых преобразований Фурье в последовательности, необходимо как следует обрабатывать границы изображения, которые препятствуют прямому соединению быстрых преобразований Фурье. Сформировав энергетическую функцию в уравнении (3) при помощи только производных изображения, стало возможным упростить обработку границ и значительно уменьшить число быстрых преобразований Фурье. Такое формирование также сделало численную систему, выведенную из уравнения (3), хорошо обусловленной, обеспечив быструю сходимость.
3. Описание алгоритма
Чтобы постепенно улучшать ядро смаза к и скрытое изображение / выполнялось повторение трех шагов: предсказание, нахождение ядра и деконволюция. Как было описано выше, предсказание и деконволюция вместе представляют собой процесс нахождения скрытого изображения. Предсказание помещается в начало цикла, чтобы получить начальное значение / для определения ядра, где на вход предсказанию дается смазанное изображение g. На шаге предсказания вычисляются карты градиентов {Рх, Ру} от / по направлениям х и у, которые предсказывают области с резкими краями в Ь с подавлением шума в гладких областях. За исключением начальной итерации, на вход шага предсказания подается значение /, полученное на шаге деконволюции предыдущей итерации. На шаге вычисления ядра производится определение к, используя предсказанные карты градиентов {Рх, Ру} и карты градиентов g.
Чтобы оценить ядро смаза с помощью предсказанных карт градиентов {Рх, Ру}, необходимо минимизировать энергетическую функцию
Шпсцф) = к *Р* -в* \\2 +в\\1\\2 (4)
где е{®1,02} показывают вес для каждой частной производной. Р* и варьируются следующим образом:
(Р*,в* )е{( Рх, д ^), (Ру, д ^), (5 ХРХ, д ххg), (5 УРУ, д уу g), ((5 хРу+д у Рх)/2, д ху g)}
Каждый член (h * P* - g*) формирует карту. Определяем ||I||2 = ^(xy)I(x,y)2 для карты I, где (x,y) - индексы пикселей в I. ß - вес для регуляризации Тихонова.
Энергетическая функция в уравнении (4) использует только производные изображения, не включая значений пикселей и, в отличие от других методов, включает компоненту регуляризации Тихонова вместо нормы L1 от h.
На шаге деконволюции с помощью h и g вычисляется f, которое будет обработано на шаге предсказания следующей итерации.
4. Сравнение скорости вычислений
Для нахождения карт градиентов скрытого изображения, которые будут использоваться при вычислении ядра, метод требует двух быстрых преобразований Фурье для де-конволюции и простых операций фильтрации для предсказания. Двусторонняя фильтрация с маленьким значением параметра поддержки и нагрузочная фильтрация, так же как и определение порога градиента, могут быть выполнены очень быстро.
В противоположность этому, высоко эффективный метод деконволюции Шана[8], который основан на замене переменных, в основном использует от 30 до 60 быстрых преобразований Фурье, то есть, в 15-30 раз больше преобразований. Очевидно, что описываемый метод с простой конволюцией и предсказанием намного быстрее, чем оценка скрытого изображения в сложном методе деконволюции.
Для сравнения скоростей рассматривается метод оценки ядра, в котором энергетическая функция аналогична функции в методе Шана[8], за исключением того, что для априорного распределения вероятностей ядра используется норма L2. В то время как описываемому методу требуется два быстрых преобразования Фурье на итерацию метода сопряженных градиентов, метод Шана требует 14 преобразований, так как он использует шесть изображений: одно изображение со значениями пикселей и пять изображений производных. Кроме того, так как он использует значения пикселей, ему требуется больше итераций, чем описываемому методу. В проведенных экспериментах описываемый метод выполняет пять итераций метода сопряженных градиентов, тогда как методу Шана требуется около 30 итераций для достижения аналогичной точности [8]. Другие методы для оценки ядра в большинстве случаев используют только значения пикселей [5]. В этом случае конволюции не могут быть объединены из-за проблем с граничными значениями, поэтому для вычисления градиента их энергетической функции требуется 4 быстрых преобразования Фурье и большее количество итераций.
Для того чтобы протестировать точность реализованного метода оценки ядра, были проведены эксперименты с искусственно смазанными изображениями, в которые был
добавлен Гауссовый шум с различными вариациями. Хотя описанный метод не использует значения пикселей, он показывает похожую точность, что и в случае использования значения точек. Кроме того, метод дает лучшую точность для некоторых случаев благодаря хорошо обусловленной системе, полученной благодаря исключению значений пикселей.
В ходе работы было проведено восстановление ряда изображений, различных по размеру (для анализа скорости работы программы), уровню шума, наличию резких краев в изображении и степени смаза. Полученные результаты говорят о высоком качестве восстановления даже при больших степенях смаза, что существенно отличает данный алгоритм от существующих методов восстановления.
а) б)
Рис 1. Модельный смаз: а) смазанное изображение, б) восстановленное изображение. Размер изображения 500х423. Время восстановления: 27 секунд.
а) б)
Рис 2. Реальный смаз: а) смазанное изображение, б) восстановленное изображение. Размер изображения 800х600. Параметры восстановления: максимальный размер ядра 17х17.
Время восстановления: 43 секунды.
а) б)
Рис 3. Реальный смаз: а) смазанное изображение, б) восстановленное изображение. Размер изображения 291х216.Время восстановления: 14 секунд.
5. Заключение
В статье предложен быстрый метод слепой деконволюции, который обеспечивает скорость, достаточную для того, чтобы использовать восстановление на практике. Метод основан на интуитивном представлении о том, что смазанные резкие края могут давать достоверную информацию для правильного вычисления ядра смаза. Основываясь на этом предположении, можно определить требуемые свойства скрытого изображения, используемого для нахождения ядра в итеративном процессе восстановления. Получая подробную информацию о свойствах с помощью простых фильтров изображений в подходе с разны-
ми степенями приближения, можно избежать использования вычислительно затратных априорных распределений вероятностей для обработки больших смазов.
Список литературы
1. Yitzhaky Y., Mor I., Lantzman A. and Kopeika N. S. "Direct method for restoration of motion-blurred images" Journal of Opt. Soc. Am. A. 15, 6, 1998, 1512-1519
2. T. J. Holmes. "Blind deconvolution quantum-limited incoherent imagery: maximum-likelihood approach." J. Opt. Soc. Am. A9, 1992, pp. 1052-1061
3. Levin A., Fergus R., Durand F. and Freeman W.T. "Image and depth from a conventional camera with a coded aperture" ACM Trans. Graphics 26, 3, 2007, article no. 70
4. Joshi N., Szeliski R. and Kreigman D. "PSF estimation using sharp edge prediction" In Proc. CVPR 2008, 1-8
5. Cho S., Matsushita Y. and Lee S. "Removing non-uniform motion blur from images" In Proc. ICCV 2007, 1-8
6. В.М.Градов, М.В.Филиппов."Решение обратных задач методом регуляризации.", 1998, МГТУ им. Н. Э. Баумана
7. Fergus R., Singh B., Hertzmann A., Roweis S. T. and Freeman W. "Removing camera shake from a single photograph" ACM Trans. Graphics 25, 3, 2006, 787-794
8. Shan Q., Jia J. and Agarwala A. "High-quality motion deblurring from a single image" ACM Trans. Graphics 27, 3, 2008, article no. 73
electronic scientific and technical periodical
SCIENCE and EDUCATION
_EL № KS 77 - 3Ü56'». .V;II421100025, ISSN 1994-jMOg_
Method of fast restoration images blurred by motion 77-30569/340562
# 02, February 2012 Pereslavceva E.E., Filippov M.V.
Bauman Moscow State Technical University
Motion blur is a common defect that leads to blurry images with inevitable loss of information. If motion blur is shift-invariant it can be modeled as a convolution of a latent image with shift kernel, where the kernel describes the trace of the sensor. In that case removing the motion blur from an image becomes a deconvolution operation. The authors present a fast blind decon-volution method that produces a de-blurred image in only a few seconds. High speed of this method results from accelerating the steps of both kernel and latent image estimation in the iterative de-blurring process.
Publications with keywords: image restoration, motion blur, deconvolution, conjugate gradient method
Publications with words: image restoration, motion blur, deconvolution, conjugate gradient method
Reference
1. Yitzhaky Y., Mor I., Lantzman A., Kopeika N. S., Direct method for restoration of motion-blurred images, Journal of Opt. Soc. Am. A. 15 (6) (1998) 1512-1519.
2. T. J. Holmes, Blind deconvolution quantum-limited incoherent imagery: maximum-likelihood approach, J. Opt. Soc. Am. A 9 (7) (1992) 1052-1061.
3. Levin A., Fergus R., Durand F., Freeman W.T., Image and depth from a conventional camera with a coded aperture, ACM Trans. Graphics (Proceedings of ACM SIGGRAPH 2007) 26 (3) (2007) article no. 70.
4. Joshi N., Szeliski R., Kreigman D., PSF estimation using sharp edge prediction, in: Proc. CVPR, 2008, pp. 1-8.
5. Cho S., Matsushita Y., Lee S., Removing non-uniform motion blur from images, in: Proc. ICCV, 2007, pp. 1-8.
6. V.M. Gradov, M.V. Filippov, The solution of inverse problems by regularization method, Moscow, MGTU im. N. E. Bauman - BMSTU, 1998.
7. Fergus R., Singh B., Hertzmann A., Roweis S. T., Freeman W., Removing camera shake from a single photograph, ACM Trans. Graphics 25 (3) (2006) 787-794.
8. Shan Q., Jia J., Agarwala A., High-quality motion deblurring from a single image, ACM Trans. Graphics 27 (3) (2008) article no. 73.
