Научная статья на тему 'Улучшение качества изображений при обработке видеокадров с различным временем экспозиции'

Улучшение качества изображений при обработке видеокадров с различным временем экспозиции Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
234
28
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КАЧЕСТВО ИЗОБРАЖЕНИЯ / КОМПЕНСАЦИЯ РАЗМЫТИЯ / ФУНКЦИЯ РАССЕЯНИЯ ТОЧКИ / ОБРАТНАЯ СВЕРТКА / IMAGE QUALITY / DEBLURRING / POINT-SPREAD FUNCTION / DECONVOLUTION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Дронникова С.А., Гуров И.П.

Предмет исследования. Рассмотрен метод улучшения качества размытого изображения, зарегистрированного при длительной экспозиции и неконтролируемом смещении видеокамеры. Компенсация размытия осуществлена с использованием алгоритма вычисления обратной свертки с функцией рассеяния точки, характеризующей размытие. Метод. Основным этапом компенсации размытия является оценка функции рассеяния точки с использованием второго недоэкспонированного, зашумленного изображения как начального приближения в итерационном алгоритме определения функции рассеяния точки. Последующая операция обратной свертки размытого изображения с найденной оценкой функции рассеяния точки обеспечила получение улучшенного изображения. Основные результаты. Предложены новые процедуры уточнения оценки функции рассеяния точки, основанные на разделении значений по двум порогам с использованием адаптированного алгоритма Кэнни и модификации в пространстве масштабов. Представлены экспериментальные результаты, подтверждающие эффективность метода. Практическая значимость. Полученные результаты могут быть использованы для улучшения качества изображений, полученных в условиях смещения камеры в процессе съемки, в том числе в научных исследованиях и системах технического зрения.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Дронникова С.А., Гуров И.П.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Image quality enhancement by processing of video frames with different exposure time

Subject of Research. We consider a method of image quality enhancement, when an image is registered with long exposure time under uncontrollable camera shake. Blur compensation is implemented by deconvolution computational algorithm with the point-spread function determining the image blur. Method. The main step of the deblurring algorithm consists in evaluation of a point-spread function involving the second underexposed noisy image frame as an initial approximation in iterative algorithm of point-spread function estimation. The subsequent blurred image deconvolution with the estimated point-spread function provides obtaining of enhanced image. Main Results. We have proposed new procedures for refinement of point-spread function estimates based on separation of values under hysteresis threshold application with the use of adopted Canny algorithm as well as modification in scale space. Practical Relevance. Obtained results can be used to enhance image quality in cases when camera moves during the image capture process including scientific research and computer vision systems.

Текст научной работы на тему «Улучшение качества изображений при обработке видеокадров с различным временем экспозиции»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май-июнь 2017 Том 17 № 3 ISSN 2226-1494 http://ntv.ifmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS

May-June 2017

Vol. 17 No 3 ISSN 2226-1494

http://ntv.ifmo.ru/en

УДК 004.932

УЛУЧШЕНИЕ КАЧЕСТВА ИЗОБРАЖЕНИЙ ПРИ ОБРАБОТКЕ ВИДЕОКАДРОВ С РАЗЛИЧНЫМ ВРЕМЕНЕМ ЭКСПОЗИЦИИ С.А. Дронникова% И.П. Гуров3

a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: svdronnikova@yandex.ru Информация о статье

Поступила в редакцию 06.03.17, принята к печати 03.04.17 doi: 10.17586/2226-1494-2017-17-3-424-430 Язык статьи - русский

Ссылка для цитирования: Дронникова С.А., Гуров И.П. Улучшение качества изображений при обработке видеокадров с различным временем экспозиции // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17. № 3. С. 424-430. doi: 10.17586/2226-1494-2017-17-3-424-430

Аннотация

Предмет исследования. Рассмотрен метод улучшения качества размытого изображения, зарегистрированного при длительной экспозиции и неконтролируемом смещении видеокамеры. Компенсация размытия осуществлена с использованием алгоритма вычисления обратной свертки с функцией рассеяния точки, характеризующей размытие. Метод. Основным этапом компенсации размытия является оценка функции рассеяния точки с использованием второго недоэкспонированного, зашумленного изображения как начального приближения в итерационном алгоритме определения функции рассеяния точки. Последующая операция обратной свертки размытого изображения с найденной оценкой функции рассеяния точки обеспечила получение улучшенного изображения. Основные результаты. Предложены новые процедуры уточнения оценки функции рассеяния точки, основанные на разделении значений по двум порогам с использованием адаптированного алгоритма Кэнни и модификации в пространстве масштабов. Представлены экспериментальные результаты, подтверждающие эффективность метода. Практическая значимость. Полученные результаты могут быть использованы для улучшения качества изображений, полученных в условиях смещения камеры в процессе съемки, в том числе в научных исследованиях и системах технического зрения.

Ключевые слова

качество изображения, компенсация размытия, функция рассеяния точки, обратная свертка

IMAGE QUALITY ENHANCEMENT BY PROCESSING OF VIDEO FRAMES WITH

DIFFERENT EXPOSURE TIME S.A. Dronnikova", I.P. Gurov"

aITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: svdronnikova@yandex.ru Article info

Received 06.03.17, accepted 03.04.17 doi: 10.17586/2226-1494-2017-17-3-424-430 Article in Russian

For citation: Dronnikova S.A., Gurov I.P. Image quality enhancement by processing of video frames with different exposure time. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2017, vol. 17, no. 3, pp. 424-430 (in Russian). doi: 10.17586/2226-1494-2017-17-3-424-430

Abstract

Subject of Research. We consider a method of image quality enhancement, when an image is registered with long exposure time under uncontrollable camera shake. Blur compensation is implemented by deconvolution computational algorithm with the point-spread function determining the image blur. Method. The main step of the deblurring algorithm consists in evaluation of a point-spread function involving the second underexposed noisy image frame as an initial approximation in iterative algorithm of point-spread function estimation. The subsequent blurred image deconvolution with the estimated point-spread function provides obtaining of enhanced image. Main Results. We have proposed new procedures for refinement of point-spread function estimates based on separation of values under hysteresis threshold application with the use of adopted Canny algorithm as well as modification in scale space. Practical Relevance. Obtained results can be used to enhance image quality in cases when camera moves during the image capture process including scientific research and computer vision systems. Keywords

image quality, deblurring, point-spread function, deconvolution

Введение

При регистрации изображений с помощью фото- или видеокамеры на результат могут повлиять различные факторы, например, недостаточное освещение, движение объектов в наблюдаемой сцене или смещение камеры во время съемки. Эти факторы снижают качество изображения. При малой освещенности и недостаточном времени экспозиции изображение искажается влиянием шума. Однако при длительной экспозиции изображение может быть размыто. Избежать размытия можно, например, зафиксировав камеру, однако во многих случаях это не представляется возможным или затруднительно при съемке. Известны различные алгоритмы обработки изображений для компенсации размытия, некоторые из них реализованы в цифровых камерах [1], однако качество компенсации искажений в ряде случаев остается невысоким.

Компенсация размытия изображений основывается главным образом на методе обратной свертки размытого изображения с функцией рассеяния точки (ФРТ), определяющей размытие. Если имеется оборудование, аналогичное тому, с помощью которого было получено размытое изображение, то можно получить достаточно точную оценку ФРТ ([2, с. 383]). Однако данный метод применим только в случае идентичных условий регистрации обоих изображений. Обратная свертка может выполняться как с заранее вычисленной приближенной оценкой ФРТ, так и с неизвестной ФРТ [3, 4]. Для вычисления ФРТ можно использовать априорную вероятность оценки градиента изображения [5], а также иную информацию о размытом изображении или другие искаженные снимки [6], например, снимок той же сцены с другими настройками камеры [7]. При неизвестной ФРТ возможно использование нескольких снимков с различной степенью размытия [8]. Однако вышеупомянутые методы не всегда эффективны и удобны для практического применения.

Один из перспективных методов решения рассматриваемой проблемы состоит в использовании пары изображений, зарегистрированных с различным временем экспозиции [9]. Первое изображение регистрируется с малым временем экспозиции, поэтому искажено шумом, однако не имеет размытия. Второе изображение при увеличенной экспозиции оказывается размытым, но не искажено шумом. Целью настоящей работы является исследование возможностей метода совместной обработки двух видеокадров с разным временем экспозиции и определение особенностей реализации метода для повышения качества изображений.

Компенсация размытия с использованием пары изображений

В пространственно инвариантной линейной системе формирования изображений размытое изображение В(х, у), как известно (см., например, [2]), можно представить в форме свертки неискаженного изображения 1(х, у) и ФРТ К(х, у), характеризующей размытие, а именно

В (х, у) = 1 (х, у) ® К (х, у), (1)

где (х, у) - пространственные координаты; ® - символ операции свертки.

При использовании дополнительного изображения Щ(х, у), зарегистрированного с малой экспозицией и поэтому искаженного шумом, можно скомпенсировать влияние шума и далее считать, что улучшенное при снижении влияния шума изображение Щ(х, у) представляет хорошее начальное приближение к исходному изображению 1(х, у). При этом остается неизвестной ФРТ К(х, у), и задача состоит в получении ее оценки. Зная К(х, у) в (1), можно компенсировать размытие с помощью обратной свертки, используя эффективные алгоритмы обработки, например, итерационный алгоритм Люси-Ричардсона [10].

Для упрощения записи перейдем к векторно-матричному описанию изображений (см., например, [11, с. 132]).

Размытие изображения характеризуется ФРТ, протяженность которой мала по сравнению с размером изображения. Представим ФРТ в форме матрицы коэффициентов размером т х т пикселов, т.е.

К =

кц ... к1т

кт!

(2)

В свою очередь, матрицу (2) можно представить в форме вектора размером т2 х 1

к = [к,,... к, ... к ,... к ]т ,

I- 11 1т т1 тт J >

составленного из строк этой матрицы.

Выделим из исходного изображения, определяемого в дискретной форме в виде матрицы пикселов 1 (/, у), блоки размером т х т пикселов, представим каждый блок в виде матрицы-строки, содержащей

т2 элементов, и составим матрицу А из т2 столбцов с количеством строк, равным количеству пикселов в изображении 1 (/, ]). При этом преобразование свертки (1) выражается в дискретной форме в виде системы линейных уравнений

Ак=Ь, (3)

где Ь - векторное представление размытого изображения.

Из формулы (3) выразим ФРТ в форме

к = А' Ь, (4)

где А' - псевдообратная матрица. При этом матрица А должна быть невырожденной, что обычно выполняется в задачах обработки изображений реальных объектов. Вычисление обратной матрицы представляет трудоемкую процедуру, включающую ряд избыточных операций по отношению к решению уравнения (3). Кроме этого, обращение матрицы в ряде случаев может быть вычислительно неустойчивым и сопровождаться накоплением ошибок, поэтому на практике используются иные методы обработки, в частности, итерационные методы, один из которых рассматривается ниже.

Итерационное вычисление функции рассеяния точки

Итерационные методы устанавливают процедуру уточнения определенного начального приближения к решению. При выполнении условий сходимости они позволяют достичь требуемой точности при повторении итераций. Преимущество этих методов состоит в том, что в ряде случаев они позволяют получить решение с заранее заданной точностью быстрее по сравнению с другими методами, а также позволяют решать системы уравнений большой размерности, соответствующие рассматриваемой задаче.

Для нахождения оценки ФРТ можно применить итерационный алгоритм Лендвебера (см., например, [12]), который представляет модифицированный метод Фридмана [13] для решения уравнения (4) в форме

к = к^ + уАт(Ь - Ак ), (5)

где q - номер итерации; у - параметр сходимости, АТ - транспонированная матрица. Алгоритм (5) включает процедуру регуляризации решения с обеспечением устойчивости и вычислительной эффективности [14]. В качестве начальных условий (на нулевой итерации) используется дельта-функция как центральный элемент в матрице (2) при нулевых значениях других элементов этой матрицы. Для формирования матрицы А используется изображение /) после снижения влияния шума. Критерием останова данного итерационного алгоритма является заданное количество итераций как отдельный параметр. Дополнительным критерием останова может служить условие малого изменения оценки ФРТ между двумя соседними итерациями. Значение параметра у в (5) вычисляется по формуле

у = ]Дг(ААт), где 1т() обозначает след матрицы.

Получаемые на каждом шаге значения к^ должны быть положительными, и по условию нормировки сумма всех элементов ФРТ должна быть равна единице, поэтому при получении оценки к^) < 0 следует принять к^ = 0 , после чего нормировать ФРТ по сумме всех элементов, 2к^ = 1.

После нахождения оценки ФРТ можно выполнить операцию обратной свертки для восстановления неискаженного изображения.

Уточнение оценок функции рассеяния точки

Ввиду того, что зарегистрированное изображение при малой экспозиции искажено влиянием шума, а сглаживание шума в изображении Мл ]') приводит к погрешностям при формировании матрицы А, при реализации итерационного алгоритма (5) возможно неточное восстановление ФРТ. Для уточнения получаемых оценок ФРТ можно использовать дополнительную априорную информацию. В частности, во многих случаях причиной размытия можно считать смещение камеры по произвольной траектории в течение времени экспозиции. При этом ФРТ должна иметь вид некоторой кривой. Если оценка ФРТ, полученная в результате применения итерационного алгоритма Лендвебера, искажена, т. е. в ней присутствуют ложные значения, целесообразно использовать алгоритмы «утоньшения» ФРТ.

Для уточнения оценки ФРТ предлагается использовать алгоритм Кэнни, широко используемый для выделения границ объектов в изображениях [15], а также алгоритм преобразования ФРТ в пространстве масштабов, снижающий влияние пространственной дискретности при малом количестве элементов ФРТ.

Исходя из того, что траектория движения камеры, определяющая ФРТ, имеет вид некоторой кривой, предлагается выполнить ее «утоньшение», считая эту кривую аналогом тонкой границы в алгоритме Кэнни. Алгоритм включает следующие этапы: вычисление карты градиентов яркости, подавление ложных максимумов при двойной пороговой селекции по уровню и получение оценок границ с дальнейшим их прослеживанием.

В используемом адаптированном алгоритме оценка ФРТ рассматривается как карта градиентов; элементы ФРТ со значениями, большими порогового значения 4, считаются граничными, и элементы ФРТ, попадающие в 8-элементную связную область вокруг граничного элемента и превышающие по значению пороговую величину 4 также добавляются к множеству граничных элементов. Таким образом,

пороговые значения ^ и ^ формируют уточненную область элементов ФРТ, которые относятся к траектории движения камеры.

Преобразование ФРТ в пространстве масштабов включает два этапа. На первом этапе итерационно уменьшается размер ФРТ т, т.е. на п-ой итерации т(п> = —^да(и_1), и на каждой итерации конструируются

л/2

две маски М1 и Му, соответствующие пороговым значениям по уровню ^ и 4 > 4 Элемент ФРТ кр с порядковым индексом р устанавливается равным единице внутри маски, если кр > tl ктах, где ктах - максимальное значение ФРТ. Элементам полученного набора, для которых кр < th ктах, присваиваются нулевые значения. На втором этапе, когда размер ФРТ уменьшен до минимально возможного значения, происходит итерационное увеличение размера ФРТ до исходного размера, т.е., т(п) На каждой итерации п применяется маска М, на итерации п+1 - маска Му. После этого проводится упомянутая выше нормировка элементов ФРТ.

Рассмотренные процедуры позволяют устранить ложные отклонения в оценках ФРТ и улучшить ее оценку.

Экспериментальные исследования

Для исследования характеристик итерационного алгоритма и методов уточнения ФРТ были проведены эксперименты, в ходе которых варьировались значения параметров - размер ФРТ т и пороговые значения ^ и th при уточнении ФРТ. В исследованиях использовались полутоновые 8-битные изображения, представленные на рис. 1, которые нормировались и принимали значения в диапазоне от 0 до 1 перед их обработкой.

Исходное изображение показано на рис. 1, а, размытые изображения (рис. 1, б, в) получены при разных размерах ФРТ (т.е. величины т в выражении (2)). ФРТ была смоделирована в графическом редакторе в форме прямолинейной траектории равномерного смещения камеры в течение времени экспозиции.

а б в

Рис. 1. Экспериментальные изображения: исходное изображение (а) размером 406х351 пикселов; размытое изображение (т = 5) (б); размытое изображение (т = 9) (в)

Во многих случаях истинная протяженность ФРТ т0 априорно неизвестна, и поэтому целесообразно оценить качество оценок ФРТ в зависимости от предполагаемого размера ФРТ, который может отличаться от истинного.

В табл. 1 приведены полученные оценки ФРТ в результате применения итерационного алгоритма Лендвебера при ее размере как варьируемом параметре.

Из представленных результатов видно, что получаемые оценки ФРТ отличаются от заданной модели, т.е. содержат дополнительные ненулевые значения, которые приводят к искажениям восстанавливаемого изображения. При этом неточное знание размера ФРТ снижает качество ее оценки. Лучшее соответствие для ФРТ меньшей протяженности (см. первую строку таблицы) достигается при т = 7, тогда как для ФРТ большей протяженности (вторая строка таблицы) - при т = 9. Следовательно, при несовпадении предполагаемой ФРТ с истинной требуется дополнительное уточнение получаемой оценки ФРТ.

Результаты уточнения оценки ФРТ (размер ФРТ т = 9) с использованием адаптированного алгоритма Кэнни представлены в табл. 2. Из таблицы наглядно видно, что выбор пороговых значений при модификации ФРТ существенно влияет на ее оценку, при этом сравнительно большие пороговые значения позволяют получить значения ФРТ более близкие к оригиналу.

Для сравнения в табл. 3 иллюстрируются результаты преобразования ФРТ в пространстве масштабов (как и ранее, размер ФРТ т = 9).

Исследования показали, что преобразование ФРТ в пространстве масштабов позволяет в ряде случаев получить более точные оценки ФРТ по сравнению с адаптированным алгоритмом Кэнни.

Таблица 1. Оценки ФРТ, полученные при различных априорных предположениях о степени размытия

Пороговые значения 11 и Модель ФРТ

0,1 и 0,3 0,3 и 0,5 0,5 и 0,7

■ □ а \

Таблица 2. Оценки ФРТ с использованием адаптированного алгоритма Кэнни

Пороговые значения и Модель ФРТ

0,1 и 0,3 0,3 и 0,5 0,5 и 0,7

□ О а И

Таблица 3. Результаты преобразования ФРТ в пространстве масштабов Качество улучшенного изображения оценивается как среднее квадратичное отклонение (СКО) изображения у), полученного после обратной свертки с вычисленной ФРТ, от исходного I(/', у) согласно выражению

где Ж х Н - размер изображения в пикселах.

Значения СКО размытых изображений, показанных на рис. 1, б, в, от исходного равны соответственно 0,023 и 0,038. При улучшении изображений без дополнительного уточнения оценок ФРТ в алгоритме Лендвебера получены значения СКО, равные 0,013 и 0,035. Отсюда следует, что алгоритм позволяет достичь меньшего отклонения результата от исходного изображения, и что большая степень размытия (рис. 1, в) приводит к увеличению СКО, т.е. при этом не обеспечивается достаточно высокое качество компенсации размытия при обратной свертке. Более точные результаты достигаются при использовании адаптированного метода Кэнни в соответствии с данными, представленными в табл. 4. Однако из таблицы видно, что данный метод уточнения ФРТ более эффективен в случае малого размытия изображения (см. оценки СКО для изображения рис. 1, б). При увеличении степени размытия получаемое уточнение ФРТ менее существенно независимо от выбранных пороговых значений, как это видно из оценок СКО для изображения рис. 1, в.

Изображение Пороговые значения ^ и

0,1 и 0,2 0,1 и 0,7 0,3 и 0,5 0,5 и 0,7

Рис. 1, б 0,012 0,010 0,009 0,010

Рис. 1, в 0,032 0,020 0,024 0,016

Таблица 4. Значения СКО улучшенного изображения при уточнении ФРТ адаптированным методом Кэнни

Исследования показали, что упомянутый выше недостаток можно устранить методом модификации ФРТ в пространстве масштабов. Полученные результаты приведены в табл. 5.

Из таблиц можно заметить, что полученные оценки ФРТ с дополнительной обработкой обеспечивают существенное снижение СКО улучшенного изображения, при этом с увеличением пороговых значений СКО уменьшается. В случае преобразования ФРТ в пространстве масштабов достигаются заметно

лучшие результаты, в том числе при высокой степени размытия изображения, т. е. при более протяженной траектории движения камеры.

Изображение Пороговые значения tl и th

0,1 и 0,3 0,1 и 0,7 0,3 и 0,5 0,5 и 0,7

Рис. 1, б 0,010 0,012 0,009 0,011

Рис. 1, в 0,032 0,015 0,018 0,012

Таблица 5. Значения СКО улучшенного изображения при модификации ФРТ в пространстве масштабов Влияние начальных условий на точность восстановления изображений

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Как отмечено выше, для реализации итерационного алгоритма Лендвебера (5) требуется задать начальные условия, в том числе оценку изображения для формирования матрицы А в выражении (5). Для этого используется не размытое, но зашумленное изображение Щ(х, у), зарегистрированное с малой экспозицией.

На рис. 2 показано зашумленное изображение, сформированное из изображения рис. 1, а, с аддитивным гауссовым шумом с нулевым математическим ожиданием и дисперсией 0,05 (рис. 2, а), и размытое изображение (рис. 2, б).

Рис. 2. Зашумленное изображение (а), размытое изображение (б) и улучшенное изображение (в)

Зашумленное изображение после предварительной обработки для уменьшения уровня шума используется как начальное приближение к оригиналу. Для устранения шума использовался фильтр Винера, реализованный стандартной функцией МЛТЬЛБ, со сглаживающей маской размерами 3 х 3 элемента изображения.

При обработке данной пары изображений были получены оценки СКО улучшенного изображения от оригинала, представленные в табл. 6.

Алгоритм Основной алгоритм Уточнение, алгоритм Кэнни, и = 0,5 и 4 = 0,7 Уточнение в пространстве масштабов, ^ = 0,5 и 4= 0,7

СКО 0,028 0,023 0,018

Таблица 6. Погрешности при улучшении изображений

Как следует из полученных результатов, дополнительная обработка с уточнением оценки ФРТ позволяет достичь более точной компенсации искажений при улучшении качества размытого изображения.

Исследования показали, что рассмотренный метод толерантен к степени влияния шума в изображении Щ(х, у): пятикратное изменение дисперсии шума не приводило к заметным отличиям получаемых оценок СКО, как и при использовании различных методов сглаживания шума. Однако размер окна сглаживающей функции должен быть существенно меньшим по сравнению с размером ФРТ размытого изображения.

Заключение

Исследование метода компенсации размытия при улучшении изображений с использованием итерационного алгоритма Лендвебера показало, что при обработке типичных изображений алгоритм сходится в течение примерно десяти итераций, и в результате оказывается возможным найти траекторию движения камеры в форме оценки функции рассеяния точки, характеризующей размытие. В качестве начальной оценки в итерационном алгоритме используется второе изображение с малым размытием, искаженное влиянием шума. Метод снижения уровня шума оказывает незначительное влияние на результат улучшения размытого изображения, если размер окна сглаживающей функции мал по сравнению с протяженностью функции рассеяния точки размытого изображения.

Для уточнения получаемых оценок функции рассеяния точки целесообразно использовать адаптированный алгоритм Кэнни или модификацию оценки размытия в пространстве масштабов, что позволяет повысить качество улучшенных изображений. При этом не требуется существенных вычислительных затрат. В большинстве случаев модификация функции рассеяния точки в пространстве масштабов позволяет получить более точные результаты по сравнению с адаптированным алгоритмом Кэнни, который является более простым в реализации.

Рассмотренный алгоритм требует существенного объема памяти для хранения и преобразования данных в векторно-матричной форме, поэтому целесообразны дальнейшие модификации алгоритма для работы с изображениями большого формата. Помимо этого, важным является повышение быстродействия алгоритма, в частности, при его реализации на аппаратном уровне для использования в фотоаппаратах и видеокамерах в форме встроенного программного обеспечения.

Литература

1. Lee J.-H., Shin I.-Y., Lee H.-G., Kim T.-Y., Ho Y.-S. Anti-shaking algorithm for the mobile phone camera in dim light conditions // Lecture Notes in Computer Science. 2009. V. 5879. P. 968-973. doi: 10.1007/978-3-642-10467-1_90

2. Гонсалес P., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

3. Krahmer F., Lin Y., McAdoo B., Ott K., Wang J., Widemann D. Blind image deconvolution: motion blur estimation // IMA Preprints Series. 2006. V. 21. P. 33-35.

4. Levin A. Blind motion deblurring using image statistics // Advances in Neural Information Processing Systems. 2006. P. 840-848.

5. Fergus R., Singh B., Hertzmann A., Roweis S.T., Freeman W.T. Removing camera shake from a single photograph // ACM Transactions on Graphics. 2006. V. 25. N 3. P. 787-794. doi: 10.1145/1141911.1141956

6. Sroubek F., Flusser J. Multichannel blind deconvolution of spatially misaligned images // IEEE Transactions on Image Processing. 2005. V. 14. N 7. P.874-883. doi: 10.1109/TIP.2005.849322

7. Lim S.H., Silverstein D.A. Method for deblurring an image. US Patent Application, pub. no. 2006/0187308.

8. Rav-Acha A., Peleg S. Two motion-blurred images are better than one // Pattern Recognition Letters. 2005. V. 26. N 3. P. 311-317. doi: 10.1016/j.patrec.2004.10.017

9. Yuan L., Sun J., Quan L., Shum H.-Y. Image deblurring with blurred/noisy image pairs // Proc. ACM SIGGRAPH Conference on Computer Graphics. San Diego, USA, 2007. doi: 10.1145/1275808.1276379

10. Richardson W.H. Bayesian-based iterative method of image restoration // J. Opt. Soc. Am. 1972. V. 62. N. 1. P. 55-59.

11. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982. T.1.

12. Kirsch A. An Introduction to the Mathematical Theory of Inverse Problems. NY: Springer, 2011. doi: 10.1007/978-1-4419-8474-6

13. Верлань А.Ф., Сизиков В.С. Интегральные уравнения: методы, алгоритмы, программы. Киев: Наук. думка, 1986. 544 с.

14. Ramlau R. Modified Landweber method for inverse problems // Numerical Functional Analysis and Optimization. 1999. V. 20. N 1. P. 79-98.

15. Canny J. A computational approach to edge detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986. V. PAMI-8. N 6. P. 679-698. doi: 10.1109/TPAMI.1986.4767851

Авторы

Дронникоеа Светлана Алексеевна - инженер, Университет

ИТМО, Санкт-Петербург, 197101, Российская Федерация,

svdronnikova@yandex.ru

Гуров Игорь Петрович - доктор технических наук, профессор,

заведующий кафедрой, Университет ИТМО, Санкт-Петербург,

197101, Российская Федерация, gurov@mail.ifmo.ru

References

1. Lee J.-H., Shin I.-Y., Lee H.-G., Kim T.-Y., Ho Y.-S. Anti-shaking algorithm for the mobile phone camera in dim light conditions. Lecture Notes in Computer Science, 2009, vol. 5879, pp. 968-973. doi: 10.1007/978-3-642-10467-1_90

2. Gonzales R.C., Woods R.E. Digital Image Processing. 2nd ed. Upper Saddle River, Prentice Hall, 2002, 793 p.

3. Krahmer F., Lin Y., McAdoo B., Ott K., Wang J., Widemann D. Blind image deconvolution: motion blur estimation. IMA Preprints Series, 2006, vol. 21, pp. 33-35.

4. Levin A. Blind motion deblurring using image statistics. Advances in Neural Information Processing Systems, 2006, pp. 840-848.

5. Fergus R., Singh B., Hertzmann A., Roweis S.T., Freeman W.T. Removing camera shake from a single photograph. ACM Transactions on Graphics, 2006, vol. 25, no. 3, pp. 787-794. doi: 10.1145/1141911.1141956

6. Sroubek F., Flusser J. Multichannel blind deconvolution of spatially misaligned images. IEEE Transactions on Image Processing, 2005, vol. 14, no. 7, pp. 874-883. doi: 10.1109/TIP.2005.849322

7. Lim S.H., Silverstein D.A. Method for deblurring an image. US Patent Application, pub. no. 2006/0187308.

8. Rav-Acha A., Peleg S. Two motion-blurred images are better than one. Pattern Recognition Letters, 2005, vol. 26, no. 3, pp. 311-317. doi: 10.1016/j.patrec.2004.10.017

9. Yuan L., Sun J., Quan L., Shum H.-Y. Image deblurring with blurred/noisy image pairs. Proc. ACM SIGGRAPH Conference on Computer Graphics. San Diego, USA, 2007. doi: 10.1145/1275808.1276379

10. Richardson W.H. Bayesian-based iterative method of image restoration. J. Opt. Soc. Am., 1972, vol. 62, no. 1, pp. 55-59.

11. Pratt W.K. Digital Image Processing. NY, Wiley, 1978.

12. Kirsch A. An Introduction to the Mathematical Theory of Inverse Problems. NY, Springer, 2011. doi: 10.1007/978-14419-8474-6

13. Verlan A.F., Sizikov V.S. The Integral Equations: Methods, Algorithms, Programs. Kiev, Naukova dumka, 1986, 544 p.

14. Ramlau R. Modified Landweber method for inverse problems. Numerical Functional Analysis and Optimization, 1999, vol. 20, no. 1, pp. 79-98.

15. Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, vol. PAMI-8, no. 6, pp. 679-698. doi: 10.1109/TPAMI. 1986.4767851

Authors

Svetlana A. Dronnikova - engineer, ITMO University, Saint

Petersburg, 197101, Russian Federation, svdronnikova@yandex.ru

Igor P. Gurov - D.Sc., Professor, Head of Chair, ITMO University,

Saint Petersburg, 197101, Russian Federation, gurov@mail.ifmo.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.