CC BY
62Программные средства и информационные технологии
УДК 004.932
АЛГОРИТМ УСТРАНЕНИЯ РАЗМЫТИЯ ДЛЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ СТАТИЧЕСКИХ СЦЕН, ОСНОВАННЫЙ НА ПРИМЕНЕНИИ АНИЗОТРОПНОГО ФИЛЬТРА ГАУССА
В. В. Буряченко
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected]
Проведен обзор методов устранения размытия, возникающего при движении видеокамеры и объектов в кадре. Предложен метод оценки размытости кадра видеопоследовательности на основе градиентной оценки изображения. Разработан метод устранения размытия объектов для видеопоследовательностей, основанный на разделении изображения на гладкие и детализированные регионы и применении к ним анизотропного фильтра Гаусса и нерезкого маскирования по направлению движения.
Ключевые слова: устранение размытия, фильтр Гаусса, нерезкое маскирование, стабилизация видео.
MOTION DEBLURRING ALGORITHM FOR STATIC SCENES BASED ON ANISITROPIC GAUSSIAN FILTER
V. V. Buryachenko
Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected]
A review of methods to eliminate motion blur due to the motion in video and objects in frames is performed. A method for estimation of the sequence blur frame based on the gradient image evaluation is described. A method to remove motion blur in video sequences is developed. It is based on the division of the image into smooth and detailed regions and application of the anisotropic Gaussian filter to them and unsharp mask in the direction of motion.
Keywords: motion deblurring, Gaussian filter, sharpening mask, video stabilization.
При съемке видеопоследовательности часто возникают негативные эффекты, связанные с размытостью кадра. Это может быть вызвано как нестабильным движением камеры, так и движением объектов в кадре.
Размытие объектов уменьшает эффективность работы алгоритмов оценки движения, стабилизации видеопоследовательностей, потому что делает менее надежным расчет особенных точек на изображении [1]. Кроме того, при размытии движения ухудшается визуальное качество изображения при восприятии человеком.
При движении камеры на видеопоследовательности возникают нежелательные эффекты, а именно, размытие движущихся объектов и недостаточная четкость объектов заднего плана. Для повышения качества размытых кадров разработан метод, использующий анизотропный фильтр Гаусса с адаптивным автоматическим подбором обрабатываемых регионов в кадре.
При движении камеры и наличии движущихся объектов сложно определить значение ядра размытия, так как направление размытия может быть различным на одном кадре. Усовершенствованный метод устра-
нения размытия движущихся объектов состоит из следующих шагов:
1. Оценка размытости кадров видеопоследовательности на основе градиентной информации.
2. Разделение изображения на детализированные и гладкие регионы.
3. Нахождение контурной информации с применением фильтра Робертса.
4. Применение фильтра Гаусса для детализированных регионов с автоматическим подбором маски обработки.
5. Применение нерезкого маскирования для гладких регионов.
6. Синтез результирующего изображения.
Следует учесть, что размытие изображения происходит только при определенных условиях, таких как сильное дрожание, быстрое движение объектов или длительная экспозиция камеры [2]. Следовательно, не все кадры подвержены данному эффекту, и требуется определить, какие кадры являются размытыми.
Оценка четкости изображения выполняется на основе градиентной информации по всему текущему кадру и заданному порогу размытия T . Тогда степень размытости текущего кадра gn оценивается по формуле:
Решетневскуе чтения. 2014
M N
M N
YZgl (Iuj)< ^ х max|XSgn2-г (i,j)
i=1 j=1 I i=1 j=1
M N M N J
TTgn-(K+i) (( j),•••, EEg»2-i (( j) [,
i=1 j=1 i=1 j=1 J
(1)
где Т - порог размытия 0 < Т < 1; gn - значение градиента функции, описывающей изображение I(/, у); I (, у) - значение функции интенсивности в точке с координатами (, у); ^ - номер предыдущего опорного кадра.
На втором шаге осуществляется разделение изображения на детализированные и гладкие регионы. Оно выполняется за счет оценки суммы квадратов разностей интенсивности в области обработки размером 5^5 пикселов по формуле
ßl ( у)=¿гI I (( -1(i
25 i=1 j=1
-1),ü+1)
2 )■
(2)
После чего изображение делится на детализированные и гладкие регионы в зависимости от значения вь (х, у). Строится бинарная карта Е (х, у), описывающая положение детализированных регионов на изображении, рассчитывающаяся как
F (x, y ) =
0, если^ (x, y )< Tfl, вдругих случаях,
(3)
где Тр - порог, автоматически выбираемый в зависимости от суммарного значения градиента gn, рассчитываемого по формуле (3).
Анизотропный фильтр Гаусса применяется к пикселам детализированных регионов изображения с учетом текущего значения яркости пиксела оригинального изображения, поскольку необходимо только устранить размытие изображения, сохранив при этом достаточную четкость [3]. Параметры фильтра рассчитываются с учетом ориентации относительно границы и энергии вь (х, у) области обработки. Параметры анизотропного фильтра рассчитываются путем масштабирования различным образом по направлениям (х, у). Тогда эллиптический Гауссиан с осями,
ориентированными вдоль системы координат, описывается по формуле
g ( y; a x, ст y ) =
1
1
i
2 exP i- 2
2па xa y 2
.2
.2
M
x y --+ —
2
ax a y
v x y /
(4)
где стх, сту - разрешение фильтра Гаусса по осям координат, выбираемое в зависимости от удаленности обрабатываемого пиксела с координатами (х, у) от контура объекта.
Для областей пикселов, в которых ßL (x, y)>= Tß,
и при этом они не являются граничными пикселами, применяется нерезкое маскирование для повышения резкости: фильтр, основанный на вычитании нерезкого (размытого) изображения из оригинального кадра. Нерезкое маскирование выполняется в соответствии с направлением размытия движения [4].
В результате работы разработан быстрый метод устранения размытия объектов для видеопоследовательностей, позволяющий повысить визуальное качество изображения, а также эффективность применяемых методов оценки движения.
На основе градиентной оценки изображения на видеопоследовательности автоматически находятся наиболее размытые кадры сцены, к которым применяется устранение размытия. Метод основан на разделении изображения на детализированные и гладкие регионы, к которым применяются различные алгоритмы для сглаживания изображений объектов. К детализированным регионам применяется анизотропный фильтр Гаусса с адаптивно рассчитанной маской обработки. В гладких регионах используется нерезкое размытие по направлению движения, позволяющее минимизировать негативные эффекты размытия кадра.
Библиографические ссылки
1. Grundmann M., Kwatra V., Essa I. Auto-directed video stabilization with robust L1 optimal camera paths // In Proc. CVPR. 2011. P. 225-232.
2. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y. Full-Frame Video Stabilization with Motion Inpainting // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. Vol. 28, № 7. P. 1150-1163.
3. Буряченко В. В. Алгоритм стабилизации видеопоследовательностей, основанный на построении нечеткой модели движения // Вестник СибГАУ. 2013. Вып. 4 (50). С. 4-9.
4. Favorskaya M. N., Buryachenko V. V. Video Stabilization of Static Scenes Based on Robust Detectors and Fuzzy Logic // Frontiers in Artificial Intelligence and Applications. Vol. 254. Intelligent Interactive Multimedia Systems and Services. 2013. P. 11-20.
References
1. Grundmann M., Kwatra V., Essa I. In Proc. CVPR 2011, p. 225-232.
2. Matsushita Y., Ofek E., Ge W., Tang X., Shum H.-Y. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, Vol. 28, no. 7, p. 1150-1163.
3. Buryachenko. Vestink SibSAU. Vol. 4 (50), Krasnoyarsk, 2013. p. 4-9.
4. Favorskaya M. N., Buryachenko V. V. Frontiers in Artificial Intelligence and Applications, vol. 254, 2013, p. 11-20.
© Буряченко В. В., 2014
