CC BY
48
УДК 004.932.2
ВОССТАНОВЛЕНИЕ СОСТАВНОЙ КРИВОЙ ПРИ ИНТЕРПОЛЯЦИИ ГРАНИЦ
ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ
Вячеслав Владимирович Воронин - к.т.н., доцент, каф. «Радиоэлектронные системы», e-mail:voronin_sl@mail. ru
Георгий Рубенович Саакян - к.т.н., доцент, каф. «Математика», e-mail:saakiang@sss. ru
ГОУ ВПО «Южно-Российский государственный университет экономики и сервиса», г. Шахты
Authors introduce a new method for reconstruction of two-dimensional signals on the basis of composite curve creating for the restoration of the boundaries of objects in the image, which uses the concept of parametric and geometric continuity; show that this method allows you to recover the curved contours of the area with missing pixels by approximating the boundaries of objects by cubic splines; also suggest after the restoration of objects boundaries using the method of reconstruction images with texture and structure synthesis, which is to find similar blocks in the original image and copying them into the area with missing pixels.
Представлен новый метод реконструкции двумерных сигналов на основе построения составной кривой при восстановлении границ объектов на изображении, в котором используются понятия параметрической и геометрической непрерывности; показано, что данный метод позволяет восстанавливать изогнутые контуры в области с отсутствующими пикселями с помощью аппроксимации границ объектов кубическими сплайнами; предложено также после восстановления границы объектов использовать метод реконструкции изображений с помощью синтеза текстуры и структуры, который заключается в поиске похожих блоков на исходном изображении и копировании их в область с отсутствующими пикселями.
Keywords: image reconstruction, curved contours, restoration of boundaries.
Ключевые слова: реконструкция изображений, изогнутые контуры, восстановление границ.
При обработке изображений возникает задача автоматизированного восстановления областей с потерянными пикселями. Особенно данная задача актуальна при реализации систем автоматической обработки двумерных сигналов, поступающих от светочувствительных матриц в цифровых фото- и видеокамерах и системах машинного зрения. Реконструкция и ретушь изображений предполагает реставрацию архивных фотодокументов с целью удаления царапин, пятен, пыли, ненужных надписей, предметов и прочих дефектов с поверхности фотографий, а также восстановление недостающих фрагментов с использованием соседних участков изображения. Кроме того, в
видеосигналах встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата и время или субтитры, которые были наложены на видеосигнал с дальнейшим кодированием.
Большинство методов реконструкции изображений можно условно разделить на следующие группы:
• методы на основе решения дифференциальных уравнений в частных
производных (PDE) [1 - 2];
• методы на основе ортогональных преобразований [3 - 4];
• методы на основе синтеза текстуры [5 - 6].
К главному недостатку этих методов относится неспособность восстанавливать изогнутые контуры, что существенно ограничивает область их использования. Поэтому они в основном применяются при удалении царапин и небольших дефектов на структуре изображений. Также следует отметить, что при использовании известных методов происходит размытие текстуры и структуры в случае восстановления больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам.
Поэтому реконструкция изображений с возможностью восстановления границ объектов на изображении является важным направлением применения современной цифровой вычислительной техники с целью получения достоверной оценки при визуальном и особенно автоматическом анализе.
Целью данной работы является уменьшение погрешности реконструкции изображений с помощью метода, основанного на построении составной кривой при восстановлении границ объектов на изображении.
Упрощенная математическая модель исходного черно-белого изображения (рис.1) представляет собой восьмибитную двумерную дискретную последовательность У1 .,
где Ь) . - доступные пиксели неискаженного изображения; п . - область изображения с
отсутствующими пикселями (дефекты изображений); N и М - число строк и столбцов двумерного массива изображения соответственно.
На рис. 1 область Ьі . схематично представлена в виде двух подобластей, которые
представляют собой уровни градаций значений пикселей изображения по разные стороны от перепада яркости; у = у1 ^у2 - граница области Ь.
Предполагается, что априорная информация о геометрических особенностях изображений отсутствует и известны координаты области п., при этом ее
принадлежность к классу искажений не известна.
На практике часто возникает необходимость построения приближающей кривой по конечному набору точек, заданных на плоскости (или в пространстве). Покажем, как можно решить эту задачу, используя естественные геометрические соображения и кубические сплайны.
В построении составной регулярной кривой важную роль играют условия сопряжения в точках контакта слагающих ее регулярных кривых. Пусть у1 и у2 -
і = 1, N, і = 1, М :
Кі,если п. =1} П.,если Пі,. Н }
Рис. 1. Модель изображения
двухрегулярные кривые, заданные параметрическими уравнениями г = г1 ^), 0 < I < 1, соответственно и имеющие общую точку:
Чтобы составная кривая у = у1 ^у2 также была двухрегулярной кривой, необходимо совпадение в общей точке единичных касательных векторов [7]:
Чтобы гарантировать гладкие переходы от одного участка кусочно-гладкой кривой к следующему, можно наложить различные условия непрерывности в точках соединения [8
1) параметрическая непрерывность;
2) геометрическая непрерывность.
Если каждый участок кривой описывается набором параметрических координатных
то параметрическая непрерывность (непрерывность по параметру) задается согласованием производных соединяющихся участков кривых по параметрам в их общей границе.
Геометрическая непрерывность нулевого порядка, обозначаемая О0, предполагает, что два последовательных участка кривой должны иметь одинаковые координаты в граничной точке. Геометрическая непрерывность первого порядка, или G1, означает, что
первые производные по параметрам пропорциональны в точке пересечения двух последовательных участков. Если обозначить параметрическое положение на кривой как Р(?), то при G1 -непрерывности последовательные участки кривой в их общей точке будут иметь одинаковое направление касательных векторов Р'(^) (сонаправленность), но не обязательно равные их модули (длины).
Геометрическая непрерывность второго порядка, или 02 -непрерывность, означает, что первая и вторая параметрические производные двух участков кривой
Гі(1) = г2(0).
(1)
(2)
г1,(1) 1г2(0)|
и векторов кривизны сопрягаемых кривых ух и у2.
(3)
9]:
функций вида
X = х(0, У = ХО, І < * < І2,
(4)
пропорциональны на границе. При 02 -непрерывности кривизны обоих участков кривой
будут равными в точке соединения.
Кривая, генерируемая с наложенными условиями геометрической непрерывности, подобна кривой, полученной с условием параметрической непрерывности, но имеются определенные отличия в форме кривой. Примерное визуальное сравнение условий параметрической и геометрической непрерывности представлено на рис. 2.
а) б)
Рис. 2. Сравнение условий параметрической (а) и геометрической (б) непрерывности
Соединение двух кривых в точке Р с условием параметрической или геометрической непрерывности, где касательный вектор кривой у2 в точке Р имеет большую длину, чем касательный вектор кривой в этой точке, описывается в виде [10,
11]
Г2 (0) = Г1(1Х
Г2 (0) = М' (1Х (5)
з" (0) = ДЧ" (1) + в2г1 (1Х
где в > 0, в2 > 0 - некоторые числовые параметры.
Рассмотрим набор из т +1 точек {У0,У1 ,..., Ут,Ут-1), заданных своими радиус-векторами (рис. 3).
Рис. 3. Построение контрольной ломаной Важную роль в построении составной кривой играет контрольная ломаная, последовательно соединяющая эти точки. Будем искать приближающую составную двухрегулярную кривую у при помощи частичных кривых , описываемых уравнениями вида
Г,(0 = Х !>,(>)■ У,„, 0 < I < 1, (6)
■ =-2
*/(') = Ес<Дв,в)'‘ 0 <I < 1, (7)
к=0
где bj (I), ] = -2, -1, 0, 1, - не зависящие от , весовые функциональные коэффициенты.
Чтобы найти эти весовые коэффициенты, потребуем, чтобы для векторов г, (I) и г,+1 (I) в точке сопряжения выполнялись условия геометрической непрерывности (5). С учетом формул (6) эти условия записываются следующим образом:
хь, (°) - V, =хь, (1) • V,,,,
j=-2 ■=-2
■X Ь (0) • V = вХ Ь (1) • V, ■, (8)
■=-2 ■=-2
к ■<>) • V, в к ь;(1) • у+,+в к ь • .
_ ■=-2 ■=-2 ■=-2
Полученные соотношения позволяют найти все функциональные коэффициенты Ь} (I), ■ = -2, -1, 0, 1.
Используя формулы (7), получаем линейную систему для определения коэффициентов С^, k = 0,1,2,3; j = -2,-1,0,1. После вычисления коэффициентов Ск] и
подстановки их в (7) получаем следующие выражения для весовых функций:
Мі) = 2т13(1 - і)
5
Ь-1 (і) = - (2 Д3і(і2 - Зі + 3) + 2Д2(і3 - Зі2 + 2) + 2Д (і3 - Зі + 2) + Д (2і3 - Зі2 +1)),
5
Ь0 (і) =1 (2 Д2і2 (-і + 3) + 2Д і(-і2 + 3) + Д і2 (-2і + 3) + 2(-і3 +1)),
5
2і 3
Мі) = —,
5
где 5 = 2Д3 + 4Д2 + 4Д + Д, + 2 > 0.
Найденные выражения весовых функций годятся для всей конструкции. Подставляя их в (6), получаем векторные функции г2(і),...,ги-1(і). Полученная составная бета-сплайновая кривая, как правило, не проходит ни через одну из вершин заданного массива точек (кроме начала и конца) (рис. 4).
Рис. 4. Составная бета-сплайновая кривая
Составная кривая обладает локальным свойством, которое заключается в следующем: произвольная вершина \к принимает участие в образовании не более двух
частичных кривых. При изменении одной вершины составная кривая не подвергается никаким преобразованиям вне зоны влияния этой вершины. В частности, при добавлении в массив одной вершины возникает необходимость «пересчета» параметрических уравнений только четырех элементарных кривых. Выбор параметров Д, Д позволяет изменять форму составной кривой. Как правило, выбор параметров Д и Д определяется взаимным расположением вершин в массиве. Если расстояния между соседними вершинами приблизительно равны (различаются не слишком сильно), то выбор параметров формы, одинаковых для всех участков, дает хорошее приближение. В противном случае хороших результатов можно добиться подбором переменных параметров формы.
Далее, после восстановления границы объектов на изображении, предлагается использовать метод реконструкции изображений, предложенный в [12 - 14], который заключается в поиске похожих блоков на исходном изображении и копировании их в область с отсутствующими пикселями.
Таким образом, предложенный метод построения составной кривой при восстановлении границ объектов на изображении позволяет уменьшить погрешность реконструкции изображений. Данный подход основан на понятиях параметрической и геометрической непрерывности и позволяет восстанавливать изогнутые контуры в области с отсутствующими пикселями на изображении.
Работа выполнена в рамках федеральной целевой программы ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009 - 2013 годы.
Литература
1. Bertalmio, M., Bertozzi, A., Sapiro, G. Navier-Stokes, fluid dynamics, and image and video inpainting // Hawaii: Proc. IEEE Computer Vision and Pattern Recognition(CVPR), 2001. С.213 - 226.
2. Perona, P., Malik, J. Scale-space and edge detection using anisotropic diffusion / // IEEE Transactions on Pattern Analysis and Machine Intelligence, 12(7), 1990. P. 629 - 639.
3. Alkachouh, Z., Bellanger, M. G. Fast DCT-based spatial domain interpolation of blocks in images // IEEE Trans. Image Process, V. 9, No. 4, 2000. P. 729 - 732.
4. Elad, M., Starck, J., Querre, P., and Donoho, D. Simultaneous cartoon and texture
image inpainting using morphological component analysis (MCA) // Applied and Computational Harmonic Analysis, vol. 19, no. 3, 2005. P. 340 - 358.
5. Criminisi, A., Perez, P., Toyama, K. Region filling and object removal by exemplar-
based image inpainting // IEEE Trans. Image Process, 13(9), 2004. P. 28 - 34.
6. Bertalmio, M., Vese, L., Sapiro, G., Osher, S. Simultaneous texture and structure image inpainting // Proceedings of the International Conference on Computer Vision and Pattern Recognition, 2003. P. 707 - 712.
7. Погорелов А.В. Дифференциальная геометрия. М.: Наука. 1974.
8. Компьютерная графика и стандарт OpenGL / Д. Херн, М.П. Бейкер. Изд. 3-е.: Пер. с англ. М.: Издательский дом «Вильямс». 2005.
9. Компьютерная графика. Динамика, реалистичные изображения/ Е.В. Шикин, А.В. Боресков. М.: «ДИАЛОГ-МИФИ». 1995.
10. Шикин Е.В., Франк-Каменецкий М.М. Кривые на плоскости и в пространстве М.: «ФАЗИС», 1997.
11. Richard, H. Bartels. Introduction to splines in computer graphics and geometric modeling/ H. Bartels. Richard, C. Beatty John, A. Bar sky Brain. - Morgan Kaufmann Publishers, Inc, 1995.
12. Voronin, V.V., Marchuk, V.I., Egiazarian, K.O. Images reconstruction using modified exemplar based method/ in Image Processing: Algorithms and Systems IX, edited by Jaakko T. Astola, Karen O. Egiazarian, Proceedings of SPIE Vol. 7870 (SPIE, Bellingham, WA 2011) 78700N.
13. Марчук В.И., Воронин В.В., Шерстобитов А.И. Метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений // Электротехнические и информационные комплексы и системы. 2010. Т. 6. №2. C. 25 - 33.
14. Марчук В.И., Воронин В.В., Франц В.А. Модифицированный метод восстановления двумерных сигналов //Научно-технические ведомости СПбГПУ. 2011. №1. С. 31 - 36.
Поступила 27.02.2011 г.
УДК 004.932.2.
ОБРАБОТКА ВИДЕОСИГНАЛОВ С ЦЕЛЬЮ ОБНАРУЖЕНИЯ ПИКСЕЛЕЙ С
ИСКАЖЕННЫМИ ЗНАЧЕНИЯМИ
Владимир Иванович Марчук - д.т.н., проф., проректор по научной работе Вячеслав Владимирович Воронин - к.т.н., доцент, каф. «Радиоэлектронные системы» Роман Алексеевич Сизякин - студент, каф. «Радиоэлектронные системы»
Николай Валерьевич Гапон - студент, каф. «Радиоэлектронные системы» е-mail: [email protected]
ГОУ ВПО «Южно-Российский государственный университет экономики и сервиса», г. Шахты
Authors present a new method for detecting pixels with distorted values in archival video signals based on the sequential analysis of the differential adjacent frames and using to them operations of binarization, expansion and closure, for which the nullity of frames with the dispersion of their initial values is decided by results of the array analysis, give classification of
