Восстановление фона в областях кадра с объектами малого размера в видеопоследовательности Текст научной статьи по специальности «Компьютерные и информационные науки»

Библиографические ссылки

1. Демографический энциклопедический словарь / под ред. Д. И. Валентен. М. : Сов. энцикл., 1985.

2. Назаров А. А. Теория массового обслуживания. Томск : Изд-во НТЛ, 2004.

3. Бронштейн И. Н. Справочник по математике для инженеров и учащихся втузов. 13-е изд., испр. М. : Наука, 1986.

4. Эльсгольц Л. Э. Дифференциальные уравнения и вариационное исчисление. М. : Наука, 1969.

5. Российский статистический ежегодник. 2005 / Гос. комитет по статистике Рос. Федерации // Россия : унив. информ. система. ПЯЬ: http://uisrussia.msu.ru (дата обращения: 28.08.2009).

A. A. Nazarov, M. G. Nosova

THE MATHEMATICAL MODEL OF DEMOGRAPHIC PROCESSES RESEARCH IN THE FORM OF A FIVE-PHASE SYSTEM OF MASS SERVICE

The mathematical model of the change process of a demographic situation in the form of five-phase independent system of mass service with unlimited number of devices is presented. The research is carried out by the method of moments. First and second moments of number of the applications served in system are found. The developed model and the method are applied to forecasting process of demographic changes in the Russian Federation.

Keywords: system of mass service, demographic situation, population.

© Назаров А. А., Носова М. Г., 2010

УДК 004.932

М. В. Дамов

ВОССТАНОВЛЕНИЕ ФОНА В ОБЛАСТЯХ КАДРА С ОБЪЕКТАМИ МАЛОГО РАЗМЕРА В ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Представлена общая концепция удаления искусственно наложенных изображений, естественных повреждений видеоизображения и других объектов малого размера. Разработана классификация искусственно наложенных изображений. Рассматриваются алгоритмы обнаружения особенных точек и поиска движения в приложении к восстановлению видеопоследовательности.

Ключевые слова: поиск движения, видеопоследовательность, особенные точки, текстуры, текстурное заполнение.

В связи с развитием вычислительной техники становится актуальной задача реконструкции видеопоследовательностей: восстановление оригинального изображения под искусственно наложенными графическими объектами (логотипами телевизионных каналов, субтитрами и т. д.), удаление следов повреждения носителя информации (царапины на кинопленке и т. д.) и других объектов малого размера (изображений на некотором фоне человека, дерева, камня и т. п.). Решение данной задачи в общем виде приведет к снижению затрат на повторное использование видеоматериалов, под которым понимается ремастеринг старых фильмов, ретрансляция материала различными телевизионными каналами с удалением ранее наложенных, но уже неактуальных изображений компьютерной графики, а также случайно попавших в кадр объектов, например, рекламных конструкций.

Наложенные изображения компьютерной графики, встречающиеся в видеоматериалах, можно разделить на следующие виды: телевизионные логотипы - изображения небольшого размера, как правило, размещенные в

одном или нескольких углах кадра или у границ кадра; титры - текстовые области с информацией о создателях фильма, могут быть размещены в любом месте кадра; субтитры - текстовые области у верхней или нижней границ кадра с периодически изменяющимся статическим текстом; бегущая строка - текстовая область у верхней или нижней границ кадра с перемещающимся текстом, перемещение текста осуществляется в соответствии с общепринятыми правилами чтения и письма.

Все разнообразие накладываемых изображений компьютерной графики можно классифицировать по различным признакам. Приведем наиболее часто встречающиеся: по размеру: маленькие (до 5 % экрана), средние (до 20 % экрана), большие (до 35 % экрана); по местоположению: угловые, вытянутые по горизонтальной границе кадра, вытянутые по вертикальной границе кадра, в соответствии со стандартом Substation Alpha или иное; по динамике: статические (изображение всегда постоянно), умеренно изменяющиеся (изображение без изменения размеров), полностью динамические (изображение изменяет

размеры, в пределах этих размеров может быть наложена другая видеопоследовательность); по длительности: постоянные на всей видеопоследовательности, периодически отсутствующие; по цветности: однотонные, черно-белые, градиентные, с ограниченным количеством цветов, полноцветные; по прозрачности: прозрачные и непрозрачные; по наличию контурных линий: обрамленные, без обрамления; по наличию собственного фона: с наличием собственного фона, не обладающие собственным фоном [1].

Искажения изображения вследствие повреждения носителя чаще всего имеют протяженную геометрическую структуру, могут возникать на любом месте кадра и иметь различные углы наклона. Характерной чертой поведения искажений во времени является их присутствие на нескольких последовательных кадрах, никак не связанное с изменением ракурса сцены. На видеопоследовательности могут присутствовать несколько таких структур, причем каждая из них характеризуется собственным поведением и может перекрывать другие структуры. Неопределенность и непредсказуемость появления повреждений делает поставленную задачу достаточно сложной для автоматической реализации. Только гипотеза о протяженности геометрической структуры, ее малой площади относительно всего кадра, однородной яркости и стабильности существования в течение последовательности кадров позволяет разработать метод локализации таких структур и реконструкции первоначального изображения.

Случайно снятые и ненужные в кадре объекты должны характеризоваться малым размером (до 10 % размера кадра), а также статическим положением на динамическом фоне; динамическим положением на статическом фоне; динамическим положением на динамическом фоне.

Правильная классификация удаляемых объектов позволит выбрать комплекс алгоритмов для проведения восстановления первоначальной видеопоследовательности. Для общего случая порядок восстановления оригинальной видеопоследовательности представлен ниже с подробным рассмотрением каждого шага.

Шаг 1. Определение характеристик видеопоследовательности (особенных точек кадра, векторов движения в кадре, движения объектов и текстур в кадре).

Одной из технологий извлечения структурированной и осмысленной информации из видеопоследовательности является слежение за точечными особенностями изображений видеопоследовательности. Под точечной особенностью понимается такая точка сцены, которая находится на плоском участке поверхности сцены. При этом изображение окрестности этой точки можно отличить от изображений окрестностей всех других точек сцены из некоторой другой окрестности этой точки.

Чаще всего для отслеживания точечных особенностей изображения (кадра) используется детектор Харриса, в котором для каждого пиксела изображения вычисляется значение особой функции отклика угла, оценивающей степень похожести изображения окрестности точки на угол. Для этого рассчитывается матрица

'д! У (д! УаТ

M =

дх J ^дх J{dy

д/УдЛ (д^1

dxj{dy J (dy

где /(x,y) - яркость изображения в точке с координатами

(х, y).

В случае когда оба собственных значения матрицы велики, даже небольшое смещение точки (х, y) вызывает значительные изменения в яркости, что и соответствует особенности изображения, и функция отклика угла записывается в следующем виде:

R = det M - k (trace (M))2,

где к = 0,04 (коэффициент, предложенный Харрисом); trace(M) - функция расчета суммы элементов матрицы на главной диагонали.

Точки изображения, соответствующие локальным максимумам функции отклика угла, и признаются особенностями.

Рассмотрим простую схему детектора точечных особенностей [2].

1. Детектирование и оценка.

1.1. Нахождение набора особенностей {F}, исходя из характеристик особенности - степени экстремальности функции отклика угла, местоположения особенности (в центре изображения, у границ изображения, у углов изображения), местоположения особенности относительно других особенностей или плотности особенностей в некоторой области кадра.

1.2. Определение качества всех особенностей - Q{F}. Наиболее качественными особенностями считаются особенности с большей степенью экстремальности функции отклика угла, достаточно удаленные от границ кадра, с низкой плотностью особенностей в интересующей нас области кадра. Для оценки качества могут быть использованы методы многоатрибутивного принятия решений, например метод упорядоченного предпочтения через сходство с идеальным решением.

1.3. Выбор особенностей, чье качество выше некоторого заранее или динамически определяемого порога, и формирование множества^}.

2. Слежение и оценка.

Для каждого последующего кадра:

2.1. Нахождение в текущем кадре нового положения всех особенностей из {G} - слежение.

2.2. Определение текущего качества всех элементов множества^}.

2.3. Выбор только тех особенностей, чье качество удовлетворяет некоторому критерию. Как правило, таким критерием служит интегральный критерий или степень экстремальности функции отклика угла.

2.4. Если число отслеживаемых точек уменьшается ниже требуемого уровня, то осуществляется применение детектора к текущему изображению и добавление в множество {G} новых точек.

Для отслеживания изменения координат точечных особенностей применяются модификации алгоритма Лука-са-Канаде [3]. Последней модификацией алгоритма Лука-са-Канаде является алгоритм Джин-Фаваро-Соатто, учитывающий смещение особенностей, аффинные искажения особенностей, аффинные изменения освещенности особенностей. Задача слежения за особенностью сводится к определению параметров движения и искажения окна особенности, при которой минимизируется разность

с = !!(./ (Ах + а )-1 (х ))2 w( х)ах,

V

где V - окно особенности; w(x) - весовая функция (может быть равна единице во всем окне); Д(х) и 1(х) - два изображения; Ах+а - смещение точки.

Выражение дифференцируется относительно параметров движения, и производная приравнивается к нулю. Затем система линеаризуется с помощью разложения функции изображения в ряд Тейлора:

Д (Ах + а) = Д (х) + g1' (и).

Это дает нам линейную систему из шести уравнений с шестью неизвестными

Tz = a,

где в векторе г объединены все искомые параметры:

^ = [ахх аух аху ауу ау ].

Вектор ошибки а записывается в виде

xgx

! = {{( I ( х) - Д ( х) )

^у

ygx

Уgy

wdx,

а матрицу T можно представить следующим образом:

- U V ~

т = Л

wax

х2 х сч * у н хУ£і

х 2 £ гх£у 2 2 х£у Ш^у

XУg22 Шх£у 2 2 У £х

_ Шх£у У2 £х£>

V T = * 1 х£х£у і *

_ х£х£у * ^

Z = £х2 1 у ^ с Н

у н £у ]

где

I(х,0) = у(ґ)І(х,ґ) + |(ґ) "х є VU, КО = ^, Х(ґ) =Хе (ґ) - ^ X е (0)

XУgxgy

ш2у

У 2 gxgy 2 2 У £у

У

yg2

Полученная система решается также итеративно по методу Ньютона-Рафсона.

Если движение считается не аффинным, а просто смещением, то первые четыре элемента искомого вектора г обращаются в ноль, и значимыми остаются только последние два. Алгоритм превращается в алгоритм Томаси-Канаде.

Дополним приведенный алгоритм для случая переменного освещения.

Пусть поверхность сцены, на которой найдена особенность сцены, является ламбертовой. Тогда интенсивность освещения точки определится формулой х = Р (X), где X - точка сцены; Р - оператор проектирования; х -точка на изображении, может быть описана как

^ (г) (г)

при г > 0. Объединив аффинное движение окрестности особенности с изменением освещенности, получим выражение

I(х,0) = у(0/(Ах + а,0 + £(г) "Х е Ж.

Из-за шума в изображении, а также из-за приближенного моделирования движения и изменения освещенности это уравнение в реальности никогда не будет выполняться, поэтому задача слежения состоит в минимизации разности между окрестностями текущего и нового положения особенности:

с = | (I (х, 0) - VI (Ах + а, г) + £)2 w( х)ах,

г

где w(x) - весовая функция. С помощью разложения в ряд Тейлора в окрестности а = 0, V = 1, ^ = 0 получим

VI (у, г) + £ » VI (х, г) + £ + VI — (и - и0),

ди

у = Ах + а А = {а..}; А = {а.} ;

d = [ а2 ]; u = [а11 а12 а21 а22 а1 а2 ]Т;

u0 =[1 0 0 1 0 0].

Переписав получившееся равенство в матричной форме, получим следующее уравнение:

I(х,0) = Е(х, {)Т 2,

где

F( х, г) = [ х!х у!х у!у Iх ^ I 1];

z = [ап а12 а21 а22 а1 а2 и £]Т.

Домножив на Е(х, г)Т и проинтегрировав по всему окну особенности ^ с весовой функцией w, получим систему из восьми уравнений с восемью неизвестными:

Sz = а;

а = | Е (х, г )Т I (х,0) w( х)ах;

£ = | Е (х, ґ )т Е (х, ґ ^( х)ах.

Заменив интегрирование на сумму по всем пикселям в окне Ж, мы приходим к следующей системе линейных уравнений:

Sz = а T U"

S = Х

U1

где Е(Х) - альбедо (отражающая способность) точки сцены; и - окрестность точки сцены; V и Е - постоянные параметры, которые представляют изменения контраста и яркости изображения соответственно. При движении камеры эти параметры меняются, т. е. зависят от времени. Изменения освещенности во времени можно записать как

T =

х212 хуІх х2 иу хУІхІу хІІ хІхІу

хуІх2 у212 хУІхІу у І х у уІ2 УІхІ у

х2ІХІУ хУІхІу х2 К хУІУ; хІхІу хК

хУІхІу у І х 2 у хУІіу У2 ^ У^у УІ2

хі] УІ,Іу хІхІу У^у іх І^ІУ

хІхІу уК хІ2 УК ІхІу ІУ

V

V

V

хІхІ уІхІ хІуІ уІуІ ІхІ ІуІ

хІх УІх хІу УІу Іх Іу

I 1

Если матрица £ получается обратимой, то решение системы линейных уравнений можно записать в виде

z = S-1а.

Как во всех алгоритмах слежения, система решается итеративно по методу Ньютона-Рафсона. Итерации происходят до тех пор, пока изменения решения не становятся пренебрежимо малы.

Шаг 2. Разделение видеопоследовательности на сцены.

Для повышения качества восстановления необходимо разделить видеопоследовательности на сцены по следующему алгоритму.

1. Расчет расстояния от каждой особенной точки кадра до центральной точки кадра по формуле

=V(хс, - хс )2 + (у, - ус )2 ,

где х^, ус, - координаты ,-й особенной точки; хс, ус -координаты центральной точки кадра.

2. Расчет смещения точки по формуле

где е - порог смещения точки для кадра.

3. Расчет количества сильно смещенных точек в .-м кадре по формуле

/(К, е,.) = соиШ(е > еп), где еп - общий порог смещения. Если на текущем кадре. функция/достигает локального максимума, то текущий и последующий кадр являются границами сцены видеопоследовательности. Качество определения границы сцены можно описать следующими параметрами:

- точностью, представляющей собой вероятность, что найденная граница сцены верна:

р = -^-;

С + Е

- граничным сигналом, являющимся вероятностью того, что ожидаемая граница сцены будет найдена

V = С ; с+м

- синтетической мерой точности на основе точности и граничного сигнала:

2PV

Е1 = ^_,

Р + V

где С - количество верных срабатываний; М - количество пропущенных сцен; Е - количество ложных срабатываний.

Шаг 3. Определение типа сцены (с движением, без движения).

Если на этапе отслеживания особых точек кадра видеопоследовательности удается определить вектора движения точек в кадре, будем считать, что эта видеопоследовательность и сцена как ее часть обладает движением. Исходя из этого, на этапе восстановления первоначальной видеопоследовательности будем использовать пространственновременной алгоритм получения информации из соседнего кадра. В том случае когда на этапе отслеживания особых точек не удается определить вектора движения, будем счи-

тать, что эта сцена не обладает движением, и использовать пространственный алгоритм восстановления на основе информации из областей, находящихся рядом с областями, которые необходимо восстановить.

Шаг 4. Определение границ областей наложенных изображений компьютерной графики в случае восстановления видеопоследовательности такого вида.

Локализация текстовых областей с искусственно наложенной графикой основана на модификации пространственного алгоритма Рареса-Рейндерса-Бьемонда [4]. Данный алгоритм построен на принципе обнаружении областей экстремальной яркости на основе мягкого и жесткого динамических порогов. Для обнаружения области экстремальной яркости мы должны установить некоторые пороги для поиска/локализации ярких и тусклых пикселов. Однако использование фиксированных порогов нежелательно, поскольку яркость меняется от кадра к кадру. Жесткий порог является хорошим решением для обнаружения таких областей, в то время как мягкий порог приведет к большому количеству ложно обнаруженных областей. Чтобы избежать этих проблем, в алгоритме обнаружения областей экстремальной яркости используется динамический порог, который работает для нашего случая весьма эффективно. Основная идея выбора динамического порога состоит в том, что сначала устанавливается жесткий порог, после чего определяются только те области, значения яркости у которых выше начального порога. Области, полученные на этом шаге, расширяются соседними, удовлетворяющими значениям мягкого порога.

Шаг 5. Определение характеристик восстанавливаемых областей, выбор комплекса алгоритмов для процесса восстановления.

Для видеопоследовательности с признаками движения в кадре анализируется структура нескольких предыдущих кадров видеопоследовательности и изменение полученной структуры предыдущих кадров по сравнению с редактируемым кадром. На основе полученных данных принимается решение об модификации текущего кадра с использованием информации, взятой из предыдущих кадров с учетом изменения структуры кадра.

Для видеопоследовательности без признаков движения в кадре анализируется текстура соседних с восстанавливаемой областью областей, после чего определяется структура и вероятность ее изменения. Хорошим вариантом может быть анализ области текстуры с помощью окна с динамическими размерами и сравнение элементов изображения на границах этого окна. Можно предположить, что при совпадении основных элементов изображения на границах этого окна, изображение внутри окна является желаемым текстоном, и на основе этого изображения допустимо генерировать текстуру для заливки области удаляемого объекта. С учетом полученных данных производится заполнение восстанавливаемой области.

Для сцены видеопоследовательности с признаками движения будем предполагать, что местоположение в виде декартовых координат относительно верхнего левого угла кадра (х1а, у1а, х2а, у2а) и линейные размеры (ах = х2а - х1а; ау = у2а - у1а) реконструируемой области нам известны, кадр в целом движется в одном направлении, характер движения - равномерный и прямолиней-

ный. После окончания работы алгоритмов семейства Лукаса-Канаде мы знаем для каждого кадра положение набора точечных особенностей О, предыдущее положе-НИеНсбсратОЧЕЧНЬХОООбЕННООГСЙ О_1 в одном из предыдущих кадров и вектор (х^ у) или направление и величину движения каждой особенной точки между парой смежных кадров. Обладая этой информацией, мы получаем возможность вычислить номер кадра относительно текущего, из которого будет браться информация для восстановления. Приведем описание работы такого алгоритма.

Реконструируемая область в общем случае может иметь прямоугольный вид, поэтому номер кадра п определяем как минимальный - такой, где точка уже находится за пределами области реконструкции п = тш(а /х ; а/у), при этом смещение точки замены относительно ,-го кадра будет х-п = п • xv; у._п = п •у, а координаты

х1 - п • ху

у - п • Уv ]’

где , - текущий кадр; п - смещение кадра, I - п - предыдущий кадр, содержащий информацию для реконструкции; [х., у] -реконструируемая точка, [х., у.] - реконструированная точка, значение по координатам содержит цвет; [х-п, у- точка на предыдущем кадре, используемая для реконструкции.

Процесс реконструкции повторяем для каждой точки реконструируемой области для каждого кадра сцены, чтобы восстановить полную сцену видеопоследовательности. Мы можем использовать уже реконструированные точки для восстановления других точек того же самого кадра, или уже реконструированные кадры для восстановления прочих кадров реконструируемой сцены.

Данный алгоритм применим для реконструкции областей любых объектов переднего плана, однако накладываются ограничения на размер и местоположение реконструируемой области - в случае если область не лежит на границе кадра, то она может занимать до 90 % линейного размера кадра по своей большей стороне при меньшей стороне до 10 %. В случае если область лежит у одной из границ кадра, то длина стороны реконструируемой области не может быть более 10 % длины границы кадра.

Для сцены видеопоследовательности без признаков движения для восстановления областей кадра небольших размеров можно использовать модифицированный алгоритм, предложенный Ж. Понсом и Д. А. Форсайтом [5]:

1. Выбрать текстурный фрагмент в требуемой локализованной области, исходя из гипотезы о продолжении

текстуры данного вида в восстанавливаемой области.

2. В цикле вставить текстурный фрагмент в восстанавливаемую область изображения (пока восстанавливаемая область не будет заполнена):

3. В цикле, пока не будут подобраны значения для всех точек на границах синтезируемой области:

- подобрать окружение этого положения по примеру изображения, игнорируя при вычислении оценки схожести положения с неопределенными значениями;

- выбрать случайным равновероятным образом значение для этого положения из набора значений соответствующих положений подобранных окружений.

4. Конец цикла п. 3.

5. Конец цикла п. 2.

Этот алгоритм имеет большую вычислительную сложность и высокую зависимость от случайных значений. К его достоинствам можно отнести решение задачи заливки текстурой областей с неопределенной формой и стыковки сгенерированного и исходного изображения. Результаты применения алгоритма можно улучшить, используя медианный фильтр.

Итогом работы комплекса алгоритмов должно быть восстановление оригинальной видеопоследовательности, однако основной недостаток заключается в том, что качество работы можно оценить только субъективно или с помощью экспертов.

Библиографические ссылки

1. Дамов М. В. Пространственный метод локализации изображений логотипов в видеопоследовательностях // Наука. Технологии. Инновации. НТИ-2008 : материалы всерос. науч. конф. молодых ученых. Новосибирск. Ч. 1. 2008. С. 191-193.

2. Lucas B. D., Kanade T. An iterative image registration technique with an application to stereo vision // Proc. of Imaging understanding workshop. 1981. P. 121-133.

3. Making good features to track better / T. Tommasini, A. Fusiello, E.Trucco, V Roberto //

Proc. IEEE Computer Society conf. on Computer Vision Pattern Recognition. 1998. P. 145-149.

4. Rares A., Reinders M. J. T., Biemond J. Recovery of partially degraded colors in old movie // Proc. of EUSIPCO-2002. Toulouse, 2003. P. 82-86.

5. Форсайт Д. А., Понс Ж. Компьютерное зрение: Современный подход : пер. с англ. М. : Вильямс, 2004. 928 с.

xf x.

— —

y. У-n

M. V Damov

BACKGROUND RESTORATION IN FRAME AREA WITH SMALL SIZE OBJECT IN VIDEO SEQUENCES

A general concept of removing artificially overlaid images, the natural damage of video sequence and other small size objects has been covered. A classification of artificially overlaid images is developed. The algorithms for detecting feature points and their tracking used in video sequence restoration are overlooked.

Keywords: movement detect, video sequence, feature points, texture, texture filling

© ffaMOB M. B., 2010