АЛГОРИТМ УТОЧНЕННОЙ ОЦЕНКИ ДВИЖЕНИЯ ДЛЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ СТАТИЧЕСКИХ СЦЕН Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932

Буряченко В.В.

Buryachenko V.V.

Алгоритм уточненной оценки движения для видеопоследовательностей статических сцен Motion Estimation Algorithm for Video of Static Scenes

В статье рассмотрены этапы алгоритма уточненной оценки движения, основанного на построении нечеткой модели Такаги-Сугено-Канга. Нечеткая модель позволяет осуществить оценку достоверности локальных векторов движения и определить соответствуют ли они фону изображения или объектам в кадре. Предложен алгоритм для отбора блоков изображения, в которых следует выполнять оценку движения. Проведена оценка эффективности разработанных алгоритмов по метрикам PSNR и ITF, которая показывает повышение качества оценки движения по сравнению с оригинальными методами.

The article is concerned with an algorithm of motion estimation based on the construction of Takagi-Sugeno-Kang fuzzy model. The model allows to estimate the reliability of local motion vectors and to determine whether they correspond to the background of images or objects in the frame. The algorithm is proposed for the selection of image blocks used to perform motion estimation. Performance of the developed algorithms estimated by PSNR and ITF metrics shows improving the quality of motion estimation by comparison with original methods.

Ключевые слова: стабилизация видео, оценка движения, метод соответствия блоков, нечеткая модель, коррекция движения.

Key words: video stabilization, motion estimation, block-matching algorithm, motion compensation.

Введение

В последнее время широкое распространение получили системы видеоаналитики, использующиеся для анализа сцены, распознавания образов, улучшения качества видеопоследовательности за счет применения более эффективных алгоритмов кодирования. Наиболее важным этапом алгоритмов видеоаналитики является оценка движения на видеопоследовательности. В работе рассматриваются возможности улучшения алгоритмов оценки движения, основанных на методах соответствия блоков, которые являются наиболее быстродействующими и дают достаточную точность для многих алгоритмов, в том числе для стабилизации видеопоследовательности.

Для видеопоследовательностей статических сцен оценка движения выполняется на основе метода соответствия блоков как наиболее подходящего по скорости и точности работы. Однако при наличии изменений в освещенности сцены и нескольких движущихся объектов в кадре требуется выполнять более точную оценку глобального движения, так как некоторые локальные вектора могут не отражать реальное движение камеры, а быть подверженными влиянию отрицательных факторов. Качество оценки движения в методах, основанных на поиске локальных векторов, можно повысить несколькими

способами. Для расчета параметров преобразования кадра предлагается использовать только достоверные векторы, которые описывают именно движение камеры, но не объектов в кадре [1]. Для расчета глобального вектора движения применяется двумерная линейная модель, учитывающая аффинные преобразования.

1. Общая схема алгоритма

Блок-схема работы модуля оценки движения представлена на рис. 1. Данный модуль включает в себя алгоритм инициализации параметров видеопоследовательности, позволяющий осуществить выбор обрабатываемых блоков для текущей сцены (блоки 2, 3). На следующих кадрах оценка движения выполняется только для некоторых блоков изображения (блок 4).

После нахождения локальных векторов движения осуществляется построение нечеткой модели Такаги-Сугено-Канга для оценки достоверности векторов движения, которая показывает, принадлежат ли они фону изображения или движущимся объектам в кадре (блок 5). На основании уточненной оценки движения выполняется расчет вектора глобального движения кадра. Для этого осуществляется кластеризация векторов движения и строится аффинная модель движения (блоки 6, 7).

Начало

I

Текущая сцена видеопоследовательности

Оценка движения по всему кадру

3

Выбор блоков для дальнейшей оценки движения

I

4

Оценка движения для выбранных блоков кадра

Оценка достоверности векторов движения

6

Кластеризация локальных векторов движения

7 4.

Построение аффинной модели движения

8

Массив векторов движения +

Конец

7

1

2

5

Рис. 1. Блок-схема работы модуля оценки движения

2. Блочная оценка движения с применением нечеткой модели Такаги-Сугено-Канга

Оценка локального движения для видеопоследовательностей статических сцен выполняется по методу блочного соответствия. На ее основе рассчитывается глобальный вектор движения. Результатом данного этапа являются рассчитанные для каждого блока изображения локальные векторы движения (ЬМ¥).

После нахождения локальных векторов движения требуется определить, описывают ли они движение камеры или движение объектов в кадре. Для этого строится нечеткая модель, на выходе которой определяется мера достоверности векторов движения [3]. Для каждого локального вектора движения рассчитывается мера ошибки двумя

способами: по евклидову расстоянию ег и по углу наклона вектора относительно горизонтали Сг. Производится расчет медианных ошибок Ме и Мс. Для каждого элемента ег и Сг выполняется расчет ошибок отклонения ёге и ёгС\

< = е^ЫЕ , $ =Ъ/МС,

где Ме и Мс - медианные значения для ег и с соответственно.

Для экспериментов при построении нечеткой модели ТСК использовались треугольная, трапециевидная и сигмоидальная функции принадлежности. Вид функций принадлежности представлен на рис. 2, значения параметров а и Ь выбирались опытным путем.

а б в

Рис. 2. Вид функций принадлежности:

а - треугольник; б - трапеция; в - сигмоидальная функция

Для улучшения оценки движения применяются сигмоидальные функции принадлежности, что позволяет более точно отделить движение объектов в кадре от смещения камеры. При непрофессиональной съемке на видеопоследовательностях часто возникают шумы различного вида, которые ухудшают возможность оценки движения и последующей стабилизации [2]. Поэтому для незашумленных и зашумленных видеопоследовательностей предложено использовать различные параметры.

Ошибки отклонения и &с подаются на вход функции принадлежности, ее значение отображается на различных классах точности: Высокий, средний, низкий. Более низкие значения погрешности отображаются на лучшем классе, высокие значения погрешности - в худшем. Строятся сигмоидальные функции принадлежности, которые описываются выражением:

/ (х; а, Ъ ) =

0,

х < а;

х — а Ъ — а

а < х <

а + Ъ

2

1 — 2

1,

х—Ъ Ъ — а

а + Ъ 2

х > Ъ.

< х < Ъ;

Рекомендуется использовать значения a = 0,5 и Ь = 1,5 для незашумленных видеопоследова-

тельностей и a = 0,75 и Ь = 1,25 для зашумлен-ных видеопоследовательностей (рис. 3).

Применяется модель нечеткого вывода Та-каги-Сугено-Канга [5], чтобы определить качество вектора. Модель нечеткого вывода TСK достаточно простая, так как она является компактным и вычислительно эффективным представлением, которое может быть реализовано с использованием адаптивных методов для построения нечетких моделей. Представлены четыре различных нечетких набора: отличный, хороший, средний, плохой (рис. 4).

Каждому из четырех классов соответствует константа: (1, 0,75, 0,5, 0) для незашумленных и (1, 0,85, 0,65, 0) для зашумленных видеопоследовательностей. Выходное значение определяется на основе обоих входных данных в соответствии с минимальным значением.

Результат нечеткой модели - это мера правдоподобия вектора движения, которая находится в диапазоне [0; 1]. Настраивая параметры функции принадлежности, можно регулировать каким образом значения ошибки E влияют на выходное значение правдоподобия вектора. Когда вычислены меры правдоподобия векторов, выбираются только лучшие 60 % значений, которые передаются на вход метода для расчета параметров стабилизации движения.

а б

Рис. 3. Сигмоидальные нечеткие функции принадлежности:

а - незашумленная видеопоследовательность; б - зашумленная видеопоследовательность

а б

Рис. 4. Нечеткие модели поверхностей, отображающих две входные функции и одну выходную:

а - незашумленная видеопоследовательность; б - зашумленная видеопоследовательность

2

2

2

3. Отбор достоверных блоков изображения

Для статических сцен разработан эффективный алгоритм, который исключает изображения движущихся объектов при оценке нежелательного движения [1]. В зависимости от размера кадра изображение делится на 15-20 прямоугольных блоков, каждый из которых содержит 4-16 вычисленных векторов движения. Кроме того, не учитываются крайние блоки изображения, которые могут не отображать реального движения камеры.

При оценке достоверных векторов движения запоминается количество векторов в блоке изображения, которые удовлетворяют критерию метода для дальнейшего расчета параметров глобального движения:

Щ Мь с

в = уу _ _|1, если ШУХу у е КиеУ

^^ х,у' ^у 1 0, если ЬМУ <£ ггиеУ,

х = 1 у = 1 I ' х,У

где Ву - число достоверных векторов движения в блоке;

х, у - координаты вектора движения на изображении; Ыъ, Мь - размеры блока; №иеУ - векторы, которые признаны достоверными в результате применения нечеткой модели Такаги-Сугено-Канга.

в

Для первых пяти кадров сцены производится оценка движения для всех блоков изображения и накапливается информация о числе достоверных векторов движения для каждого блока кадра. При дальнейшей обработке учитываются только те блоки, в которых найдено больше половины достоверных векторов движения. На рис. 5 представлена последовательность расчета векторов движения с применением алгоритма оценки достоверности локальных векторов и инициализации параметров видеопоследовательности.

Таким образом, в расчете параметров глобального движения камеры участвуют только те блоки кадра, где найдено наибольшее число достоверных векторов, описывающих движение камеры, что позволяет избежать влияния негативных факторов, связанных с изменением освещенности, наличием движущихся объектов на переднем плане изображения [6].

4. Оценка глобального движения камеры

Глобальное движение между соседними кадрами можно оценить при помощи аффинной модели. Она описывает межкадровое движение с помощью следующих параметров, а именно: два направления движения, угол поворота и коэффициент увеличения, которые связывают координаты

г

Рис. 5. Этапы алгоритма оценки движения:

а - исходный кадр 557 видеопоследовательности «EllenPagejuggling.avi»; б - локальные векторы движения; в - достоверные векторы движения; г - векторы движения, найденные на обрабатываемых блоках видеопоследовательности с отображением сетки

точки (xi - 1, yi - 1) в (i - 1) кадре с точкой (х,, у,) в последующем i-ом кадре преобразованием:

X = Xcos9 + y^ Xsin9 + Tx yi = y^j Xcos9 - X sin9 + T

где X - параметр увеличения; 0 - угол поворота;

Тх, Ту - смещение векторов движения по направлениям х, у соответственно. Для оценки четырех параметров преобразования требуется решить четыре различных линейных уравнения, поэтому можно найти решение всего с двумя сочетаниями функций [3]. Тем не менее выбранные сочетания должны быть очень точными для оцениваемых параметров, кроме того, они могут быть подвержены влиянию шумов, поэтому целесообразно применять метод наименьших квадратов на множестве избыточных уравнений.

Для стабилизации видеопоследовательности такой аппроксимации параметров движения достаточно, модель хорошо справляется с дрожанием видеопоследовательности при наличии статической сцены. Следует заметить, что при масштабировании видеопоследовательности возникает небольшое зашумление вследствие того, что оно выполняется механически плавно при использовании объектива камеры. В двухмерной модели движения преобразования поступательного и вращательного движения являются наиболее значимыми, в то время как дрожание при масштабировании дает незначительные эффекты [2]. Поскольку векторы движения, полученные с фона изображения, должны быть очень похожи по

величине и направлению, используется механизм кластеризации для классификации поля движения на два кластера, соответствующих фону и переднему плану изображения [4]. Глобальное движение, вызванное движением камеры, оценивается в процессе кластеризации, состоящем из двух этапов:

1. Построение гистограммы И, содержащей достоверные локальные вектора движения (Valid LMV). Значение Hx, у) увеличивается на единицу каждый раз, когда встречается локальный вектор с соответствующими координатами LMV(x, у).

2. Выбор значения глобального вектора движения. За исключением случая, когда в сцене преобладает крупный движущийся объект, блок кластера, соответствующий фону изображения, имеет максимальное количество голосов. Максимальное значение данного кластера выбирается в качестве глобального вектора движения (GMV, Global Motion Vector).

В качестве примера на рис. 6 изображено поле кластеров локальных векторов движения кадра видеопоследовательности «EllenPageJug-gling.avi». Вектор, имеющий координаты (5; -6), соответствует кластеру с наибольшим значением, поэтому он описывает вектор глобального движения кадра (GMV).

5. Оценка эффективности алгоритма

При проведении экспериментов на видеопоследовательностях содержащих объекты с медленным и быстрым движением установлено, что алгоритм, позволяющий вести обработку только блоков с достоверными локальными векторами движения незначительно повышает эффективность стабилизации видеопоследовательностей с быст-

Рис. 6. Поле кластеров локальных векторов движения

рым движением объектов и не дает негативных эффектов для медленного движения. При этом скорость работы алгоритма оценки движения для видеопоследовательности повышается на 20-50 %, так как для 90 % кадров сцены требуется вычислить локальные вектора движения только на 30-60 % блоков кадра. Эксперименты выполнялись для различных видеопоследовательностей с разрешением от 480 х 270 до 1280 х 720, содержащих движущиеся объекты на переднем плане, проективные преобразования, значительное дрожание камеры. Результаты экспериментов представлены в табл. 1.

Объективная оценка качества стабилизации видеопоследовательности выполняется с использованием метрики пиковое отношение сигнала к шуму (РБЫЕ) как меры ошибки. РБИЯ между кадрами п и (п + 1) определяется по следующей формуле:

1 МЫ 2

тЕ - МЫ § § [(* " -*• ( 12 ] Р5т (п) -101°8» (мЕк!

где МБЕ - это среднеквадратичная межкадровая ошибка;

1тах - максимальное значение интенсивности пикселя;

М, N - размеры кадра.

Значение PSNR показывает, насколько одно изображение похоже на другое, что полезно для оценки качества стабилизации простым сравнением соседних кадров. Качество межкадрового преобразования ITF используется для объективной оценки эффективности алгоритма стабилизации: стабилизированная видеопоследовательность должна иметь более высокое значение ITF, чем исходная:

1 NFrame

ITF =-£ PSNR(k),

NFrame k = 0

где NFrame - количество кадров видеопоследовательности.

На рис. 6 проанализировано 6 видеопоследовательностей, содержащих статические сцены общей длительностью более 4 000 кадров (рис. 7).

Для разработанного алгоритма оценки движения была проведена оценка качества стабилизации анализируемых видеопоследовательностей с применением методов компенсации движения, основанного на низкочастотном фильтре 1-го порядка и восстановления границ кадра за счет изображений предыдущих кадров и векторов смещения [1].

На рис. 8 представлены результаты стабилизации видеопоследовательностей статических сцен с применением уточненной оценки движения.

Таблица 1

Сравнение эффективности алгоритмов оценки движения

Название видеопоследовательности Тип движения Размер кадра Результаты обработки

ITF после стабилизации Среднее время обработки кадра, мс

Оригинальное Новое Оригинальное Новое

1. EllenPage Juggling.avi Быстрое 1 280 х 720 31,8 35,4 1561,79 365,74

2. Gleicher4.avi Медленное 640 х 360 40,4 41,5 380,86 184,15

3. gleicher1.avi Медленное 640 х 360 36,6 37,1 380,6207 128,78

4. new gleicher.avi Быстрое 480 х 270 25,7 27,0 205,97 122,27

5. sam 1.avi Быстрое 640 х 360 38,4 39,8 377,34 152,16

а б

Рис. 7. Оценка локального движения видеопоследовательностей статических сцен:

а - «road_cars_krasnoyarsk.avi»; б - «SANY0025_xvid.avi»; в - «lf_juggle.avi»; г - «akiyo.avi»; д - «Butovo_synthetic.avi»; е - «EllenPage_Juggling.avi»

мещенне пикселов

тт

lr-[ r^ ri rj jrfi ,fn ^j- ^f IT. 4Q Ю r-QO 00' ON I

Ín+Afrfr

WT ЧП1 .

Оценка движения по всему кадру Оценка движения с моделью ТСК дня выбранив jtjxnoKob

w к и_t

- Сглаживающий вектор движения

о мер кадра

Пике ■

' ' ' ¿ í1 ÍÍ h j,*' ^Ij Г 1

Л П М Аг/А

■YЧГ v у

Опенка движения по всему кадру

-Оценка движения с моделью ТСК для выбранных йноков

Сглаживающий вектор движения_

Номер кадра

д

е

Рис. 7. Окончание

L. 2L орНин^1 81 101 121 141 1б-1 181 201

-----Стабилизация без модели ТСК НО Мер Кадра

-Стабилизация с уточненной оценкой движения

в

65

15

SXR_

1 11 21 ^¿Ун^! 61 71 81 91 101111121131141151

----- Стабилизация без модели ТСК Номер Кадра

- Стабилизация с уточненной оценкой движения

б

45 Р

40 35 30 25

20

SN

;; jTijg!"P¡ ^

1 21 41 <^81_101 1211411611812012212412612S1 — - — - — Стабилизация без модели ТСК Номер кадра Стабилизация с уточненной оценкой движения_

60 50 40 30 20 10

'SMt- 1

£ ' |J ' „ J

—i ■ 1 ii i ii И [И bu i m i-i

/ / l» ttr i v ' ™ "ЧГ r-ft

1 21 41

бЬрШЙ1Ш141161181Ж12212411Щ^

— • — Стабилизация без модели ТСК

Стабилизация с уточненной оценкой движении

PSNR

Оригинал ■-■ Стабилиза ция без модели ТСК

-Стабилизация суточненной оценкой движения Номер кадря

31 46 61 76 91 106 121 136 151 166 181 196

в

г

а

г

д е

Рис. 8. Оценка качества стабилизации видеопоследовательностей статических сцен по метрике PSNR:

а - «road_cars_krasnoyarsk.avi»; б - «SANY0025_xvid.avi»; в - «lf_juggle.avi»; г - «akiyo.avi»; д - «Butovo_synthetic.avi»; е - «EllenPage_Juggling.avi»

Выводы

Для видеопоследовательностей статических сцен оценка движения с применением нечеткой модели ТСК более точно отражает глобальное движение кадра, поскольку не учитывается движение объектов переднего плана. Данная особенность алгоритма хорошо заметна на видеопоследовательностях с искусственно добавлен-

ным дрожанием кадра («butovo_synthetic.avi»; «road_cars_krasnoyarsk.avi»; «akiyo.avi»). Для реальных видеопоследовательностей статических сцен различия менее заметны и наблюдаются, как правило, только в величине вектора глобального движения кадра. Было проанализировано 10 видеопоследовательностей, полученных с 1Р-камер, расположенных в различных на-

селенных пунктах, открыто доступных в сети Интернет. Общая длительность видеопоследовательностей составляет более 2 часов.

В табл. 2 приведены результаты оценки качества стабилизации ITF, рассчитанной с применением метрики PSNR для представленных на сайтах «http://www.cpl.cc.gatech.edu L1 Robust Optical Camera Paths» и «http://www.see.xidian. edu.cn/vipsl/database_Video.html Video & Image Processing System Lab» видеопоследовательностей, содержащих статические сцены с движущимися объектами различного размера при наличии дрожания камеры. Экспериментальное тестирование проводилось на компьютере со следующей конфигурацией: процессор Intel Core I5.760, оперативная память 4Gb RAM, видеокарта Nvidia GeForce 460GTX, Windows 7 64bit.

Для видеопоследовательностей, содержащих большое количество мелких объектов («butovo_synthetic.avi»; «lf_juggle.avi»), алгоритм

Оценка качества стабили

оценки движения с применением модели ТСК показывает наилучшие результаты: увеличение значения 1Т¥ в среднем на 3 дБ.

Применение предложенных алгоритмов оценки движения и отбора достоверных блоков для оценки движения при стабилизации видеопоследовательностей в статических сценах, например для систем видеонаблюдения, позволяет значительно повысить эффективность алгоритма за счет возрастания точности оценки движения и снижения вычислительных затрат на этапе оценки движения. При этом использование алгоритма отбора достоверных векторов дает возможность повысить качество глобальной оценки движения, что также положительно влияет на эффективность стабилизации видеопоследовательностей. Качество стабилизации видеопоследовательностей по метрике 1Т¥ повышается на 15-20 % по сравнению с оригиналом.

Таблица 2

дни в статических сценах

Название Оригинальное значение ITF, ДБ Стабилизированное значение ITF без применения модели ТСК, дБ Стабилизированное значение ITF c применением нечеткой модели ТСК, дБ

«road_cars_krasnoyarsk.avi» 22,70482 22,80707 25,91258

«SANY0025 xvid.avi» 20,5389 21,09076 23,79189

«lf_juggle.avi» 24,30286 24,37177 28,06012

«akiyo.avi» 35,92952 39,14661 39,53257

«Butovo_synthetic.avi» 22,26415 27,19789 27,20789

«EllenPage_Juggling.avi» 24,65855 25,23049 28,58255

Литература

1. Буряченко В. В. Алгоритм стабилизации видеопоследовательностей, основанный на построении нечеткой модели движения // Вестник СибГАУ. Вып. 4 (50), Красноярск. 2013. С. 4-9.

2. Battiato S. Fuzzy-based Motion Estimation for Video Stabilization using SIFT Interest Points // In Proceedings of SPIE Electronic Imaging 2009, System Analysis for Digital Photography V EI-7250, San Jose (CA, USA), January 2009.

3. Favorskaya M. N., Buryachenko V. V. Video Stabilization of Static Scenes Based on Robust Detectors and Fuzzy Logic / M.N. Favorskaya, // Frontiers in Artificial Intelligence and Applications, Volume 254: Intelligent Interactive Multimedia Systems and Services, 2013. Р. 11-20.

4. Grundmann M., Kwatra V., Essa I. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Colorado Springs, USA, June 2011.

5. Sugeno M. Industrial Applications of Fuzzy Control. Elsevier Science Inc., New York. 1985.

6. Tanakian M., Rezaei M., Mohanna F. Digital video stabilization system by adaptive Motion vector validation and filtering // Proceeding of 1st International conference on communication engineering, 2010. Р.165-168.