CC BY
26
_Доклады БГУИР_
2009 № 5 (43)
ИНФОРМАТИКА
УДК 621.391
ОБЪЕКТНОЕ ПРЕДСКАЗАНИЕ ИЗМЕНЕНИЯ ВИДЕОДАННЫХ ПРИ ГОРИЗОНТАЛЬНОМ ПЕРЕМЕЩЕНИИ КАМЕРЫ
Т.М. АЛЬ-ДЖУБУРИ, В.Ю. ЦВЕТКОВ, В.К. КОНОПЕЛЬКО
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6 Минск 220013, Беларусь
Поступила в редакцию 5 октября 2009
Предложен метод объектного предсказания изменения видеоданных на основе модели движения камеры. Суть метода состоит в объектной декомпозиции опорного кадра видеоданных, классификации объектов по дальности, расслоении опорного кадра по дальности и формировании нового кадра на основе модели движения камеры, учитывающей смещения объектов навстречу вектору движения камеры. Метод обеспечивает уменьшение ошибки предсказания изменения видеоданных при движении камеры за счет использования информации о характеристиках, условиях установки и параметрах движения камеры.
Ключевые слова: модель движения камеры, объектная декомпозиция изображения, предсказание изменения видеоданных.
Введение
В связи с ростом объемов передаваемых и хранимых видеоданных актуальна проблема их компактного представления. Эффективными способами решения данной проблемы являются сжатие видеоданных с устранением межкадровой избыточности на основе компенсации движения и частичное или полное замещение естественных видеоданных псевдореалистическими, синтезированными на основе естественных, но требующими существенно меньших ресурсов при передаче и хранении. Эти подходы используются в стандартах сжатия видео МРБО-2, МРБО-4 и Н.264 [1], технологии МРБО-7 [2], а также методах формирования трехмерных панорамных [3] и псевдостереоскопических [4] изображений. Эффективность данных подходов ограничена отсутствием предсказания изменения видеоданных при перемещении камеры, для реализации которого необходима информация о характеристиках, условиях установки и параметрах движения камеры. В общем случае получение данной информации проблематично. Однако, существует ряд систем, для которых данная проблема может быть решена. Примерами могут служить системы видеонаблюдения с несколькими стационарно установленными камерами, а также одной или несколькими перемещающимися камерами. В этих случаях возможно предсказание изменения видеоданных при перемещении камеры или при переключении между стационарными камерами с перекрывающимися областями видимости по известным значениям угла видимости, высоты установки, угла наклона и направления перемещения камеры.
Цель данной работы - разработать метод предсказания изменения видеоданных на основе модели движения камеры.
Модель движения камеры
В общем случае модель Мс движения видеокамеры может быть задана следующим набором параметров:
Mc C^\\l)y.l)( .l)r.Y.X.ay <>,v ООО:, Oz Oz Or Ox il (1)
где Dy, Du , Dy - битовая глубина формируемого камерой цветного изображения для яркостной и двух цветоразностных компонент; Y , X - размеры формируемого камерой изображения по вертикали и горизонтали; / = 0. 7 — 1 - дискреты времени, совпадающие с номерами кадров, формируемых камерой; Т - период дискретного времени моделирования движения камеры; о. у ( , ау ( - углы обзора камеры по вертикали и горизонтали; А С ~ \а х, t - матрица корректирующих коэффициентов,
учитывающих аберрации оптической системы камеры для каждого пикселя формируемого изображения; Н К. - высота установки камеры; Sy ^ , Sy ^ - смещения камеры в горизонтальной плоскости перпендикулярно и вдоль оптической оси относительно предыдущего положения камеры (Sx (l j= О-Sy (l j= " )• Рz С- ~ угол наклона нижней границы изображения к поверхности (угол крена камеры); Ру ( - угол поворота оптической оси камеры в горизонтальной плоскости относительно предыдущего положения камеры (Ру ^ 0); Р^ ( - угол наклона оптической оси камеры к поверхности (Рд- ( > 0, если оптическая направлена вверх и Pj^ ( 0, если оптическая ось направлена вниз).
Параметры Н Cl^X С-^х СС^Рх С. ПРИ t = О, Т -1 определяют траекторию движения камеры.
С учетом конкретных условий применения модель движения камеры может быть существенно упрощена. Частным, но важным случаем является горизонтальное движение (Sz ^ j= 0 5 Рг С 0 • Н ^ const) камеры, формирующей полутоновое изображение (Dy = 8 , Djj =0, Dy =0). Если предсказание основано на одном исходном кадре и распространяется только на один последующий кадр, то Т = 2 . Учитывая особенности построения ряда систем видеонаблюдения, при Т = 2 модель подвижной камеры может быть упрощена за счет следующих дополнительных ограничений: а у const, ay ^ const (постоянное фокусное расстояние); 1 (оптическая система описывается моделью тонкой линзы);
Pj^ const (постоянный угол наклона оптической оси камеры); \)у " (отсутствие крена). В результате упрощенная модель подвижной камеры представляется следующим выражением:
Mc=\Y,X,aY,ax,H,Sx$x\\. (2)
В данной модели траектория движения камеры задается единственным параметром Sx .
Описание метода
Предлагается метод объектного предсказания изменения видеоданных при перемещении камеры на основе модели Mq ( движения камеры, использующий опорный кадр
Ссг = Icq х Y-\ х-0 Л'-l видеоданных, соответствующий исходному положению камеры, а также информацию о характеристиках, параметрах установки и перемещения камеры для формирования кадров Sq К, ^ & х, t х-0 Х-\ t-1 Г-1соответствующих положениям
камеры в дискретные моменты времени на периоде Т . Метод описывается следующим выражением
^О/орОМСО (3)
где fOP - функция объектного предсказания изменения видеоданных.
Основными шагами метода являются объектная декомпозиция опорного кадра видеоданных (формируется информация о количестве и расположении объектов опорного кадра), классификация объектов по дальности (каждый объект причисляется к некоторому классу объектов по дальности в зависимости от его удаленности от камеры), расслоение опорного кадра видеоданных по дальности (определяются расстояния до равноудаленных от камеры объектов, группируемых в слои изображения по дальности), формирование нового кадра видеоданных (объекты и фон опорного кадра смещаются с учетом вектора движения камеры и интерполируются значения образующихся неопределенных пикселей, заслоненных объектами на опорном кадре).
Для эффективного использования метода объекты опорного кадра должны иметь высокий контраст по отношению к фону и располагаться на ровной поверхности, достаточно хорошо аппроксимирующейся плоскостью. Несмотря на данные ограничения, сужающие область применения предлагаемого метода, он может достаточно эффективно использоваться для сжатия видеоданных с предсказанием движения камеры в системах видеонаблюдения помещений, открытых участков равнинной местности и поверхностей водоемов. Кроме того, возможно использование данного метода в этих условиях для формирования второго изображения псевдостереопары, а также последовательности кадров синтетического видео.
В случае простой структуры опорного кадра, содержащего высококонтрастные по отношению к однородному фону и низкоконтрастные по отношению друг к другу объекты, не заслоняющие частично или полностью другие объекты, отдельные шаги метода могут быть существенно упрощены. При использовании в этом случае упрощенной модели движения камеры, представленной выражением (2), метод описывается соотношением
ёо=ГорСо№с1 (4)
и сводится к следующим четырем шагам.
1) Объектная декомпозиция опорного кадра CG видеоданных. На данном шаге осуществляется бинаризация опорного кадра видеоданных и формируется матрица объектной декомпозиции, содержащая информацию о количестве и расположении изолированных объектов опорного кадра, которые представляют собой совокупности единичных пикселей, разделенные друг от друга нулями. Результатом выполнения данного шага являются количество А^ изолированных объектов в опорном кадре видеоданных и матрица
М
= \nijj ) ~ объектной декомпозиции опорного кадра видеоданных.
2) Классификация объектов опорного кадра видеоданных по дальности. Формируется вектор классификации объектов по дальности, с помощью которого каждый изолированный объект, выделенный в матрице объектно-ориентированной декомпозиции, причисляется к некоторому классу объектов по дальности в зависимости от минимального значения у -координат пикселей, образующих
данный объект. Результатом выполнения данного шага является вектор 1)у — [[¿/у ^Д^о дг^
классификации объектов по дальности, значение каждого / -го элемента йу С }= |, У — 1 которого определяет класс соответствующего г -го объекта по дальности. Класс характеризует удаленность объекта от камеры. Чем меньше значение с1у С - тем ближе к камере расположен / -й объект. Максимальное число различных классов равно 7 + 1 - на один больше числа пикселей в кадре по вертикали. К классу У принадлежат пиксели, не принадлежащие ни одному из N0 объектов.
3) Расслоение опорного кадра видеоданных по дальности. Оно основано на использовании параметров У. а. у. Н и р> д модели движения камеры для представления опорного кадра видеоданных в виде бинарной проекции трехмерной сцены, расстояние до каждого объекта которой оценивается по смещению проекции точки местоположения объекта от нижней границы кадра. В результате выполнения данного расслоения формируется вектор 0% ~ \\cly С' И-^-оУГу ~
расстояний от камеры до объектов, значение каждого у -го элемента с/у ^ которого
определяет расстояние от камеры до объектов у -го слоя, смещенных на у пикселей от нижнего края опорного кадра видеоданных. Расстояния определяются в тех единицах измерения, которые использовались для определения параметра Н модели движения камеры.
4) Формирование нового кадра (C'Q видеоданных. Объекты каждого слоя опорного кадра видеоданных сдвигаются на некоторое число пикселей в зависимости от удаленности слоя от камеры. Значения пикселей, заслоненных объектами на опорном кадре, устанавливается равным среднему значению яркости фона.
Формирование нового кадра видеоданных
Предлагается алгоритм формирования по опорному кадру видеоданных, соответствующему исходному положению камеры, нового кадра, соответствующего горизонтальному смещению камеры относительно исходного положения. Алгоритм основан на модели движения камеры и предположении, что при перемещении камеры расстояния от камеры до объектов не изменяются (или, по крайней мере, эти изменения не могут быть отображены на новом кадре видеоданных из-за недостаточной разрешающей способности фотоприемной матрицы камеры). Такое предположение возможно, если выполняется следующее условие
Л 01 + Ях2- Лг О Лг С Лг О ■ (5)
Условие (5) имеет место во многих практических случаях, в том числе в системах видеонаблюдения.
Алгоритм формирования нового кадра видеоданных состоит из следующих шагов. 1) Инициализация вектора Яр = Цлу; ~ смещений слоев опорного кадра
(6)
N0,7-1
^Оо
при у = 0,7 -1.
2) Инициализация матрицы М$ =\т$ опорного кадра видеоданных
=0,7-1, х=0,Х-1
смещенных пикселей
(7)
при .у = 0,7-1 и х = 0,Х-1.
3) Определение горизонтального виртуального фокуса ¥х модели оптической системы
камеры
= (8)
(9)
4) Определение средней яркости CQ фона опорного кадра видеоданных
'у- 1 х-1 ^ О/ у~ 1 х-1 -
сс = X ^<-сву^ У'х~ъ ^■
Уу=о х=О )/ у=0 х=0
5) Цикл определения величин смещений слоев опорного кадра видеоданных. Для каждого элемента вектора Бу расстояний до объектов рассчитывается значение соответствующего элемента вектора с помощью выражения
•о О
¥
8
х
х
-2 е 2
(10)
при у = 0,7-1,
где [ - операция округления до ближайшего целого.
6) Цикл смещения слоев опорного кадра видеоданных. Операция смещения слоев применяется к строкам опорного кадра видеоданных в направлении сверху вниз. При смещении камеры вправо (> 0) операция смещения применяется к пикселям каждой строки в направлении слева направо. При смещении камеры влево операция смещения
применяется к пикселям каждой строки в направлении справа налево.
Для пикселей опорного кадра (видеоданных, не отмеченных в матрице М¡)
объектной декомпозиции (т¡} х 3= 0 - т.е. пиксель не принадлежит ни одному из Ау; объектов), смещение осуществляется на величину s¡) $ ^ при условии, что пиксель ¿а х — S/) ^ формируемого кадра видеоданных является неопределенным и находится в пределах кадра (0
his С'- У о У* fb С'- х'Уса i'--
(11)
при у = 0,7-1 и х = 0,Х-1,
где = координата пикселя формируемого кадра видеоданных.
Для пикселей с^ х _ опорного кадра С^ видеоданных, отмеченных в матрице М¡) объектной декомпозиции 0 ~ т е- пиксель принадлежит одному из Ау; объектов),
смещение осуществляется на величину Су при условии, что пиксель
£с (р^) формируемого кадра видеоданных не принадлежит более
приближенному к камере объекту и находится в пределах кадра (0 < С — ч и Су ^^ ^)
'ьтпУ х^ътБ*, \ (12)
msy °
msh, -О
при у = 0,7-1 и х = 0,X — 1,
где х" = х - s ¡J (¿у координата пикселя формируемого кадра видеоданных.
7) Цикл поиска и определения значений пикселей формируемого кадра видеоданных, заслоненных объектами на опорном кадре. Значения пикселей, заслоненных объектами на опорном кадре, устанавливаются равным среднему значению яркости фона в соответствии с выражением
_ __(is)
при у = 0,7-1 и х = 0,Х-1.
По окончанию цикла поиска и определения значений пикселей формируемого кадра видеоданных осуществляется выход из алгоритма.
В результате выполнения данного алгоритма формируется кадр CG видеоданных, соответствующий новому положению камеры при ее горизонтальном перемещении на Sx относительно исходного положения в плоскости, параллельной плоскости изображения.
Оценка эффективности метода объектного предсказания изменения видеоданных
Для оценки эффективности разработанного метода объектного предсказания изменения видеоданных получены 5 полутоновых изображений тестовой трехмерной сцены -исходный видеокадр (рис. 1) и 4 видеокадра (рис. 2, а - г), соответствующие горизонтальному смещению камеры вправо на 1, 2, 3 и 4 см. Изображения получены с помощью цифровой камеры Sony Cyber-shot с отключенной автофокусировкой, установленной на высоте Н = 10 см и обеспечивающей размеры изображения по вертикали Y = 480 и горизонтали X = 640 ,
углы видимости по вертикали а у = 22.5° и горизонтали а. у = 50.2°, угол наклона оптической оси камеры к поверхности Р = —6° .
I
I' f « > |
lit
Рис. 1. Исходный видеокадр
На рис. 3 представлены видеокадры при смещении камеры вправо по горизонтали на 5\'=2см, =3см и синтезированные с помощью
разработанного метода объектного предсказания изменения видеоданных и форматированные по горизонтали для удаления области неопределенности, возникающей справа при смещении камеры. На рис. 4 представлены образы ошибок предсказания, соответствующие этим синтезированным видеокадрам.
1 I "в
1 I 1
б)
а в ■■
I 1 £
б) г)
Рис. 2. Полутоновые изображения тестовой трехмерной сцены: а - видеокадр при Л'д- = 1 см; б - видеокадр при Л'д- = 2 см; в - видеокадр при Лд- = 3 см; г - видеокадр при 8 ^ = 4 см
Для количественной оценки ошибки предсказания изменения видеоданных при движении камеры использована среднеквадратическая ошибка М8Е, вычисляемая с помощью выражения
Г-1Л"-1
Е Е
Ы8Б =
у=О л-=0
УХ'
(14)
где X' - размер форматированного видеокадра по горизонтали с учетом удаления области неопределенности, возникающей при смещении камеры.
I
I® т 11 %
! I I
а)
в)
Рис. 3. Синтезированные полутоновые изображения тестовой трехмерной сцены: а - видеокадр при Л'д- = 1 см; б - видеокадр при .V у —2 см; в- видеокадр при 5д- = 3 см; г- видеокадр при 5д- = 4 см
а)
б)
б) г)
Рис. 4. Образы ошибок синтезированных полутоновых изображений тестовой трехмерной сцены: а - образ ошибки при Л'д- = 1 см; б - образ ошибки при Л = 2 см; в - образ ошибки при Л'д- = 3 см; г - образ ошибки при Л' д = 4 см
В таблице приведены значения среднеквадратической ошибки MSE предсказания для трех способов устранения межкадровой избыточности видеоданных, используемых в методах Cinepak (кадровая разность), MPEG-2, MPEG-4 (блочная компенсация движения) и разработанном методе объектного предсказания изменения видеоданных (объектная компенсация движения). Из таблицы видно, что метод объектного предсказания изменения видеоданных обеспечивает уменьшение ошибки предсказания примерно в 6 раз по сравнению с методом Cinepak и примерно в 4,4 раза по сравнению с методами MPEG-2, MPEG-4.
Среднеквадратическая ошибка предсказания
Величина горизонтального смещения камеры Среднеквадратическая ошибка MSE предсказания
Кадровая разность (Cinepak) Блочная компенсация движения (MPEG-2, MPEG-4) Объектное предсказание изменений видеоданных
1 см 2362 1294 215,364
2 см 3604 1868 615,367
3 см 3713 2202 623,401
4 см 3801 2802 624,219
Заключение
Предложен метод объектного предсказания изменения видеоданных при перемещении камеры на основе модели ее движения. Суть метода состоит в объектной декомпозиции опорного кадра видеоданных, классификации объектов по дальности, расслоении опорного кадра по дальности и формировании нового кадра на основе модели движения камеры, учитывающей смещения объектов навстречу вектору движения камеры. Метод обеспечивает уменьшение ошибки предсказания изменения видеоданных при движении камеры в 6 раз по сравнению с методом Cinepak и примерно в 4,4 раза по сравнению с методами MPEG-2, MPEG-4.
OBJECT PREDICTION CHANGES FOR VIDEO DATA TRANSFORMATION WITH HORIZENTAL CAMERA MOVMENT
T.M. AL-JUBOORI , V.YU. TSVIATKOU, V.K. KONOPELKO
Abstract
This is a suggested method for predicting the changes in the object in video data by using a model of camera motion. The method contains with, object decomposition of the reference frame of video data, the classification of objects in range, the start position of the reference frame for the range and the formation a new frame-based on the model of camera motion, taking in consideration, the displacement vector of the motion of objects towards the camera. The method provides a reduction of prediction error for video data changes when camera moves, through the use of information regarding characteristics of camera, installation conditions and parameters of camera motion.
Литература
1. Iain R. H // The Robert Gordon University. Aberdeen. UK. John Wiley & Sons Ltd. The Atrium. Southern Gate. Chichester. 2003. P. 306.
2. A.B. Benitez, S. Chang // Signals, Systems and Computers. Conference Record of the Thirty-Seventh Asilomar Conference. 2003. Vol.1 P. 92-96.
3. Zhigang Z., Allen R. // Eighth International Conference on Computer Vision (ICCV'01) 2001. Vol. 2. P. 723.
4. Ianir I., Leonid P., Barak F. // Real-time Image Processing Jornal. 2007. Vol. 2. P. 3-9.
