CC BY
11Телевидение и обработка изображений
УДК 621.397.13:656.021
Н. А. Обухова
Санкт-Петербургский государственный университет
аэрокосмического приборостроения
Априорная оценка достоверности векторов оптического потока (векторов движения)
Предложено дополнить двухкомпонентные векторы оптического потока (векторы движения) третьим компонентом - оценкой достоверности. Показана взаимосвязь между уровнем детальности изображения в блоке, характером рельефа минимизируемой целевой функции при нахождении векторов движения и вероятностью корректного определения вектора движения. Получен аналитический вид функции достоверности, позволяющий априорно оценить достоверность вектора движения по уровню детальности блока. Показана практическая значимость предложенной априорной оценки достоверности вектора движения.
Векторы движения, векторы оптического потока, детальность блока, достоверность вектора движения, априорная оценка
Признак движения является одним из основных признаков для сегментации и одновременного сопровождения многих объектов интереса в прикладных видеокомпьютерных системах. Его наиболее информативной оценкой являются векторы оптического потока (векторы движения) [1], [2]. Достоверность получаемых векторов определяется постоянством во времени яркости движущихся объектов и уровнем их детальности в пространстве. На практике эти условия достаточно часто нарушаются. Блики, тени, полупрозрачные и слаботекстурированные поверхности приводят к появлению так называемых аномальных векторов движения - векторов, отражающих не реальное движение, а влияние шумов и изменений освещенности. Наличие аномальных векторов в оцениваемом оптическом потоке вызывает последствия, тяжесть которых определяется назначением системы. Так, при устранении временной избыточности в системах видеосжатия аномальные векторы уменьшают коэффициент сжатия. Для задач сегментации и сопровождения последствия будут более существенными: учет аномальных векторов может вызвать рассегментацию объекта и снижает точность определения параметров его движения.
Для преодоления этих недостатков целесообразно дополнить двухмерные векторы
движения третьим компонентом - оценкой его достоверности р^ : (ух м , Уу к1, Рк1 )т, где ух , Уу м1 - составляющие вектора движения для блока с номерами к по горизонтали и I - по вертикали по направлениям х и у соответственно.
30
© Н. А. Обухова, 2006
Функциональная зависимость между свойствами изображения в блоке и вероятностью корректного определения вектора движения (функция достоверности).
Наиболее эффективным и робастным методом определения векторов оптического потока является метод совмещения блоков [3]. В методе совмещения блоков задачу определения векторов движения решают минимизацией целевой функции, характеризующей уровень соответствия (совпадения) двух блоков, на множестве различных положений обрабатываемого блока в области поиска. Результаты решения этой задачи определяются видом
N М
целевой функции, зависящей от детальности блока В (к, I) = ^^РЬ (хк + 7, у\ + I),
j=1I=1
где РЬ - яркость пикселя исходного изображения после выделения высокочастотной энергии (морфологической обработки, пространственного дифференцирования, выделения контуров и др.); N, М - количество пикселей в блоке по горизонтали и по вертикали
соответственно; Хк, У[ - координаты левого верхнего угла блока.
Экспериментальное исследование целевых функций проводилось на ряде сюжетов, представленных на рис. 1. К тестовым последовательностям, содержащим эти сюжеты, предъявлялись требования, обусловленные спецификой проводимых экспериментов: присутствие компактного неманеврирующего объекта интереса с выраженным движением. Исследование позволило сделать следующие выводы. При высокой детальности блока целевая функция унимодальна с ярко выраженным глобальным минимумом; а при низкой -мультимодальна и/или имеет вид "оврага". Наиболее характерные рельефы, а также соответствующие им оценки детальности изображения приведены на рис. 21.
Применение алгоритмов поиска, основанных на предположении об унимодальном характере целевой функции (поиск тремя итерациями 3££ [4], четырьмя итерациями 4££ [5]
Корабль - катер
Корабль - кирха
Катер (новый)
Самолеты
Большой корабль
Рис. 1
Размеры зон поиска векторов движения 24*24 элемента изображения.
Тестовая последовательность
Самолеты
Корабль - катер
Блок объекта
Маленький самолет
Фон (небо)
Фон (береговая линия)
D
1546
181
276
AL
Рельеф
■
ЩШ шш
Линии постоянных уровней
Характеристика функции
Унимодальная функция с ярко выраженным глобальным минимумом
Существенно мультимо-дальная целевая функция с плохо выраженным глобальным минимумом
Унимодальная целевая функция с большим плоским участком в области минимума ("овраг")
k
I
k
l
Рис. 2
и др.), приводит к существенным ошибкам при определении векторов движения в тех случаях, когда это предположение нарушено. Использование алгоритма полного перебора (FS) уменьшает число аномальных векторов вследствие корректного решения задачи поиска минимума мультимодальной функции, но не устраняет проблему плоских участков: в качестве оценки вектора движения может быть принята случайная точка в пределах этих участков. Экспериментальное исследование метода совмещения блоков показало, что число верных векторов при использовании алгоритма FS достигает 70%, при 3SS - 30% [6].
Из полученных данных следует важный вывод: оценка уровня детальности блока коррелирует с характером рельефа целевой функции и позволяет априорно оценить вероятность корректного нахождения вектора оптического потока: Pc v (k, l) = f [D (k, l)].
Для описания функциональной зависимости между свойствами изображения в блоке и вероятностью корректного определения вектора движения введем модифицированную оценку уровня детальности: DM = D(k, l)/Dmin , где Dmin = moda {D(k,l)}; k e [1,K], l e [1,L] -минимальный уровень детальности в блоке, обусловленный шумами; K х L - число блоков в изображении.
Корректность вектора движения будем оценивать по норме L2:
E (k, l) = y¡(v0x - vbx )2 + (v0y - vby )2 .
где ( у0х, Уоу) и (у^х, У^у) - компоненты истинного и найденного векторов оптического
потока блока (к, I) соответственно.
Анализ вида функций Вм (к, I) и Е (к, I), полученных в результате эксперимента для тестовых видеопоследовательностей, показывает, что между ними существует взаимосвязь. Глобальные и значимые по амплитуде локальные максимумы модифицированной оценки детальности Вм (к, I) соответствуют минимальным ошибкам (в пределе - нулевому значению,
т. е. отсутствию ошибки) определения векторов оптического потока Е (к, I) (рис. 3). На участках, соответствующих низким уровням детальности, кривые ошибок имеют отличную от кривых детальности форму. Это закономерно, поскольку абсолютная величина ошибки определения вектора не связана с уровнем детальности блока: при низкой детальности высока вероятность возникновения ошибки, но величина этой ошибки от уровня детальности не зависит.
Для определения аналитического вида зависимости Рс у (к, I) построены гистограммы вероятности корректного определения вектора движения от модифицированной оценки уровня детальности Вм (к, I). В анализируемой области кадра для каждого блока найдены оценки детальности В (к, I) и Вм (к, I). Полученный диапазон изменения Вм (к, I) разбит на интервалы шириной 0.2//тт . Для каждого интервала определены число блоков, попавших в заданный интервал детальности Qi ь ^; число блоков, в которых величина ошибки Е (к, I) не превышает 1.44 • Qi ь согг, и оценка вероятности корректного определения вектора движения Рс у (г) = Qi ь согг/Qi ь (г - номер интервала).
Гистограммы получены для тестовых последовательностей, сюжеты из которых представлены на рис. 1. С помощью специально разработанного программного обеспечения в кадре выделялась анализируемая зона и стробировался объект интереса. В ходе работы программы зона поиска разбивалась на блоки, для каждого из которых определялись Вм (к, I) и вектор движения. Если блок принадлежал фону, для расчета ошибки Е (к, I) в
качестве эталонного использовался вектор (0,0), а если блок принадлежал объекту, то найденный вектор сравнивался с заранее определенным. По полученным данным строилась гистограмма текущего кадра - мгновенная гистограмма. В каждой последовательно-
Вм, Е
12 8
Е
о ■■■1Н|||НИ
д
Ш1
и
■ ■МММ.......
11
21
31
41
Рис. 3
4
1
P P
1 C_V ' 1 c_v
0.75
0.50
0.25 0
P P 1 C_v ' 1 c_v
0.75
0.50
0.25
0
'с v> c V
Pc
0.75
0.50
0.25
P P 1 C_v ' 1 c_v
0.75 0.50 0.25 0
P P 1 C_v ' 1 c_v
0.75
0.50
0.25 0
/
2 3
Корабль - катер
2
3
Катер (новый)
2 3
Самолеты
2 3
Большой корабль Рис. 4
2 3 4
Корабль - кирха
Dm
Dm
Dm
dm
Dm
сти анализировалось 100 кадров (4 с). По накопленным в течение 100 кадров мгновенным гистограммам формировалась усредненная гистограмма. При ее построении для получения усредненной оценки вероятности корректного определения векторов
движения Pc v (i) использовалась мода:
Pc v (i) = moda {Pc v t}; t e 1,100. Использование среднего значения занижает оценку вследствие специфики мгновенных данных: если в i-й интервал по оценке детальности не попал ни один блок, то вероятность корректного определения векторов 0%; если блоков всего два и для одного вектор некорректен, то вероятность 50%. На рис. 4 приведены полученные усредненные гистограммы.
Анализ полученных графиков позволяет предложить для описания Pc v (k, l)
математическую модель Pc v (k, l) = 1
exp
-nD,M (k, l)]. Параметр n определял-
ся методом нелинейного программирования минимизацией функции вида
2
Р = £ {Рсу0)-[1 -ехр(-п/тт)]} .
г =1
Для всех тестовых последовательностей получено значение параметра п = 0.1. Аппроксимирующие кривые приведены на рис. 4 совместно с экспериментальными усредненными гистограммами.
Проверка адекватности модели выполнялась по критерию Фишера. Для последовательностей "Корабль - катер", "Катер - кирха", "Самолеты", "Катер (новый)" модель признана адекватной, а для последовательности "Большой корабль" - нет. Особенностью экспериментальной гистограммы для этой
1
4
1
0
1
4
1
4
1
4
последовательности является достижение лишь 90%-й достоверности, в то время как для остальных достигнута достоверность 100%. Причиной этого являются существенное расхождение экспериментальной гистограммы с теоретической кривой и как следствие высокая дисперсия адекватности. Снижение максимального уровня гистограммы обусловлено сложностью правильного стробирования объекта: в строб попадают блоки фона, что снижает количество верных векторов. Однако и в этом случае характер экспериментальной гистограммы близок к остальным.
Таким образом, проведенные исследования позволяют предложить для оценки априорной вероятности корректного нахождения вектора оптического потока функцию вида
Pc_v (к, /) = 1 - ехр [-0.Ш* (к, /)] . (1)
Практическое использование функции достоверности. Функция достоверности дает возможность заменить двухкомпонентные векторы движения на трехкомпонентные
(ух к/, Уу к/, Рк/ )Т, где рк/ рассчитывается согласно выражению (1). Учет достоверности
векторов на дальнейших этапах обработки существенно повышает их эффективность.
При сегментации и сопровождении объектов вероятность принадлежности блока объекту определяется уровнем соответствия его вектора движения модели движения объекта [7]. Если у блока аномальный вектор, то вероятность принадлежности будет низкой и блок не будет отнесен к объекту. Учет оценки достоверности вектора в весовом коэффициенте признака движения позволит избежать этой ошибки: блок будет включен в объект, если он соответствует ему по остальным признакам (например, по признаку формы).
При определении модели движения на основе векторов движения использование оценок их достоверности приведет к повышению ее точности: векторы с низкой достоверностью при обновлении модели будут использоваться с меньшим весом.
Кроме того, априорная оценка достоверности обеспечивает исключение из рассмотрения блоков, в которых вероятность верного нахождения вектора движения низка. Уровень достоверности найденного вектора достигает 0.95, если у блока Dм (к, /) > 1.8. Исключение остальных блоков резко снижает вычислительную емкость задачи. Для исследованных видеопоследовательностей процент блоков, в которых следует искать векторы движения (достоверность 0.95), составляет от 0.6% для последовательности "Самолеты" со слаботексту-рированным фоном и до 42% для последовательности "Катер (новый)", имеющей высоко-текстурированный фон. Данные по всем последовательностям приведены в таблице.
Анализ данных таблицы показывает, что для наиболее типичных последовательностей "Корабль - катер" и "Корабль - кирха" (с умеренно текстурированным фоном и средним по размерам объектом интереса) из рассмотрения исключается 90% блоков.
Видеопоследовательность Блоки с вероятностью корректного определения вектора движения 0.95
Количество % от общего числа
Корабль - катер 126 11
Катер - кирха 128 9
Катер (новый) 432 42
Самолеты 6 0.6
Большой корабль 728 22
По результатам проведенного исследования могут быть сделаны следующие выводы.
1. Вид целевой функции, минимизируемой при нахождении векторов движения методом совмещения блоков, определяется уровнем детальности блока в изображении.
2. Модифицированная оценка уровня детальности позволяет априорно оценить достоверность вектора движения блока.
3. Дополнение двухкомпонентных векторов движения третьим компонентом - оценкой достоверности вектора существенно повышает эффективность их использования в телевизионных системах видеонаблюдения, сегментации и сопровождения объектов интереса.
Библиографический список
1. Тимофеев Б. С. Видеокомпьютерные системы для наблюдения за движущимися объектами // Изв. вузов России. Радиоэлектроника. 2003. Вып. 4. С. 32-44.
2. Обухова Н. А. Обнаружение и сопровождение движущихся объектов методом сопоставления блоков // Информационно-управляющие системы. 2004. № 1. С. 30-37.
3. Beauchemin S. S., Barron J. L. The computation of optical flow // ACM Computing Surveys. 1995. Vol. 27, № 3. P. 433-467.
4. Po L. M, Ma W. C. A Novel four-step search algorithm for fast block estimation // IEEE Trans. on circuit syst. videotech. 1996. Vol. CSV-6, № 3. P. 313-317.
5. Motion compensated interframe coding for video conferencing / T. Koga, K. Linuma, A. Hirano et al. // NTC81, Nov. 1981. P. G5.3.1-G5.3.5.
6. Обухова Н. А. Вектора оптического потока в задачах сегментации и сопровождения подвижных объектов // Изв. вузов России Радиоэлектроника. 2006. Вып. 2. С. 42-51.
7. Обухова Н. А., Тимофеев Б. С. Сегментация и сопровождение объектов на основе анализа видеопоследовательности // Телевидение: передача и обработка изображений: Мат-лы IV межд. конф., Санкт-Петербург, 24-26 июня 2005 г. СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2005. С. 87-89.
N. A. Obukhova
Saint-Petersburg state university for aerospace instrumentation
Apriority priori estimation of optical flow vectors (motion vectors) reliability
It is offered to add two dimensional vectors of optical flow (motion vectors) with third component: the estimation of its reliability. The correlation between the level of detail in the image block, relief character of minimized function for motion vectors calculation and probability of correct motion vector definition is shown. The analytical form of reliability function is obtained, it is permitted to get a priori estimation of motion vector reliability depend on level of detail in the block. The practical significance of offered a prior reliability estimation is illustrated.
Motion vectors, optical flow vectors, block detail level, motion vectors reliability, apriority estimation Статья поступила в редакцию 9 марта 2006 г.
