CC BY
68
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2013 Управление, вычислительная техника и информатика № 4(25)
УДК 004.931;004.932
Д.А. Вражнов, В.В. Николаев, А.В. Шаповалов
СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ПОВЫШЕНИЯ УСТОЙЧИВОСТИ АЛГОРИТМОВ СЛЕЖЕНИЯ НА ВИДЕО
Проводится сравнительный анализ методов (на основе показателей Липшица, Ляпунова, критерия Forward - Backward) оценки качества работы алгоритмов слежения (Mean-Shift и Particle filter) для использования в задачах видеонаблюдения. Исследуются потери объекта в видеопотоке, обусловленные перекрытием объекта слежения другими объектами или препятствиями; схожестью по заданному признаку объекта и фона и др. Получены количественные оценки качества алгоритмов слежения.
Ключевые слова: алгоритмы слежения, Mean-Shift, Particle filter, видеонаблюдение.
Разработка трекеров - программно-аппаратных комплексов слежения за объектом на видеопоследовательности является одним из приоритетных направлений в области компьютерного зрения [1]. Математически объект представляется некоторым набором числовых характеристик - вектором признаков, позволяющим обнаружить (детектировать) объект на одном из кадров видеоряда и затем осуществлять слежение за объектом в последующие моменты времени. Роль момента времени в видеопоследовательности играет номер кадра.
Существует множество факторов, которые вносят искажения в характеристики объекта на последовательных кадрах видеоряда и, тем самым, препятствуют непрерывному слежению за объектом. Такими факторами являются, например, изменение формы, размеров и цветовой гистограммы объекта, его освещенности и др. В результате происходит потеря объекта и работа алгоритма слежения оказывается ненадежной.
Поясним смысл понятия надежности на примере алгоритма Mean-Shift [4]. В этом алгоритме характеристикой объекта является его цветовая гистограмма. Поэтому если в какой-то момент времени гистограмма области вокруг объекта и самого объекта становятся схожими - надежность слежения снижается. В этом случае целесообразно переключиться на другой алгоритм слежения для увеличения времени надежного слежения за объектом, т.е. в идеальном случае от момента его обнаружения на видео до выхода объекта из области наблюдения. Например, можно использовать алгоритмы Particle filter [5], или KLT [6].
Для решения задачи увеличения времени надежного слежения, прежде всего, необходимы критерии, позволяющие определять моменты времени, когда происходит сбой в процессе слежения.
В качестве критериев надежности используются пороговые условия при сравнении характеристик объекта в алгоритмах слежения. К внешним критериям отнесем критерий Forward - Backward (FB) [2], а также критерии, использующие представление о трекере как о динамической системе. В работе [3] рассматривался критерий, основанный на условии существования траектории слежения за объектом. В этом критерии существенную роль играет аналог постоянной Липшица.
В данной работе в рамках представления трекера как динамической системы предложен критерий надежности, использующий показатель Ляпунова. Проведено сравнение эффективности работы алгоритмов слежения particle filter и mean-shift с помощью критерия FB и критериев, использующих показатель Липшица[3] и показатель Ляпунова. Показано, что длительность непрерывного слежения может быть увеличена при соответствующем подборе критерия надежности для заданного алгоритма слежения.
Отметим, что оптимальная комбинация трекера и критерия надежности зависит от характеристик и особенностей видеоролика, а также от постановки задачи слежения. Например, важную роль в системах видеонаблюдения играет скорость работы алогритма. Для алгоритмов mean-shift и particle filter лучший результат в определении момента сбоя в процессе слежения показали критерии, использующие показатель Липшица и показатель Ляпунова.
1. Постановка задачи
Пусть S = (It, It+i..., It+*) - последовательность изображений, t - номер кадра и xl(t) - участок изображения (объект) с набором характеристик (x0, y0, R0, G0, B0), определенный экспертом в момент времени t. Используя некоторый алгоритм слежения Tr(x), получаем координаты положения объекта на следующих кадрах по правилу Tr (x1) = (x1, y1, R1, G1, B1) = x'(t +1). С течением времени объект может изменяться или перегораживаться другими объектами. С точки зрения алгоритма слежение происходит за некоторой областью изображения с фиксированным либо непрерывно изменяющимся набором свойств, поэтому, если в рабочей области трекера появится область изображения со схожим набором свойств, без дополнительной информации об объекте трекер не сможет эти области различить и произойдет коллизия (сбой). Наша задача состоит в том, чтобы предупредить коллизию и предпринять меры по коррекции работы трекера. Для этого необходимо ввести некоторые критерии, характеризующие надежность трекинга.
В данной статье будут рассмотрены 3 критерия надежности трекера:
1. Критерий Forward - Backward.
2. Показатель Липшица.
3. Критерий устойчивости Ляпунова.
На основе предложенных критериев изучим, как согласуются данные, что трекер стал ненадежным с наблюдениями эксперта.
1.1. Критерий Forward - Backward
Траекторию объекта представим в виде Tfk = (xt,xt+j,...,xt+k), где индекс f
обозначает, что слежение производилось вперед (т.е. от кадра t до t + k), а индекс k указывает количество кадров, на которых отслеживался объект. Наша цель заключается в оценке надежности траектории, заданной последовательностью изображений. Точка xt+k отслеживается назад до кадра t и
дает Tbk = (xt,xt+j,...,xt+k), где Xt+k = xt+k. Ошибка FB (forward-backward -
вперед-назад) определяется как расстояние между этими двумя траекториями: FB(Tf k | S) = distance(Tf k, Tb k). Для сравнения траектории могут быть выбраны
различные расстояния. Для простоты используется евклидово расстояние между объектом в начальный момент времени и объектом, который покажет алгоритм при слежении за объектом в обратном направлении:
ёШтсеф;к,Ть к) =|| х - % ||.
• 19
Рис. 1. Способ расчета расстояния между траекториями (1)
Назовем distance (Tf k, Tbk) расстоянием FB.
1.2. Условие Липшица
Рассмотрим систему дифференциальных уравнений, описывающих алгоритм слежения как динамическую систему:
x (t) = f (t, x(t)).
Решение этой системы описывает траекторию объекта на видеопоследовательности. Так как мы знаем точное положение объекта на первом кадре и при помощи алгоритма слежения можем отследить объект на последующие кадры - нам известны x(t). В нашей задаче функция f определяется как малое приращение:
f (t x(t)) ^ dx(t) = *(t + At) - x(t) = Ax(t)
dt At At
где At - разность номеров кадров, по которым вычисляются приращения Ax(t). Условие Липшица для трекера запишем в следующем виде:
| f (t, xt (t)) - f (t, Xj (t)) | < Nix (t) - x} (t) |. (2)
Здесь N - показатель Липшица (не зависит от времени и положений объектов); разности имеют смысл расстояния между объектами.
Выразим аналог константы Липшица следующим образом:
|f (t, x (t)) - f (t, x} (t ))|
N = max-------------------------.
| x (t) - x} (t )|
Условие (2) определяет надежность рассматриваемого алгоритма слежения. Причем слежение надежно, если показатель Липшица N < 1.
Рис. 2. Способ расчета показателя Липшица и показателя Ляпунова.
Здесь х, - объект, за которым ведется наблюдение, Х - область вокруг объекта
1.3. Условие Ляпунова
Как уже сказано выше, алгоритм слежения определяется как динамическая система, в которой движущиеся объекты в видеоряде определяются координатами Хі(,) , і = 1,...,I, где I - количество объектов;
Х(, +1) = / (,, Х(,)). (2)
Введем для дискретного времени , систему в вариациях для (2) в виде
х(ґ) = Х0 (,) + 5Х(/), где 5Х(, +1) = Ь(Х0 (,))5Х(,); Ь(Х0 (,)) - матрица 2 х 2 :
L( X0 (t)) =
{dxa (x), Л
dxe
\x=X0(n)
•'в
а x0 (t) - «траектория» (закон движения) объекта, за которым ведется слежение.
Решение системы (2) устойчиво, если траектории с близкими начальными условиями остаются близкими с ростом времени. Показатель Ляпунова запишем в виде
X = lim sup —log||5x(t)||.
t^xsx0(t0) t
Здесь 5x(t) - отклонение между исходным решением (объектом на кадре) и окрестностью объекта; t - время движения объекта. Таким образом, если X < 0 , то решение x0(t) динамической системы устойчиво.
2. Тестирование поведения критериев на различных данных
Тестирование критериев проводилось для алгоритмов слежения Mean-Shift и Particle filter. Ниже на графиках отображены зависимости параметров, характеризующих надежность слежения от номера кадра (момента времени). Показатель Липшица и расстояние FB нормированы на 2 для наглядности.
На рис. 3 и 4 приведены результаты тестов алгоритмов слежения за объектами, Mean-Shift и Particle filter, для первого объекта на первом видеоролике.
о
я
*
сЗ
Я
сЗ
&
сЗ
С
20 30
Номер кадра
Рис. 3. Зависимость параметров надежности от времени (номера кадра) для алгоритма слежения Particle filter
20 30
Номер кадра
Рис. 4. Зависимость параметров надежности от времени (номера кадра) для алгоритма слежения Меап-БЫй
Из рис. З видно, что показатели Липшица и Ляпунова говорят о надежном слежении до 15 кадра. Расстояние FB показывает несколько пиков, первые из которых не соответствуют наблюдаемому. То есть расстояние FB принимает большие значения с самого начала, что соответствует нестабильному слежению, однако алгоритм слежения работал корректно. Алгоритм Mean-Shift потерял объект на 21 кадре, что соответствует скачку показателя Ляпунова на рис. 4.
На рис. 5—б приведены результаты тестов алгоритмов слежения за объектами Mean-Shift и Particle filter для второго объекта на втором видеоролике.
’ 0 10 20 30 40 50
Номер кадра
Рис. 5. Зависимость параметров надежности от времени (номера кадра) для алгоритма слежения Particle filter
-1 5 Li_______і________і_______і_______і________і_______і і і і I
’0 10 20 30 40 50
Номер кадра
Рис. 6. Зависимость параметров надежности от времени (номера кадра) для алгоритма слежения Mean-Shift
Из рис. 5 следует, что алгоритм Particle filter на данном ролике работал некорректно, это сопровождается высокими рассматриваемыми в статье показателями устойчивости. На рис. б показана корректность работы алгоритма Mean-Shift с точки зрения критериев устойчивости. Расстояние FB показало надежное слежение до 7 кадра, а показатель Ляпунова и показатель Липшица до 13 кадра.
На рис. У и В приведены результаты тестов алгоритмов слежения за объектами Mean-Shift и Particle filter для третьего объекта на третьем видеоролике.
Номер кадра
Рис. 7. Зависимость параметров надежности от времени (номера кадра) для алгоритма слежения Particle filter
о
я
*
е
еда
я
р
а
С
Номер кадра
Рис. В. Зависимость параметров надежности от времени (номера кадра) для алгоритма слежения Mean-Shift
Из рис. 7 видно, что алгоритм Particle filter на данном ролике работал некорректно начиная с третьего кадра, на что и указало высокое значение расстояния FB. Поведение показателя Ляпунова и показателя Липшица говорят, что слежение ненадежно начиная с четвертого кадра.
Для третьего объекта Mean-Shift следил надежно в течение 30 кадров. Показатель Ляпунова и постоянная Липшица принимают значения ниже пороговых, однако расстояние FB указывает на потерю объекта практически с самого начала, что не соответствует действительности.
Заключение
В данной работе были проанализированы методы оценки (показатели Липшица, Ляпунова, критерий Forward - Backward) надежности алгоритмов слежения за движущимися объектами и получены количественные характеристики данных методов на различных видеороликах с камер видеонаблюдения. В качестве алгоритмов слежения были выбраны широко используемые Mean-Shift и Particle filter. Из построенных зависимостей можно сделать вывод о том, что условие Липшица и показатель Ляпунова позволяют определить момент начала неустойчивого трекинга, что необходимо при разработке програмных комплексов систем видеонаблюдения. Также следует отметить, что полученные характеристики устойчивости для отдельных объектов коррелируют между собой (рис. 3), что может быть использовано для принятия коллективного решения в алгоритмах data fusion [7] с целью повышения качества работы алгоритмов слежения.
Проведенные исследования показали, что критерий надежности нужно выбирать исходя из условий поставленной задачи - особенностей видеозаписи (например, степень контрастности объекта на фоне), а результат применения критерия зависит от выбранного алгоритма слежения. Для алгоритмов Mean-shift и Particle filter лучший результат в определении момента сбоя в процессе слежения показали критерии, использующие показатель Липшица и показатель Ляпунова.
ЛИТЕРАТУРА
1. Maggio E., Cavallaro A. Video Tracking: Theory and Practice. Somerset, San-Francisco: Wiley&Sons, 2011.
2. Kalal Z., Mikolajczyk K., Matas J. Forward-backward error: automatic detection of tracking failures // Int. Conf. on Pattern Recognition, 23-26 August, 2010. Istanbul, Turkey. P. 1-4.
3. Вражнов Д.А., Шаповалов А.В., Николаев В.В. О качестве работы алгоритмов слежения за объектами на видео // Компьютерные исследования и моделирование. 2012. Т. 4. № 2. С. 303-313.
4. Comaniciu D., Ramesh V., Meer P Kernel-based object tracking // Transactions on Pattern Analysis and Machine Intelligence (IEEE). 2003. V. 25. No. 5. P. 564-575.
5. Perez P., Hue C., Vermaak J., GangnetM. Color-Based Probabilistic Tracking. ECCV, 2002.
6. Baker S. Matthews I. Lucas-Kanade. 20 years on: a unifying framework // Int. J. Computer Vision. 2004. V. 56. No. 3. P. 221-255.
7. Hall D.L., McMullen S.A.H. Mathematical Techniques in Multisensory Data Fusion Artech House Inc., 2004.
Вражнов Денис Александрович ООО «Томсклаб»
Николаев Виктор Владимирович Шаповалов Александр Васильевич Томский государственный университет
E-mail: Vrazhnov@tomsklabs.com; shpv@phys.tsu.ru Поступила в редакцию 5 июля 2013 г.
Vrazhnov Denis A. (Tomsklabs PTE LTD), Nikolaev Viktor V., Shapovalov Alexander V.
(Tomsk State University). Comparative analysis of methods for video tracking algorithms improvement.
Keyword: video tracking, mean-shift, particle filter, dynamic systems
In this paper we made a comparative analysis of methods (based on Lipschitz index, Lyapunov index and Forward - Backward criterion) for evaluation of video tracking algorithms (Mean-Shift, Particle filter). Developing tracker - a software and hardware system for object tracking in video sequence, is one of major tasks in computer vision. Mathematically, object is modeled by set of numerical characteristics - feature vector, which allows detecting object on a video frame and then tracking this object on further times.
We investigate object lost in video sequence, due to occlusions with another objects and/or obstacles; similarity by feature vector of tracking object and background and etc. As criteria of tracker reliability we suggest to use threshold conditions when comparing object’s feature vector in tracking algorithms. Let’s call external Forward - Backward criterion and others, based on consideration tracker as dynamic system (Lipschitz index, Lyapunov index). Quantitative estimates of tracking algorithms evaluations are obtained. These allow using suggested indices for combining different tracking algorithms and feature vectors in data fusion frameworks.
This research is done in Tomsklabs PTE LTD.
