CC BY
22Известия вузов России. Радиоэлектроника. 2003. Вып. 4======================================
8. Рапаков Г. Г., Тимофеев Б. С. Машинный синтез трехмерной модели летательных аппаратов: Сб. науч. тр.: В 2 т. Т. 1 / Вологод. политехн. ин-т. Вологда, 1998. С. 72-75.
9. Meier Th., Ngan K. N. Automatic segmentation of moving objects for video object plane generation // IEEE Transactions on circuits and system for video technology. 1998. Vol. CSVT-8, № 5. P. 525-537.
10. Tao H., Sawhney H. S., Kumar R. Object tracking with Bayesian estimation of dynamic layer representations // IEEE transactions on pattern analysis and machine intelligence. 2002. Vol. PAMI-24, № 1. P. 75-88.
B. S. Timofeev
Saint-Petersburg state university for aerospace instrumentation Video and Computer Systems for the Moving Objects Tracking
The problems of moving objects detection and tracking on a complex background are considered. The algorithms of the images preprocessing are argued. The review of tracking objects methods based on model, motion and performance with motion layers is given. It is shown, that the tracking methods based on performance of motion layers are capable to handle the tasks arising at overlap, stoping or temporary disappearance of objects. The techniques of an optical flow vectors calculation based on the differential analysis and units comparison are given. The algorithm of a threshold autodetection for detection of a motion energy is offered.
Detection, tracking, moving objects, videosupervision, volume range, morphological filtration, segmentation, morphological gradient, optical flow, motion energy, detection threshold, motion layers
Статья поступила в редакцию 26 июня 2003 г.
УДК 621.397
Н. А. Обухова
Санкт-Петербургский государственный университет
аэрокосмического приборостроения
Метод видеонаблюдения за медленно движущимися малоразмерными объектами
Описывается группа алгоритмов, решающих задачу обнаружения, сегментации и сопровождения медленно движущихся малоразмерных объектов на основе метода сопоставления блоков, применяемого стандартах видеокодирования МРЕО-1, -2. Предложен способ нахождения векторов движения при смещении объекта менее одного пикселя - непрерывная оценка вектора движения, получаемая квадратичной интерполяцией. Приведены алгоритмы сегментации объектов по признакам пространственной и временной корреляций и их 44 © Н. А. Обухова, 2003
======================================Известия вузов России. Радиоэлектроника. 2003. Вып. 4
дальнейшего сопровождения. Описано использование для уменьшения числа аномальных векторов движения пространственно-временной фильтрации с весовыми коэффициентами, определяемыми по функции Гаусса, предварительной классификации блоков по уровню энергии движения и медианной фильтрации полученного поля векторов.
Сегментация объектов, сопровождение объектов, медленное движение, векторы движения, векторная медианная фильтрация, пространственно-временная фильтрация по Гауссу
Существуют три основных класса методов, позволяющих решить задачи обнаружения и сегментации движущихся объектов - это методы, использующие энергию движения; методы, основанные на использовании поля оптического потока (поля векторов движения), и методы сопоставления с эталоном. Последняя группа позволяет также выполнить идентификацию типа движущегося объекта.
Методы оптического потока достаточно широко используются в системах видеонаблюдения, не требующих распознавания типа движущегося объекта, и для предобработки исходного видеоматериала перед идентификацией объектов. Они позволяют однозначно разделить и сегментировать несколько объектов одновременно, даже при их расположении в непосредственной близости друг к другу. Это обеспечивается использованием векторов движения, описывающих так называемое видимое движение объектов в кадре, под которым понимают изменение яркости пикселя F (k, l, n) с координатами k, l в кадре n относительно кадра (n -1). Видимое движение включает в себя собственное движение объектов, а
также все изменения, вызванные сменой освещенности и другими факторами. Задача методов сегментации выявить из видимого движения собственное движение объектов.
Сегментация объектов на основе поля оптического потока включает в себя следующие основные шаги:
• поиск поля векторов движения (рис. 1, а);
• обработку поля векторов движения с помощью векторной медианной фильтрации (рис. 1, б);
• сегментацию объектов по признаку расстояния между векторами и пространственной связности без присвоения индивидуальной метки объектам (рис. 1, в) или с присвоением такой метки (рис. 1, г).
Для нахождения векторов движения наиболее часто используют метод сопоставления блоков, принятый в стандартах сжатия MPEG-1, -2 и H. 261/262/263 для оценивания движения. Метод состоит из следующих шагов: деления текущего кадра на неперекрывающиеся квадратные блоки; совмещения блоков текущего кадра с блоками предыдущего кадра видеопоследовательности; определения, какому блоку в области поиска в текущем кадре лучше всего соответствует каждый конкретный блок предыдущего кадра, и оценки величины и направления смещения положения блока в текущем кадре относительно предыдущего - векторы движения.
• • • • • • • • • •
• • • / • • •
• • • i • • •
• • i 1 i i V • • •
• • 1 / / ¿ i • / \ • •
• • ё 1 • 1 • \ / г V • \ • •
• • é 1 i 1 i \ • \ • \ • •
• • 4 1 é / , • / • \ • \ 9 \ • •
• •< • i í / * \ • \ • ^ • •
é • •
• • • i i i • • •
• • • i i • • •
• • i 1 1 i • •
• • i 1 1 1 1 \ • •
• • • i • 1 • 1 1 \ • \ • •
• • • i • 1 é 1 • 1 • V • V • •
• • • i • 1 • 1 • \ • \ • \ • •
• • • i • 1 • 1 ё \ ё \ » \ • •
é é é * • •
2
в г
Рис. 1
Критерием, оценивающим степень соответствия между блоками текущего и предыдущего кадров, наиболее часто являются среднеквадратическая ошибка (middle square error - MSE):
1 N-1N-1
MSE ^ y ) = — £ £ ПРТ (k + i, I + j ) - F (k + x + i, I + y + j )
N2 i=o i=o
или средняя абсолютная разность (middle absolute difference - MAD):
1 N-1 N-1
MAD (x, y ) = — £ £ |FT (k + i, l + j) - Fnp (k + x + i, l + y + j)|,
N i=0 i=0
где FT и Fjjp - яркости пикселя в текущем и в предыдущем кадрах соответственно; k, l -
координаты пикселя левого верхнего угла блока в текущем кадре; N - линейный размер блока; x, y - проекции одного из возможных векторов движения на координатные оси. Размеры блока по обоим пространственным координатам принимаются одинаковыми.
При нахождении поля векторов движения неизбежно возникновение так называемых аномальных векторов, не отражающих истинного движения объектов (см. рис. 1, а). Их появление обусловлено присутствием шумов, изменением освещенности, отсутствием текстурированности объектов. Поэтому перед сегментацией объекта по полученному полю векторов необходимо скорректировать аномальные векторы (см. рис. 1, б), так как их
присутствие может вызвать значительную ошибку: например, привести к расщеплению
46
б
а
======================================Известия вузов России. Радиоэлектроника. 2003. Вып. 4
одного объекта на несколько. Аномальные векторы удаляются методом векторной медианной фильтрации [1].
Под векторной медианой множества векторов понимается такой вектор из рассматриваемого множества, у которого сумма расстояний до всех других минимальна. Расстояния между двумя векторами, u (xu, yu) и v (xv, yv ) вычисляются на основе нормы
llu - vllL2 (xu - xv )2 - (Уи - yv )2 .
В применении к задаче удаления аномальных векторов под медианной фильтрацией понимается замена каждого вектора движения векторной медианой множества, составленного из самого вектора и восьми его ближайших соседей. При вычислении расстояний используются только ненулевые векторы, т. е. каждый ненулевой вектор превращается в векторную медиану, вычисленную с помощью его восьми ненулевых соседей.
По скорректированному полю векторов движения выполняется сегментация объектов по признакам временной и пространственной корреляций. Блоки, принадлежащие одному объекту, во-первых, должны располагаться на кадре в одной области и образовывать связанную группу; во-вторых, иметь сонаправленные и близкие по амплитуде векторы движения. Эти два свойства положены в основу алгоритма разметки [2], [3]. Для оценки близости векторов движения по направлению и по амплитуде предлагается использовать норму L2 .
Для объектов, движущихся со скоростью один пиксель за кадр и менее, использование алгоритмов, обычно применяемых для поиска векторов движения (например, 3SS, полный перебор и др.), приводит к тому, что величина последних будет оцениваться как нулевая. Это связано с тем, что смещение блока в зоне поиска при определении вектора движения может быть только дискретным, и его минимальная величина равна одному пикселю. Следовательно, вектор движения может быть найден только если смещение блока (объекта) больше одного пикселя. Отсутствие ненулевых векторов движения не позволяет выполнить сегментацию объектов, так как ее основой является признак сонаправлен-ности значимых векторов.
Нахождение векторов движения является задачей нахождения минимума целевой функции, характеризующей степень соответствия (совпадения) двух блоков, на множестве различных положений обрабатываемого блока в области поиска. Поэтому для оценки возможности поиска векторов движения при медленном движении было проведено исследование рельефа целевой функции. Полученные результаты показали, что для медленно движущихся блоков он несимметричен: минимум целевой функции (рис. 2) находится на интервале [0,-1], а не локализован в нуле, что характерно для статичных блоков. При
размерах блока 4х4, а не 8х8 пикселей, смещение точки минимума относительно нуля еще более очевидно (рис. 3). Это означает, что вектор движения существует и может быть найден интерполяцией точки минимума на указанном интервале, т. е. необходимо заменить дискретную оценку векторов непрерывной оценкой.
Для оценки вектора движения предлагается использовать квадратичную интерполяцию. По каждому направлению определяется значение целевой функции в трех равноотстоящих друг от друга точках: a = b - h, b и c = b + h, причем точка b соответствует поло-
к
Рис. 2
¡■нн Щ 0 2 3
и
■
и
Г"
3
1
Рис. 3
жению блока в предыдущем кадре по данному направлению, а h = 1. Если полученные значения целевой функции удовлетворяют условию f (a) > f (b) < f (c), то положение точки минимума уточняется, согласно выражению
5 = b - (V2) {[ f (c) - f (a)]/[ f (c) - 2f (b) + f (a)]}.
Для рельефа, приведенного на рис. 3, значения целевой функции составили: по горизонтали 0.241, 0.00, 0.049; по вертикали 0.09, 0.00, 0.174, поэтому в результате интерполяции вектор движения оказался равным (0.33, -0.15).
Таким образом, задача нахождения вектора движения должна решаться в два этапа. На первом вектор ищется одним из алгоритмов, позволяющих оценить его значение дискретно, например 4SS [2]. Если на первом этапе получено значение, равное 0, то определяется наличие дробной части, отдельно для горизонтальной и для вертикальной составляющих.
Алгоритм 4SS выбран для поиска на первом этапе потому, что он учитывает возможность присутствия в обрабатываемой видеопоследовательности медленного движения. Данный алгоритм является модификацией 3SS [4], применяемого в стандартах сжатия MPEG 1, 2. В нем используется такой же шаблон поиска*, как и в 3SS (рис. 4), но начальный шаг берется в два раза меньше - четверть от максимального смещения d и первая
l
* Под шаблоном поиска понимается размещение контрольных точек в области поиска на каждой итерации.
48
I Г—i S—11
2:
i 6
■ 5
■ 4 3
■ 2 1 0 1 2
3
4
5
6 7
- 6 - 4 - 2 0 2 4 6 - 7 - 5 - 3 - 11 3 5 k Рис. 4
ЛНИк
4
5
6 7
- 6 - 4 - 2 0 2 4 6 - 7 - 5 - 3 - 1 1 3 5 k Рис. 5
♦ ♦ ♦
итерация локализуется в центре зоны поиска. Дополнительным отличием алгоритма 48Б от ЗББ является уменьшение шага в два раза не на каждой итерации, а только если точка минимума на текущей итерации является центральной.
Основные шаги алгоритма 48Б.
Итерация 1. Согласно шаблону алгоритма ЗББ, определяется точка минимума целевой функции среди девяти контрольных точек, расположенных в центре области поиска (расстояние между контрольными точками равно 2 пикселям) (на рис. 5 контрольные точки обозначены кружками). Если найденная точка минимума является центральной, то осуществляется переход к итерации 4; иначе - к итерации 2.
Итерация 2. Шаг сохраняется равным 2 пикселям. Анализ производится на новом наборе контрольных точек, центром которого является точка минимума, определенная на предыдущей итерации. Схема поиска определяется положением точки минимума, найденной на предыдущем шаге:
• если предыдущая точка минимума была угловой, то используются пять дополнительных контрольных точек (на рис. 5 обозначены квадратами);
• если предыдущая точка минимума расположена в середине горизонтальной или вертикальной границы предыдущего окна поиска, используются три дополнительные контрольные точки.
При расположении найденной на этой итерации точки минимума в центре окна поиска осуществляется переход к итерации 4; иначе - к итерации З.
Итерация 3. Стратегия поиска такая же, как и на второй итерации, но после нахождения точки минимума совершается безусловный переход на итерацию 4 (добавленные точки на рис. 5 обозначены треугольниками).
Итерация 4. Шаг поиска устанавливается равным 1 пикселю. Найденная точка минимума (среди новых девяти контрольных точек, составляющих ближайшую окрестность точки, найденной на предыдущей итерации, - на рис. 5 они обозначены ромбами) рассматривается в качестве искомой позиции блока, относительно которой определяется вектор движения.
х
Известия вузов России. Радиоэлектроника. 2003. Вып. 4======================================
В случае быстрого движения при применении алгоритма 4SS возможны два варианта траектории поиска (рис. 5). Для левой нижней траектории вычисляется 9 + 5 + 3 + 8 = 25 контрольных точек, для верхней правой - 9 + 5 + 5 + 8 = 27. Последнее значение является максимально возможным при применении данного алгоритма (при d = 7). Траектории поиска при использовании алгоритма 4SS в случае медленного движения приведены на рис. 6. Для верхней траектории требуется 9 + 9 = 17 контрольных точек, для нижней -9 + 3 + 8 = 20. Как видно из рис. 5 и 6, при любом движении на второй и на третьей итерациях требуется вычислить дополнительно только пять контрольных точек, а в лучшем случае - только три.
В случае, если максимальное смещение d больше 7, алгоритм может быть расширен следующим образом. Шаг на первой итерации принимается равным [d/4]. Если шаг на
четвертой итерации больше 1, то поиск повторяется снова с . 6 первой итерации. Шаг первой итерации нового поиска при-
нимается равным шагу на последней итерации предыдущего поиска. Максимальное число
контрольных точек для такой модификации равно 18 {log2 [(d +1)/4]} + 9.
Для эффективной работы описанного алгоритма необходимо использовать блок с размером 4 х 4 пикселя, который дает более ярко выраженную несимметрию целевой функции в области нуля. С другой стороны, использование маленького блока приводит к существенному росту числа аномальных векторов. Это объясняется тем, что видимое движение не эквивалентно реальному и возникает даже в статической сцене за счет присутствия шумов. Более того, максимальное число аномальных векторов приходится на блоки фона, поскольку для них целевая функция мультимодальна из-за отсутствия реального движения и шумовых флюктуаций. Данные блоки целесообразно исключить из рассмотрения. Для этого определяется величина корреляции между блоками текущего и предыдущего кадров, находящимися в одной и той же позиции. Если уровень корреляции больше некоторого порога, то блок рассматривается как статичный - фон, и ему присваивается нулевой вектор движения. В противном случае выполняется поиск вектора движения. Мерой корреляции принимается межкадровая разность
dF (k,l, t) _ F (kj, lj, t) -F (kj, lj, t -1)
dt At '
Такое разделение позволяет отнести к фоновым и, соответственно, исключить из определения векторов движения до 90% блоков кадра, тем самым существенно снизить число аномальных (некорректно определенных) векторов, которые могут появиться из-за присутствия шумов.
======================================Известия вузов России. Радиоэлектроника. 2003. Вып. 4
Дополнительный эффект по уменьшению аномальных векторов дает применение пространственной и временной фильтраций (рис. 7). Первоначально каждый кадр подвергается пространственной фильтрации (рис. 7, а) маской 5 х 5 с коэффициентами
"0.006 0.026 0.076 0.026 0.006" 0.026 0.117 0.342 0.117 0.026 0.076 0.342 0.564 0.342 0.076 0.026 0.117 0.342 0.117 0.026 0.006 0.026 0.076 0.026 0.006
Рис. 7
Затем выполняется накопление девяти кадров. Обрабатываемый кадр получается взвешенным суммированием пикселей четырех предыдущих и четырех последующих кадров [4] (рис. 7, б). Веса для суммирования определяются функцией Гаусса и имеют следующие значения:
[0.0004 0.002 0.076 0.340 0.564 0.340 0.076 0.002 0.0004].
Таким образом, сегментация медленно движущихся объектов на основе поля векторов движения включает в себя следующие основные шаги:
• пространственную фильтрацию по закону Гаусса (апертура 5 х 5);
• временную фильтрацию по закону Гаусса (взвешенное накопление девяти кадров);
• разделение по величине корреляции между одинаково расположенными блоками текущего и предыдущего кадров;
• поиск поля векторов движения с использованием алгоритма 4SS, ориентированного на медленное движение;
• расчет дробной части вектора движения методом квадратичной интерполяции;
• обработку поля векторов движения с помощью векторной медианной фильтрации;
• сегментацию объектов по признаку расстояния между векторами и пространственной связности.
Библиографический список
1. Stefano Di L., Viarani E. Vehicle detection and tracking using the block matching algorithm. Department of electronics, computer science and systems (DEIS), University of Bologna. URL: labvisione.dies.unibo.it
2. Po L. M., Ma W. C. A novel four-step search algorithm for fast block estimation // IEEE Transactions on circuits and system for video technology. 1996. Vol. CSVT-6, № 3. P. 437-440.
Известия вузов России. Радиоэлектроника. 2003. Вып. 4======================================
3. Motion compensated interframe coding for video conferencing / T. Koga, K. Linuma, A. Hirano et al. // Proc. NTC81, New Orleans, LA, Nov. 1991. P. G.5.3.1-G.5.3.5.
4. McCandless J. W. Detection of aircraft in video sequences using a predictive optical flow algorithm // Optical Engineering. 1999. № 3. P. 523-530.
N. A. Obuhova
Saint-Petersburg state university for aerospace instrumentation Video Observation Method for Slow Moving Objects with Small Size
The group of algorithms solving the task of detection, segmentation and tracking slow moving objects with small size based on block matching method, using for the motion estimation in the MPEG compression is described. The continuum estimation obtained by interpolation for moving vectors detection in case than object's displacement is less than one pixel is purposed. The segmentation algorithm based on spare and time correlation is considered. To reduce the quantity of incorrect moving vectors it is offered to use spare and time filtration according Gauss function; preliminary blocks classification based on motion energy and vector median filtration of the obtained vectors.
Objects segmentation, objects tracking, slow moving, moving vectors, vector median filtration, Gauss spare and time filtration
Статья поступила в редакцию 25 июня 2003 г.
