Формирование адаптивного строба в видеосистемах наблюдения Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.397.68

ФОРМИРОВАНИЕ АДАПТИВНОГО СТРОБА В ВИДЕОСИСТЕМАХ НАБЛЮДЕНИЯ

В. Н. Филатов,

канд. техн. наук, доцент В. М. Смирнов,

канд. техн. наук, доцент

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Дается обзор известных методов формирования адаптивных стробов в видеосистемах наблюдения и проводится их краткий сравнительный анализ. Более подробно рассматривается метод активных контуров, на основе которого предлагается алгоритм формирования прямоугольного строба, согласованного с наблюдаемым объектом. Определение окончательных размеров строба осуществляется по минимуму введенной решающей функции. Приводятся результаты экспериментов на ЭВМ.

A review of known methods for adaptive strobe formation in video observation systems is given together with a brief comparative analysis. The method of active contours is considered in detail, on its base we propose an algorithm of forming a rectangular strobe which agrees with the observed object. Final strobe sizes are determined by minimizing a suitable decision function. To confirm the serviceability of the algorithm we quote the results of computer experiments.

Введение

В некоторых прикладных телевизионных и видеосистемах, в системах технического зрения одной из обязательных операций обработки видеосигналов является стробирование видеоизображения объекта, за которым ведется наблюдение. Цель этой операции - уменьшение доли помех и шумов фона в анализируемой области изображения. Чем точнее размеры и форма строба приближаются к тем же параметрам изображения объекта, тем меньше погрешность при решении задач распознавания, классификации, позиционирования и т. п.

В автоматизированных системах конфигурация, размеры и начальное положение строба устанавливаются оператором вручную, с помощью соответствующих органов управления. Он это делает в процессе наблюдения сцены на мониторе, на экране которого индицируется и контур строба. В таких системах двумерный строб, обычно имеющий форму прямоугольника, сначала «набрасывается» на обнаруженный объект, а затем по команде оператора переводится в контур автоматического управления.

В автоматических системах обнаружение объекта на видеоизображении и «набрасывание» на него строба осуществляется без участия оператора. Также в автоматическом режиме выполняется дальнейшее согласование строба с объектом.

Краткий обзор методов формирования адаптивного строба

Известно несколько методов адаптации размеров строба к размерам изображения объекта - формирования так называемого адаптивного строба. Выбор того или иного метода зависит от условий работы видеосистемы и от требований, предъявляемых к степени приближения.

Самым простым методом является формирование границ прямоугольного строба по крайним точкам изображения объекта. Вертикальные и горизонтальные стороны, ограничивающие прямоугольную область строба, должны быть касательными к границам выделенного объекта (рис. 1). Как правило, в этом случае формирование строба осуществляется после пороговой и морфологической обработок видеосигналов, т. е. по бинарному изображению. Если не предпринимать специальных мер, то метод в своем примитивном виде обладает чрезвычайно низкой помехоустойчивостью, так как любая помеха в поле растра влияет на положение сигналов начала и конца строба как по кадру, так и по строке. Например, в работе [1] для стабилизации размеров прямоугольного строба, описывающего объект, применена фильтрация координат крайних точек изображения объекта.

Более устойчивый к помехам алгоритм автоформирования строба вокруг объекта по методу край-

у 2 i/i

■ Рис. 1. Круглый объект, описанный прямоугольным стробом с соответствующими координатами сторон

них точек, иногда называемый методом проекций, описан в работе [2]. Идея его заключается в определении вертикальных и горизонтальных границ прямоугольного строба по результатам анализа сигнальных проекций объекта на ось X (перпендикулярно строкам развертки) и на ось У (вдоль строк). После устранения фона производится суммирование сигналов вдоль этих направлений с формированием соответствующих гистограмм распределения «массы» сигналов. Устанавливая соответствующий порог при анализе этих гистограмм, можно определить верхнюю и нижнюю, левую и правую крайние точки объекта и, следовательно, по ним сформировать строб.

Однако существенного увеличения помехозащищенности подобного алгоритма удалось достичь лишь при учете размерных и структурных признаков объектов, отличающих их от фоновых помех. Так как эти признаки содержатся в проекциях объекта на координатные оси, то структурный анализ проекций позволяет даже при невысоких отношениях сигнал/шум сформировать устойчивый адаптивный строб [3].

Кроме того, существует ряд способов формирования следящего строба, охватывающего движущийся объект. Один из них основан на анализе так называемого оптического потока [4], представляющего собой поле векторов перемещений фрагментов изображения. Область строба в этом способе определяется совокупностью фрагментов, векторы которых сонаправлены и имеют равную длину.

Два других способа, требующих больших вычислительных затрат и использующихся в основном для сегментации изображений, позволяют сформировать строб, границы которого совпадают с контуром движущегося объекта. Один из указанных способов получил название «метод водораздела» (metod оГ watershad) [5], а другой - «метод активных контуров» [6].

Некоторые из перечисленных методов и алгоритмов формируют стробы только для одиночных, другие - только для топологически устойчивых,

а третьи - только для движущихся объектов. И все они сталкиваются с непреодолимыми трудностями, если необходимо отстробировать (сегментировать) на изображении объекты, имеющие разрывы контурной линии, или объекты, отличающиеся от фона не яркостью, а текстурой, или компактные группы родственных объектов. На наш взгляд, расширение возможностей процедур сегментации и адаптивного стробирования может предоставить развитие метода активных контуров.

Метод активных контуров

Активный контур (snake) представляет собой кривую линию, эволюционирующую в таком направлении, чтобы наилучшим образом повторить контур выделенного объекта, т. е. он как бы стягивается к границам объекта. Алгоритм стягивания контура внутрь по нормалям описан в работах [6, 7]. В классическом подходе критерием остановки активного контура и прекращения процесса его дальнейшего изменения является достижение заданного значения градиента яркости между объектом и фоном, т. е. требуется применение некоторого детектора границ объекта.

В работе [8] авторы предложили иной критерий, в качестве которого выступает минимум введенного ими энергетического функционала:

F(q, c2, C) = ц1(С) + vS(C) +

+ X11 |u(x, y) - c1| dxdy + X21 |u(x, y) - c2| dxdy, (1)

где C - вид замкнутой кривой активного контура; l(C) - длина контура; S(C) - площадь, ограниченная контуром; ш и й - области растра внутри и вне контура соответственно; u(x, y) - значение видеосигнала в точке растра с координатами x и y; c1 и с2 -средние значения уровня сигнала в областях ш и й соответственно; коэффициенты |j, > 0, v > 0, Х1 > 0, Х2 > 0. Два первых слагаемых функционала (1), во-первых, не являются энергетическими характеристиками изображения, во-вторых, не всегда минимизируют функционал в точке наилучшего совпадения контура с границами объекта и, в-третьих, не отражают, на наш взгляд, идею метода.

Если взять |J, = 0, v = 0, Х1 = 1, Х2 = 1, то функционал (1) приобретет более простой и понятный вид

F(c1, c2, C) = J |u(x, y)-c1| dxdy +

to

+| |u(x, y) - c2| dxdy. (2)

n

Он состоит из двух частей (двух слагаемых), которые обозначим F1 и F2, т. е.

F1 =| |u(x, y) - c1|2dxdy; F2 = J |u(x, y) - c2|2dxdy.

Ш Q

30 f ИHФOPMДЦИOHHO-УПPДBAЯЮШИE СИСТЕМЫ

~T~ № З, 200Б

■ Рис. 2. Различные варианты сочетания объекта и строба: а - Р1 > 0, Р2 = 0; б - Р1 = 0, Р2 > 0; в - Р1 > 0, Р2 > 0; г - Р = 0

Каждая из этих частей означает сумму квадратов разностей между текущим значением видеосигнала в каждой точке изображения и средним значением внутри и вне активного контура. Четыре характерные ситуации с различными взаимными сочетаниями контура и объекта и соответствующим порядком величин ¥(с1, с2, С), Р 1 и Р2 - показаны на рис. 2, а-г. Только в последнем случае (рис. 2, г) совпадения активного контура с границами объекта функционал (2) принимает минимальное значение. Для идеального двухградационного изображения без помех и шумов, которое представлено на рисунке, минимум функционала равен нулю. Функционал (2) является, по сути, решающей функцией алгоритма.

Основное преимущество такого подхода, отказывающегося от применения градиентного детектора границ, заключается в том, что он позволяет сегментировать не только контрастные одиночные объекты, но и области изображения с разной текстурой. Должно лишь удовлетворяться требование разницы средних значений яркости выделяемых областей. В статье [8] приведено несколько наглядных примеров подобного сегментирования, доказывающих расширение его возможностей.

Модификация решающей функции

Сегментирование - это процедура разделения изображения на участки, обладающие разными характеристиками. В ряде телевизионных систем наблюдения и контроля нет необходимости в при-

менении сложных алгоритмов сегментации. Вполне достаточным оказывается выделение прямоугольным стробом видеоизображения обнаруженного объекта, но так, чтобы их линейные размеры были близки. И если границы объекта не могут быть определены точно с помощью градиентных способов, то использование идеи минимизации функционала (2) для установления оптимальных размеров строба позволит решить задачу.

Однако в системах с предварительной цифровой обработкой видеоизображений, включающей компенсацию видеосигналов неподвижного фона и выделение нестационарных областей, решающая функция (2) может быть представлена в более простом виде

¥(С1, С2) = X И*, У) _ + X И*, У) _ С2|, (3)

х,уею х,уеО.

где и(х, у) - значение видеосигнала в элементе изображения (пикселе) с координатами (х, у) либо внутри (область ш), либо вне (область й) прямоугольного строба (рис. 3). Теперь в выражении (3)

¥1 = X |и(х, у)-¥2 = ^ |и(х, у)-с2|.

х,уем х,уеО,

Для бинарных изображений выражение (3) приобретает еще более простой вид

с2) = ¥1 + Р2; Р =(1 -с1)Ьа + с1(аа-Ьа);

Р2 = (1 _ С2 )+ С2 (аО. ~ Ь0. ),

Рис. 3. Взаимное расположение строба и объекта на изображении с областями ти О,

где С1 = Ьи/ аа; С2 = Ьп/ ап ; Ьт и Ьп - число единичных пикселей внутри и вне строба; ат и аа - общее число пикселей внутри и вне строба соответственно. После алгебраических преобразований получим

с2) = 2Ъв

1 --

+ 2ЪС

1 --

(4)

Алгоритм адаптивного стробирования

Алгоритм, использующий для целей формирования оптимального строба поиск минимума решающей функции (3) (для многоуровневого изображения) или (4) (для бинарного изображения), предполагает перемещение и изменение размеров исходного прямоугольного строба в некотором диапазоне с одновременным вычислением значений функции.

В общем виде структурная схема обработки сигнала для формирования адаптивного строба показана на рис. 4 и состоит из нескольких взаимосвязанных процедур.

Первая процедура осуществляет установку исходного строба с некоторыми начальными параметрами - размерами и местоположением. Процесс установки может выполняться как в ручном, так и в автоматическом режиме по определенному алгоритму. В блоке управления стробом производится пошаговое изменение параметров строба по заданному правилу и на заданную величину. Причем на каждом шаге в блоке вычисления Р определяется значение решающей функции. В блоке поиска минимума Р запоминаются и сравниваются последовательные отсчеты решающей функции и вырабатываются такие сигналы управления, которые изменяют параметры строба в сторону минимизации Р. Достижение минимального значения Р означает оптимальное сочетание объекта и строба.

вс

Рис. 4. Структурная схема блока формирования адаптивного строба (ВС - видеосигнал)

Проверка работоспособности алгоритма

На первом этапе проверка алгоритма проводилась на бинарных моделях изображений. Три различные фазы работы алгоритма проиллюстрированы на рис. 5. Исходный прямоугольный строб формировался по крайним единичным элементам изображения, т. е. положение сторон строба определялось координатами левого, правого, верхнего и нижнего пикселей, имеющих значение единица (рис. 5, а). Затем последовательно каждая из сторон строба поэлементно смещалась к противоположной стороне. При этом на каждом шаге вычислялось значение Р по формуле (4). Из множества этих значений находилась минимальная величина, и смещаемая сторона фиксировалась в положении, соответствующем этой величине (рис. 5, б). Окончательный результат приведения строба к простому однородному по яркости объекту, находящемуся на однородном фоне, показан на рис. 5, в. Для объектов, представляющих собой простые геометрические фигуры, результаты работы алгоритма представлены на рис. 6, а, б.

Структура связей вычислительной процедуры формирования адаптивного строба на бинарном изображении показана на рис. 7, где х1, у1, х2, у2 - координаты сторон исходного строба, а Х1, У1, Х2, У2 - координаты сторон результирующего строба.

Второй этап проверки предложенного модифицированного алгоритма базировался на реальном изображении (рис. 8, а), которое после пороговой обработки преобразовывалось в бинарное (рис. 8, б).

Эффективность алгоритма оценивалась по следующей методике. На одном и том же изображении формировались три описывающих объект строба, полученные различными способами: по крайним точкам, оператором вручную и с помощью рассматриваемого модифицированного алгоритма. В каждом варианте просчитывалась площадь (число единичных пикселей) объекта, оказавшегося внутри строба. Оценка качества автоматического формирования строба осуществлялась сравнением разностей АБ между площадью объекта в адап-

а)

ХІ

х2

х1

х1'

х2

в)

ХІ'

х2'

У1

У 2

'

'

Рис. 5. Фазы формирования сторон строба: а - исходный строб, выставленный по крайним точкам; б - смещение левой стороны строба; в - окончательное положение всех сторон строба

а)

б)

і Г к.

■ Рис. 6. Строб, сформированный по крайним точкам (а) и с помощью модифицированного алгоритма (б) для разных геометрических фигур

хі+Ді, х2+Д2, і/1+ДЗ, у2+Д4

■ Рис. 7. Модифицированный алгоритм обработки бинарного изображения

■ Рис. 9. Положение стробов при т = 20: а - исходное изображение; б - строб, выставленный вручную; в -

строб, сформированный по крайним точкам; г - строб, сформированный с помощью предложенного алгоритма

в)

г)

Рис. 10. Положение стробов при т = 30: а - исходное изображение; б - строб, выставленный вручную;

в - строб, сформированный по крайним точкам; г - строб, сформированный с помощью предложенного алгоритма

тивном стробе и площадью объекта в «хорошем» стробе, выставленном вручную.

Такие сравнения производились при нескольких пороговых уровнях т формирования бинарного сигнала, чтобы сопоставить помехозащищенность алгоритмов. Результаты моделирования и сравнения вариантов представлены на рис. 9-11 и в таблице. Причем рис. 9 и 10 иллюстрируют положение и размеры стробов для разных уровней т бинарного квантования исходного полутонового изображения. На рис. 11 показан вид решающей функции Р вдоль координат х (кривая 1) и у (кривая 2) для одного из случаев формирования границ строба с помощью модифицированного алгоритма. Функции имеют одномодовый характер, свидетельствующий об отсутствии аномальных погрешностей при формировании строба. Табличные данные и рисунки наглядно показывают близость результатов, полученных от применения предложенного алгоритма стробирования, к образцовому (ручному)варианту.

■ Рис. 11. Форма функции ¥ для одной вертикальной (кривая 1) и одной горизотальной (кривая 2) границ строба, смещаемых на величину V (число пикселей) относительно начального положения

Порог бинаризации m Разность AS

для строба, полученного по крайним точкам для строба, полученного с помощью предложенного алгоритма

17 806 228

20 876 380

25 1122 77

30 1195 23

35 1235 337

Заключение

Таким образом, предложенный алгоритм показал свою работоспособность и приемлемую помехоустойчивость для изображений, содержащих крупноразмерный объект, находящийся на сравнительно однородном фоне. Необходимым условием надежного формирования адаптивного строба в этом случае является различие средних значений яркости фона и объекта.

В качестве входных видеоизображений в алгоритме предполагается использовать последовательность черно-белых телевизионных кадров с чересстрочным или построчным стандартом разложения. Предварительная обработка необходима в том случае, если объект находится на сложном фоне. Эта обработка включает процедуры устранения сигналов фона и выделения движущегося объекта. В работе [9], например, показано применение обработки, основанной на идеях калма-новской фильтрации и выполняющей требуемые преобразования в темпе телевизионной развертки, т. е. в реальном времени. От качества выполнения последних операций и от числа обрабатываемых элементов изображения (пикселей) зависит точность формирования адаптивного строба.

Быстродействие алгоритма с введенной модифицированной решающей функцией при реализации его в видеосистемах наблюдения зависит от параметров исходного строба и от быстродействия алгоритма поиска минимума решающей функции. Однако надо иметь в виду, что предложенный алгоритм принципиально имеет задержку, равную периоду кадровой развертки, так как требует вычисления средних значений видеосигнала на пло-

щади всего изображения. Поэтому точное позиционирование строба относительно изображения объекта возможно только при скорости движения последнего не более одного пикселя за время кадра. В противном случае (при наблюдении за высокоскоростным объектом) будет иметь место заметное рассовмещение сформированного строба и видеоизображения объекта (так называемое «отставание» строба).

Исследование алгоритма по разработанной методике осуществлялось на компьютере с помощью соответствующих программ и моделей. В этой связи выражаем благодарность студентке университета Елене Лебедевой за большую помощь в программировании.

1. Bremond F., Thonnat M. Tracking multiple nonrigid objects in video sequences // IEEE Transactions on circuits and systems for video technology. 1998. Vol. 8. N 5. P.585-591.

2. Gilbert A. I., Giles M. K. A real-time video tracking system // Optical Ingineering. 1979. Vol. 18. N 1. P.25-32.

3. Вороновицкий И. Э., Лабунец В. Г., Мальцев А. П.

Телевизионная система слежения за целями с плазменным факелом // Зарубежная радиоэлектроника. 1987. № 10. С. 69-80.

4. Обухова Н. А. Обнаружение и сопровождение движущихся объектов методом сопоставления блоков // Информационно-управляющие системы. 2004. № 1. С. 30-37.

5. Wang D. Unsupervised video segmentation based on watersheds and temporal tracking // IEEE Transactions on circuits and systems for video technology. 1998. Vol. 8. N 5. P. 592-599.

6. Paragios N., Deriche R. Geodesic active contours and level sets for the detection and tracking of moving objects// IEEE Transactions on pattern analysis and machine intelligence. 2000. Vol. 22. N 3. P. 266-280.

7. Kass M., Wilkin A. Terzopoulos D. Snakes: active contour models // Int. J. Computer Vision. 1988. Vol. 1. P.321-331.

8. Chan T. F., Vese L. A. Active contour without edges // IEEE Transactions on image processing. 2001. Vol. 10. N 2. P.266-277.

9. Астратов О. С., Филатов В. Н., Чернышова Н. В. Видеомониторинг транспортных потоков // Информа-ционно-управляющие системы. 2004. № 1. С. 14-21.