Выделение и сопровождение движущихся объектов на полусферических изображениях Текст научной статьи по специальности «Компьютерные и информационные науки»

Евгений МАКАРЕЦКИИ, д. т. н., профессор Александр ОВЧИННИКОВ, к. т. н.

Фан Чан Данг ХОА (Phan Than Dang KHOA)

admin [email protected]

выделение и сопровождение движущихся объектов

на полусферических изображениях

В статье рассмотрены основные методы выделения и сопровождения движущихся объектов прикладными телевизионными системами. Приведены результаты экспериментальных исследований эффективности рассмотренных методов.

Введение

Задача автоматического обнаружения движения прикладными телевизионными системами крайне актуальна для большого количества приложений, среди которых и видеонаблюдение. На данный момент разработаны алгоритмы и системы, позволяющие успешно решать эту задачу. Однако эти алгоритмы ориентированы на работу с однородными по разрешению двухмерными изображениями.

Как было показано в [1], наиболее перспективны прикладные телевизионные системы на основе полусферических камер, особенностью которых является возможность получения информации в широком диапазоне углов. При этом получаемое панорамное изображение имеет неоднородное разрешение, что требует адаптации уже разработанных алгоритмов либо разработки новых.

Рассмотрим основные ключевые моменты, которые необходимо учитывать при выделении движения и сопровождении объектов в прикладных телевизионных системах.

Взаимосвязь движения объектов и уровней яркости на изображениях

На рис. 1 показаны два изображения, имеющие незначительные неочевидные отличия. Вычитание одного изображения из другого позволяет получить изображение (рис. 2),

которое «покажет» области отличий. На разностном изображении объекты, которые изменили свое положение, становятся светлей. При этом большая часть объектов, изменивших свое положение, остается затемненной, что связано с малым пространственным изменением уровней яркости. Следовательно, можно выделить движение только в частях изображения, которые проявляют изменения уровней яркости. Обратное заключение, что все временные изменения уровней яркости обусловлены движением, является неверным.

Апертурная проблема

Ранее мы показали, что оценка движения тесно связана с пространственными и временными изменениями уровней яркости. Обе величины могут легко быть получены с помощью локальных операторов, которые вычисляют пространственные и временные производные. Такой оператор «видит» только маленький сектор наблюдаемого объекта, равный размеру его маски. Мы можем проиллюстрировать этот эффект наложением маски или апертуры на изображение.

На рис. 3а показан контур, который сдвинулся из положения сплошной линии на первом изображении в положение пунктирной линии на втором изображении. Движение от изображения 1 к изображению 2 можно описать вектором перемещения, который для

Рис. 3. Иллюстрация апертурной проблемы при выделении движения:

а) неопределенность векторов перемещения на границе;

б) однозначность вектора перемещения в углу

данного случая нельзя определить однозначно. Точно можно определить только компоненту вектора перемещения по нормали к контуру, в то время как компонента, параллельная контуру, остается неизвестной. Эта неопределенность известна как апертурная проблема. Однозначное определение вектора перемещения возможно, только если в обрабатываемой зоне объект имеет углы (рис. 3б).

Особенности выделения движения для полусферических камер

Большинство методов фильтрации использует фильтрующие маски. Маска фильтра представляет собой матрицу размера [т, п], которая накладывается на изображе-

U С* і

Рис. 1. Неочевидное движение

Рис. 2. Разностное изображение

ние. Путем математических операций над соответствующими элементами маски и изображения выполняется анализ изображения, выделение движения, сопровождение объектов. Цель маски — определение взвешенного веса каждого пикселя и уменьшение влияния случайных шумов. При использовании фильтрующей маски на однородных по разрешению изображениях ее влияние останется неизменным в пределах всего изображения. Полусферические камеры формируют неоднородные по разрешению изображения, поэтому форма и размер маски должны быть адаптированы по позиции пикселя. Адаптивная маска будет больше, если пиксель близок к периферии зеркала, и меньше, если пиксель близок к центру изображения. Определение адаптивной маски весьма непростая задача, которая требует знания конструктивных параметров полусферической камеры.

Методы обнаружения движущихся объектов

Нахождение движущихся объектов в видеопотоке является важной задачей для таких приложений, как охранные системы, системы анализа потока машин на автомагистрали и т. д.

Типичный подход к обнаружению движения — это формирование кадра фона и построение маски активности от разности фона и текущего кадра с ее последующим просмотром с целью выделения движущихся объектов.

Рассмотрим основные методы, используемые в телевизионных измерительных системах.

Метод вычитания фона

Этот метод наиболее прост. Алгоритм сохраняет первый кадр видеопоследовательности, а потом для каждого следующего кадра применяет порог к модулю разности текущего и сохраненного изображения по каждому пикселю. Если В - 1^1 > 8, г = 0...и,; = 0...Й, где и и h — ширина и высота изображения соответственно, то пиксель [г;] считается переднеплановым, иначе он считается заднеплановым. Схема алгоритма приведена на рис. 4.

Изменяя параметр порога и параметры последующей фильтрации, можно регулировать чувствительность алгоритма, то есть уровни этих ошибок. Достоинства этого алгоритма — исключительная простота реализации и высокая производительность. Однако данный алгоритм на практике практически не применяется, что связано с рядом проблем:

• ухудшение качества обнаружения при снижении контрастности объекта с фоном;

• низкое качество выделенного изображения

объекта;

• высокие требования к стабильности фона

и относительным сдвигам «система - фон».

К нестабильностям фона, оказывающим сильное влияние на результат вычислений, относятся такие изменения, как:

а) Изменения заднего плана. Возможны ситуации, когда при формировании фонового изображения в него попадают объекты, которые в дальнейшем могут изменить свое положение, например автомобиль (рис. 5). Подобная ситуация является большой проблемой для изложенного алгоритма вычитания фона. Дело в том, что после того как машина уедет, камере откроется часть сцены, которую машина собой загораживала. Эта часть сцены в общем случае будет иметь цвет, отличный от цвета машины, и, таким образом, будет восприниматься алгоритмом как передний план.

б) Изменение освещения. Эти изменения практически полностью меняют цветовые характеристики сцены. В итоге из-за сильного изменения освещения алгоритм будет сегментировать в передний план большую часть сцены, что, разумеется, совершенно неприемлемо.

в) Динамический задний план. Достаточно часто в зоне наблюдения находятся объекты, которые могут изменять свою форму или положение под действием внешних факторов. Яркими примерами являются дерево с качающимися на ветру листьями, дождь, снегопад и т. д. Попытка использования метода вычитания фона к изображениям, содержащим динамические объекты, приводит к неоднозначному результату (рис. 6).

г) Движущиеся тени. Падение тени на объект довольно сильно меняет цвет объекта, и именно поэтому алгоритм вычитания фона сталкивается с проблемой движущихся теней, классифицируя тени как передний план.

Рис. 6. Результат вычитания фона при динамическом заднем плане (дерево с качающимися листьями)

Метод усредненного фона

Чтобы преодолеть недостатки метода вычитания фона, задний план должен оцениваться и обновляться по времени. Часто фон моделируется усреднением последовательности п кадров. Реализация метода включает следующие этапы:

• Обучение. Первые п кадров используются для обучения. По результатам накопления изображений за выбранный промежуток времени определяется усредненный фон В(х,у,$. Стоит дополнительно заметить, что в первые п кадров перед камерой не должно происходить никакого движения.

• Обработка. Обработанный кадр видеопоследовательности получаем вычитанием усредненного фона В(х,у,^) из текущего кадра Дх,у,$.

Этот метод адаптирован к медленному изменению фона. Изменение фона сглаживается эффектом усреднения. Точность алгоритма зависит от скорости объектов и частоты кадров (рис. 7). Кроме того, при постоянном пороге для всех пикселей затруднено выделение нескольких объектов.

Метод низкочастотного фильтра рекурсивного сглаживания

Этот метод предполагает плавное изменение модели фона с каждым кадром путем применения низкочастотного фильтра рекурсивного сглаживания.

Реализация метода (рис. 8) предполагает «смешивание» текущего кадра с моделью фона с коэффициентом а. Затем к разности фона и кадра применяется пороговый фильтр.

Метод очень прост в реализации, имеет высокую производительность, применим в условиях плавного изменения освещения, однако он не решает проблем динамического заднего плана.

Методы сопровождения движущихся объектов

После выделения движущихся объектов часто требуется решить задачу их сопровождения.

Существует ряд методов сопровождения движущихся объектов, наиболее распространенными из которых являются:

• корреляционный метод сопровождения;

• сопровождение по центру тяжести.

Корреляционный метод сопровождения

Одним из общепринятых методов установления идентичности двух изображений и определения их взаимного смещения является вычисление корреляционной функции [2, 3]. В прикладных телевизионных системах этот метод может использоваться для измерения смещения координат полезного объекта при межкадровой обработке видеопоследовательности.

Корреляционная функция двух изображений К(п,т) описывается соотношением:

N м

К(п,т) =

1=0 7=0

где А(г, ;) — массив чисел, описывающих яркость пикселей изображения размером ЫхЫ точек; п, т — координаты точки, для которой вычислено значение корреляционной функции.

Для последовательности кадров Кр и К^+1 реализация корреляционного метода сопровождения включает следующие операции:

• В кадрах Кр, Кр+1 выделяются существующие объекты.

• Определяется область изображения, соответствующая каждому объекту.

• Вычисляется корреляционная функция каждого объекта кадра Кр с объектами кадра Кр+1.

• По результату вычислений идентифицируются объекты кадров Кр и Кр+1.

Корреляционный метод достаточно прост в реализации. Однако низкая степень инвариантности к разнообразным факторам изменчивости изображений сужает области применения этого метода.

Сопровождение движущихся объектов по центру тяжести

Инерционность механических систем позволяет утверждать, что при перемещении объектов в определенном направлении это направление не будет изменяться скачкообразно, и на основе информации о динамике перемещения объекта в прошлом можно прогнозировать местоположение объекта в будущем.

Для прогнозирования перемещения и идентификации объектов целесообразно использовать следующие допущения:

• При заданной частоте дискретизации направление и модуль скорости объектов от кадра к кадру меняется незначительно.

• Размерные признаки объектов устойчивы и могут использоваться для идентификации.

Метод сопровождения по центру тяжести (рис. 9) включает следующие операции:

• В текущем кадре из признаков скорости, направления и размера интересующего объекта с предыдущего кадра прогнозируется область, в которой может находиться объект.

• В прогнозируемой области выделяются объекты и определяются расстояния от каждого объекта в прогнозируемой области до интересующего объекта предыдущего кадра.

• Объекты упорядочиваются по расстояниям от минимума до максимума: поскольку перемещение от кадра к кадру незначительно, чем меньше расстояние между объектами, тем больше вероятность того, что эти объекты являются соответственными.

• По упорядочению проводится сравнение среднего значения яркости, направления и размера объектов текущего кадра с интересующим объектом.

• В результате сравнения делается вывод о том, какой объект больше всего соответствует интересующему объекту.

Л' / п Р / / Т расса Объект | [* ^2 рогнозируемая облас гь

Рис. 9. Сопровождение объектов по центру тяжести

Метод сопровождения по центру тяжести за счет использования методов прогнозирования требует меньших вычислительных затрат по сравнению с корреляционным методом и обеспечивает достаточную точность идентификации.

Экспериментальное исследование методов выделения и сопровождения движущихся объектов прикладными телевизионными системами на основе полусферических камер

Для определения возможностей использования рассмотренных методов в прикладных телевизионных системах на основе полусферических камер были получены панорамные изображения для различных условий, которые затем обрабатывались по рассмотренным ранее методам. Ниже приведены полученные результаты обработки.

Обнаружение движущихся объектов

Алгоритм вычитания фона

Результат выделения движения методом вычитания фона (рис. 10) сильно зависит от выбора порога. При низком контрасте между фоном и объектом вероятность обнаружения этого метода становится малой. Форма обнаруженного объекта также мала. Метод чувствителен к динамическому заднему плану: на рисунке видно, что обнаружены качающиеся деревья и другие объекты, изменившие свою форму.

Рис. 10. Результат выделения движения методом вычитания фона: а) исходное изображение с движущимся объектом; б) результат выделения в бинарном виде

Алгоритм усредненного фона

Алгоритм усредненного фона представляет собой модификацию алгоритма вычитания фона. При этом фон постоянно обновляется усреднением последовательных кадров. По сравнению с алгоритмом вычитания фона этот алгоритм имеет очевидные преимущества. Под действием усреднения изменения яркости сглаживаются.

Рис. 11. Результат выделения движения методом усредненного фона: а) исходное изображение с движущимся объектом; б) результат выделения в бинарном виде

Поэтому нежелательные изменения фона быстро устраняются. Судя по рис. 11, очевидно, что качающиеся деревья не входят в состав обнаруженных объектов.

Следует отметить, что алгоритм усредненного фона адаптивен к изменениям освещенности и фона (перемещение существующих объектов в исходном фоне). Время для адаптации к изменению составляет 0,5-1 с.

Несмотря на эти достоинства, алгоритм усредненного фона имеет и недостатки. Усреднение изменяет значения пикселей, особенно тех, что находятся на траектории движения объектов. Контраст между объектом и усредненным фоном уменьшается. Поэтому форма обнаруженного объекта часто искажена. Усреднение также приводит к трудности обнаружения медленного движения.

Алгоритм низкочастотного фильтра рекурсивного сглаживания

Сущность этого алгоритма — смешивание, которое определяется коэффициентом а, текущего кадра в модели фона. Коэффициент а влияет на результат работы этого алгоритма. Алгоритм адаптируется к изменению освещенности и фона. Время адаптации сильно зависит от выбора коэффициента а. Чем больше а, тем короче время адаптации.

Быстродвижущиеся объекты (машины) обнаружены, но такие объекты оставляют за собой «хвост» (рис. 12). Это объясняется тем, что за счет смешивания текущего кадра и быстрого движения объекта возникла область, уровень яркости которой отличается от фона. В результате вычитания следующего кадра и модели фона образуется «хвост». Длина «хвоста» зависит от коэффициента а. Чем больше а, тем короче «хвост» и сильнее искажается форма обнаруженного объекта.

{і*

В

дієї.”^ ;

Б

Рис. 12. Результат выделения движения методом низкочастотного фильтра рекурсивного сглаживания: а) исходное изображение с движущимся объектом; б, в) результат выделения движения в бинарном виде с различной величиной а

В зависимости от приложения коэффициент а следует выбирать, обеспечивая компромисс между вероятностью обнаружения и формой обнаруженного объекта.

Сопровождение движущихся объектов

Корреляционный метод сопровождения движущихся объектов

На рис. 13а красным прямоугольником выделен интересующий объект для сопровождения. На рис. 13б выделены все движущиеся объекты в кадре № 425 для вычисления корреляции. Графики нормированной корреляции интересующего объекта и каждого объекта в кадре № 425 показаны на рис. 14. Максимальный коэффициент

Таблица 1. Максимальный коэффициент корреляционной функции

Кадр № 422 Кадр № 425

Выделенные объекты Интересующий объект Объект 1 Объект 2 Объект 3 Объект 4 Объект 5

Максимальный коэффициент корреляции - 0,6347 0,3978 0,4270 0,3587 0,4267

Таблица 2. Зависимость коэффициента нормированной корреляционной функции одного объекта по времени

№ кадра Кадр 417 Кадр 419 Кадр 421 Кадр 423 Кадр 425 Кадр 427 Кадр 429

Максимальный коэффициент корреляции - 0,7847 0,7153 0,6774 0,5338 0,4806 0,4355

корреляционной функции приведен в таблице 1.

Анализ полученных данных позволяет сделать вывод о том, что объект 1 соответствует интересующему нас объекту.

В таблице 2 представлена зависимость коэффициента нормированной корреляционной функции одного объекта по времени. Как видно, при изменении направления движения и размера объекта этот коэффициент уменьшается, что подтверждает низкую степень инвариантности к разнообразным факторам изменчивости изображений.

Отслеживание по центру тяжести

В таблице 3 приведены признаки 4 найденных объектов для двух кадров. Использованные признаки представляют:

• скорость — перемещение центра тяжести

объекта на изображении;

• размер — количество пикселей, принадлежащих объекту;

• среднее значение (СЗ) яркости;

• среднеквадратическое отклонение (СКО) яркости.

Судя по данным таблицы 3, значения признаков незначительно меняются в пределах двух кадров. Наименьший разброс

значений характерен для параметров СЗ и СКО. Поэтому их целесообразнее всего выбирать для идентификации объектов.

Заключение

Приведенные в статье результаты экспериментальных исследований методов выделения и сопровождения движущихся объектов говорят о возможности их применения в прикладных телевизионных системах на основе полусферических камер. Однако качественное решение поставленной задачи требует привлечения нескольких методов в зависимости от внешних условий, что приводит к необходимости разработки однозначных критериев использования каждого метода. ■

Таблица 3. Признаки найденных объектов для двух кадров

№ объекта Кадр № 400 Кадр № 402

Скор. Размер СЗ СКО Скор. Размер СЗ СКО

1,5280 171 81 22,85 1,9305 190 80 25,03

3,7440 182 88 29,69 4,3687 206 90 28,52

8,8159 900 93 43,88 5,9078 804 93 45

0,6394 122 81 33,53 0 122 80 30,61

Литература

1. Макарецкий Е., Овчинников А., Фан Чан Данг Хоа. Полусферические камеры прикладных телевизионных систем: получение и преобразование полусферических изображений // Компоненты и технологии. 2010. № 9.

2. Овчинников А. Концепция построения бюджетных систем оптической инспекции качества монтажа печатных плат // Технологии в электронной промышленности. 2009. № 8.

3. Мошкин В. И., Петров А. А., Якушенков Ю. Г. Техническое зрение роботов. М.: Машиностроение, 1990.

4. Тимофеев Б. С. Сегментация и сопровождение движущихся объектов // Телевидение: передача и обработка изображений. Материалы международной конференции. Санкт-Петербург, 21-22 мая 2002 г.

5. Астратов О. С., Чернышова Н. В. Компенсация фона при выделении подвижных объектов // Телевидение: передача и обработка изображений. Материалы международной конференции. Санкт-Петербург, 21-22 мая 2002 г.