CC BY
51
Система видеослежения для больших помещений
Константин Стрельников Лаборатория Компьютерной Графики, ВМиК, МГУ им. Ломоносова strelnikov_kn@graphics.cs.msu.ru
1. Введение
Начиная с конца 60-х годов прошлого века для обеспечения безопасности и видеонаблюдения широко использовались аналоговые системы видеонаблюдения (ССТУ). Они позволяли лишь осуществлять удаленное наблюдение и сохранять видеоданные. Переход на цифровые технологии в видеонаблюдение начался примерно в 1990 году, тогда цифровые телекамеры с ПЗС-матрицей вытеснили аналоговые телевзионные телекамеры. Эти телекамеры были частично цифровыми, так как цифровые видеорегистраторы (БУЯ) обладали аналоговым входом для подключения коаксиального кабеля и аналоговым выходом для подключения монитора. Это период времени был началом эры цифрового видеонаблюдения.
Во второй половина 1990-х годов вместе с появлением цифровых видеорегистраторов увидели свет системы, построенные по гибридному принципу. На отдельных участках при передаче между элементами таких систем видеосигнал имел цифровую форму. В результате дальнейшего развития, в 2005 году стали появляться системы видеонаблюдения нового типа - полностью основанные на цифровых технологиях. Между всеми элементами системы видеосигнал передается в цифровой форме.
Параллельное развитие процессоров позволило обрабатывать цифровые видеоданные в реальном времени, что позволило решать многие задачи видеонаблюдения при помощи компьютеров или специализированных чипов. Круг таких задач расширяется с каждым годом, например, к ним относятся: распознавание номеров автомобилей (Рис. 1), обнаружение и распознавание лиц (Рис. 2), обнаружение движущихся объектов (Рис. 3).
Рис.1 Распознавание номеров автомобилей
Рис. 2 Обнаружение и распознавание лиц
Рис. 3 Обнаружение движущихся объектов
2. Система видеослежения
Для выполнения надежного видеонаблюдения в больших помещениях, таких как склады, вокзалы и выставочные залы, требуется большое количество видеокамер. Благодаря их удешевлению это уже не является проблемой. Однако, оператору системы видеонаблюдения приходится отслеживать огромный поток данных. Что сложно даже при наличии автоматического обнаружения движущихся объектов. Для уменьшения нагрузки на оператора сделан следующий шаг в видеонаблюдении -разрабатываются системы видеослежения.
Задача видеослежения заключается в определении положения объекта на плане наблюдаемой территории по видеоданным с одной или нескольких камер (Рис. 4).
Решение задачи видеослежения состоит из трех ключевых этапов:
1. калибровка плана - определение соответствия между координатами точек в мировой системе координат и координатами точек на плане;
2. калибровка видеокамер - определение положения и ориентации видеокамер в пространстве;
3. обнаружение областей интереса - определение областей кадра, соответствующих движущимся, ранее отсутствовавшим или пропавшим объектам.
Калибровка плана выполняется путем задания мировых координат для двух точек плана и не вызывает трудностей. В статье рассматриваются калибровка видеокамер и обнаружение областей интереса.
3. Калибровка видеокамер
Последнее время активно внедряются поворотные видеокамеры с возможностью удаленного управления. Поворотные видеокамеры позволяют при помощи команд с пульта управления изменять направление объектива по азимуту на 360° и углу места на 90°, а также изменять фокусное расстояние. Такие камеры позволяют эффективнее решать задачи видеонаблюдения. В статье исследуется калибровка именно поворотные камеры.
Проблема калибровки камер исследуется с начала 1970-х годов. Известно множество алгоритмов для её решения. Для представления фиксированной камеры, как правило, используется полная модель перспективной проекции (1). Где /х, /у -
фокусное расстояние, измеренное в ширинах и высотах пикселей; сх, су - координаты
пересечения оптической оси с картинной плоскостью; Я е Я3 3, С е Я3 - матрица вращения и вектор перемещения камеры относительно сцены (мировых координат).
Г х > Г / ^ х с > (1000> Г X ^ Г X1
0 Г Я - Я - С \
х У У
у = 0 Л су 0100 1 0 2 = К - Р - Я - 2 (1)
\10 10 0 1 0 \ 00100 \10 \10
К е Я3 3 - матрица внутренней калибровки; Я е Я4 4 - матрица внешней калибровки.
В случае поворотных камер модель камеры описывается формулой (2).
(х у 1/= Кг - Р-Ф_ -ЧУ • Я-(X У 2 1)
(2)
Фу е Я4 4 - матрица поворота по азимуту; е Я4 4 - матрица поворота по углу места.
В статье рассматривается калибровка внешних параметров поворотной камеры, то есть определение положения и ориентации в пространстве.
Калибровка камер по отдельности - длительный процесс. Для калибровки используются маркеры (графические образцы специального вида). При использовании маркеров первого типа (Рис. 5А) требуется задать положение не менее чем трех маркеров; для маркеров второго типа (Рис. 5Б) требуется задать расположение образца в пространстве (координаты трех точек образца). Проведение требуемых измерений в больших помещениях затруднительно в связи с большими расстояниями и, как правило, наличием препятствий (например, стеллажей на складе). Калибровка всех камер, объединенных в систему видеонаблюдения, на складе может потребовать несколько дней работы. В статье предлагается новый подход для совместной калибровки поворотных камер в больших помещениях.
О
(А)
Рис. 5 Калибровочные маркеры
3.1. Совместная калибровка камер в лабораториях
При разработке нового подхода к калибровке поворотных камер использовались результаты по совместной калибровке камер в исследовательских лабораториях (например, КеекЬаЪ Мэрилендского университета), полученные в разных университетах. В этих лабораториях проводятся исследования по реконструкции 3Б объекта по набору его изображений с разных ракурсов. Для этого используется большое количество камер, расположение которых может меняться от опыта к опыту. Поэтому часто требуется выполнять внешнюю калибровку камер, и делать это нужно быстро.
В 2000 году ученые из Мэрилендского университета предложили выполнять совместную калибровку синхронизированных камер в темноте при помощи светодиодного маркера перемещаемого в помещении [1]. Согласно этому подходу используются синхронизированные по времени камеры, что позволяет для каждого момента времени определить набор проекций на картинные плоскости камер. Для
определения расположения камер строится эпиполярное ограничение для каждой пары камер и выполняется нелинейная оптимизация. Достоинство подхода заключается в том, что камера не обязательно должна видеть маркер во всех положениях.
В 2003 году в университете Карнеги-Меллона предложен способ совместной калибровки неподвижных камер с помощью вспомогательной катадиоптрической камеры. В качестве калибровочных маркеров использовались точечные особенности, а катодиоптрическая камера служила для отождествления точечных особенностей обнаруженными разными фиксированными камерами. Определения расположения камер через эпиполярные ограничения. Данный подход можно использовать не во всех помещениях, так как может отсутствовать необходимое количество точечных особенностей.
В 2005 году ученые Швейцарского федерального технологического института разработали алгоритм совместной калибровки неподвижных камер [2] с базирующийся на концепции сохранения конусов [3]. В качестве маркера используется лазерная указка, и используются лишь те положения маркера, которые видят все камеры. Алгоритм также позволяет определять параметры дисторсии камеры.
Однако, приведенные решения не подходят для калибровки поворотных камер в больших помещениях:
• при использовании световых маркеров потребуется выполнять сканирование области видимости и поиск маркера всеми камерами при каждой смене положения маркера, что займет много времени;
• катадиоптрическая камера в больших помещениях не применима;
• условие видимости маркера всеми камерами, как правило, недостижимо.
3.2. Совместная калибровка камер в больших помещениях
Для калибровки камер в больших помещениях предлагается использовать графические маркеры специального вида. Каждый калибровочный маркер содержит баркод (Рис. 6), который кодирует номер маркера, что позволяет автоматически обнаруживать и идентифицировать маркер.
Рис. 6 Калибровочный маркер с баркодом
Рис. 7
Обнаружение маркера
Каждая камера выполняет независимое сканирование области видимости и поиск маркеров. Допускается, что камера видит лишь часть маркеров. После обнаружения маркеров выполняется распознавание баркода. В результате формируется таблица соответствий, где для каждой пары камера-маркер фиксируются текущие азимут и угол места оптической оси камеры, положение центра маркера на кадре.
Определение расположения камер выполняется путем минимизации ценовой функции (3) построенной на основе модели камеры (2).
Я, С, М) = £
1
Г X', 1 1 I411 Г X', 11
У', 1 - У', 1 =1 У', 1
, 1 1 1 1 ,
- р •Я (Я, С )■
(3)
1
Е
Е
(X 1, У 1) - координаты обнаруженного маркера на кадре; (Xх ], ]) - вычисленные координаты обнаруженного маркера на кадре; Я, С', М1 - оценка ориентации и положения камеры и положения маркера.
1 | и и и 1 и
Для минимизации нелинейной ценовой функции используется итерационный алгоритм доверительных областей [4]. Начальное приближение расположения камер строится следующим образом:
• координаты положения камеры в горизонтальной плоскости выбираются произвольно внутри прямоугольника ограничивающего наблюдаемую область на плане
• высота соответствует приблизительной высоте потолка (точное значение не требуется)
• ориентация задается как перпендикуляр к горизонтальной плоскости направленный от потолка к полу
Для привязки расположения камер к мировой системе координат требуется задать положение трех маркеров в мировой системе координат.
Предложенный подход позволяет определить положение и ориентацию большого количества камер быстро и с незначительным участием человека. Требуется лишь разместить 20-50 калибровочных маркеров в помещении и измерить положение трех из них.
Рис. 8 Полная схема калибровки поворотных камер в больших помещениях
4. Обнаружение областей интереса
Чаще всего, для обнаружения областей кадра, соответствующих движущимся, ранее отсутствовавшим или пропавшим объектам, применяются алгоритмы с моделированием фона [5]. Для поворотных камер применяется моделирование окружения в виде сферической панорамы [6]. Однако, у такого подхода есть
существенный минус: при изменении условий освещения он перестает работать. А для построения новой модели фона требуется время.
Другой способ обнаружения областей интереса основывается на анализе оптического потока. Оптический поток определяет смещение пикселя относительно своего положения в предыдущем кадре. Данный подход устойчив к изменению условий освещения, но позволяет обнаружить только движущиеся объекты. Алгоритм имеет высокую вычислительную сложность, поэтому не подходит для систем видеонаблюдения в больших помещениях, где используется большое количество камер.
Предлагаемый метод обнаружения областей интереса при помощи поворотных камер объединяет описанные подходы. Однако, анализ движения выполняется на основе векторов движения для блоков, что позволяет существенно повысить скорость работы.
Для обнаружения областей интереса при помощи поворотных камер путем анализа движения, требуется исключить смещение блоков изображения связанное с движением камеры или зуммированием. Для этого применяется алгоритм компенсации глобального движения [7]:
1. Выполнить фильтрацию поля векторов по значению достоверности
2. Повторить N раз
a. Выбрать случайным образом три вектора из поля векторов движения
b. Вычислить параметры аффинного преобразования по тройке векторов
а Обновить гистограмму по каждому параметру аффинной модели глобального движения
3. При помощи алгоритма водораздела выделить пики гистограмм, лежащие выше порога t
4. Из значений параметров, соответствующих пикам, построить набор параметров-кандидатов
5. Выбрать параметры, на которых достигается минимум межкадровой разницы По найденным параметрам глобального движения по формуле (4) вычисляются
вектора глобального движения для блоков. По векторам вычисляется ошибка приближения блоков. Блоки, для которых ошибка приближения превышает порог ^ помечаются как принадлежащие объекту.
Г V,. > ( а Ъ 1 Гх ^ Гс 1 Гх 1
V V- 0 е 0 V У 0 + VI) V У 0 (4)
(x, y) - координаты центра блока;
(vx, vy) - вектор глобального движения для блока.
Анализ движения выполняется со скоростью 200 кадров (320x240 пикселей) в секунду на Pentium 4, 2.8 ГГц, что позволяет в реальном времени обрабатывать информацию от 40 камер на одной машине.
Общая схема метода обнаружения областей интереса при помощи поворотных камер представлена на рисунке Рис. 9. Метод позволяет обнаруживать движущиеся и неподвижные объекты, и сохраняет работоспособность при изменении условий освещения.
Рис. 9 Полная схема обнаружения областей интереса при помощи поворотных камер
5. Заключение
В статье предложены два новых метода:
• определения положения и ориентации камеры при помощи графических маркеров с баркодами в больших помещениях;
• быстрого и устойчивого к изменению освещения обнаружение объектов. На основе предложенных методов построена система видеослежения. Система позволяет по изображению, полученному от видеокамеры, определить положение объекта на плане помещения (Рис. 10).
6. Список литературы
[1] P.Baker, and Yiannis Aloimonos, "Complete Calibration of a Multi-camera Network," Proc. IEEE Workshop on Omnidirectional Vision (OMNIVIS'OO), pp. 134-141, 2000.
[2] Tomas Svoboda, Daniel Martinec, and Tomas Pajdla, "A convenient multi-camera self-calibration for virtual environments," PRESENCE: Teleoperators and Virtual Environments, 14(4), pp 407-422, August 2005.
[3] Pollefeys, M., Koch, R., Van Gool, L., "Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Internal Camera Parameters," International Journal of Computer Vision 32(1), pp. 7-25, 1999
[4] Moré, J.J. and D.C. Sorensen, "Computing a Trust Region Step," SIAM Journal on Scientific and Statistical Computing, Vol. 3, pp 553-572, 1983.
[5] T.Kanade, T.Collins, A.Lipton, "Advances in Cooperative Multi-Sensor Video Surveillance," Darpa Image Und. Work., Morgan Kaufmann, pp.3-24, Nov.1998.
[6] Biswas, A. Guha, P. Mukerjee, A. Venkatesh, K.S., "Intrusion Detection and Tracking with Pan-Tilt Cameras," International Conference on Visual Information Engineering 2006, pp. 565-571, Sept. 2006.
[7] Солдатов С.А., Стрельников К.Н., Ватолин Д.С., "Быстрое и надежное определение глобального движения в видеопоследовательностях", Труды конференции Graphicon-2006, стр. 430-437, Новосибирск, Академгородок, Россия, Июль 2006.
