Метод сопровождения объектов группой видеокамер с автоматической коррекцией значений матрицы проективного преобразования Текст научной статьи по специальности «Медицинские технологии»

УДК 004.932 Д.Н. Ушарова

Метод сопровождения объектов группой видеокамер с автоматической коррекцией значений матрицы проективного преобразования

Приводится описание метода сопровождения объектов группой неоткалиброванных видеокамер, позволяющего сопоставлять представления одного и того же объекта на изображениях разных камер в условиях частичных перекрытий. Метод выполняет автоматическую калибровку системы видеонаблюдения по четырем точкам с известными координатами и объекту, перемещающемуся из поля зрения одной камеры в поле зрения другой. Метод основан на коррекции значений матрицы проективного преобразования, которое вычисляется в момент нахождения объекта в пересечении полей зрения двух камер. Приведены результаты моделирования разработанного метода и получены зависимости расстояния между фактическим и прогнозируемым положением точки от площади пересечения полей зрения видеокамер.

Ключевые слова: трекинг, сопровождение объектов, видеонаблюдение, калибровка видеокамер, проективное преобразование.

ао1: 10.21293/1818-0442-2016-19-3-85-89

Одной из центральных задач обработки видеоинформации является обнаружение движущегося объекта, оценка его траектории и сопоставление всех представлений одного и того же объекта с разных видеокамер. Методы сопровождения нескольких объектов несколькими видеокамерами редко рассматриваются как целостная система, большинство современных методов не используют никакой дополнительной информации от остальных видеокамер и основаны на алгоритмах сопровождения объектов одной видеокамерой. В алгоритмах сопровождения объектов одной видеокамерой задача сопровождения сводится к решению проблемы поиска соответствия объектов от одного кадра к другому. В алгоритмах сопровождения объектов несколькими видеокамерами основной задачей является решение проблемы соответствия между траекториями объектов, видимых с разных видеокамер в один момент времени.

Подходы к сопровождению объектов несколькими видеокамерами можно разделить на три основные категории: сопоставление особенностей объектов, использование информации о наблюдаемой сцене и восстановление геометрических преобразований между камерами. К первой категории относится подход, описанный в работе [1], где используют сопоставление цвета объектов. Вторая категория методов требует наличия информации о наблюдаемой сцене и точной калибровки всех камер системы [2-4]. Поиск всех представлений объекта вычисляется путем проецирования местоположения каждого объекта в мировой системе координат на карту наблюдаемой сцены. Этот подход используется в [5]. Такой метод подходит для управляемых условий, например футбольные стадионы, для которых система видеосопровождения разрабатывается специально, специально калибруются камеры и составляются точные карты наблюдаемой сцены. К третьей категории относится подход, описанный в [6], где перебирают все траектории со всех камер, сопостав-

ляют друг с другом, для каждой пары вычисляют матрицу гомографии и выполняют статистическим методом уточнение значений матрицы гомографии. С точки зрения вычислительной сложности этот метод является чрезвычайно затратным, но за большое количество итераций позволяет вычислить правильное положение объекта.

Большую популярность приобретают гибридные методы, основанные на использовании одновременно двух подходов [7]. Как правило, они включают в себя либо предварительную калибровку видеокамер, либо автоматическую в процессе сопровождения объектов, например калибровка по одному перемещающемуся по сцене объекту [8].

Постановка задачи

Недостатками вышеизложенных подходов являются: высокие требования к месту и способу установки камер, высокие требования к качеству получаемого изображения, большая вычислительная сложность, а также активное вовлечение оператора в процесс работы системы сопровождения. Целью данной работы является снижение требований к внутренним параметрам видеокамер, минимизация участия оператора и повышение быстродействия в системах видеослежения до уровня, пригодного к практическому применению.

Одной из самых требовательных к участию оператора и быстродействию процедур в задачах видеослежения является калибровка видеокамер. Обычно требуется для каждой видеокамеры указать набор точек сцены, их координаты, а также соответствующие им точки на изображениях камер. В данной работе представлен алгоритм сопровождения объектов, реализующий метод калибровки всей системы видеокамер по четырем точкам из области пересечения полей зрения двух любых из них, координаты которых задает оператор. Для всех остальных камер системы калибровка выполняется автоматически. Обязательным условием для автоматической калибровки камер является наличие пересечений

полей зрения с уже откалиброванными камерами. В случаях, когда система видеонаблюдения представляет собой группы камер, не имеющих пересечения полей зрения с другими камерами, калибровку с участием оператора необходимо выполнять для каждой группы. В таком случае задача сопоставления представления одного и того же объекта в видеокамерах из разных групп должна решаться другими методами (например, учитывать время перехода между группами, наиболее вероятный маршрут движения, характеристики объекта и т.п.).

Для сопровождения объектов группой видеокамер должен быть предварительно реализован детектор объектов одной камерой (любым методом). Все ошибки детектора объектов отразятся на работе алгоритма многокамерного сопровождения объектов, но в процессе работы алгоритма влияние этих ошибок сведется к минимуму за счет использования дополнительной информации из других камер (например, если в одной камере наблюдается перекрытие сопровождаемого объекта, он может быть виден в других камерах).

Описание предлагаемого метода калибровки

Предположим, что система состоит из множества С={СьС2,---,С»} из п камер, где каждая камера

СI имеет пересечение полей зрения хотя бы с одной

камерой С^. Для предварительной калибровки

группы видеокамер предлагается использовать 4 контрольные точки с известными координатами, расположенные по сторонам прямоугольника, который находится на плоскости земли в пересечении полей зрения двух видеокамер, как изображено на

Камеры с пересекающимися полями зрения выбираются произвольным образом, однако если прямоугольник, образуемый контрольными точками, будет занимать не менее 25% площади их изображений и располагаться ближе к центру изображений, процедура предварительной калибровки выполнится значительно точнее и быстрее. В результате ручной калибровки имеется три набора четырех точек с известными координатами:

Р = {р ,р ,Р3,Р4 }, Р1 = {{, Р, Рз1, Р41},

Р 2 ={р12, Р22, Р32, Р42}.

По ним можно найти матрицы гомографии И* - из координат камеры С в систему мировых

2

координат и И^ - из координат камеры С2 в систему мировых координат.

Для этого для каждой пары соответствующих точек составляется система уравнений:

(иРк ,урк ,1)Т =И( хРк, Урк,1)Т, где ирк ,Урк - координаты по оси х и у точки рк в системе координат камеры; хрк, урк - координаты по оси х и у точки рк в системе мировых координат; к = 1, 2, 3, 4.

Так как известна матрица томографии Н^ из

координат камеры С2 в систему мировых координат, выбрав из пересечения полей зрения камер С2 и С3 четыре точки (где каждые 3 из которых не лежат на одной прямой), можно вычислить матрицы гомогра-

2 3

фии Н&!1С и Н&!1С . Выполняя аналогичную процедуру, можно построить матрицы гомографии для всех камер, имеющих пересечение полей зрения, как показано на рис. 2.

Для того чтобы найти точки, по которым будет происходить автоматическая калибровка камер, необходимо определить границы пересечений полей зрения камер. Для вычисления пересечений полей зрения один человек свободно перемещается по сцене. Допустим, матрица гомографии Н^С известна, камеры С и С]- имеют пересечение полей зрения, объект находится в поле зрения камеры С, . Ниже представлен алгоритм поиска опорных точек для вычисления матрицы гомографии И^С .

Шаг 1. Как только объект вошел в зону пересечения полей зрения, детектор движения камеры С]-

сообщает координаты его местонахождения в системе координат камеры С^:

р/ = (ир1,у]р1).

По известной матрице гомографии Н^С и известным координатам точки р1 = (ир^р^ вычисляются координаты точки р1 в мировой системе координат.

Как только объект покидает зону пересечения полей зрения, детектор движения камеры С, сообщает координаты его местоположения в системе координат камеры С, :

р2 = (и'р 2^р 2).

По известной матрице томографии И^с и известным координатам точки р2 = (ы^2,2) вычисляются координаты точки р2 в мировой системе координат.

Шаг 2. Подождать до тех пор, пока объект войдет в зону пересечения полей зрения второй раз. Аналогичным образом вычислить координаты точек Р3 и Р4 .

Шаг 3. Проверить, выполняется ли условие, что любые три точки из Р1, Р2, Рз, Р4 не лежат на одной прямой (с помощью уравнения прямой, проходящей через две точки). Если условие выполняется, перейти на Шаг 4, иначе повторить Шаг 2.

Шаг 4. Вычислить матрицы гомографии Иус и

И по точкам Р1 , Р2 , Рз , Р4 .

Уточнение проективного преобразования

После того как процедура калибровки выполнена, координаты сопровождаемого одной камерой объекта вычисляются по известной матрице гомо-графии и сохраняются в карте перемещений.

Как только объект попадает в область пересечения полей зрения двух камер, необходимо вычислить точки т, и ту в общих мировых координатах, соответствующие положению объекта на изображениях камер С, и Су . В общем случае т^ Ф ту (из-за

погрешностей определения местоположения объекта детектором движения и погрешностей вычисления матриц гомографии).

До тех пор, пока не накопится 5 пар точек т, для уточнения значений элементов матрицы гомографии используется пять точек т, 41, 42, 43, 44. Чтобы вычислить проективное преобразование по пяти точкам, преобразуем СЛАУ к стандартной форме записи:

А =

А • Он = В, (1)

где А - основная матрица системы; Он =(/гп,/12лз,

Т

^21,^22,^23,^31,^32) - неизвестные элементы мат-

Т

рицы гомографии; В = (М1,М2,М3,М4,У1,У2,У3,У4) -вектор-столбец координат ключевых точек на первом изображении.

Основная матрица системы имеет следующий вид:

Х1 >1 1 0 0 0 -41X1 -щ у1

Х2 >2 1 0 0 0 -Ы2 Х2 -«2 у2

Х3 >3 1 0 0 0 -«3 Х3 -«3У3

Х4 >4 1 0 0 0 -«4 Х4 -ы4 >4

0 0 0 Х1 >11 -V Х1 -У1 >1

0 0 0 Х2 >2 1 -^2 Х2 -У2 Х2

0 0 0 Х3 >3 1 -У3 Х3 -У3>3

0 0 0 х4 >4 1 -v4 х4 -у4 >4

Перейдем к нормальной СЛАУ с помощью умножения слева обеих частей выражения (1) на мат-

Т

рицу А :

(АТ • А) • Он = АТ • В.

Для решения СЛАУ по 5 точкам добавим условие: преобразование И минимизирует евклидово расстояние между точкой И • х и соответствующей ей точкой ы:

дЕ (Он),

дв,

- = 0,

н

где

дЕ(ОН ) = 2(Щ - (х1к11 + >//12 + ^13 -ЩхМ -и1>1^яУ)2 + 1=1

+(V - Оых + ^22 >1 + ^23 - Ь^Х, - ^ЧЯ ))2 )■

Тогда элементы матрицы гомографии находятся из (1), как:

А =

2 хГ 2 х1>1 2 х, 0 0 0

-2 Х1 Х1 -2 х1>1х

2 х,>, 2 >2 2 >г 0 0 0

-2 хг>гх'г -2 >■ X

2 и,

т 0 0 0

-2 у,х,

2 и2 2 и^г 2и,

2 и^ 2 V,2 2 V,

2 иг 2 V, т

-2и2 >г -2иг^>г -2 иг>г

-2 иг^>г -2 V2 >г -2 vг>г

-2и, X,

-2игУ1Х,

-2 их -2 и, >,

-2 и^х -2 V, X, -2 Vх,

-2 vf>г

)иV

-2 V>г

-2(х2 + >2 ^,

-2(+>г у,

В =

'2игх, 2ViXi 2 X,

2щг>г 2Vi>i 2 >,

-2 (X,2 + >г2)и? 1-2 (X,2 + >г2>2 1

-2 иг^>г -2 иг>г

-2(( + >, )ы

2(+>г )ы

ОН =(К1А2А3М1М2М3М1М2 )Т. Используя вновь найденную матрицу И, необходимо пересчитать координаты точки т у , соответствующей положению объекта на изображении камеры С у .

Уточнение матрицы И^с необходимо проводить до тех пор, пока евклидово расстояние Б между точками т, и ту в общих мировых координатах

вида сверху, соответствующие положению объекта

на изображениях камер С, и С^, не станет менее

или равным требуемой погрешности оценки положения объекта.

Результаты моделирования

Для проверки разработанного метода было проведено исследование зависимости точности определения координат по матрице гомографии от площади пересечения полей зрения камер.

В ходе эксперимента поля зрения камер менялись, для того чтобы произвести вычисление матрицы гомографии с различными значениями площади пересечения полей зрений. На рис. 3 приведены примеры изображений с камер С1, С2, С3, С4 соответственно, а также наблюдаемая сцена.

Для выполнения эксперимента было сгенерировано 32 изображения (по 8 на каждую камеру) и 10 траекторий в координатах сцены. По двум траекториям и 4 точкам сцены с известными координатами выполнялась калибровка системы из 2 видеокамер предложенным методом и методом ЯА^АС [9,10]. Так как важным критерием работы представленных алгоритмов является быстродействие, количество запусков методов ЯА№АС и процедуры уточнения проективного преобразования было ограничено до 10. Далее для каждой точки из 8 оставшихся траекторий производилось вычисление прогнозируемого положения точки на сцене по ее координатам в изображении камеры и сравнение с фактическим положением на сцене.

К

штт

\

1~Г

\

////////////// Ш /

Ч И ;

ш

д

Рис. 3. Изображения: а - с камеры Сь б - с камеры С2; в - с камеры С3; г - с камеры С4; д - наблюдаемая сцена

На рис. 4 и 5 приведена зависимость средне-квадратического отклонения между фактическим и прогнозируемым положением точки от площади пересечения полей зрения видеокамер, для случая вычисления проективного преобразования по 4 точкам сцены с известными координатами.

4

«

к к 8

* 2

о

н

о

с

§ О

■ Предлагаемый алгоритм ЯЛЫБАС

10 20 30 40 50 60 70 80 90 Площадь перекрытия видеокамер, % Рис. 4. СКО между фактическим и прогнозируемым положением точки для камеры С!

4

* 2 о н о с

О «

° 1

10 20 30 40 50 60 70 80 90 Площадь перекрытия видеокамер, % Рис. 5. СКО между фактическим и прогнозируемым положением точки для камеры С2

Далее для калибровки камеры С3 использовалась вычисленная на предыдущем этапе матрица

2

гомографии Иё,.С, из пересечения полей зрения камер С2 и С3 находились четыре точки, по которым вычислялась матрица гомографии И . По матрице

И

gsc

и двум траекториям выполнялась калибровка

камер (до 10 запусков). Аналогичным способом выполнялась калибровка камеры С4. На рис. 6 и 7 приведена зависимость среднеквадратического отклонения между фактическим и прогнозируемым положением точки от площади пересечения полей зрения видеокамер С3 и С4.

Анализируя представленные зависимости, можно отметить, что предлагаемый метод калибровки выигрывает в точности вычисления проективного преобразования по сравнению с методом ЯА^АС при одинаковых условиях. В связи с тем, что в ЯА^АС случайным образом выбираются четверки опорных точек для вычисления проективного преобразования, более высока вероятность выбора не-

3

3

б

а

в

2

удачных пар точек [10]. Несмотря на то, что за большое количество итераций ЯА^АС позволяет вычислить правильное положение точки на сцене, для практического применения он не подходит.

¡а 7

6

\ \ \ \ ----Л \ ------RANSAC "

4 1

\ 1 1 1

v \ 1 1 1 1 \

1 1

0 20 40 60 80 100 Площадь перекрытия видеокамер, % Рис. 6. СКО между фактическим и прогнозируемым положением точки для камеры С3

¡а 30 25

и я с

я и ¡г о

н ^

я

я ^

N о ч о я

О 8

0 20 40 60 80 100 Площадь перекрытия видеокамер, % Рис. 7. СКО между фактическим и прогнозируемым положением точки для камеры С4

Заключение

В работе приведено описание подхода к сопровождению нескольких объектов группой видеокамер. Полученные результаты свидетельствуют о возможности практического использования алгоритма в условиях с частичными или полными перекрытиями объектов. Предложенный метод калибровки видеокамер минимизирует участие оператора в работе системы, обладает необходимой точностью для распознавания всех представлений одного и того же объекта и может работать в режиме реального времени.

Литература

1. Utsumi A. Multiple-camera-based human tracking using non-synchronous observations / A. Utsumi, J. Ohya // Proc. Asian Conf. Computer Vision. - 2000. - P. 1034-1039.

2. Liebowitz D. Metric rectification for perspective images of planes / D. Liebowitz, A. Zisserman // Computer Vision and Pattern Recognition, 1998. Proceedings. 1998 IEEE

Computer Society Conference on. - IEEE, 1998. -P. 482-488.

3. Hemayed E. E. A survey of camera self-calibration // Advanced Video and Signal Based Surveillance, 2003. Proceedings. IEEE Conference on. - IEEE, 2003. - P. 351-357.

4. Kahl F. Critical motions for auto-calibration when some intrinsic parameters can vary / F. Kahl, B. Triggs, K. Astrom // Journal of Mathematical Imaging and Vision. -2000. - Vol. 13, No. 2. - P. 131-146.

5. An architecture for multiple perspective interactive video / P. Kelly, A. Katkere, D. Kuramura, S. Moezzi, S. Chatterjee, R. Jain // Proceedings of the third ACM international conference on Multimedia. - ACM, 1995. - P. 201-212.

6. Lee L. Monitoring activities from multiple video streams: Establishing a common coordinate frame / L. Lee, R. Romano, G. Stein // IEEE Transactions on pattern analysis and machine intelligence. - 2000. - Vol. 22, No. 8. - P. 758-767.

7. Tracking many objects with many sensors / H. Pasula, S. Russell, M. Ostland, Ya. Ritov // IJCAI. - 1999. - Vol. 99. -P. 1160-1171.

8. Hartley R.I. An algorithm for self calibration from several views // CVPR. - 1994. - Vol. 94. - P. 908-912.

9. Fischler M.A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography / M.A. Fischler, R.C. Bolles // Communications of the ACM. - 1981. - Vol. 24, No. 6. - P. 381-395.

10. Liu Z. A New Efficient Calibration Method for Binocular Camera / Z. Liu, J. Fang, B. Zhou // International Journal of Signal Processing, Image Processing and Pattern Recognition. - 2016. - Vol. 9. - No. 2. - P. 445-456.

Ушарова Дарья Николаевна

Аспирантка каф. телекоммуникаций и основ радиотехники (ТОР) Томского университета систем управления и радиоэлектроники (ТУСУР) Тел.: +7-913-111-66-30 Эл. почта: udn@csp.tusur.ru

Usharova D.N.

Method for objects tracking using a group of cameras with automatic correction of a projective transformation matrix

A description of a method for tracking objects by a group of uncalibrated cameras, allowing to compare the representations of the same object in the images of different cameras in partial overlap is described. The method automatically calibrates the video surveillance system on four points with known coordinates of the object and moving out from the field of view of one camera to field of view of another. The method is based on the correction of the projective transformation matrix, which is calculated at the moment when the object appear in the fields of view of the two cameras. The results of simulation are presented and distance relations of actual and predicted positions to the surface of intersection of camera views are obtained.

Keywords: tracking, object tracking, video surveillance, cameras calibration, projective transformation.

5

4