Измерение скоростей автомобилей путем анализа видеопоследовательности Текст научной статьи по специальности «Физика»

ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ X

УДК 004.932.2

ИЗМЕРЕНИЕ СКОРОСТЕЙ АВТОМОБИЛЕЙ ПУТЕМ АНАЛИЗА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Б. С. Тимофеев,

доктор техн. наук, профессор А. А. Мотыко,

ассистент, младший научный сотрудник

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Проведен краткий обзор дистанционных измерителей скоростей автомобилей, выявлены основные недостатки современных решений. Предложен новый телевизионный метод измерения скорости движущихся объектов на основе анализа видеоряда. Даны результаты экспериментальных исследований.

Ключевые слова — телевизионный измеритель скорости, цифровая обработка изображений, система транспортного мониторинга.

Введение

В настоящее время активно развивают системы транспортного мониторинга, которые служат для контроля магистралей, сбора параметров автомобильного потока (состава, средней скорости, плотности потока и т. п.), фиксации фактов нарушения скоростного режима и других правил дорожного движения [1]. Самыми распространенными устройствами для измерения скоростей автомобилей являются локационные радары и лазерные измерители. Преимуществами данных устройств принято считать высокую точность определения скорости (ошибка не более 2 км/ч) и дальность действия (300-500 м). Однако нужно иметь в виду, что радары и лазерные измерители обеспечивают декларируемые параметры, если транспортное средство (ТС) движется точно по направлению на них. При установке приборов над магистралью или сбоку от нее необходимо учитывать их угловые положения.

Видеокамеры являются неотъемлемой частью приборов мониторинга транспортных потоков, так как без фоторегистрации результаты измерения скорости, каким бы методом они ни были получены, не являются легитимными. Недостатком комбинированных приборов (фоторегистратор плюс радиолокационный измеритель скорости) является отсутствие жесткой связи между результатами измерения и ТС, которое фотографируют видеокамерой. Излучение СВЧ-энергии легко обнаруживается антирадарами.

Для повышения достоверности измерений формируют плоскую диаграмму направленности радара шириной 3, 6° [2]. Узкие диаграммы направленности радаров вынуждают устанавливать приборы индивидуально для каждой полосы движения и проводить измерения в локальных зонах на магистрали на расстоянии порядка 50-60 м. Это приводит к повышению сложности и общей стоимости стационарного поста. Сказанное справедливо и для лазерных измерителей скорости.

Включение в состав аппаратуры видеокамер не дает возможности реализовать важные преимущества радаров — независимость от погодных условий и высокую дальность действия, так как качественную фотографию ТС, пригодную для его идентификации и определения номерного знака, можно получить в условиях достаточной освещенности на расстоянии 50-100 м.

Телевизионные измерители скорости

Применение телевизионных методов позволяет исключить дополнительную аппаратуру, одновременно измерять скорости всех автомобилей в поле зрения камеры и обеспечить однозначную связь между результатом измерения и конкретным объектом.

Автомобили двигаются в мировой координатной системе, ориентированной так, что ось Zм расположена вдоль дорожной полосы, ось Хм ей ортогональна, а координата Ум отображает высоту (рис. 1). Скорость ТС — это вектор V = (ЗХм/дЬ,

■ Рис. 1. Мировая, объектная и экранная системы координат

дYм/дt, 9£м/^)т. Поперечная (дХм/д^ и вертикальная (дYм/дt) составляющие скорости обычно малы и не представляют особого интереса. Необходимо измерить скорость (дZм/дt). В объектной системе координат камеры {X, Y, Z} с центром в точке фокуса (см. рис. 1) поступательное движение автомобиля вдоль дорожной полосы приводит к изменению всех трех координат. За время сопровождения ^ объект перемещается в пространстве из точки А в точку В. Тогда скорость может быть рассчитана как евклидово расстояние между векторами (ХА, YA, ZA) и (ХВ, YB, ZB), деленное на время

Ха - Хв YA - Yв 2а - 2 в

/ ДЬ =

4

= л(ХЛ - Хв

(гаа - гв )2 / ДЬ =

Г 2 , 2 , 2

= V их + иУ + •

(1)

Современные видеокамеры преобразуют 3D-про-странство в 2D и дают изображение в экранной системе координат на плоскости {х, у} (см. рис. 1). Если известны координаты объекта (X, Y, Z), то при центральной проекции и расположении центра проекции (точки фокуса) между объектом и плоскостью матрицы ПЗС экранные координаты

fX fY

х =-----; у =-----.

f - г f - z

По известным координатам в экранной плоскости {х, у} и координате Z, которая отражает расстояние до объекта L и должна быть получена косвенным методом, рассчитывают значения

х = х(г - ^; у = у(г - f) f ’ f '

С помощью краски на дороге отмечают контрольную зону с фиксированными линейными размерами. Этот участок автоматически опреде-

ляют на видеокадре, формируют зону в плоскости растра с установленными размерами и осуществляют привязку координат растра камеры к реальным координатам на дороге. Скорость определяют с помощью измерения времени (в кадрах), за которое автомобиль пересек размеченную зону [3]. Вариант данного подхода [4] — нанесение серии линий разметки в плоскости телевизионного кадра (рис. 2). Определяют расстояние, пройденное автомобилем за фиксированное время с момента начала сопровождения. Необходимость нанесения маркеров на дорожное полотно и привязки камеры к местности усложняет процесс установки системы. На момент фиксации пересечения автомобилем границы контрольной зоны влияет высота ТС. Высокий грузовик покинет зону контроля раньше, чем это зафиксирует камера, в связи с тем, что некоторое время оптическая ось камеры будет пересекать верхнюю часть автомобиля, который уже выехал за пределы контрольного участка. Динамические тени и блики от фар автомобилей также негативно влияют на точность измерений.

Другими причинами погрешностей являются ошибки дискретизации во времени и пространстве. Современные видеокамеры обычно работают с частотой кадров 25 Гц. При фиксации момента пересечения линии разметки возможна ошибка до 40 мс. Вследствие пространственной дискретизации телевизионного изображения момент пересечения линии разметки пикселя можно зафиксировать с точностью ±1 пиксель.

При установке камеры над магистралью из последовательности видеокадров, помимо информации о пройденном расстоянии, можно извлечь данные об увеличении размера ТС. Для вычисления составляющей скорости vZ ТС в направлении на камеру необходимо зафиксировать начало дистанции сопровождения L1 и получить данные об относительном увеличении размера изображения автомобиля & за время Д^ Автомобиль, имеющий горизонтальный размер d0, приближается к камере. На расстоянии до камеры L1 горизон-

■ Рис. 2. Разметка растра

тальный размер его проекции на матрице ПЗС — d1, на расстоянии L2 - d2. Очевидны следующие соотношения:

k = — = — =

Й —2 —1 — А—

; —1

Л

(2)

где / — фокусное расстояние объектива; к — коэффициент увеличения размера проекции автомобиля; АЬ — преодоленное автомобилем со скоростью vZ [см. выражение (1)] расстояние за некоторое время А#: АL = vZАt.

Тогда

к =

1

1-vz А —1

; иг =

(к-1)— Аtк

Сбор данных об увеличении размера проекции и траектории движения ТС начинают с момента пересечения им линии визирования, установленной в экранной плоскости. Началу дистанции сопровождения L1 соответствует расстояние от камеры до проекции линии визирования на местности в объектных координатах. Значение L1 находят по выражению (2), зная фокусное расстояние объектива f, фактические d0 и экранные d1 размеры автомобиля. Экранные размеры изображения автомобиля оценивают в пикселях. Для расчетов требуется знать геометрические размеры пикселя h («цену пикселя»). При размещении камеры над многополосной магистралью изображения автомобилей, движущихся по соседним полосам, имеют различные траектории, с характерными для каждой полосы горизонтальными vX и вертикальными Пу составляющими скорости в объектной системе координат (см. рис. 1). Телевизионные изображения (рис. 3) содержат всю необходимую для этого информацию [5].

Составляющие скорости

АХр (—2 - f )h АХр (— / к - f )h

-X ■

fАt

f Аt

■ Рис. 3. Направления движения по полосам и составляющие скорости перемещения изображений

Аур (—1 / к - f )h; fАt ’

иг = (к 1)— , (3)

г Аtк

где Ахр, Аур — смещения экранных координат объекта в пикселях за время сопровождения А#; к — коэффициент увеличения размера объекта в конце сопровождения; L1 — дистанция начала сопровождения; h — цена пикселя; L2 — дистанция окончания сопровождения; скорость автомобиля V находят по выражению (1).

Значение L1 можно найти другим способом. В ходе эксперимента оценивают изменения размера проекции автомобиля в каждом кадре телевизионной развертки А#0^к раз, где N — частота кадров. По экспериментальным точкам, подверженным ошибкам измерения, методом наименьших квадратов строят усредненную функциональную зависимость к(#) (рис. 4). Далее находят сглаженное значение к0 при фиксированном А#0 (или наоборот).

Тогда из выражений (3) следует

—1 =

)

(1 -1 / ко )2 +

Аyph'

АХph

(4)

так как L1/k >> f.

Второй способ предпочтительнее, так как дает более точные результаты за счет использования накопления результатов измерений за время сопровождения А#0. В ходе эксплуатации системы значение L1 вновь рассчитывать не нужно, важно лишь поддерживать положение линии визирования и начинать сопровождение ТС с одной и той же позиции.

На точность измерения скорости влияют несколько факторов.

к

1,6

1,48

1,36

1,24

1,12

1,0

/ /

2 —

1

А^ А^

10

15

20

25 30

t, кадры

■ Рис. 4. Зависимости коэффициента увеличения размера к от времени # при различных скоростях объекта: 1 — 60 км/ч (опорная кривая); 2 — 80 км/ч

к

0

0

5

1. Даже при весьма тщательной настройке системы в ходе эксплуатации сопровождение может быть начато с ошибкой АЬ относительно установленного значения Ьр которая приводит к пропорциональной ошибке в оценке скорости. Например, при АЬ = ±2 м ошибка в дистанции начала сопровождения приводит к ошибке в оценке скорости Аи1 = ±1,44 км/ч.

2. В силу дискретности телевизионного изображения значения d1 и d2 могут быть измерены с точностью ±1 пиксель. В результате значения к могут быть измерены неточно, что приведет к ошибке в оценке скорости Аи2 = ±3 км/ч.

3. В силу дискретности телевизионной развертки по времени значения А# могут быть измерены с точностью ±1 кадр или ±0,0333 с, что дает ошибку в оценке скорости порядка Аи3 = = ±0,85 км/ч для скорости 60 км/ч и Аи3 = = ±1,7 км/ч для скорости 120 км/ч.

Если считать, что приведенные ошибки независимы, то ожидаемая точность системы в указанных условиях Аи = (Аи1 + Аи2 + Аи3)1/2 = = ±3,74 км/ч.

Возможности повышения точности измерения скорости следующие.

Увеличение размера изображения объекта происходит при приближении к камере, причем зависимость к = f(Z) всегда одинакова для конкретной дистанции сопровождения. Необходимо начинать сопровождение с одного и того же расстояния Ь1, которое было использовано при определении опорной кривой к = f(t) в ходе контрольного прохождения автомобилем дистанции сопровождения при настройке системы.

Если сопровождение начато с большего (или меньшего) расстояния, зависимость относительного увеличения размера к от времени # будет отличаться от опорной (рис. 5, а). В ходе сопровождения одновременно измеряют экранную коор-

динату у = Д#). Графики к = f(y) аппроксимируют прямыми линиями. Если сопровождение автомобиля начато позже или раньше, угол наклона прямой будет отличаться от аналогичной величины для опорной зависимости (рис. 5, б).

При определении скорости угол наклона линии сопровождаемого объекта сравнивают с углом наклона опорной линии. Результат сравнения учитывают в качестве поправки при определении скорости

V ' = V 1-^,

\^Уо

где V — скорость ТС с учетом коррекции ошибки дистанции начала сопровождения; у — угол наклона зависимости относительного увеличения размера проекции от координаты у; у0 — угол наклона опорной прямой.

Принцип измерения скорости ТС монокамерой основан на его сопровождении на дистанции порядка 20-30 м. Повышение точности измерения скорости достигают за счет использования накопления по времени и пространству. За время сопровождения получают данные о размерах изображения в пределе в каждом кадре телевизионной развертки. Объект проходит дистанцию сопровождения за время порядка 1-2 с, что позволяет произвести измерения в 25-50 кадрах. На основании результатов измерения, подверженным ошибкам за счет дискретности растра и шумов, методом наименьших квадратов строят регрессионные кривые на основе полиномов второй или третьей степени (см. рис. 4). Анализ полученных кривых позволяет получать оценки размеров изображения объектов с точностью, лучшей одсого пикселя (субпиксельная оценка), и измерять временные промежутки с точностью, лучшей времени одного кадра телевизионной развертки. Тем с ам ым ошибки Аи2 и Аи3 могут быт ь

Ь, кадры у, пиксель

■ Рис. 5. Кривые к = Д#) (а) и зависимости к = Ду) (б) для различных Ь1: 1 — опорная кривая для скорости 60 км/ч; 2 — сопровождение начато с дистанции, большей на 6 м

снижены приблизительно в (^1/2 раз, где N — число обработанных кадров, т. е. в 5 - 7 раз.

Если проводить сбор данных об объектах вплоть до увеличения коэффициента к, например в 1,5 раза (см. рис. 4), то значения А#0 и А#1, подставленные в выражение (3), дадут оценки скоростей и и^.

Можно использовать другой подход. Коэффициент увеличения размера объекта зависит только от его расстояния до камеры. Это означает, что кривые 1 и 2 на рис. 4 могут быть совмещены путем варьирования одного параметра — масштаба времени. Совмещение кривых контролируют по всей их длине, а не в одной точке, как это было в предыдущем случае. Это позволяет дополнительно сгладить ошибки измерений.

Для сбора необходимой для расчетов информации проводят сегментацию [6, 7] и сопровождение изображений движущихся объектов с помощью корреляционно-экстремального алгоритма [8, 9]. Относительное увеличение размера проекции объекта к находят с помощью маски масштабирования, которую создают в начале сопровождения объекта. Алгоритм состоит из следующих шагов: представление текущей маски масштабирования объекта в нескольких масштабах с заданным шагом; корреляционное сравнение текущего бинарного изображения объекта и сформированного набора масок масштабирования и определение лучшего соответствия; модификация маски масштабирования. Набор масок в разном масштабе получают с помощью аффинных преобразований текущей маски объекта. Вектор однородных координат пикселя увеличенной маски объекта

5 О О О 5 О О О 1

где х — вектор однородных координат пикселя исходной маски; 5 — коэффициент масштабирования.

Каждую маску из полученного набора сравнивают с изображением объекта и по минимуму меры различия Я подбирают наиболее подходящую:

т п

R = ^^—рез (х’ у) - Ъ (х’ у)|’

х=1у=1

где т, п — размеры маски в пикселях; Ьрез(х, у) — пиксели бинарного изображения объекта; Fi(x, у) — пиксели маски.

Маска с наименьшей Я становится новой текущей маской масштабирования объекта, а соответствующий коэффициент 5 считают увеличением объекта в данном кадре видеопоследовательности. Модификацию маски масштабирования проводят для соответствия текущему изобра-

■ Рис. 6. Модификация маски объекта при его приближении к камере

жению объекта. В ходе модификации из маски исключают лишние пиксели, полученные в результате масштабирования, которых нет в реальном изображении (рис. 6).

Для оценки точности измерителя скорости использовали четыре видеофрагмента дорожного наблюдения длительностью около 3500 кадров каждый, полученных в различных условиях и местах съемки. Для всех автомашин, попавших в поле зрения видеокамеры, в ручном режиме были тщательно измерены скорости посредством определения числа кадров, которое потребовалось автомобилю для преодоления известного расстояния на местности Ь.

Видеофрагменты подобраны таким образом, чтобы присутствовали разнообразные типы ТС (легковые, грузовые, автобусы и т. д.), а интенсивность дорожного движения была примерно одинаковой для всех полос наблюдаемой магистрали. Для дополнительной проверки достоверности измерений в каждый видеофрагмент включены несколько автомобилей с известной скоростью движения. Суммарное число ТС, для которых была проведена оценка скорости, — 104. По результатам моделирования для всего массива данных рассчитаны следующие статистические характеристики:

— среднеквадратическое отклонение 1,91 км/ч;

— среднее значение ошибки 1,49 км/ч;

— для 97 % ТС максимальная ошибка не превышает 3 км/ч;

— максимальное смещение оценки +0,4 км/ч.

На основании полученного массива данных

рассчитаны статистические характеристики для отдельных полос движения (таблица).

Проведенное моделирование позволяет сделать вывод о достаточно высокой точности телевизионной системы измерения скорости. Результаты исследований по полосам движения подтверждают возможность измерения скорости телевизионным методом на многополосной магистрали. Статистические оценки точности измерения мало отличаются по полосам движения и практически не смещены. Основной недостаток телевизионных измерителей — зависимость от

■ Статистические характеристики для отдельных полос движения

Полоса Среднеквадра- тическое отклонение, км/ч Максимальная ошибка, км/ч Среднее значение абсолютной ошибки, км/ч ч ие /м нк е, & g ек мн ме о

1 1,637 3,0 1,28 0,4

2 2,18 6,0 1,7 0

3 1,34 3,0 0,89 0

погодных условии — компенсируется введением подсветки вблизи стационарного поста в видимом или инфракрасном диапазонах излучения. Точность измерения скорости с помощью одноИ видеокамеры ±3 км/ч уступает радарам, где достигнута точность ±(1 - 2) км/ч. Вполне возможно, что эта точность несколько завышена в рекламных целях, так как неизвестно, каким образом учитывают угловые положения приборов и учитывают ли вообще. В условиях, когда водители не могут измерить скорость точнее, чем одно деление шкалы спидометра (10 км/ч), точности, достигнутои телевизионным измерителем, вполне достаточно для практического применения.

Заключение

Предложенный метод измерения скорости ТС на основе анализа видеопоследовательности обладает следующими характерными преимуществами.

• Использование накопления данных по времени и пространству путем учета модификации всей площади изображения автомобиля на интервале сопровождения позволило повысить точность измерения по сравнению с известными телевизионными методами.

• При реализации алгоритма измерения нет нужды в трудоемкой калибровке камеры и привязке ее местоположения к мировым координатам.

• При установке и первоначальной настройке системы достаточно в автоматическом режиме получить опорную зависимость коэффициента увеличения размера изображения контрольного

автомобиля при известной скорости его движения и траекторию его движения.

• Другим вариантом настройки является анализ в ручном режиме фрагмента видеопоследовательности, отображающей движение объекта с известными размерами на дистанции сопровождения.

Располагая данными о скоростях и траекториях движения сопровождаемых автомобилей, получают все основные параметры транспортного потока: интенсивность, среднюю скорость. Дополнительно можно судить о нарушениях: выезде на встречную полосу, нарушении рядности движения, остановке в неположенном месте и т. п.

Литература

1. Leduc G. Road Traffic Data: Collection Methods and Applications, Working Papers on Energy, Transport and Climate Change. http://ftp.jrc.es/EURdoc/JRC 47967.TN.pdf (дата обращения: 20.10.2011).

2. http://www.radis.biz/police_card.php?prodid=54& cat=4&gr=1 (дата обращения: 10.09.2011).

3. Lykke O. Method and device for supervising the speed of an object, US Patent № 4214265. July 22, 1980.

4. Патент Кореи G08G 1/054 № ROK 10-2008-0818323. Январь, 2006.

5. Макарецкий Е. А., Овчинников А. В., Нгуен Лием Хиеу. Телевизионные измерительные системы контроля скоростного режима дорожного движения // Компоненты и технологии. 2007. № 4. С. 34-37.

6. Тимофеев Б. С., Обухова Н. А. Алгоритм сегментации объектов в последовательности видеокадров методами нечеткой логики // Информационно-управляющие системы. 2006. № 3. С. 12-18.

7. Обухова Н. А. Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах // Инфокоммуникационные технологии. 2007. № 1. C. 77-85.

8. Буймов А. Г. Корреляционно-экстремальная обработка изображений/ ТГУ. — Томск, 1987. — 134 с. Иванов В. А. Моделирование корреляционного сопровождения объектов в реальном времени // Автометрия. 1991. № 3. C. 24-30.