CC BY
14
УДК 004.93 Дата подачи статьи: 28.11.22, после доработки: 09.12.22
Б01: 10.15827/0236-235Х.141.165-174 2023. Т. 36. № 1. С. 165-174
Процедура автоматического безрадарного определения скорости мобильных объектов с использованием стационарной камеры
В.А. Епифанов 1,2, аспирант, epifanov_vld@yandex.ru И.О. Темкин 1, д.т.н, профессор, igortemkin@3yandex.ru И.В. Кальгов 2, разработчик, calgov@yandex.ru
1 Университет науки и технологий МИСИС, г. Москва, 119049, Россия
2 ООО «Ситилабс», г. Москва, 121205, Россия
В работе рассматривается задача автоматической разметки дорожной сцены для определения скорости объектов безрадарным методом на данных только с одной стационарной камеры.
Помимо ограничения в количестве используемых камер - не более одной камеры для сцены, от решения требуется наличие возможности автоматического расчета разметки на микрокомпьютере. Для получения корректной разметки применяются расчет точек схода на основе анализа информации о подвижных участниках дорожной сцены и расчет матрицы преобразования для получения вида сверху на сцену. Под разметкой сцены понимается набор виртуальных линий на дорожном полотне, которые позволяют определять скорость транспортного средства при последовательном пересечении им этих линий. Совместное использование расчета точек схода и построения вида сверху дает возможность с минимальными вычислительными затратами получить требуемый результат с достаточной точностью, несмотря на проблемы из-за перспективы изображения.
В работе показана применимость подхода для автоматической разметки дорожных сцен с целью определения скорости на устройствах различного типа, таких как платформы c архитектурой x86 и микрокомпьютеры Nvidia Jetson. Отличительной особенностью метода является полная автоматизация разметки, при которой все этапы реализуются автоматически без помощи оператора. К тому же метод не требует никаких предварительных расчетов, связанных с учетом характеристик камеры, на которую ведется съемка.
Возможность развертывания предложенного решения на микрокомпьютерах позволяет масштабировать различные системы мониторинга и анализа дорожной инфраструктуры, а для добавления в систему новой локации достаточно установить единое устройство, объединяющее как устройство ввода (камеру), так и вычислитель (микрокомпьютер).
Ключевые слова: автоматическая разметка сцен, автокалибровка, точка схода, матрица преобразования, проективная геометрия, транспортный поток, преобразование Хафа, RANSAC.
Увеличение парка беспилотного транспорта и расширение областей его использования обусловливают растущую потребность в автоматических системах слежения и контроля за дорожной сценой, которые необходимы для более эффективного и безопасного применения автономных мобильных устройств [1]. Получать информацию о состоянии мобильных объектов можно различными способами:
- непосредственно от участников движения (например, с лидаров, радаров и бортовых камер, расположенных на автомобилях) [2-4];
- через спутниковые средства связи [5];
- с помощью устройств видеофиксации стационарного размещения (камеры на объектах дорожной инфраструктуры, таких как фонарные столбы, мосты и т.п.).
Все эти способы применимы, но имеют как положительные, так и отрицательные стороны.
В данной работе основное внимание уделено подходу, в котором используются камеры, установленные на объектах дорожной инфраструктуры. Подобного рода камер становится все больше на дорогах общего назначения и транспортных магистралях. Потенциально их можно использовать и для уточнения скорости перемещения промышленных роботов на технологических дорогах горных карьеров [6]. Такие камеры позволяют с высокой точностью оценить различные характеристики транспортных потоков, присущих дорожным сценам, попавшим в зону видимости.
Для получения качественных данных с подобного рода камер необходимо иметь возможность разметки дорожных сцен. Но, как правило, калибровки и разметки данных камер требуют задействования специалистов различной квалификации. Это серьезно усложняет ис-
пользование камер для анализа дорожной обстановки.
Наиболее приближенными решениями в задаче определения скорости по данным с дорожных камер являются такие, где разметка строится на основании сопоставления точек изображения с точками реального мира. В этих решениях для определения точек в мировых системах координат могут быть использованы такие, как Google Earth, The World Coordinate Converter [7] или Google Maps [8]. В результате сопоставления конкретным точкам на изображении в экранных координатах, например, точке основания фонарного столба или светофора, находятся точки в мировой системе координат. Перспективным подходом для калибровки камер является метод поиска транспортных средств (ТС) на изображениях с дальнейшим построением для них ЗБ-моде-лей [9]. Перечисленные решения являются рабочими вариантами для выполнения калибровки камер, но по-прежнему требуют либо вмешательства человека или сторонних систем для сопоставления точек на изображении и точек реального мира, либо ресурсоемких вычислений для определения SD-моделей ТС и работы с ними.
В рамках данной статьи под разметкой сцены понимается разметка непосредственно под определение скорости участников движения. То есть разметкой будем называть набор линий на дорожном полотне сцены, которые позволяют определять скорость проезжающих через них автомобилей. Подобные разметки можно производить как вручную специфическим дорожным инвентарем [10, 11] непосредственно на самом исследуемом участке дороги [12, 13], так и при помощи автоматических средств.
Задача автоматической разметки дорожной сцены решается путем анализа видеоряда, содержащего движущиеся ТС. Анализ их перемещения позволяет определить параллельные линии на изображении, которые используются непосредственно для разметки. При этом для разметки нет необходимости в какой-либо информации непосредственно о самой сцене - количестве полос транспортной магистрали, типе покрытия, типах движущихся объектов. К транспортным участкам также нет требований, таких как четкая разметка полос [14], что затруднительно во многих регионах, где разметка может быть стерта, закрыта слоем снега или демонтирована при обновлении дорожного полотна, тем более для технологических дорог.
При этом единственным условием корректной работы метода является условная прямолинейность участка дороги, на котором производится разметка. На таких участках, как перекресток, кольцевое движение или поворот, точность работы алгоритма не гарантируется.
Так как авторы исследования предполагают, что участок трассы, с которым работают, прямолинейный, это позволяет допустить, что объекты на данном участке движутся по прямой траектории и параллельно друг другу. Данное допущение корректно работает несмотря на всевозможные выбросы, такие как перестроения ТС или ложные срабатывания. Подобные выбросы легко фильтруются, поскольку их количество, как правило, пренебрежимо мало относительно прямолинейных проездов на транспортной магистрали. Допущение о параллельности и прямолинейности движения ТС позволяет использовать полученные траектории для корректного расчета точек схода. Для тестирования описанного в статье подхода были записаны видео с различных камер с отличающимися ракурсами, установленных на дорогах общего назначения. Тестирование алгоритмов проводилось на различных типах компьютерных устройств, в том числе на микрокомпьютере Nvidia Jetson Nano.
Разметка сцены камеры под скорость в ручном режиме
В ходе работы над разметкой сцен для определения скорости безрадарным способом сначала была опробована модель ручной разметки дорожного полотна. Для этого в область видимости камеры выезжала специальная бригада дорожной службы, которая при необходимости полностью или частично перекрывала дорожное движение в области разметки и расставляла на проезжей части специальные маркерные конусы так, чтобы между ними было фиксированное расстояние, как правило, 2 или 3 метра в зависимости от зоны видимости камеры, и располагались они вдоль обочины трассы.
За работой дорожной службы следит специалист, способный удаленно подключиться к нужной камере, и контролирует процесс. Конусы необходимо расставлять так, чтобы все они входили в зону видимости камеры. После того как все конусы расставлены корректно, оператор делает финишный снимок и приступает к его разметке. Для этого следует провести параллельные линии, проходящие через начала конусов и идущие перпендикулярно направле-
нию движения транспорта. Данная операция не является тривиальной для оператора в силу перспективы изображения (параллельные прямые на плоскости дороги не являются таковыми на изображении), и в результате ручной разметки этих линий всегда будет присутствовать неточность.
Этапы автоматизации процесса разметки камеры
Первым этапом автоматизации данного процесса являлось автоматическое определение параллельных линий, проходящих через конусы. В таком случае оператору необходимо лишь указать точки расположения оснований конусов. Автоматизация данного шага заключается в нахождении горизонтальной точки, в которую будут сходиться все параллельные линии, перпендикулярные направлению движения транспорта (рис. 1).
В данном случае оператору уже не нужно рисовать параллельные линии, за него это делает алгоритм (и, как правило, точнее). Однако при этом доля ручного труда все же велика. Также необходимы выезд дорожной бригады для расставления конусов, контроль оператора за правильностью их расстановки и обозначение конусов на кадре.
Вторым этапом автоматизации процесса является получение точек на кадре, соответствующих конусам при их реальном отсутствии, на основании лишь проезжающих в кадре ТС. Данный этап базируется на виде сверху на дорожную сцену [15, 16], который можно получить, зная вертикальную и горизонтальную точки схода. В результате строятся линии, проходящие через горизонтальную точку схода и точки, рассчитанные алгоритмом как виртуальные конусы. Данные точки определяются таким образом, что расстояние между ними на дорожном полотне равно 2 или 3 метрам в зависимости от ракурса изображения с камеры.
Таким образом, при автоматическом определении виртуальных конусов и построении на их основе линий фиксации скорости полностью отпадает необходимость в дорожной бригаде, перекрытии движения автотранспорта и расстановке конусов. А работа оператора сводится к визуальной проверке результата работы алгоритма.
Автоматическая разметка сцены
под скорость. Определение точек схода
Алгоритм автоматической разметки сцены под скорость можно разделить на два основных блока:
- определение вертикальной и горизонтальной точек схода;
- определение линий разметки на основании данных о точках схода.
Для детального понимания дорожной сцены необходимо определить точки схода, образующие плоскость дорожного полотна. В них сходятся все параллельные прямые на изображении [17, 18]. Интерес представляют точки схода двух типов: точка, в которую сходятся прямые, параллельные направлению движения транспорта, - вертикальная точка схода; точка, в которую сходятся все точки, перпендикулярные направлению движения транспорта, - горизонтальная точка схода.
Так как в основе метода лежит допущение, что рассматриваемый участок трассы условно прямолинейный и не имеет поворотов, соответственно, траектории движения ТС на данном участке также будут выражаться условно прямыми. В свою очередь, эти прямые являются параллельными направлению движения трассы, а следовательно, все они, кроме выбросов, должны сходиться в вертикальной точке схода. Тогда задача определения вертикальной точки схода сводится к задаче определения точки, в которую сходится максимальное количество прямых, образующих траектории движения ТС.
Прежде чем определить траектории ТС, необходимо детектировать непосредственно сами ТС. Для решения этой задачи на основе сравнительного анализа выбрана сверточная нейронная сеть YOLOv5 [19]. Данная сеть была обучена на детектирование легковых, грузовых автомобилей, автобусов и мотоциклов. Для обучения сети сформирован и размечен дата-сет, содержащий 97 528 изображений с различных дорожных камер. Точность детектирования ТС составила 95,7 % на тестовой выборке, что является достаточным для текущей задачи, так как потеря незначительного количества проехавших ТС некритично отражается на общем результате. Полученные детекции ТС необходимо объединить в последовательности, которые и будут отражать траектории их передвижения. Для получения траекторий движения ТС разработан алгоритм треккинга на основе задетектированных автомобилей. После отработки этого алгоритма получаем результаты, представленные на рисунке 2.
Очевидно, что траектории движения ТС выражены линиями, которые не являются прямыми, на треках присутствуют различные выбросы и неровности. Для аппроксимации данных линий прямыми используется модифицированный алгоритм семейства ИА№АС [20, 21]. В данном случае аппроксимация производится следующим образом: для каждой кривой траектории Т п-е количество раз берутся две случайные точки - Р1 = (Х1, У1) и Р2 = (х2, У2), входящие в эту кривую. Для них строится прямая и рассчитываются расстояния от всех оставшихся точек кривой Т до выбранной прямой: й (Р ,, Рг, (Х0, у )) =
|( У2 - Ух ) Х0 -( Х2 - Х1 ) Уо + Х2 У\ - У2 Xl| V(У2 - Ух )2 +(Х2 - Х1 )2
(1)
В результате для каждой кривой траектории имеем п-е количество прямых, для которых
считается величина невязки. Аппроксимирующей линией будет являться прямая, для которой невязка минимальная из всех возможных: Р,Р* = ащшт £ й(Р1,Р2,(х,.,у.)). (2)
Р ,Р2 х1,у, еТ
Такой аппроксимацией получаем исправленные траектории (рис. 3).
Полученные прямые, описывающие перемещение ТС, можно использовать непосредственно для расчета вертикальной точки схода. Расчет ее на основе полученных прямых также производится при помощи модификации алгоритма ИА^АС. Из набора прямых выбираются две, и рассчитывается точка их пересечения К. Далее рассчитываются расстояния от каждой из оставшихся прямых до полученной точки (рис. 4), и, если это расстояние меньше некоторого порогового значения, считается, что прямая проголосовала за данную точку:
0 й (Р, Р2, (кх, ку ))>е,
V ( K, Pi, P2 ) =
1 d ( p, P2, ( kx, ky ))<s.
(3)
Рис. 3. Прямые траекторий после преобразования
Fig. 3. Right lines of trajectories after transformation
Рис. 4. Подбор точки схода Fig. 4. Selection of a vanishing point
В результате для исследуемой точки имеется некоторое количество проголосовавших за нее прямых т. На рисунке 4 прямые с индексом 1
изображают линии, образующие точку, прямые с индексом 2 - линии, проголосовавшие за точку, пунктиром показаны непроголосовавшие линии. Далее подобные действия выполняются для и-го количества случайных пар прямых, рассчитываются точки их пересечения, и в качестве горизонтальной точки схода (УР\) выбирается та, за которую проголосовало максимальное количество прямых (рис. 5):
VP = arg max £v ( K, Pa, P 2 ).
(4)
Для определения горизонтальной точки схода также используются задетектированные ТС. Для определения линий, перпендикулярных направлению движения транспорта на трассе, можно использовать линии на самих автомобилях - линии бамперов, лобовых стекол, капота, багажника. Чтобы по уже найденным изображениям ТС найти соответствующие линии в вырезанных участках изображений (рис. 6), применяется преобразование Хафа для поиска прямых [22, 23].
Как видно из рисунка 6, в результате применения преобразования Хафа находятся линии, не только перпендикулярные направлению движения транспорта, но и параллельные ему (линии дверей, порогов и т.д.). Также при-
сутствуют линии, расположенные под случайным углом к направлению движения, - это выбросы. Их, как правило, немного, и они не оказывают влияния на работу алгоритма. Чтобы отфильтровать сонаправленные с движением линии, проходим по отрезкам, найденным при помощи преобразования Хафа, и проводим лучи из вертикальной точки схода к двум образующим отрезок точкам. Далее определяем угол альфа (рис. 7) между полученными лучами. Если этот угол меньше некоторого порогового значения, то считается, что прямая проходит по отрезку через вертикальную точку схода, следовательно, отрезок имеет направление, параллельное направлению движения транспорта, не пригоден для расчета горизонтальной точки схода и его можно отфильтровать.
Таким образом, происходит вычищение отрезков, полученных по автомобилям при помощи преобразования Хафа. Чтобы линии для поиска горизонтальной точки схода покрывали весь кадр, автомобили для их поиска берутся с начальной средней и конечной точками их траектории. После того как найдены отрезки, пригодные к расчету горизонтальной точки схода, для ее определения, как и в случае с вертикальной точкой, применяется модифицированный алгоритм RANSAC с системой голосования за точки пересечения прямых, как это показано в уравнении 4.
Построение зоны фиксации скорости и линий конусов
С помощью полученных горизонтальной и вертикальной точек схода можно построить
i=1
линии, на которых будет строиться разметка. Ограничим задачу определением скорости только на полосах, движение транспорта на которых направлено к камере. Для этого разделим треки на две группы: у которых точка появления расположена выше точки завершения и ниже точки завершения. В таком случае треки первой группы будут принадлежать ТС, двигающимся в направлении к камере, а треки второй группы - ТС, двигающимся в направлении от камеры. Для ограничения зоны фиксации ограничимся лишь автомобилями первой группы. Тогда для определения граничных линий зоны необходимо определить окаймляющие прямоугольники автомобилей из группы, такие, что линии, проходящие через вертикальную точку схода, и угловые точки окаймляющего прямоугольника будут иметь минимальные и максимальные координаты на горизонтальной оси при пересечении нижней границы кадра. Также крайняя левая линия будет служить линией, на которой будут располагаться виртуальные конусы. Первая линия фиксации располагается в нижней части кадра и проходит через горизонтальную точку схода и точку, лежащую на линии конусов на расстоянии 100 пикселов от нижнего края кадра. Далее от полученной линии следует отложить линии фиксации скорости, расстояние между которыми будет 3 метра на реальной плоскости дороги. Для калибровки расстояния между прямыми необходим измерительный шаблон. Таким шаблоном могут выступать сами автомобили. Зная, что среднестатистический седан имеет длину 4,5 метра, эту величину можно использовать для калибровки. Для минимизации ошибки, связанной с автомобилями нестандартной длины, будем рассчитывать длину по n-му количеству автомобилей и брать из них медианное значение:
L = median (IF - BI), (5)
где F - проекция передней границы ТС на ось конусов; B - проекция задней границы ТС на ось конусов.
После получения искомой длины в 4,5 метра откладываем данную величину на линии конусов. Далее необходимо отложить линии на расстоянии 3 метров. Но это невозможно сделать на стандартном виде изображения в силу перспективы. Чтобы корректно отложить оставшиеся линии фиксации, необходимо преобразовать изображения к виду сверху (рис. 8).
Для его получения рассчитывается матрица томографии H с использованием точек схода,
образующих плоскость дорожного полотна:
^ Т ^ ^
ll2 =[la , lb , h ] = VPUVP2 ,
h =
R =
1 0 0 0 1 0
A h h.
cos (0) - sin (0) 0" sin (0) cos (0) 0 0 0 1
(6)
(7)
(8)
Н = М. (9)
На таком изображении сохраняются пропорции в мировых координатах и экранных. Тогда, зная расстояние в пикселях, соответствующее 4,5 метра, отложим на линии конусов точку, соответствующую 3 метрам, решив несложную пропорцию. Подобным образом на прямой откладывается необходимое количество точек виртуальных конусов (рис. 9).
Рис. 8. Вид сверху на сцену Fig. 8. Top view of the scene
Рис. 9. Разметка линий фиксации на виде сверху
Fig. 9. Marking the fixation lines in the top view
После определения координат конусов на вывернутой картинке получаем их координаты на оригинальном изображении. Для вычисления используется матрица, которая является обратной к полученной на предыдущем этапе матрице гомографии. Далее через полученные виртуальные конусы и горизонтальную точку схода проводятся прямые, которые используются в качестве прямых фиксации скорости, и получается финальная разметка (рис. 10).
Метод автоматической разметки дорожной сцены на основе видеоряда, получаемого со стационарной камеры видеофиксации, применим для большинства типов подобных камер. Очевидным преимуществом данного подхода является полное отсутствие необходимости
использования человеческих ресурсов при разметке сцены. Эксперименты показали, что полученные в результате применения метода точки схода делают возможным построение параллельных линий на дорожном полотне, а в связке с построением вида сверху данный подход позволяет корректно откладывать равные расстояния между прямыми фиксации.
Рассмотренный подход также показал работоспособность на различного рода устройствах, таких как ПК и микрокомпьютер Nvidia Jetson Nano. Это говорит о том, что данный метод применим как для серверных исполнений с подключением к ним множества камер с различными сценами, так и в коробочных решениях, где камера и компьютер представляют собой единое устройство. Рассмотренная процедура разметки сцены занимает от 2 до 5 минут на ПК с процессором Intel Core Í5-11400 и 35-45 минут на микрокомпьютере Nvidia Jetson Nano. Расхождение во времени объясняется разным количеством объектов анализа на видео с разных камер, так как плотность транспортных потоков на обследуемых участках отличается.
Разработанная процедура автоматической разметки различных дорожных сцен реализована в виде самостоятельного программного модуля. Модуль разработан на языке программирования Python, а на его основе собран Docker-контейнер, позволяющий с минимальными затратами развернуть его на различных устройствах.
Рис. 10. Финальная разметка под скорость Fig. 10. Final marking for speed
Заключение
Литература
1. Стецюра Г.Г., Мосин О.В. Автономная коллективная корректировка движения автотранспорта на трассе // Проблемы управления. 2021. № 6. С. 40-51.
2. Темкин И.О., Дерябин С.А., Конов И.С., Клебанов Д.А. Метод определения состояния технологических дорог карьера при управлении взаимодействием роботизированных элементов горнотранспортного комплекса // Горный журнал. 2018. № 1. С. 78-82. DOI: 10.17580/gzh.2018.01.14.
3. Yurtsever E., Lambert J., Carballo A., Takeda K. A survey of autonomous driving: Common practices and emerging technologies. IEEE Access, 2020, no. 8, pp. 58443-58469. DOI: 10.1109/ACCESS.2020.2983149.
4. Badue C., Guidolini R., Carneiro R.V. et al. Self-driving cars: A survey. Expert Systems with Applications, 2019, vol. 165, art. 113816. DOI: 10.1016/j.eswa.2020.113816.
5. Yastrebova A., Hoyhtya M., Kirichek R., Serebryakova A. Airborne-terrestrial integrated architecture for self-driving vehicles realization. Proc. XI ICUMT, 2019, pp. 1-6. DOI: 10.1109/ICUMT48472.2019. 8970960.
6. Sizemov D.N., Temkin I.O., Deryabin S.A., Vladimirov D.Y. On some aspects of increasing the target productivity of unmanned mine dump trucs. Eurasian Mining, 2021, vol. 36, no. 2, pp. 68-73. DOI: 10.17580/ em.2021.02.15.
7. Bell D., Xiao W., James P. Accurate vehicle speed estimation from monocular camera footage. ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., 2020, vol. V-2-2020, pp. 419-426. DOI: 10.5194/isprs-annals-V-2-2020-419-2020.
8. Liu C., Huynh D.Q., Sun Y., Reynolds M., Atkinson S. A vision-based pipeline for vehicle counting, speed estimation, and classification. IEEE Transactions on Intelligent Transportation Systems, 2020, vol. 22, no. 12, pp. 7547-7560. DOI: 10.1109/TITS.2020.3004066.
9. Sochor J., Juranek R., Herout A. Traffic surveillance camera calibration by 3d model bounding box alignment for accurate vehicle speed measurement. Computer Vision and Image Understanding, 2017, vol. 161, pp. 87-98. DOI: 10.1016/j.cviu.2017.05.015.
10. Sina I., Wibisono A., Nurhadiyatna A., Hardjono B., Jatmiko W., Mursanto P. Vehicle counting and speed measurement using headlight detection. Proc. ICACSIS, 2013, pp. 149-154. DOI: 10.1109/ICACSIS. 2013.6761567.
11. Do V.-H., Nghiem L.-H., Thi N.P., Ngoc N.P. A simple camera calibration method for vehicle velocity estimation. Proc. XII Int. Conf. ECTI-CON, 2015, pp. 1-5. DOI: 10.1109/ECTICon.2015.7207027.
12. You X., Zheng Y. An accurate and practical calibration method for roadside camera using two vanishing points. Neurocomputing, 2016, vol. 204, pp. 222-230. DOI: 10.1016/j.neucom.2015.09.132.
13. Luvizon D.C., Nassu B.T., Minetto R. A video-based system for vehicle speed measurement in urban roadways. IEEE Transactions on Intelligent Transportation Systems, 2016, vol. 18, no. 6, pp. 1393-1404. DOI: 10.1109/TITS.2016.2606369.
14. Zheng Y., Peng S. A practical roadside camera calibration method based on least squares optimization. IEEE Transactions on Intelligent Transportation Systems, 2014, vol. 15, no. 2, pp. 831 -843. DOI: 10.1109/ TITS.2013.2288353.
15. Abbas A., Zisserman A. A geometric approach to obtain a bird's eye view from an image. Proc. IEEE/CVF ICCVW, 2019, pp. 4095-4104. DOI: 10.1109/ICCVW.2019.00504.
16. Palazzi A., Borghi G., Abati D., Calderara S., Cucchiara R. Learning to map vehicles into bird's eye view. Proc. ICIAP, 2017, pp. 233-243. DOI: 10.1007/978-3-319-68560-1_21.
17. Бочаров Д.А., Аксенов К.А., Шемякина Ю.А., Коноваленко И.А. Робастный критерий поиска точки схода проекций прямолинейных траекторий движения детектированных в видеопотоке транспортных средств // Сенсорные системы. 2019. Т. 33. № 1. С. 44-51. DOI: 10.1134/S0235009219010037.
18. Абрамов М.П., Шипитько О.С., Григорьев А.С., Ершов Е.И. Поиск точки схода для динамической калибровки внешних параметров монокулярной камеры при условии прямолинейного движения // Сенсорные системы. 2020. № 1. С. 32-43. DOI: 10.31857/S0235009220010023.
19. Jocher G., Stoken A., Borovec J. et al. Ultralytics/yolov5: v5.0 - YOLOv5-P6 1280 models, AWS, Supervise.ly and YouTube integrations. Zenodo, 2021. URL: https://zenodo.org/record/4679653#. Y5myLXZBzcs (дата обращения: 21.08.2022).
20. Ghahremani M., Williams K., Corke F., Tiddeman B., Liu Y., Wang X., Doonan J. Direct and accurate feature extraction from 3D point clouds of plants using RANSAC. Computers and Electronics in Agriculture, 2021, vol. 197, art. 106240. DOI: 10.1016/j.compag.2021.106240.
21. Yang K., Yu L., Xia M., Xu T., Li W. Nonlinear RANSAC with crossline correction: An algorithm for vision-based curved cable detection system. Optics and Lasers in Engineering, 2021, vol. 141, art. 106417. DOI: 10.1016/j .optlaseng.2020.106417.
22. Shehata A., Mohammad S., Abdallah M., Ragab M. A survey on hough transform, theory, techniques and applications. ArXiv, 2015, art. 1502.02160. URL: https://arxiv.org/abs/1502.02160 (дата обращения: 21.08.2022).
23. Фаворская М.Н. Преобразование Хафа для задач распознавания // Цифровая обработка сигналов. 2016. Т. 6. № 4. С. 826-830.
Software & Systems Received 28.11.22, Revised 09.12.22
DOI: 10.15827/0236-235X.141.165-174 2023, vol. 36, no. 1, pp. 165-174
The procedure of automatic radar-less speed measurement of mobile objects
using a stationary camera
V.A. Epifanov 1,2 Postgraduate Student, epifanov_vld@yandex.ru I.O. Temkin 1, Dr.Sc. (Engineering), Professor, igortemkin@yandex.ru I.V. Kalgov 2, Programmer, calgov@yandex.ru
1 University of Science and Technology MISIS, Moscow, 119049, Russian Federation
2 "Citylabs" LLC, Moscow, 121205, Russian Federation
Abstract. This paper considers the problem of automatic road scene marking to determine the speed of objects by the radar-less method based on data from only one stationary camera.
In addition to the limit in the number of used cameras (no more than one camera per scene), the solution is required to be able to automatically calculate the road markings on a microcomputer. To obtain correct mark-
ings, we apply calculating of vanishing points based on the analysis of information about moving road scene participants and calculating of the top view transformation matrix for a scene. Scene marking is defined as a set of virtual lines on a roadway, which allow determining the speed of a vehicle when it is crossing these lines consecutively. The combined use of vanishing points calculation and the construction of the bird's-eye view makes it possible to obtain the required result with minimum computational cost and with sufficient accuracy, despite the problems caused by the image perspective.
The paper shows how to apply the approach for automatic marking of road scenes to determine speed on different types of devices, such as x86 platforms and nvidia jetson microcomputers. A distinctive feature of the method is the full automation of the road marking, in which all the stages are implemented automatically without operator's help. In addition, the algorithm does not require any pre-calculations related to the characteristics of a camera for taking images.
The possibility of deploying the proposed solution on microcomputers allows scaling different systems of monitoring and analyzing road infrastructure. To add a new location to the system it is enough to install a single device, which includes both an input device (camera) and a calculator (microcomputer).
Keywords: automatic scene marking, autocalibration, vanishing point, transformation matrix, projective geometry, traffic flows, Hough transform, RANSAC.
References
1. Stetsyura G.G., Mosin O.V. Autonomous collective adjustment of vehicles motion on a highway. Information Technologies Controls, 2021, no. 6, pp. 40-51 (in Russ.).
2. Temkin I.O., Deryabin S.A., Konov I.S., Klebanov D.A. Haul road condition determination under controlled interaction of robotic elements in open pit mining and transport system. Mining J., 2018, no. 1, pp. 78-82. DOI: 10.17580/gzh.2018.01.14 (in Russ.).
3. Yurtsever E., Lambert J., Carballo A., Takeda K. A survey of autonomous driving: Common practices and emerging technologies. IEEE Access, 2020, no. 8, pp. 58443-58469. DOI: 10.1109/ACCESS.2020. 2983149.
4. Badue C., Guidolini R., Carneiro R.V. et al. Self-driving cars: A survey. Expert Systems with Applications,, 2019, vol. 165, art. 113816. DOI: 10.1016/j.eswa.2020.113816.
5. Yastrebova A., Hoyhtya M., Kirichek R., Serebryakova A. Airborne-terrestrial integrated architecture for self-driving vehicles realization. Proc. XIICUMT, 2019, pp. 1-6. DOI: 10.1109/ICUMT48472.2019. 8970960.
6. Sizemov D.N., Temkin I.O., Deryabin S.A., Vladimirov D.Y. On some aspects of increasing the target productivity of unmanned mine dump trucs. Eurasian Mining, 2021, vol. 36, no. 2, pp. 68-73. DOI: 10.17580/ em.2021.02.15.
7. Bell D., Xiao W., James P. Accurate vehicle speed estimation from monocular camera footage. ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., 2020, vol. V-2-2020, pp. 419-426. DOI: 10.5194/isprs-an-nals-V-2-2020-419-2020.
8. Liu C., Huynh D.Q., Sun Y., Reynolds M., Atkinson S. A vision-based pipeline for vehicle counting, speed estimation, and classification. IEEE Transactions on Intelligent Transportation Systems, 2020, vol. 22, no. 12, pp. 7547-7560. DOI: 10.1109/TITS.2020.3004066.
9. Sochor J., Juranek R., Herout A. Traffic surveillance camera calibration by 3d model bounding box alignment for accurate vehicle speed measurement. Computer Vision and Image Understanding, 2017, vol. 161, pp. 87-98. DOI: 10.1016/j.cviu.2017.05.015.
10. Sina I., Wibisono A., Nurhadiyatna A., Hardjono B., Jatmiko W., Mursanto P. Vehicle counting and speed measurement using headlight detection. Proc. ICACSIS, 2013, pp. 149-154. DOI: 10.1109/ICACSIS. 2013.6761567.
11. Do V.-H., Nghiem L.-H., Thi N.P., Ngoc N.P. A simple camera calibration method for vehicle velocity estimation. Proc. XIIInt. Conf. ECTI-CON, 2015, pp. 1-5. DOI: 10.1109/ECTICon.2015.7207027.
12. You X., Zheng Y. An accurate and practical calibration method for roadside camera using two vanishing points. Neurocomputing, 2016, vol. 204, pp. 222-230. DOI: 10.1016/j.neucom.2015.09.132.
13. Luvizon D.C., Nassu B.T., Minetto R. A video-based system for vehicle speed measurement in urban roadways. IEEE Transactions on Intelligent Transportation Systems, 2016, vol. 18, no. 6, pp. 1393-1404. DOI: 10.1109/TITS.2016.2606369.
14. Zheng Y., Peng S. A practical roadside camera calibration method based on least squares optimization. IEEE Transactions on Intelligent Transportation Systems, 2014, vol. 15, no. 2, pp. 831-843. DOI: 10.1109/ TITS.2013.2288353.
15. Abbas A., Zisserman A. A geometric approach to obtain a bird's eye view from an image. Proc. IEEE/CVFICCVW, 2019, pp. 4095-4104. DOI: 10.1109/ICCVW.2019.00504.
16. Palazzi A., Borghi G., Abati D., Calderara S., Cucchiara R. Learning to map vehicles into bird's eye view. Proc. ICIAP, 2017, pp. 233-243. DOI: 10.1007/978-3-319-68560-1_21.
17. Bocharov D.A., Aksenov K.A., Shemyakina Yu.A., Konovalenko I.A. Robust criterion for vanishing point estimation of linear trajectories of detected vehicles in a video stream. Sensory Systems, 2019, no. 1, pp. 44-51. DOI: 10.1134/S0235009219010037 (in Russ.).
18. Abramov M.P., Shipitko O.S., Grigorev A.S., Ershov E.I. Vanishing point detection for monocular camera extrinsic calibration under translation movement. Sensory Systems, 2020, no. 1, pp. 32-43. DOI: 10.31857/S0235009220010023 (in Russ.).
19. Jocher G., Stoken A., Borovec J. et al. Ultralytics/yolov5: v5.0 - YOLOv5-P6 1280 models, AWS, Supervise.ly and YouTube integrations. Zenodo, 2021. Available at: https://zenodo.org/record/4679653#. Y5myLXZBzcs (accessed August 21, 2022).
20. Ghahremani M., Williams K., Corke F., Tiddeman B., Liu Y., Wang X., Doonan J. Direct and accurate feature extraction from 3D point clouds of plants using RANSAC. Computers and Electronics in Agriculture, 2021, vol. 197, art. 106240. DOI: 10.1016/j.compag.2021.106240.
21. Yang K., Yu L., Xia M., Xu T., Li W. Nonlinear RANSAC with crossline correction: An algorithm for vision-based curved cable detection system. Optics and Lasers in Engineering, 2021, vol. 141, art. 106417. DOI: 10.1016/j .optlaseng.2020.106417.
22. Shehata A., Mohammad S., Abdallah M., Ragab M. A survey on hough transform, theory, techniques and applications. ArXiv, 2015, art. 1502.02160. Available at: https://arxiv.org/abs/1502.02160 (accessed August 21,2022).
23. Favorskaya M. Hough transform for recognition tasks. Digital Signal Processing, 2016, vol. 6, no. 4, pp. 826-830 (in Russ.).
Для цитирования
Епифанов В.А., Темкин И.О., Кальгов И.В. Процедура автоматического безрадарного определения скорости мобильных объектов с использованием стационарной камеры // Программные продукты и системы. 2023. Т. 36. № 1. С. 165-174. DOI: 10.15827/0236-235X.141.165-174.
For citation
Epifanov V.A., Temkin I.O., Kalgov I.V. The procedure of automatic radar-less speed measurement of mobile objects using a stationary camera. Software & Systems, 2023, vol. 36, no. 1, pp. 165-174 (in Russ.). DOI: 10.15827/0236-235X.141.165-174.
