Научная статья на тему 'РАЗРАБОТКА И ОПТИМИЗАЦИЯ АЛГОРИТМА СЛЕЖЕНИЯ ЗА ТРАНСПОРТНЫМ СРЕДСТВОМ В ВИДЕОПОТОКЕ НА ОСНОВЕ ПИРАМИДАЛЬНОГО МЕТОДА ЛУКАСА - КАНАДЕ'

РАЗРАБОТКА И ОПТИМИЗАЦИЯ АЛГОРИТМА СЛЕЖЕНИЯ ЗА ТРАНСПОРТНЫМ СРЕДСТВОМ В ВИДЕОПОТОКЕ НА ОСНОВЕ ПИРАМИДАЛЬНОГО МЕТОДА ЛУКАСА - КАНАДЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
227
45
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ТРАНСПОРТНАЯ АНАЛИТИКА / ОБНАРУЖЕНИЕ ОБЪЕКТА / СЛЕЖЕНИЕ / ОЦЕНКА ПАРАМЕТРОВ / ОПТИЧЕСКИЙ ПОТОК / ОПТИМИЗАЦИЯ ВЫЧИСЛЕНИЙ / TRANSPORT ANALYTICS / OBJECT DETECTION / TRACKING / PARAMETER ESTIMATION / OPTICAL FLOW / COMPUTATION OPTIMIZATION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Смирнов С.А., Бабаян П.В., Ершов М.Д., Муравьев В.С.

В статье рассматривается задача анализа транспортных потоков при наблюдении неподвижным видеодатчиком за участком дороги. Представлен алгоритм слежения за движущимися по полосам транспортными средствами. Алгоритм включает этап выделения особых точек части объекта, находящихся в ограниченной области изображения. Извлечение области производится на основе результатов предварительной сегментации и информации о геометрии сцены. Второй этап алгоритма использует пирамидальный метод Лукаса - Канаде с целью слежения за транспортным средством. Рассмотрены положительные особенности данного метода вычисления оптического потока, предложены подходы к оптимизации вычислительных затрат с учетом информации о направлении и скорости движения объекта. Разработанный алгоритм слежения апробирован в ходе экспериментальных исследований на натурных видеосюжетах, на которых наблюдается движение транспортных средств по нескольким полосам. Результаты экспериментальных исследований показали эффективность предложенного алгоритма в сравнении с базовым алгоритмом обнаружения движущегося объекта без дальнейшего прослеживания. В результате уменьшилось число ложных обнаружений и пропусков автомобилей, доля ошибок классификации объектов, что говорит о повышении точности оценки длины и скорости транспортных средств.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Смирнов С.А., Бабаян П.В., Ершов М.Д., Муравьев В.С.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DEVELOPMENT AND OPTIMIZATION OF ALGORITHM FOR VEHICLE TRACKING ON VIDEO USING LUCAS-KANADE METHOD WITH PYRAMIDS

The paper considers the task of traffic flow analysis when a stationary video sensor observes a road section. An algorithm for tracking vehicles moving along road lanes is presented. This algorithm includes the stage of extracting feature points of the object part located in a bounded area of the image. Object area extraction is based on preliminary segmentation results and information about scene geometry. The second stage of the algorithm uses the Lucas-Kanade method with pyramids to track the vehicle. The positive features of this method for optical flow calculation are considered. Approaches to optimizing computational costs in optical flow calculations are proposed. Information about movement direction and speed of the vehicle is used for this purpose. The developed tracking algorithm has been tested during experimental studies. The studies were carried out using real videos оn which vehicle movement on several road lanes is observed. The results of experimental studies have shown the high performance of the proposed algorithm in comparison with the basic algorithm for moving object detection without further tracking. As a result, the number of false detections and omissions of vehicles decreased. The percentage of classification errors also decreased which indicates an increase in the accuracy of estimating the length and speed of detected vehicles.

Текст научной работы на тему «РАЗРАБОТКА И ОПТИМИЗАЦИЯ АЛГОРИТМА СЛЕЖЕНИЯ ЗА ТРАНСПОРТНЫМ СРЕДСТВОМ В ВИДЕОПОТОКЕ НА ОСНОВЕ ПИРАМИДАЛЬНОГО МЕТОДА ЛУКАСА - КАНАДЕ»

УДК 004.93

DOI 10.34822/1999-7604-2020-2-58-67

РАЗРАБОТКА И ОПТИМИЗАЦИЯ АЛГОРИТМА СЛЕЖЕНИЯ ЗА ТРАНСПОРТНЫМ СРЕДСТВОМ В ВИДЕОПОТОКЕ НА ОСНОВЕ ПИРАМИДАЛЬНОГО МЕТОДА ЛУКАСА - КАНАДЕ

С. А. Смирнов П. В. Бабаян, М. Д. Ершов, В. С. Муравьев

Рязанский государственный радиотехнический университет им. В. Ф. Уткина, Рязань, Россия

в E-mail: smirnov.s.a@rsreu.ru

В статье рассматривается задача анализа транспортных потоков при наблюдении неподвижным видеодатчиком за участком дороги. Представлен алгоритм слежения за движущимися по полосам транспортными средствами. Алгоритм включает этап выделения особых точек части объекта, находящихся в ограниченной области изображения. Извлечение области производится на основе результатов предварительной сегментации и информации о геометрии сцены. Второй этап алгоритма использует пирамидальный метод Лукаса - Канаде с целью слежения за транспортным средством. Рассмотрены положительные особенности данного метода вычисления оптического потока, предложены подходы к оптимизации вычислительных затрат с учетом информации о направлении и скорости движения объекта. Разработанный алгоритм слежения апробирован в ходе экспериментальных исследований на натурных видеосюжетах, на которых наблюдается движение транспортных средств по нескольким полосам. Результаты экспериментальных исследований показали эффективность предложенного алгоритма в сравнении с базовым алгоритмом обнаружения движущегося объекта без дальнейшего прослеживания. В результате уменьшилось число ложных обнаружений и пропусков автомобилей, доля ошибок классификации объектов, что говорит о повышении точности оценки длины и скорости транспортных средств.

Ключевые слова: транспортная аналитика, обнаружение объекта, слежение, оценка параметров, оптический поток, оптимизация вычислений.

DEVELOPMENT AND OPTIMIZATION OF ALGORITHM FOR VEHICLE TRACKING ОN VIDEO USING LUCAS-KANADE METHOD WITH PYRAMIDS

S. A. Smirnov P. V. Babayan, M. D. Ershov, V. S. Muraviev

Ryazan State Radio Engineering University, Ryazan, Russia B E-mail: smirnov.s.a@rsreu.ru

The paper considers the task of traffic flow analysis when a stationary video sensor observes a road section. An algorithm for tracking vehicles moving along road lanes is presented. This algorithm includes the stage of extracting feature points of the object part located in a bounded area of the image. Object area extraction is based on preliminary segmentation results and information about scene geometry. The second stage of the algorithm uses the Lucas-Kanade method with pyramids to track the vehicle. The positive features of this method for optical flow calculation are considered. Approaches to optimizing computational costs in optical flow calculations are proposed. Information about movement direction and speed of the vehicle is used for this purpose. The developed tracking algorithm has been tested during experimental studies. The studies were carried out using real videos оп which vehicle movement on several road lanes is observed. The results of experimental studies have shown the high performance of the proposed algorithm in comparison with the basic algorithm for moving object detection without further tracking. As a result, the number of false detections and omissions of vehicles decreased. The percentage of classification errors also decreased which indicates an increase in the accuracy of estimating the length and speed of detected vehicles.

Keywords: transport analytics, object detection, tracking, parameter estimation, optical flow, computation optimization.

Введение

В связи с ростом количества проблемных участков дорог и перекрестков необходимы огромные ресурсы для наблюдения за обстановкой и организацией дорожного движения. Требуется автоматизация процессов управления транспортными потоками, т. е. создание и использование адаптивных систем управления. Разрабатываются специальные технические средства, которые осуществляют контроль над актуальным состоянием движения автотранспортных средств. Оцененные параметры объектов и транспортных потоков являются исходными данными для адаптивных систем управления работой светофоров, а также для транспортного моделирования.

В настоящее время существуют актуальные проблемы, решаемые системами видеоаналитики. В рамках данной работы поставлены такие перспективные задачи, как обнаружение и прослеживание в заданной части пространства объектов интереса, а также подсчет в реальном времени плотности автомобильного потока на автотрассах, улицах города или перекрестках с целью рационального управления транспортной инфраструктурой.

Решение обозначенных проблем в условиях растущей нагрузки на обширную транспортную инфраструктуру требует больших трудозатрат, и значительную роль могут сыграть системы транспортной аналитики, которые способны частично или полностью взять на себя задачу анализа дорожно-транспортной обстановки. Системы транспортной аналитики являются одной из наиболее важных составляющих любой интеллектуальной транспортной системы (ИТС). Развитие ИТС является одним из приоритетных направлений эволюции транспортных систем в мире [1], в частности в России, что декларирует решение ЕАЭС от 26 декабря 2016 г. № 19 [2].

Базовый алгоритм обнаружения и оценки параметров объектов

Чтобы оценить параметры транспортного потока необходимо выполнять обнаружение транспортных средств, оценку их скорости и размеров, классификацию. Решение названных задач изначально выполняется алгоритмом, описанным в работе [3] (далее - базовый алгоритм). Данный алгоритм основан на предварительной разметке областей интереса на изображении: каждой полосе движения соответствует своя область. Каждая область делится на зоны въезда и выезда, что позволяет задавать направление движения и выполнять грубую оценку скорости и длины проехавшего автомобиля.

Одна часть алгоритма выполняет оценку фона и при дальнейшей работе обеспечивает адаптацию полученной оценки к изменениям условий наблюдения. Вторая часть алгоритма при наличии достаточно адекватной оценки фона выделяет отличающиеся от него элементы, соответствующие движущимся объектам. Для этого применяется алгоритм сегментации разностного изображения, образованного путем вычитания оценки фона из текущего изображения с последующим разбиением точек на четыре категории: объект, фон, тень, засветка. Точки тени или засветки отбрасываются для исключения ложных обнаружений.

Базовый алгоритм имеет высокие показатели качества при решении задач обнаружения и подсчета транспортных средств, однако точность оценки скорости, размеров и классификации недостаточно высока при его использовании. Качество оценки параметров ухудшается из-за задержек в получении кадров видео с камеры, а также при неравномерном движении объекта через зоны въезда и выезда. Это связано с тем, что при расчете параметров возможен учет положения объекта только в моменты въезда и выезда из зон. С целью повышения качества оценки параметров предлагается использовать результаты алгоритма слежения на основе пирамидального метода Лукаса - Канаде. Также предложены подходы к оптимизации вычислительных затрат алгоритма.

Алгоритм слежения

Слежение за объектом начинается с кадра видеопоследовательности, на котором базовый алгоритм обнаружил транспортное средство. Слежение выполняется в области изображения, заданной в виде координат точек многоугольника. Ограниченность области обработки позволяет осуществлять слежение в условиях присутствия множества похожих объектов на изображении. Пример заданной области слежения приведен на рисунке 1.

Рис. 1. Пример задания области слежения

Примечание: фото авторов.

Для решения задачи адаптивного прослеживания объектов в последовательности изображений предлагается применить следующие подходы:

- использование детектора особых точек в области изображения, принадлежащей объекту и локализованной на основе результатов сегментации;

- использование пирамидального метода Лукаса - Канаде для вычисления оптического потока при слежении за точками объекта;

- использование информации о движении для сокращения вычислительных затрат при расчете оптического потока.

Извлечение области с объектом

При использовании детектора особых точек на изображении либо его области найденные точки могут принадлежать объекту или фону. С целью ограничения участка обнаружения создана отдельная процедура извлечения области с объектом для дальнейшего выделения особых точек. Данная процедура использует бинарную маску, полученную алгоритмом сегментации при выделении движущегося объекта на изображении.

На выходе алгоритма выделения движущегося объекта получаем бинарное изображение В (двумерный массив точек), на котором точки со значением, отличным от нуля, соответствуют объекту. Алгоритм извлечения области с объектом следующий:

1. Применение морфологической операции открытия:

5'=5о50=(5е50)ш50, (1)

где ~ структурный элемент размера м>то х м>то (несколько пикселей); в и © - морфологические операции эрозии и дилатации.

2. Разметка и параметризация изображения В с целью определения координат левого верхнего (хл, ув), правого нижнего (хп, ун) углов и центра (хц, уц) прямоугольника, описывающего объект или видимую часть объекта.

3. Вычисление эталонной длины ^ участка автомобиля, который будет использоваться при выделении особых точек:

= ¿0 ■ Ьр/Ьт , (2)

где 4 - требуемая длина в метрах, устанавливается равной 1,5 м; 4р - известная длина зоны обработки в пикселях; ¡гт - известная длина зоны обработки в метрах.

4. Вычисление длины участка объекта, представленного в бинарном изображении, путем поиска максимального расстояния между точками пересечения сторон прямоугольника (хл, ув) - (хп, ун) с прямой, проходящей через центр (хц, уц) под углом направления движения ан (рис. 2).

5. Определение добавочных коэффициентов для сокращения или увеличения области поиска: А/ в направлении движения и Аь в сторону, обратную направлению движения (рис. 3). Изначально А/ = Дь =0. Если \йе1 — > 1, то:

1) если > , коэффициенты вычисляются для сокращения зоны поиска относительно исходной (хл, ув) - (хп, ун);

2) иначе коэффициенты вычисляются для увеличения зоны поиска относительно исходной (хл, ув) - (хп, ун).

6. Если хотя бы один из коэффициентов А/ или Дь отличен от нуля, то координаты области объекта (хл, ув) - (хп, ун) пересчитываются: область сокращается либо увеличивается относительно направления движения. Пример увеличения области по направлению движения (А/ > 0) с одновременным уменьшением со стороны, обратной направлению движения (Аь < 0), показан на рисунке 3. Точки (хл, ув)' и (хп, ун)' соответствуют углам исходного прямоугольника.

Рис. 2. Пример вычисления длины объекта Рис. 3. Изменение координат области с объектом

(части объекта) (частью объекта)

Примечание: составлено авторами. Примечание: составлено авторами.

Полученный прямоугольник (хл, ув) - (хп, ун) используется в дальнейшем в качестве области для выделения особых точек объекта.

Использование особых точек для слежения за объектом

С точки зрения вычислительной сложности применение метода оптического потока для всех точек изображения избыточно. Если объект содержит большое число точек, то для существенного уменьшения вычислительных затрат целесообразно описать его набором особых точек и отслеживать изменение только их координат.

Точки могут быть выбраны на самом объекте либо его контуре, однако они должны находиться на краях или иметь отличительную окрестность. Точки, лежащие на границе, могут перемещаться вдоль этой границы в процессе слежения ввиду равенства нулю одной из локальных производных, что снижает точность оценивания смещения. Для поиска особых точек разработаны и широко применяются на практике универсальные методы: ORB, FAST, SIFT, SURF и другие [4]. Отметим, что понятие «особой точки» достаточно общее и определение может варьироваться в зависимости от применяемого подхода. Основными требованиями являются наличие уникальной окрестности и стабильность поиска точек в последовательности кадров. При выборе алгоритма поиска особых точек также следует учитывать вычислительную трудоемкость подхода.

Для слежения за особыми точками объекта в работе предлагается использовать метод Лукаса - Канаде [5]. Выбор данного метода позволяет унифицировать и выбор особых точек.

Пирамидальная реализация метода Лукаса - Канаде

Метод Лукаса - Канаде построен на решении системы линейных алгебраических уравнений оптического потока в предположении, что все точки в локальной окрестности особой точки смещаются в одинаковом направлении. Данное допущение применимо, если скорость формирования кадров достаточно высока, а траектория движения объектов гладкая. Строится окно размерностью W xW, для центра которого оценивается скорость перемещения. Выражение для оценки скорости V = [vx vy]T оптического потока в центре окна можно записать в общей форме [5]:

-W/Л т

где /л., I v, I, - частные производные изображения 1 = 1(рс,у, /) (под изображением будем понимать двумерный массив интенсивности (яркости) точек) по координатам x, y и времени t для заданной точки; £{...} - оценка математического ожидания в окрестности точки.

Для сокращения вычислений ограничивают набор точек, для которых оценивается смещение. В качестве особых точек, как правило, рассматриваются точки, имеющие большие значения собственных чисел ^, Х2 системной матрицы в (3) [6], т. е. для точки должно выполняться условие min ^ )>т, где т> 0 - некоторый порог.

Известны и глобальные методы оценки скорости оптического потока, однако смещение итеративно рассчитывается для всех точек в зоне поиска, что вычислительно неэффективно и избыточно при слежении только за выбранными точками.

Одним из существенных недостатков метода Лукаса - Канаде является чувствительность к уровню шума на изображении. Положим, что изображение содержит некоторый однородный объект, движущийся с известной постоянной скоростью V = [vx vy ] . Пусть на изображение также накладывается аддитивный изотропный шум с нулевым средним £(x, y, t). Тогда модель изображения может быть описана выражением:

I% (x, y, t) = I(x - Vx • t, y - vy ■ t, t) + x, y, t). (4)

Далее предположим, что частные производные функции шума не являются коррелированными друг с другом или частными производными изображения I. Вычислим частные

" Vx " ~ Wl ) E{iJy) -l

E{iJy} E{i2y } _

производные и представим результат в матричной форме VI^ = V/ + Ус,, I, = -V ГУ + где

V = [5 / дх, 5 / ду]г - градиент.

С учетом некоррелированности шума оценка смещения после подстановки рассчитанных производных в (3) дает следующий результат:

V =

Е^^ I} + Е{^сУт & Е^^ /}У.

-1

(5)

Из-за наложенных ранее условий шумовая матрица является диагональной в любой системе координат. Путем преобразования исходной системы координат в систему координат с главными осями матричное уравнение (5) можно привести к виду:

V =

~Е{Рх,} + о2

О

Е{Р,} + а2

-1

Щ2Х'}

О

Е{11}

(6)

где а2 - дисперсия шума.

Если дисперсия шума не равна нулю, то обратная матрица существует всегда, тогда (6) можно переписать:

V =

~Е{Рх,}/Е{Рх,} + а2 0

О

Е{Е}/Е{Рл+о2

V

(7)

Последнее выражение показывает, что оценка смещения объекта занижается. Если дисперсия шума равна приблизительно квадрату модуля градиента, то оценочные значения равны только половине истинных значений. Таким образом, алгоритм Лукаса - Канаде не является устойчивым к шуму. Однако если дисперсия шума является небольшой, то оценка скорости оптического потока будет корректной. Отметим, что оценка будет тем лучше, чем больше на изображении будет резких перепадов яркости.

Следствием использования локального подхода также являются трудности в оценке смещения внутри достаточно больших (больше размера локальной окрестности) участков кадра. Невозможно одинаково точно оценить сдвиги как крупноразмерных, так и малоразмерных объектов. Алгоритм может допускать большие ошибки при значительном смещении наблюдаемого изображения. Для устранения проблемы масштабирования размеров предложена пирамидальная реализация алгоритма Лукаса - Канаде [7-8].

При обработке кадра в алгоритме строится гауссовская пирамида изображений. Пирамидой для изображения I размерностью ^ х ^ точек является упорядоченное множе-

точек,

ство, Ь-й элемент которого представляет собой матрицу размером 2м Ь х 2м Ь Ь е [0,М], М = Ы1.

При пирамидальном представлении формируется последовательность изображений, причем изображение на более высоком уровне получается из предыдущего путем фильтрации и прореживания в два раза по строке и столбцу. Будем считать, что исходному изображению соответствует нулевой уровень. Для согласования координат при переходе к более

высоким уровням пирамиды используются соотношения ¡ь = ¡о ■ 2-Ь, = jo ■ 2-Ь.

Применение сглаживания изображения при формировании уровней пирамиды позволяет заметно повысить помехоустойчивость алгоритма. Отношение сигнал/шум будет выше на высоких уровнях пирамиды, что позволяет снизить влияние шума на точность оценки смещения протяженных объектов.

0

Пирамидальный алгоритм Лукаса - Канаде включает в себя следующие этапы: 1. Построение гауссовой пирамиды изображений:

{I* (х, у, г)} {I1 (х, У, г-1)}

V 'Ье [0М ] '

Ье[0,М]'

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

(8)

где I (х, у, г) - Ь-й уровень пирамиды разложения изображения.

— Ь _ь _Ь Т т

2. Инициализация смешения на начальном шаге V = [ух Уу ] = [0 0].

3. Цикл по уровням пирамиды с Ь = М до 0 с шагом -1:

1) на уровне Ь пирамиды изображений вычислить конечные разности по пространственным координатам Л^, ;

2) вычислить разницу по времени Л^ = IЬ (х, у, г)-!Ь (х + у^Ь, у + у^ , г-1);

3) пересчитать координаты точек окна при переходе на уровень Ь;

— т

4) найти добавочный вектор смещения V = [ух у у ] для каждой точки по алгоритму Лукаса - Канаде путем решения матричного уравнения:

Я

-1

£ А/Ь АIЬ

(х, у )еГ

£ А/LУАIЬ

( х, у ^

(9)

К

£ [ыЬ (х, у) )2 £ А^ (х, у)ЫЬ (х, у)

(х,у)еГ (х,у)еГ

£ А^ (х, у)ЫЬ (х, у) £ (а^ (х, у))2

(х, у )еГ (х,у)еГ

(10)

где Ж - окрестность рассматриваемой точки;

Я - матрица градиентов по пространственным координатам.

5) вычислить новый вектор смещения VЬ-1 = 2 [ VЬ + V) на следующую итерацию для каждой точки;

6) при достижении уровня пирамиды Ь = 0 результирующий вектор смещения для точки равен V0 + V.

4. Расчет положения точек в текущем кадре на основе прошлых координат и оцененного вектора смещения.

Сокращение вычислительных затрат при вычислении оптического потока

Для уменьшения вычислительных затрат на этапе слежения на основе вычисления оптического потока предлагается использовать информацию о движении: скорость и ускорение. В процессе слежения на каждом кадре предлагается оценивать данные параметры объекта, тогда на новом кадре целесообразно перед использованием метода Лукаса - Канаде вычислить предполагаемые положения всех отслеживаемых точек. Данный подход значительно повышает скорость сходимости метода Лукаса - Канаде и при движении объекта без резких изменений скорости не приводит к снижению точности и ошибкам.

Прогнозирование положения каждой точки по координатам х и у выполняется согласно следующим выражениям:

где I - номер кадра; Т - число кадров; дополнительные слагаемые М и х, отражающие скорость и ускорение по каждой координате, обновляются согласно следующим правилам:

где X - скорость обновления параметров - принимает значение 0,6-0,7; V и а - скорость и ускорение - вычисляются следующим образом (на примере координаты х):

Дополнительно предусмотрено сокращение размеров окна оценки смещения точек, исходя из информации о направлении движения. Рассмотрим пример на рисунках 4 и 5.

Пусть слежение выполняется за 4 точками, сгруппированными в некоторой области изображения. Точки показаны черными кругами на рисунке 4. Прямоугольник Жт ■ Нт описывает допустимую зону трекинга - повернутый на угол а относительно горизонтальной оси прямоугольник 2, где а - угол направления движения. При оценке смещения допускается погрешность в полученном угле направления движения - р.

Общая зона поиска смещения точек ■ Н1к показана прямоугольником со штриховыми границами. Данная зона получена путем объединения квадратных областей с пунктирными границами всех точек (размер зоны оценки смещения одинаков для всех точек). Оригинальный подход полагает обработку двух участков изображения размера Жт ■ Нт, т. е. участков изображений, соответствующих двум соседним кадрам. Максимальное смещение задается размером м>1к ■ м>1к квадратной окрестности вокруг точки. В решаемой задаче известен эталонный угол направления движения и задана погрешность в оценке угла, в итоге полученное направление смещения точки ограничено диапазоном [а-Р, а+Р]. Очевидно, что алгоритм вычисления оптического потока обрабатывает лишние участки изображения, что может приводить как к увеличению вычислительных затрат, так и к неверной оценке смещения. Предлагается на вход алгоритма подавать не области Жт ■ Нт, а сокращенные с учетом

допустимого направления движения области Ж1к ■ Нш (пунктирный прямоугольник на рис. 5).

хг+1 ~ хг + М х,г + х х, г/2,

У/+1 = У + М у г + х Уг12 г е [1, ■т ]

(11)

Мг+1 = ХМг + (1 — х) ■ V,

Х/+1 = ХХг + (1 —Х)■ а, г е [1,Т]

(12)

(13)

аг+1 =4+1 = +1 — V/,г е[1, т ].

Рис. 4. Оценка смещения для 4 точек объекта

Примечание: составлено авторами.

Рис. 5. Сокращение области оценки смещения

Примечание: составлено авторами.

Пусть отслеживаемые точки на предыдущем кадре имели координаты (х0, уо)г- Тогда на текущем кадре координаты левого верхнего угла (хл, ув) и правого нижнего (хп, ун) угла

области • Иш, ограничивающей возможное смещение, рассчитаем следующим образом:

(Х1' У1 ) = (Х0 + • С08(а + Р)' У0 + • 81п(а + Р)) '

(Х2. У2 ) = (X0 + wlk • cos(a " ß) У0 + wlk • sin(a " ß))

(14)

0 ^ wlk хл = min(xo, Xhi, x2,i} -s, Ув = ^^ yi,i, У2,/} -s,

хп = max{xo, xi,i, x2,i} + s Ун = ^^ yi,i, У2,/} + s,

где i - номер точки, i e [1, N]; N - число точек; wk - размер квадратной окрестности оценки смещения для каждой точки; s - добавочный коэффициент, равный 2-3 пикселям.

Экспериментальные исследования и выводы

Для проведения экспериментальных исследований была создана база натурных видеосюжетов, полученных при наблюдении за разными участками автомобильных дорог. Для каждого видеосюжета из базы путем визуального анализа были получены эталонные данные, включающие количество и типы транспортных средств, проехавших по каждой полосе движения. Данная информация в итоге сравнивалась с результатами работы алгоритмов, на основе чего делались выводы об эффективности их работы.

При оценке качества учитывалось количество верно и ложно обнаруженных транспортных средств, а также пропусков объектов. При классификации рассматривались 3 класса автомобилей: легковые (меньше 5 м в длину), средние грузовые и пассажирские (от 5 м до 7,5 м) и большие грузовые и пассажирские (больше 7,5 м).

Представленная ниже таблица содержит обобщенные результаты экспериментальных исследований базового алгоритма обнаружения и оценки параметров объектов [3] в сравнении с результатами, полученными при использовании алгоритма слежения.

В таблице используются следующие обозначения:

- Peo - доля верно обнаруженных объектов;

- Pi - доля ошибок первого рода (отношение числа ложных обнаружений к эталонному числу объектов);

- Pп - доля ошибок второго рода (отношение числа пропусков объектов к эталонному числу объектов);

- Poк - доля ошибок классификации.

Таблица

Результаты работы алгоритмов обнаружения и оценки параметров объектов

Алгоритм Хар актеристики

Peo, % PI, % Pii, % PoK, %

Базовый 91,2 1,23 8,79 16,24

С использованием слежения 96,09 0,34 3,92 11,8

Примечание: составлено авторами.

Таким образом, представленный ранее базовый алгоритм обнаружения и оценки параметров объектов позволяет обнаруживать движущиеся транспортные средства при наблюдении за многополосным участком дороги. С целью повышения качества работы было предложено проводить прослеживание обнаруженных объектов, что позволило оценить межкадровое смещение точек объекта.

Результаты исследований показали, что данный подход действительно на 4,44 % снизил вероятность ошибочной классификации, проводимой по длине объекта. Следовательно, можно сделать вывод о повышении точности оценки таких связанных с точки зрения алгоритма параметров, как длина и скорость автомобиля.

Кроме того, при использовании алгоритма слежения доля верно обнаруженных объектов (отношение числа верно обнаруженных объектов к числу всех движущихся объектов) повысилась примерно на 5 % при уменьшении числа ошибок первого и второго рода: суммарная доля ошибок (отношение суммы ложных обнаружений и пропусков к числу всех движущихся объектов) снизилась на 5,76 %.

Исследование выполнено при финансовой поддержке гранта Президента Российской ФедерацииМК-2737.2019.9 (соглашение 075-15-2019-350).

Литература

1. Alonso Raposo M., Ciuffo B., Alves Dias P. et al. The future of road transport. Luxembourg : Publications Office of the European Union, 2019. 148 p. DOI; 10.2760/668964.

2. Об Основных направлениях и этапах реализации скоординированной (согласованной) транспортной политики государств-членов ЕАЭС : решение ЕАЭС от 26.12.2016 № 19. URL: https://www.garant.ru/products/ipo/prime/doc/71552308 (дата обращения: 29.01.2020).

3. Alpatov B. A., Babayan P. V., Ershov M. D. Vehicle Detection and Counting System for Real-Time Traffic Surveillance // Proceedings of 7th Mediterranean conference on embedded computing (MECO). 2018. P. 120-123.

4. Hassaballah M., Abdelmgeid A. A., Alshazly H. A. Image features detection, description and matching. Springer, 2016. P. 11-45.

5. Яне Б. Цифровая обработка изображений. M. : Техносфера, 2007. 584 с.

6. Shi J., Tomasi C. Good Features to Track // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 1994. 8 p.

7. Bouguet J.-Y. Pyramidal implementation of the Lucas Kanade feature tracker. Intel Corporation, Microprocessor Research Labs, 2000. 9 p.

8. Babayan P. V., Buiko S. A., Vdovkin L. A., Ershov M. D., Muraviev V. S., Sirenko A. V., Smirnov S. A. Real-Time Pyramidal Lukas-Kanade Tracker Performance Estimation // Proceedings of SPIE Real-Time Image Processing and Deep Learning. 2019. Vol. 10996. 6 p.

i Надоели баннеры? Вы всегда можете отключить рекламу.