CC BY
38
Подходы к обнаружению и оценке параметров движущихся объектов на видеопоследовательности применительно к транспортной аналитике
Б.А. Алпатов1, П.В. Бабаян1, М.Д. Ершов1 1 Рязанский государственный радиотехнический университет имени В. Ф. Уткина, 390005, Россия, г. Рязань, ул. Гагарина, д. 59
Аннотация
Рассмотрены различные подходы к обработке изображений и видео с целью решения задач обнаружения, слежения и оценки параметров движущихся объектов. Описаны разработанные алгоритмы решения обозначенных задач применительно к области транспортной аналитики. При разработке алгоритмов внимание было уделено решению задач на внутренней платформе камер видеонаблюдения, что накладывает ограничения на вычислительную сложность. Первый алгоритм (базовый) выполняет обнаружение и оценку параметров движущихся объектов и основан на обработке двух связанных зон изображения. Данный алгоритм включает вычислительно эффективную и адаптивную процедуру оценки и обновления фоновой составляющей изображения на основе физики процесса движения объекта интереса через зону обработки. Второй алгоритм выполняет слежение за объектом на основе метода оптического потока, инициализированного особыми точками. Третий алгоритм основан на прослеживании сегментов объекта, невысокая сложность алгоритма позволяет реализовать его на внутренней платформе интеллектуальных камер. Приведены результаты экспериментальных исследований предложенных алгоритмов, также проведено сравнение с некоторыми алгоритмами, представленными в литературе. Показано, что алгоритмы слежения позволяют повысить точность обнаружения и оценки параметров движущихся объектов, а также сократить вероятность ошибок классификации по сравнению с базовым подходом.
Ключевые слова: обнаружение объектов, слежение, оценка параметров, обработка изображений, анализ видеопотоков, транспортная аналитика.
Цитирование: Алпатов, Б.А. Подходы к обнаружению и оценке параметров движущихся объектов на видеопоследовательности применительно к транспортной аналитике / Б.А. Алпатов, П.В. Бабаян, М.Д. Ершов // Компьютерная оптика. - 2020. - Т. 44, № 5. - С. 746-756. - DOI: 10.18287/2412-6179-CO-701.
Citation: Alpatov BA, Babayan PV, Ershov MD. Approaches to moving object detection and parameter estimation in video sequence for transport analysis system. Computer Optics 2020; 44(5): 746-756. DOI: 10.18287/2412-6179-C0-701.
Введение
Задачи обнаружения и оценки параметров движущихся объектов являются актуальными в сфере транспортной аналитики, что связано с проблемой постоянно растущего числа автомобилей на дорогах, приводящей к значительному увеличению экономических и социальных издержек. Система видеоаналитики позволяет получать информацию, которая может включать количество объектов, движущихся по полосам; плотность потока автомобилей; параметры объектов: скорость, размеры, тип. Фактически без информации, получаемой от систем транспортной аналитики, невозможно обоснованное принятие решений в интеллектуальной транспортной системе (ИТС), разработка которых является актуальной задачей по всему миру [1]. При этом важную роль в таких системах играет техническое зрение и алгоритмы обработки данных [2].
На рынке представлены готовые к использованию технические средства, однако качество решения мно-
гих типовых задач, не говоря уже о перспективных, остается недостаточно высоким. Большое число ложных срабатываний и пропусков объектов интереса приводит к необходимости обеспечения существенной степени вовлеченности человека-оператора в процесс функционирования системы видеоаналитики. Более глубокий анализ позволяет заключить, что основные причины, приводящие к получению неудовлетворительных результатов работы систем транспортной аналитики, заключаются в следующем:
- многие алгоритмы анализа видеосюжетов недостаточно универсальны или же ориентированы на решение задач в узком диапазоне сцен и при особых условиях наблюдения [3, 4];
- после первоначальной настройки система не всегда способна корректно адаптироваться к изменению условий наблюдения;
- многие современные алгоритмы анализа видеосюжетов и изображений требуют чрезмерно большого объема вычислений, поэтому зачастую
им на практике предпочитают более простые и менее эффективные алгоритмы [5]. Построение системы транспортной аналитики предлагается осуществлять с использованием интеллектуальных камер, которые устанавливаются на необходимых участках дорог и связываются с центром управления движением (ЦУД). В таком случае работникам ЦУД ставятся следующие задачи: выполнить установку и первичную настройку камер, отслеживать ситуации внештатного отключения или поломки камер, обрабатывать получаемые статистические данные, принимать решения по управлению и организации дорожного движения, выполнять контроль работы ИТС.
Проблемы обработки всего объема видеоданных перекладываются на платформу интеллектуальных камер. Таким образом, при разработке упор делается на вычислительную эффективность алгоритмов, что не мешает их использованию в системах офлайн-обработки видеопоследовательностей, т. к. исследуется качество работы алгоритмов.
В качестве примера достаточно актуальных на сегодняшний день задач видеоаналитики можно рассмотреть обнаружение людей и транспортных средств и слежение за ними. Следует отметить, что в научной литературе рассматриваются способы построения принципиально новых алгоритмов анализа видео, выдвигаются интересные идеи, связанные со спецификой той или иной проблемы. Однако большинство работ рассматривают задачи обнаружения и слежения по отдельности и решают какую-то одну из них. В работе [6] решается задача подсчета количества людей в видеопоследовательности на основе детектора головы человека в толпе. В работе [7] предлагается использовать дополнительный датчик, генерирующий карту глубины сцены. Обнаружению транспортных средств посвящены такие работы, как [8, 9]. В то же время существует ряд работ, где слежение за абстрактными объектами рассмотрено в отрыве от задач обнаружения. К их числу относится подход, основанный на использовании венгерского алгоритма [10]. Имеются работы, в которых задачи обнаружения и слежения неразрывно связаны [11, 12]. Зачастую задача оценки параметров движущихся объектов не рассматривается, при этом и вопросы обеспечения приемлемой вычислительной сложности остаются без должного внимания [13 - 15].
1. Базовый алгоритм обнаружения и оценки параметров объектов
Решение задач обнаружения и оценки параметров объектов рассматривается для неподвижной камеры, установленной над дорогой. Разработанный алгоритм обнаружения и оценки параметров движущихся объектов (проезжающих автомобилей) предполагает задание контролируемой области на изображении (рис. 1).
На каждую полосу движения устанавливается своя контролируемая область. Каждая область делится на две зоны (зона въезда - 21 и зона выезда - 22).
Рис. 1. Пример установки контролируемой области
Подробно алгоритм был ранее представлен в работе [16]. Выделение транспортных средств (ТС) основано на методе вычитания из текущего изображения имеющейся оценки фона. При этом алгоритм должен обеспечивать приемлемую скорость обновления и адаптации оценки фона. Кратко рассмотрим основные идеи базового алгоритма.
Начальная оценка фона выполняется каждой зоной путем выделения точек движения на основе межкадровой разности. На данной стадии важно найти кадры, на которых отсутствует движение. Кроме того, работа зон синхронизируется с целью определения момента времени, когда автомобиль покинул зону въезда, а затем покинул зону выезда. Такая проверка необходима для исключения выбора опорного кадра во время остановки автомобиля.
Если в течение заданного малого промежутка времени в зоне нет движения, то выбирается опорный кадр для оценки фоновой составляющей. После нахождения опорного кадра на протяжении заданного интервала времени осуществляется проверка стабильности фона, для чего выполняется анализ разности опорного и текущего кадра.
Обновление оценки выполняется аналогично, но дополнительно учитывается получаемая при слежении информация об остановившемся ТС. Остановка ТС говорит об отсутствии необходимости вносить коррекцию в текущую оценку фона.
После первоначальной оценки фона контролируемая область переходит на этап основной работы, который также включает алгоритм выделения движущегося объекта на изображении, основанный на вычитании фона, пороговой обработке и последующем разбиении точек на 4 категории: объект, фон, тень, засветка. Точки последних двух категорий не рассматриваются. В итоге, исходя из числа точек объекта, фиксируются въезды/выезды ТС в / из зон.
Для избегания ложных обнаружений, во-первых, выполняется синхронизация работы двух зон, фактически проверяется, что основная часть точек, принадлежащих объекту, находилась в зоне выезда 22 позже, чем в зоне въезда 21. Соответствующие моменты времени фиксируются на этапе обновления фона. Во-вторых, подтверждением проезда ТС через контролируемую область может служить результат работы алгоритмов слежения, которые будут описаны ниже.
Количество ТС, проехавших через контролируемую область, увеличивается на основании решения алгоритма об обнаружении ТС. Скорость ТС vТС вычисляется следующим образом:
"Утс = dZ1-Z2!(22т — 1т ^ (1)
где dz\-z2 - расстояние в метрах между зонами въезда 21 и выезда 22; й22т - время въезда в зону 22 в секундах; ttzlin - время въезда в зону 21 в секундах.
Длина ТС 1тс вычисляется следующим образом:
¡ТС = VТС — ttZ 1т ^ (2)
где Ыпш - время выезда из зоны 21 в секундах.
Классификация ТС производится по длине:
— ТС до 5 м (легковые);
— ТС от 5 до 7,5 м (грузовые и пассажирские средних
габаритов);
— ТС длиннее 7,5 м (грузовые и пассажирские больших габаритов).
Точность оценки параметров и, соответственно, классификации ухудшается из-за задержек в получении изображений с камеры, ошибок сегментации. С целью повышения точности предлагается использовать алгоритмы слежения, т. к. будет оцениваться межкадровое смещение точек или сегментов объекта.
2. Алгоритм слежения на основе вычисления оптического потока
Слежение начинается с кадра, на котором базовый алгоритм зафиксировал въезд объекта в зону 21. Слежение выполняется в расширенной вдоль направления движения области, протяженность которой в 23 раза больше, чем у контролируемой области.
Первым этапом алгоритма является инициализация, заключающаяся в формировании списка особых точек объекта. Использование особых точек обусловлено существенным уменьшением вычислительных затрат при вычислении оптического потока по срав-
нению с использованием всех точек объекта. Для выделения особых точек можно воспользоваться одним из известных детекторов, при этом вычисление дескрипторов не требуется. При проведении исследований использовался детектор ORB [17].
Основной этап алгоритма слежения заключается в вычислении оптического потока для найденного набора точек объекта. На данном этапе применяется пирамидальный алгоритм Лукаса-Канаде [18]. В алгоритме выполняется последовательное уточнение оценок скорости оптического потока при переходе от самого высокого до самого низкого уровня представления изображения в многомасштабной пирамиде. Сначала рассматривают изображение с самым грубым разрешением. Максимальное движение на низком разрешении, как правило, происходит в пределах нескольких точек. При поиске на более детальном уровне учитывают полученную ранее оценку сдвига, корректируют положение окна и оценивают скорость оптического потока на более детальном изображении. Это позволяет постепенно получать более точную оценку сдвига изображения в пределах размеров окна. Процедуру выполняют до перехода к самому детальному представлению изображения. При невозможности получения решения системы уравнений увеличение детальности изображения может быть приостановлено. Данная ситуация происходит, если окрестность точки более не является уникальной либо становится заметным влияние шума.
Пирамидальный алгоритм Лукаса-Канаде позволяет получить хорошие оценки смещения точек при заметных межкадровых смещениях объекта. Однако необходима дополнительная процедура фильтрации точек, т.к. при изменении локальной освещенности и ракурса наблюдения объекта слежение может быть нестабильным, часть точек будет уходить с истинной траектории движения.
2.1. Фильтрация отслеживаемых точек
Фильтрация отслеживаемых точек производится после оценки их нового положения пирамидальным алгоритмом Лукаса-Канаде, при этом используется информация об изменении траекторных параметров точек и самого объекта.
Алгоритм фильтрации на текущем t-м кадре состоит из следующих этапов:
1) Проверка числа точек ntp, для которых алгоритм Лукаса-Канаде успешно выполнил оценку смещения. Если nkp = 0, то алгоритм слежения прекращает свою работу (объект потерян).
2) Иначе (nkp > 0) выполняется расчет для каждой точки следующих параметров:
2.1) Смещение в пространстве по двум координатам: Ax(t) = x(t)- x(t-1) и Ay(t) = y(t)-y(t-1).
2.2) Флаги 5x(t) и 5y(t) направления смещения точки. На примере координаты x:
8х (г) =
0, если |Дх(0| < Лйрл, -1, иначе, если Лх(/) < 0,
1, иначе,
(3)
где Дёрг - минимальное смещение отслеживаемой точки в пикселях для принятия решения о ее передвижении (иначе остановка).
2.3) Угол направления движения:
а« =
0, если 8х (г) = 0 и 8 у (г) = 0,
-Лу(0
агС£-
Лх(/)
иначе.
(4)
2.4) Расстояние ё (г) = ^Лх2 (г) + Лу2 (г).
2.5) Скорость в пикселях в секунду: у(г) = ё(г) / Д/г = ¿¿(г) - #(¿-1), где П - время получения соответствующего кадра.
2.6) Обновление счетчика кадров слежения Лгг и счетчика кадров после остановки ТС Л^. Увеличение суммы скоростей при слежении и суммы скоростей после остановки ТС & на у(г).
3) Подсчет числа точек, остановившихся (тх и ту) и переместившихся вперед (п/х и п/у) или назад (пЬх и пЬу) по каждой координате путем проверки значений флагов 5х(0 и 5у(г): 0 - остановка, 1 -движение вперед, -1 - движение назад.
4) Расчет порогового значения для определения состояния объекта:
Ъа = крг ' Пкр ,
(5)
где крг - коэффициент для определения минимального числа отслеживаемых точек для принятия решения о направлении движения и отсеивании точек, сместившихся в другом направлении.
5) Если шх > та и ту > та, то выполняется «Алгоритм фильтрации точек остановившегося объекта» (представлен ниже).
6) Иначе (объект продолжает движение) выполняется «Алгоритм фильтрации точек движущегося объекта» (представлен ниже).
7) На первом кадре работы алгоритма слежения выполняется расчет минимального числа отслеживаемых точек для принятия решения о продолжении слежения:
Ъкр = кШ ' пкр,
(6)
где кш - коэффициент для определения минимального числа отслеживаемых точек для принятия решения о продолжении слежения (иначе принимается решении о потере объекта); п'р -оставшееся число отслеживаемых точек после работы того или иного алгоритма фильтрации. Алгоритм фильтрации точек остановившегося объекта состоит из следующих этапов:
1) Если число кадров, на которых определено движение объекта, меньше 2, то алгоритм слежения прекращает свою работу (ложное обнаружение).
2) Иначе переменные Л^ и устанавливаются равными 0 для всех точек, и в дальнейшем слежение будет выполняться только за точками, которые удовлетворяют условию |Лх| < 2Лйр\ и |Лу| < 2Лёр| .
Алгоритм фильтрации точек движущегося объекта состоит из следующих этапов:
1) Отбрасывание «остановившихся» точек, для которых 5х(0 = 0 и 5у(?) = 0.
2) Если установлен флаг наличия оцененного угла аег направления движения объектов через область, то выполняется фильтрация точек по значению угла а(г) направления смещения точек. Остаются точки, удовлетворяющие условию а(?) < аег + Лаег и а(?) > аег - Лаег, где Да^ задает диапазон отклонения угла направления движения точек от эталонного направления.
3) Если флаг наличия оцененного угла ащ не установлен, то выполняется фильтрация точек по значениям 5х(г) и 5у(г):
3.1) Фильтрация по 5х(г). Определение приоритетного направления 5хЕг, принимающего одно из значений 0 - остановка, 1 -движение вперед, -1 - движение назад, исходя из ПхЕг = max{nsx, п/х, пЬх}. Если ПхЕг> Та, то условием сохранения точки является 5х(г) = ЪхЕг.
3.2) Фильтрация по 5у(г) производится таким же образом, как и для 5х(г), но с учетом значений ту, п/у, пЬу.
4) Отбрасывание точек, межкадровое перемещение ё(г) которых значительно отличается от перемещения большинства точек, путем решения задачи минимизации функции:
з = £| 4 (г) -Ц(ё )|,
(7)
где г - номер точки; пр - текущее число точек; г - номер кадра; ц(ё) - среднее перемещение точек в пикселях.
Критерием останова является условие пккр = 0 или о(ё) < ал, где о(ё) - СКО смещения точек в пикселях; ал - максимальное СКО смещения точек в пикселях для отсеивания отслеживаемых точек, смещение которых принимается аномальным.
Точки со сравнительно большим значением ё(г) отбрасываются, и пересчитываются ц(ё) и о(ё). 5) Если число кадров выполнения слежения больше 1, то:
5.1) Расчет угла направления движения объекта через область:
1=1
1 "tp с =—-X arctg
,y(0)-y(f)
Xi (t) - Xi (0)'
(8)
5.2) Если а'е, <а* +Ла„ и а'е, > а* -Да„, где а* - угол, соответствующий ожидаемому направлению движения объекта (ориентация области), и Да* задает диапазон отклонения угла направления движения объектов через область, оцениваемого в процессе работы, от угла ориентации области, то:
- если флаг наличия оцененного угла а^ не
установлен, то флаг устанавливается и
аег = аег,
- иначе ае, = ( + ае, )/2.
6) Если п'р > хкр (минимальное число отслеживаемых точек), то фиксируется движение объекта, и слежение будет продолжено на следующем кадре. Иначе алгоритм слежения прекращает свою работу (объект потерян).
2.2. Оценка параметров объекта
Процесс слежения может быть завершен или потерей объекта (досрочно), или в момент выезда объекта из зоны 21 контролируемой области. По окончании процесса слежения за объектом можно выполнить оценку его параметров:
1) Вычисление координат начального положения объекта (хцо, Уцо):
( Хц 0j Уц 0) =
( "kp "tp Л
X Xi (0) X У'- (0)
r'kp
(9)
2) Вычисление координат конечного положения объекта (хц, уц):
( Хц , уц )
( "tp "kp Л
X Xi (4 ) X У' (tк )
(10)
где (к - номер последнего кадра, на котором выполнялось слежение.
3) Вычисление координат (хоия,уои1 точки пересечения линии выезда из зоны 21 и прямой, проходящей через точки (хцо, уцо) и (хц, уц).
4) Оценка скорости объекта:
Vr
= ^tr (i)
rih 'X"
пкр ,=1 (/) 5) Оценка длины объекта:
Пкр
(11)
1 __
1тС = — (х,- (4 ) - хоия)2 + (У/ (4 ) - Уои»1)2. (12)
пкр ,=1
6) Если слежение было завершено потерей объекта, то выполняется уточнение длины объекта путем прогнозирования его положения.
6.1) Вычисление временной разницы между моментом выезда объекта из зоны 21 и моментом потери объекта ДМ = йоиа -
6.2) Если объект останавливался в процессе движения, т.е. > 0, то
V = 1 X Sst (i)
"tp i=1 N„, (/)'
6.3) Пересчет длины объекта:
1ТС = 1ТС + v ' - Att.
(13)
(14)
3. Алгоритм прослеживания сегментов объекта
Алгоритм прослеживания сегментов объекта является альтернативой алгоритму слежения на основе вычисления оптического потока, обладающей меньшей вычислительной сложностью. Данный алгоритм начинает работу также с кадра, на котором базовый алгоритм обнаружения объекта зафиксировал въезд в зону 21. Слежение за объектом выполняется в контролируемой области. Входными данными являются бинарные изображения Бг1 и Бг2 для зон 21 и 22 соответственно, полученные на этапе сегментации в базовом алгоритме. С целью повышения качества сегментации предлагается обрабатывать цветное изображение.
Алгоритм прослеживания сегментов объекта можно разделить на следующие этапы:
- инициализация алгоритма в момент фиксации въезда в зону 21 контролируемой области;
- слежение за сегментом объекта при передвижении через зону 21;
- слежение за сегментом объекта при передвижении через зоны 21 и 22;
- оценка параметров объекта по окончании слежения.
На рис. 2 представлен пример движения объекта (его сегментов) через контролируемую область.
! m
dont
Рис. 2. Движение объекта через контролируемую область
3.1. Повышение качества сегментации
На работу алгоритма влияет качество сегментации наблюдаемого изображения, заключающейся в пороговой обработке разностного изображения с разбиением точек на 4 категории: объект, фон, тень, засветка [16]. Важной частью сегментации является получение разницы между текущим кад-
иначе v ' = vTC.
ром и фоном. В простейшем случае обрабатывается изображение в оттенках серого, тогда значение Дц точки разностного изображения можно найти достаточно просто:
Лц =| У - У?|, (15)
где y1 и y2 - интенсивности отдельно взятой точки текущего кадра и фона соответственно.
При сегментации такого разностного изображения теряется важная информация о цвете. Проблему можно решить при захвате цветного изображения, например, в пространстве RGB. Вычисление квадрата разницы запишем в следующем виде.
Лц = (ri - r? / + (gi - g2 / + (¿1 - Ь? /, (16)
где r, g и Ь - интенсивности отдельно взятой точки для компонент R, G и B соответственно.
Захват цветного изображения на интеллектуальной камере производится в цветовом пространстве YUV, поэтому Дц вычисляется по формуле (16) с учетом преобразования из цветового пространства YUV в RGB. Запишем конечные выражения для получения разницы с использованием значений y, u и v компонент Y, U и V соответственно:
Л = 298 • (У1 - y2),
Л = л> + 409 • (v1 - V2),
Л? =^0 -100• (u1 -u2)-208• (v1 -v2), (17)
Лз =^0 + 516 • (U1 - U2),
лц = (л? + Л? + л? )/65536.
Результат сегментации исходного изображения (рис. 3 а) в оттенках серого (рис. 3б) ив цветном формате (рис. 3в) проиллюстрирован ниже.
Рис. 3. Результат сегментации изображения
3.2. Инициализация алгоритма слежения
Инициализация включает следующие этапы:
1) Постобработка результатов сегментации: ди-латация и эрозия бинарного изображения Bzl.
2) Разметка и параметризация бинарного изображения с целью определения числа точек каждого сегмента, а также координат углов описывающих сегменты прямоугольников.
3) Объединение всех сегментов, число точек которых больше заданного порога.
4) Если не найден ни один сегмент подходящего размера, то слежение не производится (ложное обнаружение) - конец алгоритма.
5) Оконтуривание сегмента объекта. Получение бинарного контурного изображения Cz\.
6) Вычисление расстояния din между объектом и линией въезда в Z1, т.е. минимального расстояния от точек CZ1, равных 1, до соответствующей прямой.
7) Вычисление расстояния dout между объектом и линией выезда из Z2, т.е. минимального расстояния от точек CZ1, равных 1, до соответствующей прямой.
8) Если di„ > £d или dout < lzp + £d, то слежение не производится (ложное обнаружение), иначе начинается основная работа алгоритма в состоянии «Слежение Z1». ed - величина погрешности в пикселях при сравнении двух расстояний до линии въезда или выезда из зон контролируемой области, lzp - длина зоны в пикселях.
3.3. Слежение за сегментом объекта в зонах
Основная работа алгоритма прослеживания сегментов состоит из следующих этапов:
1) Обработка бинарного изображения Bz1 путем выполнение этапов 1-7 алгоритма «Инициализация алгоритма слежения», описанного выше. В случае отсутствия сегментов слежение прекращается, иначе получаем значения di„ и dout.
2) Операции при состоянии «Слежение Z1» (движение через зону Z1) и при выполнении условия dout < lzp + £d:
2.1) Если алгоритм слежения работал менее 1 кадра, то слежение далее не производится (ложное обнаружение) - конец алгоритма.
2.2) Иначе обработка бинарного изображения BZ2 (зона Z2) путем выполнения этапов 1-5 алгоритма «Инициализация алгоритма слежения». Результат - бинарное контурное изображение Cz2.
2.3) Если не был выделен сегмент объекта на изображении BZ2, то сохраняется состояние «Слежение Z1» и переход на этап 4.
2.4) Иначе на основе CZ2 вычисляется расстояние di„2 между объектом и линией въезда в Z2.
2.5) Если di„2 > ed, то сохраняется состояние «Слежение Z1» и переход на этап 4.
2.6) Иначе на основе CZ2 вычисляется расстояние dout2 между объектом и линией выезда из Z2.
2.7) Если dout2 < £d, то сохраняется состояние «Слежение Z1» и переход на этап 4.
2.8) Иначе dout = dcmt2, сохраняется номер текущего кадра как tZ2i„; переход в состояние «Слежение Z1 - Z2».
3) Операции при состоянии «Слежение Z1 - Z2» (движение одновременно через зоны Z1 и Z2):
3.1) Обработка бинарного изображения Bz2 (зона Z2) путем выполнения этапов 1-5 алгоритма
«Инициализация алгоритма слежения». Результат - бинарное контурное изображение С2.
3.2) Если не было выделено сегмента объекта на изображении Bz2, то удаляются данные о траектории, начиная с кадра tz2in, переход в состояние «Слежение 21»; переход на этап 4.
3.3) Иначе на основе С2 вычисляется расстояние ёош между объектом и линией выезда из 22.
4) Расчет данных о траектории движения на текущем кадре t. 4.1) Расстояние до линии въезда в 21:
dm (t ) =
-1, если din < s d din, иначе.
(18)
4.2) Разница расстояний до линии въезда в Z1:
Г-1, если di„ (t) < Sd или d» (t -1) < Sd,
A» =1 л , N л , (19)
[d/n (t) - d/n (t -1), иначе.
4.3) Расстояние до линии выезда из Z2:
Г-1, если doUt < Sd или du (t -1) <sd,
dout (t ) = 1 , (20)
[dou,, иначе.
4.4) Разница расстояний до линии выезда из Z2:
A = Г-1, если dout (t) < Sd или dou, (t -1) < sd,
Aout = 1 , . . , . (21)
[dou, (t) - dou, (t -1), иначе.
4.5) Определение состояния объекта so: «Движ.» или «Стоп» по порогу Ads (минимальное смещение сегмента в пикселях для принятия решения о его передвижении):
- если Ain < 0 и Aout < 0, то so = «Движ.»;
- если Ain > Ads или Aout > Ads, то so = «Движ.»;
- в остальных случаях so = «Стоп».
4.6) Если din(t) > £d и dou(t) > £d, то рассчитанные параметры dn(t), doJf), Ain и Aout сохраняются.
5) Если din(t) > kZ1out• lzp, то слежение прекращается (окончание слежения при достаточном отдалении объекта от линии въезда), где kziout - коэффициент для определения минимального расстояния между объектом и линией въезда в Z1 для принятия решения о покидании объектом этой зоны.
3.4. Оценка параметров объекта
Слежение может быть завершено в момент выезда объекта из зоны Z1. Решение о возникновении данной ситуации принимается или самим алгоритмом слежения, или базовым алгоритмом.
По окончании слежения можно выполнить оценку параметров, вычислив сумму оценок скоростей Sv, число кадров с оценкой скорости Nv, сумму оценок длинны Si, число кадров с оценкой длины Ni 1) На кадрах, где A,n(t) > 0 и Aout(t) > 0: 1.1) Увеличение Nv на 1.
1.2) Увеличение Sv на оценку скорости v(t):
v(t ) = ( (t ) + A ou, (t ) )/(2 -Att ), Att = tt(t) - tt(t -1),
(22)
где tt - время получения соответствующего кадра.
2) На кадрах, где dn(t) > 0 и dou(t) > 0:
2.1) Увеличение Ni на 1.
2.2) Увеличение Sl на оценку длины l(t):
l(t) = 2 • lzp - dn (t) - dou, (t). (23)
3) Оценка скорости объекта: утс = Sv / Nv.
4) Оценка длины объекта: 1тс = Si / Ni.
4. Экспериментальные исследования
Экспериментальные исследования предложенных подходов к обнаружению и оценке параметров ТС проводились как с использованием записанных натурных видеосюжетов, так и на внутренней платформе интеллектуальных видеокамер при наблюдении за разными участками дорог в режиме реального времени. Исследования включали оценку и сравнение качества работы всех предлагаемых алгоритмов: базового алгоритма обнаружения объектов, с использованием слежения на основе оптического потока и с использованием слежения за сегментами. Исследования проводились на базе собственных видеосюжетов, а также на сюжетах из открытых баз GRAM [19] и CDNet 2014 [20].
При проведении исследований использовались сюжеты, записанные неподвижной камерой при наблюдении за дорожно-транспортной обстановкой, при этом число полос составляет от 2 до 5.
Для разработанных алгоритмов на каждую полосу устанавливалась контролируемая область. Проводилось сравнение с результатами известных алгоритмов, для которых области интереса не устанавливались, а выполнялась обработка всего участка изображения, охватывающего полосы движения.
Примеры сюжетов из собственной базы (рис. 4а), базы GRAM (рис. 46) и базы CDNet 2014 (рис. 4е) проиллюстрированы ниже.
Для каждого сюжета известно общее число ТС, а также число ТС разных типов. Алгоритмы в процессе работы выполняли подсчет проезжающих объектов. В результате обработки всего сюжета подсчитывались следующие значения: пво - число верно обнаруженных объектов; пЛО - число ложных обнаружений; пП -число необнаруженных объектов (пропусков).
Для сравнения с алгоритмами обнаружения объектов, представленными в литературе, по полученным для сюжета пВО, пЛО, пП вычислялись точность (precision, p), полнота (recall, r) и производный показатель: F-мера [21]. В табл. 1 представлены усредненные по разным базам результаты экспериментальных исследований.
Усредненные результаты оценки качества классификации объектов приведены в табл. 2. Рассматривались 3 класса автомобилей: легковые (до 5 м), сред-
ние грузовые и пассажирские (от 5 м до 7,5 м) и большие грузовые и пассажирские (больше 7,5 м).
Рис. 4. Примеры обрабатываемых сюжетов Табл. 1. Сравнение алгоритмов обнаружения и оценки параметров объектов
База Алгоритм Всего ТС ПВО ПЛО ПП Р r F
Базовый 3967 56 426 0,986 0,903 0,943
Собственная + прослеживание сегментов 4393 4218 27 175 0,994 0,960 0,977
+ оптический поток 4201 14 192 0,997 0,956 0,976
Базовый 474 3 6 0,994 0,988 0,991
GRAM + прослеживание сегментов 480 478 2 2 0,996 0,996 0,996
+ оптический поток 478 2 2 0,996 0,996 0,996
Базовый 78 2 4 0,975 0,951 0,963
CDNet 2014 + прослеживание сегментов 82 81 0 1 1 0,988 0,994
+ оптический поток 82 1 0 0,988 1 0,994
Базовый 4519 61 436 0,986 0,912 0,948
Всего + прослеживание сегментов 4955 4777 29 178 0,994 0,964 0,979
+ оптический поток 4761 17 194 0,996 0,961 0,978
Табл. 2. Сравнение качества классификации
База Алгоритм Число < 5 м Число 5-7,5 м Число > 7,5 м Обнаружено Число ошибок Доля ошибок
Собственная Базовый 3450 713 230 3967 667 16,8 %
+ прослеживание сегментов 4218 391 9,3 %
+ оптический поток 4201 529 12,6 %
GRAM Базовый 445 30 5 474 63 13,3 %
+ прослеживание сегментов 478 20 4,2 %
+ оптический поток 478 29 6,1 %
CDNet 2014 Базовый 79 3 0 78 4 5,1 %
+ прослеживание сегментов 81 10 12,3 %
+ оптический поток 82 4 4,9 %
Всего Базовый 3974 746 235 4519 734 16,2 %
+ прослеживание сегментов 4777 421 8,8 %
+ оптический поток 4761 562 11,8 %
Сравнение с результатами обнаружения и подсчета ТС, полученными известными алгоритмами, проводилось с использованием данных, приведенных в работе [21]. Участвуют следующие подходы:
1) Алгоритм обнаружения и слежения за объектами на основе адаптивной оценки фона с использованием смеси гауссиан [22].
2) Алгоритм обнаружения объектов на основе оценки фона методом GoDecomposition: рандомизированное разложение матриц [23].
3) Алгоритм обнаружения движущихся объектов методом Decolor (detecting contiguous outliers in the low-rank representation) [24].
4) Алгоритм обнаружения движущихся объектов методом Corola (contiguous outliers representation via online low-rank approximation) [25].
5) Алгоритм обнаружения объектов на основе оценки фона методом Incremental PCP (principal component pursuit) [26].
6) Алгоритм подсчета ТС на основе модифицированного метода PCP [27].
7) Алгоритм слежения и подсчета ТС на основе фильтра частиц [28].
8) Алгоритм обнаружения и слежения за объектами на основе разложения матриц и фильтра Калмана [21].
Сравнение разработанных алгоритмов с работами [21, 27, 28] произведено по доле верно обнаруженных объектов (Peo - отношение числа верно обнаруженных объектов к эталонному общему числу объектов) при обработке сюжетов M-30 и M-30-HD из базы GRAM, результаты представлены в табл. 3.
Табл. 3. Сравнение с представленными в литературе алгоритмами по доле верно обнаруженных объектов
Алгоритм Сюжет, Peo
M-30 M-30-HD
Базовый 0,986 0,987
+ прослеживание сегментов 0,996 0,995
+ оптический поток 0,996 0,995
[21] 0,922 0,881
[27] 0,974 0,929
[28] 0,896 0,786
В табл. 4 приведены показатели качества для предложенных алгоритмов и алгоритмов, представленных в работах [21-26]. Сравнение приводится по усредненным по всем сюжетам показателям точности (precision, p), полноты (recall, r) и F-меры.
При проведении испытаний на интеллектуальных камерах Axis с процессорами ARTPEC-5 было измерено среднее время обработки кадра с размером 640^360 пикселей и 4 полосами движения. Для базового алгоритма среднее время составило 12 мс. Среднее время для алгоритма с прослеживанием сегментов - 25 мс. Среднее время для алгоритма с применением оптического потока - 250 -1500 мс.
Табл. 4. Сравнение с представленными в литературе алгоритмами по точности, полноте и Е-мере
Алгоритм Р r F
Базовый 0,986 0,912 0,948
+ прослеживание сегментов 0,994 0,964 0,979
+ оптический поток 0,996 0,961 0,978
[21] 0,895 0,963 0,928
[22] 0,004 0,568 0,008
[23] 0,009 0,212 0,017
[24] 0,584 0,861 0,696
[25] 0,697 0,803 0,747
[26] 0,512 0,407 0,454
Заключение
Результаты экспериментальных исследований показали, что базовый подход к обнаружению и оценке параметров объектов позволяет обнаруживать 91 % транспортных средств, доля пропусков и ложных обнаружений составила 10 %, а доля ошибок классификации - 16 %.
При использовании слежения число верно обнаруженных объектов увеличилось примерно на 5 % при уменьшении числа ошибок на 6 %. Также сократилась вероятность ошибок классификации на 5 -7 %, что позволяет сделать вывод о повышении точности оценки таких параметров, как длина и скорость транспортного средства.
Алгоритм на основе слежения за сегментами позволяет добиться результатов, сравнимых со слежением на основе метода оптического потока, который более требователен к вычислительным ресурсам. При этом для использования оптического потока необходимо задать увеличенную область обработки, что накладывает дополнительные требования к установке камеры и контролируемых областей.
Сравнение разработанных алгоритмов с представленными в литературе показало эффективность предлагаемых подходов. Следует отметить, что задачей известных подходов является анализ сцены в целом, тогда как предложенные позволяют проводить анализ по каждой полосе движения, к тому же уделено большее внимание оценке параметров объектов.
Разработанные подходы к обнаружению, слежению и оценке параметров движущихся объектов позволяют решать поставленные задачи при наблюдении за многополосным участком дороги и могут быть применены в системе транспортной аналитики.
Благодарности
Исследования выполнены при финансовой поддержке стипендии Президента Российской Федерации молодым ученым и аспирантам (СП-2578.2018.5).
Литература
1. The future of road transport: implications of automated,
connected, low-carbon and shared mobility / Joint Research
Centre. - Luxembourg: Publications Office of the EU, 2019.
- 148 p. - ISBN: 978-92-76-14319-2.
2. Husain, A.A. Vehicle detection in intelligent transport system under a hazy environment: a survey / A.A. Husain, T. Maity, R.K. Yadav // IET Image Processing. - 2020. -Vol. 14, Issue 1. - 10 p. - DOI: 10.1049/iet-ipr.2018.5351.
3. Deshpande, S.D. Max-mean and max-median filters for detection of small-targets / S.D. Deshpande, M.H. Er, V. Ronda, P. Chan // Proceedings of SPIE. - 1999. -Vol. 3809. - P. 74-83. DOI: 10.1117/12.364049.
4. Ваниев, А.А. Метод выделения быстродвижущихся объектов при использовании цифрового оптического локатора следящего типа / А.А. Ваниев, Г.М. Емельянов // Компьютерная оптика. - 2013. - № 37(4). - С. 477-483.
5. Копенков, В.Н. Оценка параметров транспортного потока на основе анализа данных видеорегистрации /
B.Н. Копенков, В.В. Мясников // Компьютерная оптика.
- 2014. - № 38(1). - С. 81-86.
6. Subburaman, V.B. Counting people in the crowd using a generic head detector / V.B. Subburaman, A. Descamps,
C. Carincotte // 2012 IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance. - 2012.
- P. 470-475. - DOI: 10.1109/AVSS.2012.87.
7. Kirchner, N. A robust people detection, tracking, and counting system / N. Kirchner, A. Alempijevic, A. Virgona, X. Dai, P.G. Ploger, R.V. Venkat // Proceedings of Australasian Conference on Robotics and Automation. - 2014. - 8 p.
8. Han, S. Vehicle detection method using Haar-like feature on real time system / S. Han, Y. Han, H. Hahn // International Journal of Electrical and Computer Engineering. -2009. - Vol. 3, Issue 11. - P. 1957-1961.
9. Wang, H. A hybrid method of vehicle detection based on computer vision for intelligent transportation system / H. Wang, H. Zhang // International Journal of Multimedia and Ubiquitous Engineering. - 2014. - Vol. 9, Issue 6. -P. 105-118. - DOI: 10.14257/ijmue.2014.9.6.11.
10. Nandashri, D. An efficient tracking of multi object visual motion using Hungarian method / D. Nandashri, P. Smitha // International Journal of Engineering Research & Technology. - 2015. - Vol. 4. - P. 1307-1310. - DOI: 10.17577/ijertv4is041410.
11. Andriluka, M. People-tracking-by-detection and people-detection-by-tracking / M. Andriluka, S. Roth, B. Schiele // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2008. - 8 p. - DOI: 10.1109/CVPR.2008.4587583.
12. Dehghan, A. Automatic detection and tracking of pedestrians in videos with various crowd densities / A. Dehghan, H. Idrees, A.R. Zamir, M. Shah. - In: Pedestrian and evacuation dynamics / ed. by U. Weidmann, U. Kirsch, M. Schreckenberg. - Cham: Springer, 2012. - P. 3-19. -DOI: 10.1007/978-3-319-02447-9_1.
13. Алпатов, Б.А. Выделение движущихся объектов в условиях геометрических искажений изображения / Б.А. Алпатов, П.В. Бабаян // Цифровая обработка сигналов. - 2004. - № 4. - С. 9-14.
14. Трифонов, А.П. Обнаружение движущегося с произвольной скоростью объекта при неизвестных интенсив-ностях изображения и фона / А.П. Трифонов, Р.В. Куцов // Автометрия. - 2006. - № 4. - С. 3-16.
15. Bouwmans, T. Traditional and recent approaches in background modeling for foreground detection: an overview / T. Bouwmans // Computer Science Review. - 2014. - Vol. 1112. - P. 31-66. - DOI: 10.1016/j.cosrev.2014.04.001.
16. Alpatov, B.A. Vehicle detection and counting system for real-time traffic surveillance / B.A. Alpatov, P.V. Babayan, M.D. Ershov // 2018 7th Mediterranean Conference on Embedded Computing (MECO). - 2018. - P. 120-123. - DOI: 10.1109/MECO.2018.8406017.
17. Rublee, E. ORB: An efficient alternative to SIFT or SURF /
E. Rublee, V. Rabaud, K. Konolige, G.R. Bradski // International Conference on Computer Vision. - 2011. - P. 25642571. - DOI: 10.1109/ICCV.2011.6126544.
18. Babayan, P.V. Real-time pyramidal Lukas-Kanade tracker performance estimation / P.V. Babayan, S.A. Buiko, L.A. Vdovkin, M.D. Ershov, V.S. Muraviev, A.V. Sirenko, S.A. Smirnov // Proceedings of SPIE. - 2019. - Vol. 10996.
- 10996OL. - DOI: 10.1117/12.2519274.
19. Guerrero-Gomez-Olmedo, R. Vehicle tracking by simultaneous detection and viewpoint estimation / R. Guerrero-Gomez-Olmedo, R.J. Lopez-Sastre, S. Maldonado-Bascon, A. Fernandez-Caballero. - In: Natural and artificial computation in engineering and medical applications (IWINAC 2013) / ed. by V.J.M. Ferrández, J.R. Alvarez Sánchez,
F. de la Paz López, F.J. Toledo Moreo. - 2013. - Vol. 7931.
- P. 306-316. - DOI: 10.1007/978-3-642-38622-0_32.
20. Wang, Y. CDnet 2014: an expanded change detection benchmark dataset / Y. Wang, P.-M. Jodoin, F. Porikli, J. Konrad, Y. Benezeth, P. Ishwar // 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. -2014. - P. 393-400. - DOI: 10.1109/CVPRW.2014.126.
21. Yang, H. Real-time vehicle detection and counting in complex traffic scenes using background subtraction model with low-rank decomposition / H. Yang, S. Qu // IET Intelligent Transport Systems. - 2018. - Vol. 12, Issue 1. - P. 75-85. -DOI: 10.1049/iet-its.2017.0047.
22. Stauffer, C. Adaptive background mixture models for realtime tracking / C. Stauffer, W. Grimson // Proceedings of the 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 1999. - Vol. 2. - P. 246252. - DOI: 10.1109/CVPR.1999.784637.
23. Zhou, T. GoDec: Randomized low-rank and sparse matrix decomposition in noisy case / T. Zhou, D. Tao // Proceedings of the 28th International Conference on Machine Learning. - 2011. - P. 33-40.
24. Zhou, X. Moving object detection by detecting contiguous outliers in the low-rank representation / X. Zhou, C. Yang, W. Yu // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2013. - Vol. 35, Issue 3. - P. 597-610.
- DOI: 10.1109/TPAMI.2012.132.
25. Shakeri, M. COROLA: A sequential solution to moving object detection using low-rank approximation / M. Shakeri, H. Zhang // Computer Vision and Image Understanding. - 2016. -Vol. 146. - P. 27-39. - DOI: 10.1016/j.cviu.2016.02.009.
26. Rodriguez, P. Incremental principal component pursuit for video background modeling / P. Rodriguez, B. Wohlberg // Journal of Mathematical Imaging and Vision. - 2016. -Vol. 55. - 18 p. - DOI: 10.1007/s10851-015-0610-z.
27. Quesada, J. Automatic vehicle counting method based on principal component pursuit background modeling / J. Quesada, P. Rodriguez // 2016 IEEE International Conference on Image Processing (ICIP). - 2016. - P. 38223826. - DOI: 10.1109/ICIP.2016.7533075.
28. Bouvie, C. Tracking and counting vehicles in traffic video sequences using particle filtering / C. Bouvie, J. Scharcanski, P. Barcellos // 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). - 2013. -P. 812-815. - DOI: 10.1109/I2MTC.2013.6555527.
Сведения об авторах
Алпатов Борис Алексеевич, 1950 года рождения, д.т.н., профессор, почетный работник науки и техники РФ, работает профессором на кафедре автоматики и информационных технологий в управлении в Рязанском государственном радиотехническом университете имени В.Ф. Уткина. Область научных интересов: информационно-управляющие системы, обработка изображений, анализ видеоданных. E-mail: [email protected] .
Бабаян Павел Вартанович, 1979 года рождения, к.т.н., доцент, работает заведующим кафедрой автоматики и информационных технологий в управлении в Рязанском государственном радиотехническом университете имени В.Ф. Уткина. Область научных интересов: обработка и анализ изображений, компьютерная оптика, робототехника. E-mail: pvbradio@yandex. ru .
Ершов Максим Дмитриевич, 1990 года рождения, работает ассистентом на кафедре автоматики и информационных технологий в управлении в Рязанском государственном радиотехническом университете имени В. Ф. Уткина. Область научных интересов: программирование, обработка и анализ изображений, системы технического зрения. E-mail: ershov.m. d@rsreu. ru .
ГРНТИ: 28.23.15
Поступила в редакцию 13 февраля 2020 г. Окончательный вариант - 25 апреля 2020 г.
Approaches to moving object detection and parameter estimation in a video sequence for the transport analysis system
B.A. Alpatov1, P. V. Babayan1, M.D. Ershov1 'Ryazan State Radio Engineering University named after V.F. Utkin, 390005, Ryazan, Russia, Gagarina 59
Abstract
The paper discusses different approaches to image and video processing aiming to solve the problems of detecting, tracking and estimating the parameters of moving objects. The developed algorithms for solving these problems are described in relation to the field of transport analytics. When developing the algorithms, attention was given to solving the problems on an embedded platform of video surveillance cameras, which imposes restrictions on the computational complexity. The first (basic) algorithm for moving object detection and parameter estimation is based on processing two associated areas of an image. This algorithm includes a computationally efficient adaptive procedure for evaluating and updating the background component of an image. The procedure is based on the physics of the process of movement of the object of interest through a processing zone. The second algorithm performs object tracking based on an optical flow method initialized by feature points. The third algorithm is based on object segment tracking and is computationally efficient for the implementation on an embedded platform of intelligent cameras. Results of experimental studies of the proposed algorithms are presented, as well as a comparison with some well-known algorithms. It is shown that tracking algorithms can improve the accuracy of moving object parameter estimation. Tracking also reduces the number of classification errors compared to the basic approach to object detection and parameter estimation.
Keywords: object detection, tracking, parameter estimation, image processing, video sequence analysis, transport analytics.
Citation: Alpatov BA, Babayan PV, Ershov MD. Approaches to moving object detection and parameter estimation in video sequence for transport analysis system. Computer Optics 2020; 44(5): 746-756. DOI: I0.18287/2412-6179-C0-701.
Acknowledgements: This work was supported by a scholarship of the President of the Russian Federation for young scientists and postgraduate students (SP-2578.2018.5).
References
[1] The future of road transport: implications of automated, connected, low-carbon and shared mobility. Joint Research Centre. Luxembourg: Publications Office of the EU; 2019. ISBN: 978-92-76-14319-2.
[2] Husain AA, Maity T, Yadav RK. Vehicle detection in intelligent transport system under a hazy environment: a survey. IET Image Processing 2020; 14(1): 1-10. DOI: 10.1049/iet-ipr.2018.5351.
[3] Deshpande SD, Er MH, Ronda V, Chan P. Max-mean and max-median filters for detection of small-targets. Proc SPIE 1999; 3809: 74-83. DOI: 10.1117/12.364049.
[4] Vaniev AA, Emelyanov GM. Method of detection of fast-moving objects when using the digital optical locator of tracking type [In Russian]. Computer Optics 2013; 37(4): 477-483.
[5] Kopenkov VN, Myasnikov VV. The estimation of the traffic flow parameters based on the videoregistration data analysis [In Russian]. Computer Optics 2014; 38(1): 81-86.
[6] Subburaman VB, Descamps A, Carincotte C. Counting people in the crowd using a generic head detector. 2012 IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance 2012; 470-475. DOI: 10.1109/AVSS.2012.87.
[7] Kirchner N, Alempijevic A, Virgona A, Dai X, Ploger PG, Venkat RV. A robust people detection, tracking, and counting system. Proc Australasian Conference on Robotics and Automation 2014; 8 p.
[8] Han S, Han Y, Hahn H. Vehicle detection method using Haar-like feature on real time system. Int J Electr Comput Eng 2009; 3(11): 1957-1961.
[9] Wang H, Zhang H. A hybrid method of vehicle detection based on computer vision for intelligent transportation system. Int J Multimedia Ubiquitous Eng 2014; 9(6): 105-118. DOI: 10.14257/ijmue.2014.9.6.11.
[10] Nandashri D, Smitha P. An efficient tracking of multi object visual motion using Hungarian method. Int J Eng Res Technol 2015; 4: 1307-1310. DOI: 10.17577/ijertv4is041410.
[11] Andriluka M, Roth S, Schiele B. People-tracking-by-detection and people-detection-by-tracking. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit 2008. DOI: 10.1109/CVPR.2008.4587583.
[12] Dehghan A., Idrees H., Zamir A.R., Shah M. Automatic detection and tracking of pedestrians in videos with various crowd densities. In Book: Weidmann U, Kirsch U, Schreckenberg M, eds. Pedestrian and evacuation dynamics. Cham: Springer; 2012: 3-19. DOI: 10.1007/978-3-319-02447-9_1.
[13] Alpatov BA, Babayan PV. Moving object extraction in image with geometric distortion [In Russian]. Digit Signal Process 2004; 4: 9-14.
[14] Trifonov AP, Kutsov RV. Detecting an object moving at an arbitrary velocity with unknown image and background intensities [In Russian]. Avtometriya 2006; 4: 3-16.
[15] Bouwmans T. Traditional and recent approaches in background modeling for foreground detection: an overview.
Comput Sci Rev 2014; 11-12: 31-66. DOI: 10.1016Ij.cosrev.2014.04.001.
[16] Alpatov BA, Babayan PV, Ershov MD. Vehicle detection and counting system for real-time traffic surveillance. 201S 7th Mediterranean Conference on Embedded Computing (MECO) 201S; 120-123. DOI: 10.1109IMECO.201S.S406017.
[17] Rublee E, Rabaud V, Konolige K, Bradski GR. ORB: An efficient alternative to SIFT or SURF. Int Conf Comput Vis 2011; 2564-2571. DOI: 10.1109IICCV.2011.6126544.
[1S] Babayan PV, Buiko SA, Vdovkin LA, Ershov MD, Mura-viev VS, Sirenko AV, Smirnov SA. Real-time pyramidal Lukas-Kanade tracker performance estimation. Proc SPIE 2019; 10996: 10996OL. DOI: 10.1117I12.2519274.
[19] Guerrero-Gomez-Olmedo R, Lopez-Sastre RJ, Maldonado-Bascon S, Fernandez-Caballero A. Vehicle tracking by simultaneous detection and viewpoint estimation. In Book: Ferrández Vicente JM, Álvarez Sánchez JR, de la Paz López F, Toledo Moreo FJ, eds. Natural and artificial computation in engineering and medical applications. IWINAC 2013. Berlin, Heidelberg: Springer; 2013: 306316. DOI: 10.1007I97S-3-642-3S622-0_32.
[20] Wang Y, Jodoin P-M, Porikli F, Konrad J, Benezeth Y, Ishwar P. CDnet 2014: an expanded change detection benchmark dataset. 2014 IEEE Conf Comput Vis Pattern Recogn Workshop 2014; 393-400. DOI: 10.1109ICVPRW.2014.126.
[21] Yang H, Qu S. Real-time vehicle detection and counting in complex traffic scenes using background subtraction model
with low-rank decomposition. IET Intell Transp Syst 2018; 12(1): 75-85. DOI: 10.1049/iet-its.2017.0047.
[22] Stauffer C, Grimson W. Adaptive background mixture models for real-time tracking. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit 1999; 2: 246-252. DOI: 10.1109/CVPR.1999.784637.
[23] Zhou T, Tao D. GoDec: Randomized low-rank and sparse matrix decomposition in noisy case. Proc 28th Int Conf Machine Learn 2011; 33-40.
[24] Zhou X, Yang C, Yu W. Moving object detection by detecting contiguous outliers in the low-rank representation. IEEE Trans Pattern Anal Mach Intell 2013; 35(3): 597610. DOI: 10.1109/TPAMI.2012.132.
[25] Shakeri M, Zhang H. COROLA: A sequential solution to moving object detection using low-rank approximation. Comput Vis Image Underst 2016; 146: 27-39. DOI: 10.1016/j.cviu.2016.02.009.
[26] Rodriguez P, Wohlberg B. Incremental principal component pursuit for video background modeling. J Math Imaging Vis 2016; 55: 1-18. DOI: 10.1007/s10851-015-0610-z.
[27] Quesada J, Rodriguez P. Automatic vehicle counting method based on principal component pursuit background modeling. 2016 IEEE Int Conf Image Proces (ICIP) 2016; 3822-3826. DOI: 10.1109/ICIP.2016.7533075.
Bouvie C, Scharcanski J, Barcellos P. Tracking and counting vehicles in traffic video sequences using particle filtering. 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC) 2013; 812-815. DOI: 10.1109/I2MTC.2013.6555527.
Authors' information
Boris Alekseevich Alpatov (b. 1950), Grand PhD in Engineering Sciences, Professor, Honorary Worker of Science and Technology of the Russian Federation. Currently he works as the professor of Automation and Information Technologies in Control department of Ryazan State Radio Engineering University named after V.F. Utkin (RSREU). His research interests are information and control systems, image processing, video analysis. E-mail: [email protected] .
Pavel Vartanovich Babayan (b. 1979), PhD in Engineering Sciences, Associate professor. Currently he works as the head of Automation and Information Technologies in Control department of RSREU. His research interests are image processing and analysis, computer optics, robotics. E-mail: [email protected] .
Maksim Dmitrievich Ershov (b. 1990). Currently he works as the assistant lecturer of Automation and Information Technologies in Control department of RSREU. His research interests are programming, image processing and analysis, technical vision systems. E-mail: [email protected] .
Received February 13, 2020. The final version - April 25, 2020. The mailing address: Ryazan State Radio Engineering University named after V.F. Utkin, AITU, Gagarina 59, Ryazan,
390005, Russia.
