CC BY
31УДК.004.021
Вычисление оптического потока для выделения транспортных средств на видеоизображении
П. А. Девайкин 1, А.В. Шикуть 1
1 МГТУ им. Н.Э. Баумана, Москва, 105005, Россия
Рассмотрены алгоритмы вычисления оптического потока по серии изображений, а также проанализировано их применение для выделения транспортных средств и определения направления их перемещения на видеоизображении. Показаны результаты работы алгоритма при различных параметрах входных данных: разной скорости движения транспорта, плотности потока и частичном перекрытии изображений объектов. В качестве результатов приведены выводы о возможности использования алгоритмов для решения поставленной задачи, кроме того, даны рекомендации по применению метода, позволяющего точно выделять передвигающиеся объекты.
Email: p.devaikin@gmail.com, avshik@bmstu.ru
Ключевые слова: распознавание, компьютерное зрение, оптический
поток, отслеживание движения.
В настоящее время проблема автоматической регистрации проезжающего транспорта остается актуальной. Качественное распознавание государственных регистрационных знаков (ГРЗ) в существующих системах реализуется только при точной калибровке камеры, заданной области поиска знака и определенных условиях видимости.
В большинстве случаев поиск ГРЗ проводится либо по всему кадру, либо по ограниченной области, в которой зафиксировано движение. При таком подходе высока вероятность «ложного срабатывания» системы — попытки распознать ГРЗ при неправильно определенном положении. Также точность распознавания остается низкой ввиду того, что не учитывается пространственное положение знака (угол наклона знака может варьироваться в пределах 15°).
Кроме того, с помощью существующих систем регистрации автотранспорта учитывают только объекты с ГРЗ, полностью находящемся в кадре. Если при плотном движении знак был перекрыт другим транспортным средством, объект игнорируется. Тем не менее необходимо регистрировать каждое транспортное средство, даже если его номер не виден на кадре.
Решить перечисленные проблемы можно при отслеживании траектории перемещения объектов на основе анализа пространственно-временных характеристик видеоизображения. Данный подход позволяет определить положение автотранспорта, разделить частично перекрывающиеся объекты, вычислить направление передвижения транспортного средства для дальнейшего выравнивания изображения ГРЗ посредством аффинных преобразований.
Построение оптического потока. Для определения перемещения объектов на видео необходимо сравнить последовательность нескольких кадров. В большинстве случаев можно ограничиться двумя изображениями.
Наиболее простой способ определения перемещения — вычитание кадров [1]. Значение яркости каждого пиксела первого кадра вычитается из соответствующего значения следующего кадра. При дальнейшей пороговой обработке и удалении шума, например, с помощью фильтра Гаусса можно изменить области изображения. Однако результат, полученный данным способом, не несет информации о направлении перемещения объекта.
Второй способ заключается в построении оптического потока — матрицы векторов, соответствующих перемещению точек объекта на двух изображениях. Алгоритмы построения оптического потока подразделяют на два типа:
- вектор перемещения вычисляют для каждой точки изображения;
- вектор перемещения строят только для некоторых опорных точек.
Примером алгоритма первого типа является алгоритм Хорна — Шанка [2], который основан на гипотезе об ограничении изменения проекций векторов оптического потока:
д дv 1
х - -1х (IхV* +1у Vу + Л) = 0;
дх дх а д dvy 1
7Г1Г - - (*> Vx +1у vу + It) = 0'
dy dy а
где а — весовой коэффициент, называемый коэффициентом регуляризации. Увеличение коэффициента приводит к повышению «гладкости» векторного поля. Небольшие значения коэффициента используют для определения перемещений точек с большой скоростью.
Для работы алгоритмов второго типа необходимо предварительно определить опорные точки, которые должны быть уникальными в локальной области, т. е. отличаться от окружающих точек по каким-либо параметрам.
Наиболее распространенным способом определения опорных точек для последующего отслеживания перемещений является алгоритм Харриса [3]. В качестве параметра уникальности точки в предложенном алгоритме используются вторые производные по яркости I точки:
H (p) =
а21 д21
дх2 дхду
д21 д21
дхду ду 2
Дискретная аппроксимация матрицы выглядит следующим образом:
Z wi, j (x +г'' У + Jj
Z w,j7x(x+г'' .y+i)1У(x+г'' у+i)
- K <i, j<K
- K <i, j<K
Z wi, j 7x (X + *> .У + Л Jy (x + *> .У + Л
Z w,j(x+г'' .у+.Z)
- K <i, j<K
- K <i ,j<K
При вычислении используется «окно» в окрестности точки (х, у) аналогично вычислению свертки [4].
Наиболее распространенным алгоритмом вычисления оптического потока в опорных точках является алгоритм Лукаса — Канаде [5]. Поиск соответствия точек на двух изображениях основывается на следующих гипотезах:
- изменение яркости точки в небольшом диапазоне;
- ограниченная скорость перемещения точки — область поиска ограничивается окном небольшого размера;
- соседним точкам соответствуют одинаковые векторы перемещений.
Существует модификация, основанная на вычислении перемещений точек на пирамиде изображений (серии изображений, полученных последовательным масштабированием исходного).
Далее, применяя к вычисленному оптическому потоку алгоритмы кластеризации по положению и направлению векторов, можно определить положение и контур перемещающегося объекта, а также разделить два пересекающихся объекта, движущихся с разными скоростями или в разных направлениях.
Вычисление оптического потока для выделения транспортных средств. В качестве исходных данных при анализе методов построения оптического потока для выделения транспортных средств использована видеозапись, сделанная днем при плотном трафике с камеры, которая установлена над четырьмя полосами шоссе. Размер входного изображения — 2 мегапиксела.
В ходе исследования рассмотрены следующие случаи:
- кадры, содержащие быстро передвигающиеся объекты без перекрытия;
- транспортные средства, движущиеся с небольшой скоростью на большом расстоянии друг от друга (без перекрытия);
- кадры, содержащие частично перекрывающиеся объекты, которые движутся в разных направлениях (например, при смене полосы движения одним транспортным средством);
- плотное движение транспорта при небольшой скорости в одном направлении, частичное перекрытие практически всех объектов.
В качестве входных данных для алгоритма Лукаса — Канаде были заданы различные размеры окна, а также разные наборы опорных точек, полученные при разных коэффициентах точности алгоритма Харриса.
Оптический поток по алгоритму Хорна — Шанка рассчитывали с различным коэффициентом регуляризации. Для анализа векторного поля, полученного при вычислении оптического потока, использовано значение дивергенции. Для двумерного случая дивергенцию определяют по формуле
^ =—- + ■
дх ду
Дискретная аппроксимация дивергенции вычисляется как свертка с ядром (рис. 1), соответствующим различным размерам окна свертки.
0 -vy 0
-Vx 0 Vx
0 -vy 0
0 0 -0,5vy 0 0
0 0 -vy 0 0
-0,5vx -Vx 0 Vx 0,5vx
0 0 vy 0 0
0 0 0,5vy 0 0
а б
Рис. 1. Ядро свертки для вычисления дивергенции:
а — окно 3x3; б — окно 5x5
Результаты работы алгоритмов вычисления оптических потоков для последовательных изображений показаны на рис. 2, на котором видно, что векторы перемещений точек успешно вычислены с помощью алгоритма Лукаса — Канаде. Однако могут возникать сложности при группировке точек, принадлежащих одному транспортному средству, так как некоторые опорные точки находятся на большом расстоянии друг от друга. В то же время векторное поле, вычисленное по алгоритму Хорна — Шанка, позволяет провести сегментацию по векторам перемещения. Однако, как показывает значение дивергенции, передвигающиеся объекты выделяются недостаточно точно, что может привести к сложностям при разделении пересекающихся изображений.
Аналогичный результат получен при обработке изображений, которые содержат объект, перемещающийся с большой скоростью (более 10 точек за кадр). Оба алгоритма в таком случае дают приемлемый результат.
В случае медленного движения (менее 11 пикселов за кадр) вычисленные оптические потоки предоставляют недостаточно информации для выделения изображений транспортных средств (рис. 3): перемещение блика на поверхности дороги было также определено. Следовательно, необходимо проводить фильтрацию вычисленных потоков.
Рис. 2. Вычисление оптического потока для плотного движения:
а — исходный кадр; б — следующий кадр; в — результат работы алгоритма Лукаса — Канаде; г — результат работы алгоритма Хорна — Шанка и вычисленное значение дивергенции
Рис. 3. Вычисление оптического потока для медленно перемещающихся объектов:
а — исходный кадр; б — следующий кадр; в — результат работы алгоритма Лукаса — Канаде; г — результат работы алгоритма Хорна — Шанка и вычисленное значение дивергенции
Результаты работы. В ходе работы рассмотрены алгоритмы построения оптических потоков для решения задачи выделения изображений транспортных средств. Проведена экспериментальная проверка работы алгоритмов с последующим анализом полученных результатов.
Сформулированы следующие выводы:
- алгоритмы построения оптического потока двух типов (для каждой точки изображения и для опорных точек) позволяют выделить изображения и определить направления передвижения транспортных средств, перемещающихся с большой скоростью;
- для разделения пересекающихся объектов следует более точно вычислять поток с последующим определением границы двух изображений;
- необходимо разработать метод более точного выделения контура транспортных средств в случаях плотного движения транспортных средств, который может быть основан на предварительном вычитании фона;
- требуется проводить фильтрацию шума в вычисленных потоках, вызванного наличием бликов и резких теней на изображении.
СПИСОК ЛИТЕРАТУРЫ
1. Wallft ower: Principles and practice of background maintenance / K. To-yama, J. Krumm, B. Brumitt, B. Meyers // Proc. of the 7th IEEE Int. Conf. on Computer Vision. 1999. P. 255-261.
2. Horn B., Schunck B. Determining optical flow // Artificial Intelligence. 1981. Vol. 17. P. 185-203.
3. Harris C., Stephens M. A combined xorner and edge detector // Proc. of the 4th Alvey Vision Conf. 1988. P. 147-151.
4. Форсайт Д., Понс Ж. Компьютерное зрение: Современный подход. М.: Вильямс, 2004. 928 с.
5. Lucas B., Kanade T. An iterative image registration technique with an application to stereo vision // Proc. Seventh Int. Joint Conf. on Artificial Intelligence. Vancouver, Canada. 1981. P. 674-679.
Статья поступила в редакцию 25.10.2012
