CC BY
46
УДК 53.087
АЛГОРИТМ СТАБИЛИЗАЦИИ ВИДЕОИЗОБРАЖЕНИЯ
ПРИ НАЛИЧИИ В ПОЛЕ ЗРЕНИЯ БЫСТРО ДВИГАЮЩИХСЯ ОБЪЕКТОВ
Артем Олегович Лебедев
Филиал ИФП СО РАН «КТИ ПМ», 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 2/1, младший научный сотрудник, тел. (952)948-99-82, e-mail: [email protected]
Борис Николаевич Новгородов
Филиал ИФП СО РАН «КТИ ПМ», 630090, Россия, г. Новосибирск, пр. Академика Лаврентьева, 2/1, руководитель сектора ИТ, e-mail: [email protected]
Стабилизация видеоизображения является важной процедурой компьютерного зрения и визуального контроля. К программным методам относятся алгоритмы определения вектора смещения изображения выбранного кадра относительно опорного кадра и смещение изображения в обратном направлении. Однако, при наличии в поле зрения быстро двигающегося объекта такие алгоритмы приводят к еще большей дестабилизации изображения. В работе предложен новый алгоритм программной обработки видеоизображения, который позволяет стабилизировать изображение в режиме реального времени при наличии в поле зрения быстро двигающихся объектов. Для вычисления смещения изображения выбирается сетка репер-ных точек, при этом для вычислений используется два соседних кадра. Алгоритм заключается в идентификации двигающихся объектов и исключения соответствующих им областей изображения из процедуры стабилизации. Продемонстрированы преимущества предложенного алгоритма перед стандартными алгоритмами стабилизации изображения.
Ключевые слова: видеосистема, видеонаблюдение, алгоритм обработки видеоизображения, стабилизация видеоизображения, компьютерное зрение.
STABILIZATION ALGORITHM OF VIDEO WITH FAST MOVING OBJECTS IN THE FIELD OF VISION
Artem O. Lebedev
Branch ISP SB RAS «TDIAM», 2/1, Prospect Аkademik Lavrentiev St., Novosibirsk, 630090, Russia, Junior Researcher, phone: (952)948-99-82, e-mail: [email protected]
Boris N. Novgorodov
Branch ISP SB RAS «TDIAM», 2/1, Prospect Аkademik Lavrentiev St., Novosibirsk, 630090, Russia, Head of IT Sector, e-mail: [email protected]
Video image stabilization is an important procedure for computer vision and visual inspection. Software methods include algorithms for determining the displacement vector of the selected frame image relative to the reference one. Then the image is shifted in the opposite direction. However, such algorithms lead to an even greater destabilization of the image in case when there is a fast moving object in the field of view. A new algorithm for video image processing is proposed, which allows stabilizing the image in real time mode in the presence of fast moving objects in the field of view. A grid of reference points is selected to calculate the image displacement, and two adjacent frames only are used for the calculation. The algorithm consists in the moving objects identification and excluding the image areas corresponding to them from the stabilization procedure. The advantages of the proposed algorithm over standard image stabilization algorithms are demonstrated.
Key words: video system, video surveillance, video processing algorithm, video image stabilization, computer vision, fast moving objects.
Введение
При использовании приборов видеонаблюдения, работающих в видимом и/или инфракрасном диапазоне, в нестационарных условиях возникает проблема нестабильности видеоизображения, обусловленная вибрацией платформы, например, связанной с ветровой нагрузкой. Особенно сильно этот эффект влияет на качество наблюдения и распознавания при применении длиннофокусных объективов, когда незначительные колебания камеры приводят к заметной нестабильности видеоизображения. Под стабилизацией изображений понимается комплекс мер, обеспечивающий оператору комфортное восприятие сцены, что необходимо для повышения качества наблюдения.
Процедура стабилизации изображения включает две последовательные операции: определение величины и направления сдвига изображения, связанного с «дрожанием» камеры, и обратный сдвиг кадра, компенсирующий первоначальный сдвиг. Под эффектом «дрожания» изображения подразумевается хаотичное движение камеры относительно любой из трех осей, проходящих через ее центр. Вращение относительно оптической оси проекционной системы камеры приводит к вращению кадра, остальные две оси дают смещение по горизонтали и вертикали. Методы стабилизации подразделяются на два основных класса: аппаратная стабилизация, при которой с помощью гироскопов или акселерометров стабилизируется положение линз объектива [1] обеспечивается неподвижность положения проекции изображения на фоточувствительной матрице камеры.
К программным методам стабилизации видеоизображения относятся алгоритмы оценки параметров межкадрового преобразования - в простейшем случае линейное смещение, в более сложных случаях также вращение, изменение масштаба изображения [2-7].
В наиболее часто используемых алгоритмах стабилизации видеоизображения используется анализ корреляционной функции между опорным кадром и последующими N кадрами [2]. Каждый последующий И-й кадр смещается на заданную величину Ах + Ау относительно опорного кадра и рассчитывается корреляционная функция, например, вида [2]:
ж н
А(Ах, Ау) = X. (/Иах, ;+Ау - ), Ах, ДУ е ^(-М, + М),
где А(Ах,Ау) - корреляционная функция; Ах, Ау - сдвиг И-го кадра относительно опорного кадра в пикселях по вертикали и горизонтали, соответственно; Ж, Н - ширина и высота кадра в пикселях, соответственно; I, . - величины сигналов пикселей с координатами /, М - целая константа, соответствующая максимальному сдвигу, определяется параметрами фотоприемника и условиями наблюдения.
Смещение, для которого А(Ах,Ау) минимальна, и будет искомым смещением. Далее весь кадр смещается на величину -Ах,-Ау и, тем самым, достигается стабилизация изображения.
При использовании широкоформатных матричных фотоприемников объем вычислений может получиться настолько громоздким, что не обеспечит режим реального времени видеопотока. Поэтому, для анализа смещения изображения, связанного с «дрожанием», выбирается фрагмент кадра (например, центральный). Размер фрагмента с одной стороны должен обеспечить режим реального времени, с другой - обеспечить требуемое качество стабилизации.
Недостатком данного алгоритма является то, что при попадании в анализируемый фрагмент изображения быстро двигающегося объекта (например, грузовой автомобиль) размером, сопоставимым с размером фрагмента, происходит сдвиг кадр на величину смещения, обусловленную скоростью объекта, а не дрожанием камеры. При этом все изображение сильно дергается в направлении, противоположном движению объекта. В итоге наблюдается эффект, обратный стабилизации изображения.
Задачей данной работы являлась разработка алгоритма стабилизации видеоизображения учитывающего наличие в кадре быстро двигающегося объекта достаточно большого размера и движение камеры оператором.
Описание алгоритма
В качестве объекта исследований была выбрана видеозапись автомобильной дороги с расстояния 5,5 км, полученной видеокамерой на штативе. При видеозаписи камеру раскачивало ветром, что обуславливало «дрожание» изображения. На рис. 1 показана зависимость модуля величины смещения кадра в пикселях, связанного с «дрожанием», от номера кадра. Из рисунка видно, что смещение достигает 14 пикселей, что вызывает дискомфорт при наблюдении сцены.
Для реализации алгоритма на изображении выбиралась сетка реперных точек (рис. 2). Далее анализ оптического потока [8-9] проводился только по этим точкам. Количество реперных точек на изображении зависит от производительности видеопроцессора и должно обеспечивать режим реального времени: 25 кадров в секунду. Вычисляется среднее значение вектора смещения реперных точек (Ахср + Ауср), между двумя соседними кадрами и определяются точки со смещением, больше среднего значения на заданную величину (Ах +Ду = Дхср + Ауср + const). Если заданное число соседних реперных точек имеют величину смещения выше средней на заданную величину, то считается, что эти точки относятся к быстро двигающемуся объекту (область, связанная с движущимся грузовика, выделена прямоугольником) и исключаются из дальнейшего анализа. Число соседних реперных точек, по которым определяется наличие в кадре быстро двигающегося объекта, задается задачей наблюдения и размером сетки реперных точек. Это может быть одна-две соседние реперные точки при крупной сетке или группа соседних точек при мелкой сетке. Стрелка в центре прямоугольника показывает направление и величину смещения точек в области прямоугольника. По остальным точкам определяется медианное значение вектора смещения, которое использовалось для процедуры стабилизации изображения.
О 50 100 150 200 250 300
Номер кадра
Рис. 1. Зависимость величины исходного смещения изображения
от номера кадра
^ яШЛ
Рис. 2. Кадр изображения с быстро двигающимся объектом:
точки на изображении соответствуют реперным точкам, используемым для анализа видеопотока; грузовой автомобиль выделен прямоугольником; стрелка в центре прямоугольника показывает направление и величину смещения грузовика
Результаты и обсуждение
На рис. 3 показана исходная зависимость величины смещения изображения от номера кадра (кривая 1) на 50-ти кадрах, в течение которых в поле зрения проезжает грузовой автомобиль. Кривая 2 соответствует стандартному корреляционному методу, который хорошо стабилизирует изображение при отсутствии быстро двигающихся объектов. В момент появления в кадре грузового автомобиля на зависимости видны всплески, соответствующие смещению изображения, связанному не с «дрожанием», а с наличием движущегося объекта. Кривая 3 соответствует предложенному алгоритму стабилизации изображения, на которой отсутствуют всплески, что показывает отсутствие влияния движущегося объекта на процедуру стабилизации. Тем не менее, следует отметить, что на остальных участках видеопотока стабилизация несколько хуже, чем для корреляционного метода. Поэтому алгоритм требует дальнейшей оптимизации.
Рис. 3. Зависимости величины смещения изображения от номера кадра:
1 - исходная зависимость (пунктирная линия); 2 - применение корреляционного алгоритма (точечная линия); 3 - применение предложенного алгоритма (сплошная линия)
Заключение
В итоге, в работе предложен алгоритм стабилизации видеоизображения в режиме реального времени в условиях, когда в сцене наблюдаются быстро двигающиеся объекты. В приборах с реконфигурируемыми вычислительными платформами возможно использование нескольких алгоритмов обработки изображения без изменения аппаратной части. Выбор алгоритма осуществляется оператором нажатием соответствующей кнопки или выбором алгоритма из меню программы. Предложенный алгоритм может использоваться в таких системах как дополнительная возможность получения стабилизированных видеоизображений в условиях, когда в поле зрения появились двигающиеся объекты.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. La Rosa Fabrizio, Celvisia Virzi Maria, Bonaccorso Filippo, Branciforte Marco. Optical Image Stabilization (OIS) // STMicroelectronics [Электронный ресурс]. URL: www.st.com/resource/en/white_paper/ois_white_paper.pdf
2. Курчанов Г. О., Шведов А. П. Система цифровой стабилизации видеоизображения на базе экстремально-корреляционного метода поиска // Известия Тульского государственного университета. Технические науки. - 2016. - № 10. - С. 103-111.
3. Поляков Д. Б. Блочные алгоритмы оценки движения // [Электронный ресурс]. URL: http://www.tvs-
mtuci.ru/attachments/article/19/Blochnye%20algoritmy%20ocenki%20dvizhenija.pdf
4. Буряченко В. В. Стабилизация видео для статичной сцены на базе модифицированного метода соответствия блоков // Вестник СибГАУ. - 2012.- № 3(43). - С. 10-15.
5. Grundmann Matthias, Kwatra Vivek, Essa Irfan. Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths // IEEE Conference on Computer Vision and Pattern Recognition (CVPR-2011) - 2011. - P. 225-232.
6. Brox T., Bruhn A., Papenberg N., and Weickert. J. High accuracyoptical flow estimation based on a theory for warping // Proceedings of European Conference on Computer Vision. -2004. - P. 25-36.
7. Хорн Б. К. П. Зрение роботов. - М. : «Мир», 1989. - 358 с.
8. Shi J. and Tomasi C. Good Features to Track // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 1994. - P. 593-600.
9. Lucas B. D. and Kanade T. An iterative image registration technique with an application to stereo vision // Proceedings of Imaging Understanding Workshop. - 1981. - P. 121-130.
REFERENCES
1. La Rosa, F., Celvisia, V. M., Bonaccorso, F., & Branciforte M. Optical Image Stabilization (OIS). STMicroelectronics.
URL: www.st.com/resource/en/white_paper/ois_white_paper.pdf
2. Kurchanov, G. O, & Shvedov A. P. (2016). Digital image stabilization system based on the method of extreme-correlation search. Izvestiya Tul'skogo gosudarstvennogo universiteta [News of Tula State University. Engineering Sciences], 10, 103-111 [in Russian].
3. Polyakov, D. B. Block algorithms for motion estimation. URL: http://www.tvs-mtuci.ru/attachments/article/19/Blochnye%20algoritmy%20ocenki%20dvizhenija.pdf [in Russian].
4. Buryachenko V. V. (2012). Stabilization of video for a static scene on the basis of a modified block matching method. Vestnik SibGAU [Bulletin of the Reshetnev Siberian State Aerospace University], 3(43), 10-15 [in Russian]
5. Grundmann, M., Kwatra, V., & Essa, I. (2011). Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR-2011), 225-232.
6. Brox, T., Bruhn, A., Papenberg, N., & Weickert, J. (2004) High accuracyoptical flow estimation based on a theory for warping. In Proceedings of European Conference on Computer Vision, 25-36.
7. Horn, B. K. P. (1989). Zrenie robotov [Vision of robots]. Moscow: Mir [in Russian].
8. Shi, J., & Tomasi, C. (1994). Good Features to Track. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 593-600.
9. Lucas, B. D., & Kanade, T. (1981). An iterative image registration technique with an application to stereo vision. Proceedings of Imaging Understanding Workshop, 121-130.
© А. О. Лебедев, Б. Н. Новгородов, 2018
