CC BY
29
Доклады БГУИР
2014 № 1 (79)
УДК 621.391
КАДРОВАЯ КОМПЕНСАЦИЯ ДВИЖЕНИЯ ВИДЕОКАМЕРЫ НА ОСНОВЕ ФОТОПЛАНА
А.А. ЖУРАВЛЕВ, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 16 июля 2013
Предложен метод кадровой компенсации движения видеокамеры по фотоплану для сжатия аэрокосмических изображений в системах циклического видеомониторинга наземных объектов с использованием летательных аппаратов, основанный на замещении аэрокосмических изображений фрагментами фотоплана, и позволяющий за счет этого повысить коэффициент их сжатия.
Ключевые слова: кадровая компенсация движения, сжатие аэрокосмических изображений.
Введение
Видеомониторинг наземных объектов с применением летательных аппаратов различного типа является эффективным средством обеспечения безопасности. При патрулировании транспортных магистралей (нефти и газопроводов, автомобильных и железных дорог), периметров объектов и государственных границ видеомониторинг с применением летательных аппаратов носит циклический характер - траектория летательного аппарата постоянна и получаемые с его борта аэрокосмические изображения в большей части повторяют полученные ранее. В таких условиях известные методы сжатия видеоданных, основанные на независимом кодировании кадров (М1РБО, М1РБО 2000) [1], кодировании кадровой разности (Стерак, Н.263) [2] и блочной компенсации движения (МРБО-2, МРБО-4, Н.264) [3], не эффективны. Они не учитывают априорную видеоинформацию о зоне наблюдения, накапливаемую за предыдущие циклы мониторинга, и не позволяют достичь высоких коэффициентов сжатия без существенного ухудшения качества изображений. Возможность повышения эффективности сжатия аэрокосмических изображений в условиях циклического видеомониторинга заключается в использовании компенсации движения видеокамеры по фотоплану -изображению зоны видеомониторинга, сформированному вдоль траектории полета летательного аппарата за предыдущие циклы видеомониторинга.
Целью работы является разработка метода компенсации движения видеокамеры по фотоплану для сжатия аэрокосмических изображений в системах циклического видеомониторинга.
Метод кадровой компенсации движения видеокамеры по фотоплану
Для сжатия аэрокосмических изображений в условиях циклического видеомониторинга с использованием летательных аппаратов, осуществляющих патрулирование наземных объектов по постоянной траектории, предлагается метод кадровой компенсации движения видеокамеры на основе фотоплана. Сущность метода состоит в поиске фрагмента фотоплана, соответствующего прогнозируемому кадру, и использовании координат этого фрагмента и коэффициентов гомографии для формирования прогнозного кадра, замещающего прогнозируемый кадр.
Алгоритм кадровой компенсации движения видеокамеры состоит из следующих шагов.
1. Формирование библиотеки фотопланов. Библиотека {Р(?,м,Iм^оттл?=оГ-[)
фотопланов формируется на основе кадров видеопоследовательностей, полученных ранее с борта летательного аппарата, при положении оптической оси видеокамеры, примерно
перпендикулярном вектору ее перемещения (рис. 1), где
Р(я, м, г) = ||р(у, х, £, м, г)|(у_ог х_0Х - фотоплан; Ур, Хр - размеры фотоплана по
вертикали и горизонтали; Ж, Т - индексы, учитывающие сезонность фотоплана (по месяцам), погодные условия (ясно, облачно, осадки) и время суток (утро, день, вечер, ночь) соответственно. Библиотека фотопланов загружается в память кодера и декодера. Если траектория перемещения летательного аппарата нелинейная, библиотека фотопланов может быть сегментирована так, чтобы каждый сегмент соответствовал линейному участку траектории, включая точки ее изменения. Каждому сегменту могут быть поставлены в соответствие координаты местоположения летательного аппарата. Для формирования фотоплана могут использоваться известные методы поиска соответствия изображений, например ЯЛК8ЛС [4]. Для построения качественных панорам кадры видеопоследовательностей подвергаются нормализации по яркости и геометрической коррекции с учетом аберраций оптической системы видеокамеры.
Рис. 1. Формирование библиотеки фотопланов
2. Формирование библиотеки реперных образов фотопланов. Библиотека {RP (s, w, tw=ôw-i t=ÔTA) реперных образов формируется на основе библиотеки {P(s, w, t )},
=о s-i w=o W -11=o t -i) фотопланов в результате выделения, локализации и параметризации реперов (рис. 2), где RP(s,w, t) = ||rP (n, s, w, t)|(и_0 w - реперный образ,
полученный из фотоплана P(s, w, t) ; N(s, w, t) - число реперов в образе RP (s, w, t) ; r P(i,s,w,t ) = }xP(n,s,w,t),DP(n,s,w,t)} - репер, состоящий из трех элементов:
(n, s, w, t), xp (n, s, w, t) - координат местоположения репера на фотоплане P(s, w, t ) и DP (n, s,w, t) = |\dP (l,n, s, w, tï) - идентификатора; - число параметров в идентификаторе
(длина идентификатора). Библиотека реперных образов фотопланов загружается в память кодера и декодера. Она может быть сегментирована в случае нелинейной траектории перемещения летательного аппарата. Для выделения, локализации и параметризации реперов могут использоваться такие известные методы, как SIFT [5] и SURF [6].
Рис. 2. Формирование библиотеки реперных образов фотопланов
3. Начало цикла кадровой компенсации движения видеокамеры.
Формирование реперного образа прогнозируемого кадра. Реперный образ яр (к ) = | |гр {пк |(й=0щщ) прогнозируемого кадра р (к ) = || / (у, х, к формируется в
результате выделения, локализации и параметризации реперов на прогнозируемом кадре р(к) (рис. 3), где У, X - размеры прогнозируемого кадра по вертикали и горизонтали; к - номер реперного образа и соответствующего прогнозируемого кадра; Ыр (к) - число реперов, выделенных на прогнозируемом кадре; гр (п, к ) = {ур (п, к), хр (п, к), Ор (п, к)} - репер, состоящий из трех элементов: ур(п,к), хр(п,к) - координат местоположения репера на прогнозируемом кадре Р(к) и Бр(п,к) = |(/,п, к^ - идентификатора. На данном шаге должен
использоваться такой же метод выделения, локализации и параметризации реперов, как при
^ реперных образов фотопланов. Для
ф°рмир°вании библиотеки {Яр (у, м,г _и=0Т_1(
формирования качественных реперных образов прогнозируемые кадры подвергаются геометрической коррекции с учетом аберраций оптической системы видеокамеры.
Кадры Кадр с реперами
Рис. 3. Формирование реперного образа прогнозируемого кадра
4. Поиск фрагмента фотоплана, соответствующего прогнозируемому кадру. Осуществляется сопоставление реперного образа Яр (к) прогнозируемого кадра с библиотекой {Яр(у,м, г?=оТ-[) реперных образов фотопланов. Для сопоставления могут
использоваться любые известные методы поиска соответствия изображений, например RANSAC [4]. Для сужения области поиска и повышения за счет этого быстродействия и уменьшения вероятности ошибки сопоставления необходимо предварительное примерное позиционирование прогнозируемого кадра относительно фотоплана на основе координат местоположения летательного аппарата, а также учет сезонности (5), погодных условий (м>) и времени суток (0. Вероятность ошибки позиционирования прогнозируемого кадра относительно фотоплана может быть уменьшена за счет учета положения видеокамеры и соответствующих геометрических предискажений прогнозируемого кадра. В результате выполнения данного шага выделяются 4 репера {гр (пг-, к)}(^о"з) на прогнозируемом кадре р (к)
и 4 соответствующих им репера {р (п^, у, м, г )}г-=оз) на фотоплане р(у, м,г). Для идентификаторов соответствующих реперов выполняется условие
(/, п{, йр (/, п{, у, м, г) (1)
при I = 0,3, I = 0, Ьи _1.
5. Формирование прогнозного кадра. На фотоплане Р(у, м, г) выделяется фрагмент Рр(у,м,г), соответствующий четверке реперов {р(п^,у,м,г)}г=оз). На основе выделенного
фрагмента Рр (у, м, г) формируется прогнозный кадр р '(к) = ||/'(у, х,
1(у=0,7 _1,х=0,Х _1
соответствии с выражением р'(к )=фя (Рр (у, м, г)),
(2)
где фя - геометрическое преобразование на основе матрицы гомографии [7];
к К к
н = К4 к5 к
к к к
коэффициенты которой вычисляются на основе координат реперов К (п,,к) хр (Ц, к )}(г=о;з) и \ур (п, , ^ Щ г) хр (Ц, щ г ^^.
6. Яркостная коррекция прогнозного кадра. Вычисляются значения средней яркости /м {к) и /М (к) прогнозируемого Р {к) и прогнозного Р'(к) кадров соответственно с помощью
выражений
У-1X-1 /
/м(к) = Ц/ (У,X,к) (УХ),
у=0 х=0 /
У-1X-1
(3)
(4)
/М (к )=Ц / '(У, х, к) (УХ).
у=0 х=0 /
На основе соотношения значений средней яркости /м (к) и /'м (к) вычисляется корректирующий коэффициент 8у (к) с помощью выражения
8/(к)=/м(к)//М(к). (5)
На основе прогнозного кадра Р'(к) и корректирующего коэффициента 5/ (к) формируется скорректированный по яркости прогнозный кадр Р (к) = / (у, х, к)
(у=0,У-1,х=0,Х-1) :
(6)
значения пикселей которого вычисляются с помощью выражения
/ (У, х, к) = [5/ /' (у, х, к)], при у = 0У-1, х = 0, X -1,
где [• ] - операция округления до ближайшего целого значения.
Оценка эффективности кадровой компенсации движения видеокамеры по фотоплану
Оценка эффективности кадровой компенсации движения видеокамеры произведена на основе среднеквадратической ошибки предсказания прогнозируемого кадра и времени формирования прогнозного кадра, характеризующего вычислительную сложность предсказания, в сравнении с блочной компенсацией движения. На рис. 4 представлены прогнозируемый кадр и соответствующие ему опорный кадр, используемый для блочной компенсации движения, и фрагмент фотоплана, используемый для кадровой компенсации движения. Прогнозируемый кадр отличается от опорного сдвигом примерно на 20 % с поворотом на 15 градусов и незначительным изменением масштаба.
а б в
Рис. 4. Тестовые изображения: а - прогнозируемый кадр; б - опорный кадр; в - фрагмент фотоплана
На рис. 5 представлены прогнозные кадры, сформированные с помощью кадровой и блочной компенсации движения. Для ускорения поиска фрагмента фотоплана, соответствующего прогнозируемому кадру, при кадровой компенсации движения
использованы данные телеметрии летательного аппарата, позволяющие предварительно позиционировать, ориентировать и масштабировать фотоплан относительно прогнозируемого кадра. Для окончательного сопоставления фотоплана с прогнозируемым кадром и выделения соответствующего фрагмента фотоплана использованы методы SURF [6] и RANSAC [4]. Для блочной компенсации движения использован трехшаговый алгоритм поиска.
Рис. 5. Прогнозные кадры, полученные с помощью компенсации движения: а - кадровой; б - блочной
Из рис. 5 следует, что прогнозный кадр, полученный с помощью блочной компенсации движения, имеет существенные искажения. Среднеквадратическая ошибка предсказания для прогнозных кадров, представленных на рис. 5 и полученных с помощью кадровой и блочной компенсации движения, составляет 361 и 1936 соответственно. Уменьшение ошибки предсказания положительно сказывается на характеристиках сжатия видеоданных, так как приводит к уменьшению разности прогнозируемого и прогнозного кадров и позволяет более компактно ее представить в результате квантования и кодирования. Повышение качества предсказания на основе кадровой компенсации движения в 5,3 раза по отношению к блочной достигается за счет роста вычислительной сложности. Экспериментально установлено, что кадровая компенсация движения требует в 3,4 раза больше времени, чем блочная. При этом, однако, проигрыш в быстродействии кадровой компенсации движения по сравнению с блочной меньше выигрыша в качестве, что говорит, в целом, об эффективности предложенного метода.
Заключение
Предложен метод кадровой компенсации движения видеокамеры на основе фотоплана для сжатия аэрокосмических изображений в системе циклического видеомониторинга наземных объектов. Сущность метода состоит в поиске фрагмента фотоплана, соответствующего прогнозируемому кадру, и использовании координат этого фрагмента и коэффициентов томографии для формирования прогнозного кадра, замещающего прогнозируемый кадр. Показано, что предложенный метод кадровой компенсации движения обеспечивает по сравнению с блочной компенсацией движения повышение качества предсказания прогнозируемого изображения за счет увеличения вычислительной сложности. Установлено, что проигрыш в быстродействии кадровой компенсации движения по сравнению с блочной меньше выигрыша в качестве.
FRAME COMPENSATION OF CAMERA MOTION BASED ON PHOTOPLAN
A.A. ZHURAVLYOV, V. Yu. TSVIATKOU Abstract
A method for the frame compensation of camera motion using a photoplan is proposed. The method is based on replacing the aerospace image of photoplan fragment and will thereby increase the compression rate. This method is used for compressing aerospace images in cyclic video monitoring systems terrestrial objects using aircraft.
Список литературы
1. Ghanbari M, Faraday M. Standard codecs-image compression to advanced video coding. United Kingdom, 2003.
2. Cote G. // IEEE Transactions on Circuits and Systems for Video Technology. 1998. Vol. 8, № 7. P. 849-866.
3. Iain R. H.264 and MPEG-4 Video Compression and Video Coding for Next-generation Multimedia. United Kingdom, 2003.
4. Hartley R., Zisserman A. Multiple view geometry in computer vision. Cambridge, 2003.
5. Lowe D.G. // International Journal of Computer Vision. 2004. Vol. 60, № 2. P. 91-110.
6. Bay H. // Computer Vision and Image Understanding. 2008. Vol. 110, № 3. P. 346-359.
7. CyganekB., Siebert J.P. An introduction to 3D computer vision techniques and algorithms New York, 2009.
