CC BY
35
Доклады БГУИР
2014 № 3 (81)
УДК 004.932.72
СОПРОВОЖДЕНИЕ МАЛОРАЗМЕРНЫХ ЦЕЛЕЙ С НЕСТАЦИОНАРНОЙ ВИДЕОКАМЕРЫ НА ОСНОВЕ КОВАРИАЦИОННЫХ ПРИЗНАКОВ И
ПРЕДСКАЗАНИЯ
И.А. БОРИСКЕВИЧ, В.Ю. ЦВЕТКОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 17 октября 2013
Предложен селективно-ковариационный метод сопровождения малоразмерных целей с нестационарной видеокамеры, основанный на модификации метода ковариационного сопровождения и позволяющий уменьшить время вычисления и повысить вероятность правильного обнаружения цели за счет предсказания и минимизация размера области поиска цели.
Ключевые слова: сопровождение малоразмерных целей, нестационарная видеокамера, ковариационная матрица, предсказание.
Введение
Устойчивое сопровождение подвижных малоразмерных целей с использованием нестационарной видеокамеры в реальном масштабе времени является сложной задачей, решение которой проблематично при увеличении скорости перемещения цели и видеокамеры, снижении частоты видеокадров, временном пропадании цели.
Для сопровождения подвижных целей широко используются методы, основанные на среднем сдвиге [1], обучаемых классификаторах [2], вычитании фона [3] и ковариационных признаках [4]. В методе сопровождения на основе среднего сдвига используется итеративный корреляционный поиск соответствия области анализа текущего кадра с эталонным изображением цели, начиная с позиции сопровождаемого объекта на предыдущем кадре. Его развитием является метод на основе обучаемых классификаторов, который позволяет повысить скорость поиска цели за счет параллельной обработки. Данные методы не могут использоваться для сопровождения малоразмерных целей в условиях нестационарной видеокамеры из-за ограничений на величину межкадрового смещения цели. Метод на основе вычитания фона обеспечивает сопровождение малоразмерных целей в условиях нестационарной видеокамеры за счет стабилизации текущего кадра относительно предыдущего (опорного) кадра и обнаружения объекта посредством вычисления разности опорного и стабилизированного кадров. Недостатком данного метода является высокая вычислительная сложность стабилизации кадров, что делает проблематичным его реализацию в реальном масштабе времени. Более эффективным для сопровождения малоразмерных целей в условиях нестационарной видеокамеры является метод на основе ковариационных признаков, учитывающий как яркостные, так и текстурные свойства цели. Однако вычислительная сложность и вероятность ложного обнаружения цели в данном методе резко возрастают при повышении скорости движения цели и видеокамеры, при увеличении области поиска, а также при снижении частоты кадров. Устранение данных недостатков возможно за счет предсказания местоположения цели, позволяющего снизить вычислительную сложность и вероятность ложного обнаружения цели за счет селективной ковариационной обработки и уменьшения размеров дескрипторов и области поиска.
Целью работы является разработка селективно-ковариационного метода сопровождения быстро движущихся малоразмерных целей с нестационарной видеокамеры на основе предсказания их местоположения на видеокадре.
Особенности использования ковариационной матрицы в качестве дескриптора
Элементы ковариационной матрицы признаков С =|| е1 (1,Ш)% ^^ изображения I вычисляются с помощью выражения
1 X Y
с (*>;) = ^ у,О - н(ох/(хУ,У) - нш, (1)
х=1 у=1
где /(х,у,0) = (х у 1(х,у) \1х(х,У)\ ^у&У)\ \!Лху)\ - элементы
признакового образа ^ =|| / (х, у, й) ||^=— — а=—; н(й) - покомпонентное среднее арифметическое элементов признакового образа; X,У - количество пикселей изображения по горизонтали и вертикали.
Ковариационные матрицы могут быть использованы в качестве дескрипторов при поиске соответствия между изображениями. Для сравнения двух ковариационных матриц С, С е Зут^, описывающих изображения эталона и окна-кандидата в области цели, используется инвариантная риманова метрика:
п
Р? С, С) = \ С, С) = гr[bg2 (Се112С,Се112 ], (2)
1=1
где $>ут+л - связанное риманово многообразие, являющееся локально евклидовым топологическим пространством; \(СЕ, С),=1и - г_е обобщенное собственное значение ковариационных матриц Ся и С , вычисленное из (XiСЕхЕ -Сх = 0)г=1 /■> X ^ 0 - обобщенные собственные векторы; 1т\А\ - след матрицы А, представляющий собой сумму элементов
главной диагонали матрицы &\А\ = .
1
При использовании ковариационной матрицы в качестве дескриптора цели обеспечивается [4]: объединение различных признаков без их нормирования или использования весовых коэффициентов; инвариантность к масштабированию и изменению среднего; пространственно-частотная локализация цели. За счет этого ковариационная матрица обладает высокой дискриминационной способностью, что позволяет использовать ее для обнаружения подвижных малоразмерных целей с нестационарной видеокамеры в присутствии схожих объектов. Ограничением на практическое применение является вычислительная сложность, связанная с размером ковариационной матрицы и признаковых образов.
Таким образом, для уменьшения вычислительной сложности сопровождения на основе ковариационной матрицы необходимо стремиться к уменьшению размеров признаковых образов. Без ущерба для качества сопровождения это возможно за счет предсказания и минимизации размера области поиска цели, что приводит к возможности использования признаковых образов размером ЦУй, где V и V - размеры предсказанной области поиска по горизонтали и вертикали.
Селективно-ковариационное сопровождение быстро движущихся малоразмерных целей с
предсказанием
Предлагается селективно-ковариационный метод сопровождения быстро движущихся малоразмерных целей, основанный на модификации ковариационного метода. Предложенный метод отличается от базового предсказанием местоположения, размера и определением формы области поиска цели, обработкой события отсутствия цели на видеокадре. Он позволяет уменьшить время и повысить вероятность правильного обнаружения цели, а также
сопровождать быстро движущиеся цели за счет предсказания формы и минимизации размера области поиска цели. Сущность предложенного метода состоит в формировании признаковых изображений для перекрывающихся признаковых окон в пределах предсказанной области поиска цели на текущем кадре видеопоследовательности, вычислении ковариационных матриц признаковых изображений и их сравнении с матрицей эталона.
Алгоритм селективно-ковариационного сопровождения цели включает следующие
шаги.
1. Инициализация начальных параметров алгоритма.
1.1. Формирование эталонного изображения Е сопровождаемой цели. Производится считывание первого кадра I(?) =|| /(?,х,у)||(^=— —) размером X х У
видеопоследовательности I =|| I(ОН^г^, где t = 1, Т и Т - номер и число кадров в
видеопоследовательности соответственно. В качестве эталонного изображения выбирается прямоугольная область размером М х N на первом кадре видеопоследовательности, центральный пиксель которой является центром сопровождаемой цели.
1.2. Формирование ковариационной матрицы и гистограммы эталонного изображения
цели.
Для эталонного изображения Е вычисляются ковариационная матрица СЕ и гистограмма НЕ .
1.3. Инициализация счетчиков кадров.
Устанавливаются начальные значения счетчиков кадров видеопоследовательности ? = 1 и последовательных кадров без обнаруженной цели Т = 0.
2. Начало цикла обработки кадров видеопоследовательности.
Переход к обработке очередного кадра видеопоследовательности. Значение счетчика кадров видеопоследовательности увеличивается на единицу: ? = ? +1.
3. Предсказание и селективная обработка области цели на ? -м кадре видеопоследовательности.
3.1. Предсказание центра области поиска цели.
Координаты (х, у) центрального пикселя области поиска цели определяются с помощью выражения
(х, у) = /(¥(г — ВДм - к)), (3)
где / - функция определения координат центрального пикселя области поиска цели; V(? — к) -параметры движения цели (скорость, ускорение, направление), определяемые по предыдущим кадрам видеопоследовательности; Т(?, ? — к) - параметры движения видеокамеры (скорость, ускорение, направление) для текущего видеокадра относительно предыдущего.
3.2. Предсказание размера области поиска цели.
Размер области поиска цели по горизонтали и вертикали вычисляется с помощью выражения
£ = 3—1 тах(М, ^^ / р, (4)
где р - вероятность попадания цели в окно размером иXV, определяемая точностью оценки параметров движения цели и видеокамеры; Ек = /(Та) - коэффициент, учитывающий количество последовательных кадров Т, на которых цель не обнаружена. Значение ^ увеличивается с ростом значения счетчика Т последовательных кадров без обнаруженной цели, что приводит к расширению области поиска цели.
3.3. Определение формы области поиска цели.
Для определения формы области поиска цели производится сравнение яркости опорных пикселей в пределах предсказанной области поиска размером иXV с экстремумами гистограммы эталона. Расположение опорных пикселей выбирается так, чтобы обеспечивалось частичное перекрытие соседних признаковых окон. Признаковое окно, представляющее собой прямоугольную область размером М х N, исключается из предсказанной области поиска цели, если яркость шести и более опорных пикселей в пределах данного окна не соответствует
экстремумам на гистограмме эталона. В результате в области поиска цели локализуется Ь признаковых окон. На рис. 1 представлены конфигурации области поиска цели, сформированные с помощью ковариационного и селективно-ковариационного методов.
Признаковое окно
Область поиска цели
Опорный пиксель, не соответствующий
Опорный пиксель, соответствующий
экстремумам эталона экстремумам эталона
Область поиска, предсказанная с помощью селективно-ковариационного метода
а б в
Рис. 1. Предсказание формы области поиска цели а - область поиска цели, сформированная с помощью ковариационного метода; б - сетка опорных пикселей, сравниваемых с яркостными экстремумами гистограммы эталона; в - область поиска цели, предсказанная с помощью селективно-ковариационного метода
4. Начало цикла обработки признаковых окон.
4.1. Инициализация счетчика признаковых окон: I = 0.
4.2. Вычисление ковариационной матрицы С(0 для 1-го признакового окна согласно выражения (1).
4.3. Вычисление метрики сходства р2 (/, С£, С (0) ковариационных матриц 1-го признакового окна С (0 и эталона С£ согласно выражения (2).
4.4. Значение счетчика признаковых окон увеличивается на единицу: I = I +1.
4.5. Проверка условия окончания цикла обработки признаковых окон. Если I <Ь, то осуществляется переход на шаг 4.2, иначе - выход из цикла обработки признаковых окон.
5. Выбор лучшего признакового окна.
Номер лучшего признакового окна О е [1, Ь] вычисляется с помощью соотношения
О = тах(р2 (г, СЕ, Сг (Щ,
I е{1, Ь}
(5)
где а^тах(/(х)) - функция максимизации, вычисляющая аргумент, соответствующий
х
максимальному значению функции.
6. Сравнение метрики сходства с порогом.
Производится сравнение значения метрики сходства р^ (/, С£, С (^)) для О-го признакового окна с заданным пороговым значением р^ . Если условие р^ (?, СЕ, С1 (?)) > р^, не выполняется, то принимается решение об отсутствии цели на ¿-м кадре видеопоследовательности. Значение счетчика Т последовательных кадров без обнаруженной цели увеличивается на единицу (Т = Т +1) и осуществляется переход к шагу 2. Если условие рд(?, СЕ, СI (?)) > р^ выполняется, то принимается решение об обнаружении цели, счетчик Та обнуляется и производится переход к шагу 7.
7. Проверка условия окончания цикла обработки кадров видеопоследовательности. Если обработка кадров не завершена (? < Т), осуществляется переход на шаг 2, иначе -
выход из алгоритма. В результате выполнения данного алгоритма для каждого кадра видеопоследовательности определяются координаты центра лучшего признакового окна О, в котором обнаружена цель или принимается решение об отсутствии цели в кадре.
Оценка эффективности метода селективно-ковариационного сопровождения
Для оценки эффективности предложенного селективно-ковариационного метода используется вероятность правильного обнаружения и время обработки кадра (обнаружения цели), оцениваемые в условиях изменения частоты, яркости, контраста, уровня зашумления кадров. Изменение частоты кадров эквивалентно изменению скорости движения цели.
Вероятность правильного обнаружения цели определяется отношением числа кадров, на которых цель правильно обнаружена, к общему количеству кадров. Цель считается обнаруженной, если центр лучшего признакового окна находится в окрестности М х N пикселей от центра цели. При понижении частоты кадров предложенный метод позволяет повысить вероятность правильного обнаружения цели на 10,2 % в условиях сопровождения с высоты порядка 300 м и до 49 % в условиях сопровождения с высоты порядка 400 м (рис. 2, а). Для оценки вероятности правильного обнаружения в условиях зашумления кадров использовался аддитивный гауссовый шум с нулевым средним и дисперсией о2. Определено,
что селективно-ковариационный метод обладает сопоставимой с ковариационным методом устойчивостью к изменению уровня шума (рис. 2, б).
0 015 0 02 0 025 0 03 0 035
Дисперсия гауссова шума а б
Рис. 2. Сравнение эффективности ковариационного и селективно-ковариационного методов а - влияние понижения частоты кадров видеопоследовательности на вероятность правильного обнаружения; б - влияние дисперсии шума на среднюю вероятность правильного обнаружения
Установлено, что предложенный метод устойчив к масштабированию интенсивности пикселей видеокадров в диапазоне от 0,004 до 1,55 раз, что сопоставимо с базовым методом. Время обработки кадра оценивалось в среде программирования MATLAB R2013a на компьютере с процессором Intel Core i5 (2,6 ГГц) и ОЗУ 4 ГБ. Обработано 10 видеопоследовательностей (1500 видеокадров) размером 720 на 480 пикселей, полученных с беспилотного летательного аппарата (БПЛА). Площадь сопровождаемой цели изменялась в диапазоне от 100 до 400 пикселей. Согласно таблице среднее время обработки одного кадра видеопоследовательности при использовании ковариационного метода составило 347,1 мс, при использовании модифицированного метода - 55,7 мс. Таким образом, селективно-ковариационный метод позволяет повысить скорость обработки кадров в 6,23 раза по сравнению с ковариационным методом.
При длительном отсутствии цели на видеокадре применение селективного предсказания области поиска позволяет существенно сократить количество признаковых окон и, следовательно, время обработки кадра видеопоследовательности. На рис. 3 приведен пример предсказания размера и формы области поиска по опорным точкам в условиях, приближенных к идеальным.
Частота Время обработки видеопоследовательности (мс)
видеопоследовательности Ковариационный Селективно-
(кадры/с) метод ковариационный метод
30,00 10413,5 1671,1
15,00 5206,7 835,6
10,00 3471,2 557,0
7,50 2603,4 417,8
6,00 2082,7 334,2
5,00 1735,6 278,5
4,29 1489,1 239,0
3,75 1301,7 208,9
3,33 1155,9 185,5
3,00 1041,3 167,1
2,73 947,6 152,1
2,50 867,8 139,3
2,31 801,8 128,7
2,14 742,8 119,2
2,00 694,2 111,4
в г
Рис. 3. Селективное предсказание конфигурации области поиска при длительном отсутствии цели: а - стандартная область поиска, соответствующая последней обнаруженной позиции цели; б - предсказанная прямоугольная область поиска; в - распределение опорных точек внутри предсказанной области поиска; г- определение формы предсказанной области поиска
Для представленной видеопоследовательности скорость движения БПЛА составляет порядка 100 км/ч, сопровождаемого транспортного средства - 70 км/ч. Так как цель по условиям моделирования отсутствовала на видеопоследовательности более 3 с, то для ее эффективного обнаружения требуется обработка всего кадра видеопоследовательности, что приводит к увеличению области поиска до 8034 признаковых окон (вместо стандартных 25). В ковариационном методе это возможно с помощью задания больших размеров исходной области поиска, что значительно увеличивает время обработки видеопоследовательности. В селективно-ковариационном методе с помощью выражения (4) вначале осуществляется предсказание прямоугольной области поиска (рис. 3, б), далее - посредством сравнения яркости опорных точек с экстремумами гистограммы эталона производится уточнение ее формы (рис. 3, в, г). В результате предсказания формы области поиска количество признаковых окон сократилось до 3, а время обработки данного кадра уменьшилось с 17899,8 до 6,7 мс. С учетом времени, затраченного на обработку опорных точек (31,3 мс), выигрыш в скорости обработки за счет предсказания формы области поиска для представленного примера составил
примерно 470 раз. Таким образом, использование селективного предсказания позволяет уменьшить время обработки кадра видеопоследовательности, на котором производится поиск отсутствующей ранее цели, примерно до 470 раз по сравнению с ковариационным методом. Это значение близко к теоретическому пределу, определяемому минимальным количеством признаковых окон. Если в результате селективного предсказания область поиска цели уменьшится до одного признакового окна, то время обработки кадра видеопоследовательности для заданных параметров сопровождения сократится примерно до 530 раз.
Заключение
Предложен селективно-ковариационный метод сопровождения быстро движущихся малоразмерных целей с нестационарной видеокамеры, основанный на предсказании местоположения, размера и определении формы области поиска цели, с последующим ковариационным анализом этой области на соответствие эталонному образу цели. Показано, что в условиях непрерывного сопровождения предложенный метод обеспечивает повышение скорости обработки кадров в 6,23 раза, а в случае длительного отсутствия цели в пределе при использовании одного признакового окна - примерно до 530 раз по сравнению с ковариационным методом. Для видеопоследовательности пониженной кадровой частоты селективно-ковариационный метод позволяет увеличить вероятность правильного обнаружения цели на 10,2 %, обладая сопоставимой с ковариационным методом устойчивостью к изменению уровня шума и масштабированию интенсивности пикселей видеокадров.
TRACKING OF LOW-SIZED TARGETS FROM NON-STATIONARY CAMERA BASED ON COVARIANCE FEATURES AND PREDICTOR
I.A. BARYSKIEVIC, V.Yu. TSVIATKOU
Abstract
A fast selective-covariance tracking method of low-sized targets from non-stationary camera is proposed. It is based on selective predictor and representation of spatial and statistical target properties by covariance matrix. The comparison of proposed selective-covariance and known covariance methods is provided.
Список литературы
1. Porikli F., Tuze O. // Proceedings of IEEE Int'l. Conference on Multimedia and Expo. 2005. P. 1234-1237.
2. Avidan S. // Proc. IEEE Conf. on Computer Vision and Pattern Recognition. 2005. Vol. 2. P. 494-501.
3. Ribaric S., Adrinek G., Segvic S. // Proceedings of the 12th IEEE Mediterranean Electrotechnical Conference. 2004. P. 231-234.
4. Tuzel O., Porikli F, Meer P. // Proc. 9th European Conf. on Computer Vision. 2006. Vol. 2. P. 589-600.
