Метод ускоренной геометрической стабилизации изображений видеосигнала нестационарного источника аэровидеосъёмки Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.397.13

МЕТОД УСКОРЕННОЙ ГЕОМЕТРИЧЕСКОЙ СТАБИЛИЗАЦИИ ИЗОБРАЖЕНИЙ ВИДЕОСИГНАЛА НЕСТАЦИОНАРНОГО ИСТОЧНИКА АЭРОВИДЕОСЪЁМКИ

Представлен краткий обзор существующих принципов обработки нестационарных видеоизображений. Предложен перспективный метод ускоренной обработки нестационарных видеосигналов. Представлены математические модели аналогичного и разработанного методов геометрической стабилизации видеоизображений нестационарного источника. Даны результаты сравнительного анализа аналогичного существующего и перспективного разработанного методов геометрической стабилизации нестационарных видеоизображений.

Ключевые слова: аэровидеосъёмка; нестационарный источник; геометрическая стабилизация видеоизображений.

Стабилизация нестационарных видеоизображений, так же как и ускорение этих процессов, являются актуальными задачами. Необходимость стабилизации изображений с нестационарных источников съёмки обусловлена, прежде всего, потребностью иметь псевдостационарный кадровый видеопоток, поскольку в ряде случаев применять обработку к исходному геометрически нестабилизированному видеосигналу просто невозможно.

В частности, аэровидеосъёмка дорожного полотна с использованием квадрокоптера в качестве аэровидеоисточника и при проведении предварительной геометрической стабилизации кадров видеосигнала, теоретически позволяет анализировать состояние транспортного потока запечат-лённого участка дороги (рис.1), воссоздавая псевдостационарный сигнал.

И.Е. Агуреев, Е.И. Минаков, Д.С. Калистратов

Рисунок 1. Общий принцип видеомониторинга состояния

автомобильной дороги

С практической же точки зрения, реализовать такой подход к сбору сведений, особенно в режиме реального времени, очень сложно, поскольку без дополнительных мер геометрическая стабилизация занимает очень много машинного времени. Следовательно, необходимо иметь не только механизмы геометрической стабилизации нестационарных изображений, но и механизмы ускорения данных процессов.

На сегодняшний день наибольшее распространение имеют методы геометрической стабилизации изображений, основанные на цифровой обработке видеосигналов [1] и анализе смещений фрагментов кадров. Подобные подходы используются также в вопросах видеокодирования при прогнозировании кадрового движения [2,3,4]. При этом известны как простые, так и сложные методы обработки видеоизображений [5]. Особенностью подобных методов является то, что изначально приходится отказываться от части полного кадра, применяя уменьшенный формат кадра 1, который может двигаться в рамках полного кадра с целью компенсации горизонтальных и вертикальных геометрических искажений, вызванных движением нестационарного источника изображения (рис.2).

Рисунок 2. Общий принцип геометрической коррекции изображения

Однако, этот формат слишком велик для сличения схожих фрагментов изображений в рамках текущего и предыдущего кадров. По этой причине, в процессе устранения геометрической ошибки положения по опорному фрагменту (макроблоку) 2 в рамках области отслеживания 3 предыдущего кадра ищется коррекционный вектор смещения изображения для текущего кадра. При этом размерность области отслеживания опорного фрагмента и размерность самого фрагмента задаются предварительно, а для сличения опорного фрагмента с наиболее похожей частью изображения в рамках предыдущего кадра используется один из статистических критериев, такой, например, как среднее абсолютное отклонение между

239

сигналами опорного макроблока и его возможного двойника в рамках предыдущего кадра:

1 mbsmbs

E =-2 ^^ Cv - РА (Р е ), (1)

mbs 1=1 а=1

где Е - среднее абсолютное отклонение сигнала; mbs - размерность опорного макроблока; 1, А - индексы строк и столбцов макроблока соответственно; С - текущий сигнал опорного макроблока; Р - сигнал прогнозового макроблока; - стандартная область поиска прогноза. После нахождения вектора смещения остаётся откорректировать положение активного прямоугольника 1, сдвинув его в соответствии с найденным вектором смещения и загрузить его соответствующим изображением из текущего полноформатного кадра. Таким образом, искусственно формируется псевдостационарный видеопоток, в котором на неподвижном фоне передвигаются подвижные объекты (в данном случае транспортные средства).

Метод линейной геометрической стабилизации нестационарных видеоизображений. Наиболее подходящим для геометрической стабилизации аэровидеоизображений представляется метод линейного прогнозирования положения опорного макроблока. Рассмотрим случай для одной из координатных осей. Запишем предварительное уравнение для оценки смещения по этой оси:

к^ = Р, (2)

(I

где Р - аналог силового воздействия на изображение; д - смещение изображения по оси; t - время; к - предварительный коэффициент аппроксимации движения. Допустим, что внешнее силовое воздействие постоянно в рамках разового измерения малой длительности по времени, разделим обе части на данное силовое воздействие, получим:

3 =1, (3)

(I

где а - коэффициент аппроксимации движения. Условимся, что все формулы имеют дискретное представление в вычислительном устройстве. Будем считать также, что весь видеопоток логически разбит на динамические единицы, а одна динамическая единица видеопотока разделена на начальные опорные и последующие прогнозируемые кадры. При этом для опорных кадров сразу применяется поисковой алгоритм со стандартными размерами области поиска. Для прогнозируемых кадров применяется предварительная аппроксимация движения с последующим уточнением положения изображения посредством поискового алгоритма с меньшими размерами области поиска. Запишем полную математическую модель метода:

Для опорного кадра: 1 шьбшьб Е =-^ II С\ 1 - В 1 (Ре )

шьб 2 1=\ 1=1

Я = ? (Е)

Для прогнозового кадра:

1 & (4)

Я = Яо и где: а = —

а ая 1 шьбшьб

Е =-т II С, 1 - р, 1 (Ре щ)

шьб 2 1=1 1=1

Я = {(Е, V)

где Яо - начальное значение отклонения; V- значение из вектора предварительного аппроксимационного смещения. Коэффициент аппроксимации движения вычисляется для текущего кадра по паре предыдущих кадров. Начальное значение смещения задаётся смещением для предыдущего кадра.

Таким образом, данный метод использует линейное предсказание смещения изображения, в расчётных формулах задействована только первая производная смещения, а для запуска процесса прогнозирования необходимо иметь два последовательно обработанных опорных кадра.

Метод нелинейной геометрической стабилизации нестационарных видеоизображений. В основу разработанного метода была положена идея аппроксимации движения фрагментов изображения физическими законами движения реальных тел. Так, например, в рассматриваемом случае, если квадрокоптер движется с ускорениями, то и плоскость кадрового изображения также будет двигаться с ускорениями. Иными словами, разработанный метод учитывает динамику движения механического носителя видеокамеры, что позволяет с гораздо большей точностью прогнозировать ошибочные смещения. Проанализировав на основе такого подхода маленький фрагмент видеосигнала, возможно с высокой точностью прогнозировать смещение для большого количества последующих кадров. Следовательно, число прогнозируемых кадров растёт по сравнению с количеством опорных кадров, а время обработки сигнала значительно сокращается, поскольку прогнозирование движения занимает гораздо меньше времени по сравнению с полновесным поисковым алгоритмом. По этой причине разработанный метод способен обеспечить значительное ускорение процесса обработки видеопотока. Запишем предварительное уравнение для оценки смещения по фиксированной координатной оси:

к^ + к; 02 = ^ (5)

а/2 аг

где к, к2 - предварительные коэффициенты аппроксимации движения. От-

метим, что первое слагаемое левой части косвенно характеризует инерционную составляющую движения механического носителя, а второе слагаемое учитывает сопротивление среды. При условии постоянства входного воздействия на малом временном интервале придём к следующему уравнению:

ё2о ёа Л ё12 ё

(6)

где а1, а2 - коэффициенты аппроксимации движения. Поскольку коэффициентов аппроксимации движения два, необходимо составить систему из двух уравнений для смещений пары предыдущих кадров.

ёЯ1 _

ё 2а1

Л 2

ё2 а2 а +¿2

_ 1

ж

С92 _

(7)

Сг

сИ

_1

где 91, 92 - два соседних последовательных во времени значения смещения изображения. Тогда полная математическая модель метода выглядит так:

Для опорного кадра : 1 тЪв тЪв

-Г £ £ 7 - Р7 (Ре &0 ) тЪБ _ 7 _1

а _ /(Е)

Для прогнозово го

е _

ае1

а1

1 1

а1

сс2 9 С9

—ТТ + а2 — _ 1,

Л2 2 * '

С91 Л с92

кадра : где :

&

ае1

с 2 91 Л 2 С2 92

б?г

(8)

ае1

е_

с 2 91 С91 -; а2 _ С 2 91 С91

Л 2 С? ае1 Л 2 С?

С 2 92 С92 С2 92 С92

Л 2 С? Л 2 С?

1

2

тЪ5 тЪв

£ £ С/

7

Р, 7 (Р е )

тЪ5 у_1 7 _1

9 _ /(Е,К)

Таким образом, данный метод использует нелинейное предсказание смещения изображения, в расчётных формулах задействована как первая, так и вторая производные смещения, а для запуска процесса прогнозиро-

1

1

вания необходимо иметь три последовательно обработанных опорных кадра.

Сравнительный анализ методов. Эффективность разработанного метода подтвердилась экспериментально (рис.3). На данном рисунке кривая 1 соответствует идеализированному отслеживанию смещений кадра по одной из осей. Кривые 2 и 3 соответствуют практическому отслеживанию смещения для аналогичного и разработанного методов соответственно.

Рисунок 3. Результаты сравнительного анализа методов

Из рисунка видно, что вследствие низкой точности аналогичного метода, процесс прогнозирования оборвался уже на 7 кадре, в то время как при применении высокоточного разработанного метода процесс прогнозирования оборвался только на 26 кадре. Следовательно, одна периодическая единица видеопотока для существующего метода должна иметь длину в 6 кадров, 2 из которых опорные и 4 прогнозируемые, а для разработанного метода длина единицы видеопотока составит 25 кадров, 3 из которых опорные и 22 прогнозируемые. Коэффициенты ускорения обработки видеопотока, в первом приближении, можно оценивать как отношение количества прогнозируемых кадров к количеству опорных кадров в рамках одной периодической единицы потока. Согласно такому подходу коэффициент ускорения для аналогичного метода будет равен 2, а для разработанного 8,3.

Заключение. Эффективность предложенного перспективного метода обусловлена близостью его математической модели к реальным физическим законам движения механических тел. Это означает, что отслеживание и прогнозирование смещения фрагментов нестационарного видеоизображения, по сути, является следствием косвенного высокоточного анализа характера движения самого механического носителя съёмочной аппаратуры. При переходе от аналогичного метода к разработанному коэффициент ускорения процесса геометрической стабилизации изображений нестационарного источника составил 4,16, то есть скорость обработки изображений выросла более чем в четыре раза при прочих равных условиях.

Список литературы

1. Карякин В. Л. Цифровое телевидение. М: СОЛОН-ПРЕСС, 2013.

448 с.

2. Ричардсон Я. Видеокодирование. Н.264 и МРЕО-4 - стандарты нового поколения. М.: Техносфера, 2005. 368 с.

3. Вернер М. Основы кодирования. М.: Техносфера, 2004. 288 с.

4. Сэломон Д. Сжатие данных, изображений и звука. М.: Техносфера, 2004. 368с.

5. Александров А.А., Умняшкин С.В. Модификация алгоритма трёхслойной компенсации движения для видеокодека на базе дискретного вейвлет-преобразования // Известия высших учебных заведений. Электроника. 2011. №6 С. 55-62.

Агуреев Игорь Евгеньевич, д-р техн. наук, заведующий кафедрой, agureev-igor@yandex.ru, Россия, Тула, Тульский государственный университет,

Минаков Евгений Иванович, д-р техн. наук, проф., EMinakov@bk.ru, Россия, Тула, Тульский государственный университет,

Калистратов Дмитрий Сергеевич, магистр, Kalistratow@list.ru, Россия, Тула, Тульский государственный университет

THE METHOD OF THE SPEEDUP IMAGE GEOMETRIC STABILIZATION PROCESSES FOR MOVING SOURCE OF AEROVIDEOCAPTURE

I.E. Agureev, E.I. Minakov, D.S. Kalistratov

The Presented review existing principle of moving videoimage processing. Given perspective method of the speed processing of videosignal from moving source. Presented mathematical models of the methods to geometric stabilization of videoimages. Given results of the comparative analysis of similar existing method and perspective designed method to geometric stabilization of moving videoimages.

Key words: aerovideocapture: moving source; the geometric stabilization of videoimages.

Agureev Igor Evgenjevich, doctor of technical science, head of department, agureev-igor@yandex.ru, Russia, Tula, Tula State University,

Minakov Evgenij Ivanovich, doctor of technical science, professor, EMina-kov@bk.ru, Russia, Tula, Tula State University,

Kalistratov Dmitrij Sergeevich, magister, Kalistratow@list. ru,, Russia, Tula, Tula State University