Снижение вероятности срыва сопровождения оптически наблюдаемых объектов в корреляционных алгоритмах сопровождения за счет комплексирования исходных изображений ИК- и ТВ-диапазонов Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Доклады БГУИР

2016 № 2 (96)

УДК 681.396.96

СНИЖЕНИЕ ВЕРОЯТНОСТИ СРЫВА СОПРОВОЖДЕНИЯ ОПТИЧЕСКИ НАБЛЮДАЕМЫХ ОБЪЕКТОВ В КОРРЕЛЯЦИОННЫХ АЛГОРИТМАХ СОПРОВОЖДЕНИЯ ЗА СЧЕТ КОМПЛЕКСИРОВАНИЯ ИСХОДНЫХ ИЗОБРАЖЕНИЙ ИК- И ТВ-ДИАПАЗОНОВ

Д.С. ШАРАК, А.В. ХИЖНЯК, А.В. ШЕВЯКОВ, Е.И. МИХНЕНОК

Военная академия Республики Беларусь Минск, 220057, Беларусь

Поступила в редакцию 25 января 2016

Описана типовая корреляционная система автоматического сопровождения оптически наблюдаемых объектов. Предложен и обоснован способ снижения вероятности срыва сопровождения, основанного на комплексировании исходных изображений ИК и ТВ диапазона. Приведены результаты экспериментов, подтверждающих эффективность предлагаемого решения.

Ключевые слова: алгоритмы сопровождения, взаимные корреляционные функции изображений, срыв сопровождения, эталонные изображения.

Введение

На сегодняшний день разработано множество вариантов автоматического сопровождения оптически наблюдаемых объектов. Большинство из этих алгоритмов показывают высокую точность и устойчивость только в определенном ограниченном диапазоне условий применения (ограниченный диапазон размеров объектов, достаточно высокое значение требуемого контраста объекта, наличие цветового признака, отсутствия действий маскировки, ограниченный набор допустимых типов объектов и др.). В критически важных ситуациях, таких как военное применение, накладываемые ограничения могут свести на нет эффективность применения технических систем. В частности, для военного применения необходимы алгоритмы адаптирующиеся (или нечувствительные) к размерам объектов (в пределах вычислительных возможностей), не делающих различия в типах сопровождаемых объектов и обеспечивающих возможность работы с различными типами источников видеоинформации. В этих условиях в военной области наиболее популярными остаются корреляционные алгоритмы автоматического сопровождения, эффективность которых не зависит от типов и формы сопровождаемых объектов, особенно в условиях применения средств маскировки [1-3]. В статье предлагается способ снижения вероятности срыва сопровождения оптически наблюдаемых объектов, основанный на комплексировании исходных изображений ИК- и ТВ-диапазонов в процессе расчета взаимной корреляционной функции фрагментов текущего и эталонного изображений.

Типовой корреляционный алгоритм сопровожцения

Принцип работы типовой корреляционной системы сопровождения основан на сравнении фрагментов изображения наблюдаемого пространства с некоторым эталонным изображением (ЭИ), полученным заранее, и последующим выбором фрагмента текущего изображения, наиболее соответствующего (на основании выбранной метрики) эталонному. На рис. 1 представлена структура типовой корреляционной системы сопровождения [3].

Рис. 1. Структура типовой корреляционной системы сопровождения

Камера формирует текущие изображения наблюдаемого пространства и передает их в вычислительное устройство. Блок построения корреляционной матрицы для каждого возможного положения сопровождаемого объекта рассчитывает значение некоторой корреляционной функции с ЭИ (Т). Эталонное изображение формируется в момент захвата объекта на сопровождение путем копирования участка текущего изображения, ограниченного стробом захвата в память. Рассчитанное значение корреляционной функции записывается в однозначно соответствующую анализируемому участку ТИ позицию корреляционной матрицы (С). После того, как корреляционная матрица сформирована, осуществляется поиск элемента с наибольшим значением. Позиция данного элемента в корреляционной матрице будет указывать на наиболее вероятное положение изображения объекта на ТИ. После определения наиболее вероятного положения сопровождаемого объекта производится расчет рассогласования (разницы между предыдущим и текущим положением сопровождаемого объекта), на основании которого формируются управляющие воздействия для опорно-поворотного устройства (ОПУ).

В качестве корреляционной функции наиболее универсальной является нормированная взаимная корреляционная функция (1) ввиду малой чувствительности к различиям в общей яркости сравниваемых изображений и строго определенному диапазону возможных значений: от -1 до 1. При этом значение 1 означает полное совпадение изображений, а значение -1 означает, что изображения противофазно (значения всех соответствующих пикселов лежат по разные стороны от их средних значений).

К =

м {[/(х) - м у)][*(х) - м (*)]}

М*)

(1)

где х - вектор координат элемента изображения, / - фрагмент текущего изображения, ^ -эталонное изображение, М - символ математического ожидания, М(/), М(1) - математическое ожидание значений яркости пикселов фрагмента текущего и эталонного изображений соответственно, а(Д а(/) - среднеквадратическое отклонение значений яркости пикселов фрагмента текущего и эталонного изображений соответственно.

Применительно к цифровым изображениям и учитывая отсутствие априорной информации о параметрах распределения значений яркости пикселов изображений, выражение для нормированной корреляционной функции можно записать в следующем виде:

К = ■

ЁЁ (У(х, У) - м (/))(* (х, у) - м (*))

у=1 х=1

У

п т

п т

(2)

Ё Ё (У(х, у) -м(/))\ Ё Ё (У(х, У) -м(*))2

у=1 х=1 у у=1 х=1

где п, т - количество пикселов изображений по вертикали и горизонтали соответственно (размеры изображения), х, у - горизонтальная и вертикальная координаты пиксела изображения соответственно, А(х, у), Кх, у) - значение яркости пиксела изображений в указанных координатах (х, у).

Способ снижения вероятности срыва сопровождения оптически наблюдаемых объектов, основанный на комплексировании исходных изображений ИК- и ТВ-диапазонов

Для доказательства снижения вероятности срыва сопровождения в корреляционном алгоритме при комплексировании исходных ИК- и ТВ-изображений примем следующие начальные условия. Предположим, что значение пиксела яркости является случайной величиной, распределенной нормально со среднеквадратическим отклонением равным 30 и математическим ожиданием равным 128 при допустимом диапазоне значений от 0 до 255. Справедливость данного предположения можно пояснить следующим образом. В данном случае не рассматриваются процессы формирования изображения со своими характеристиками шума. Предполагается, что значение пиксела точно отражает свойства наблюдаемого камерой пространства и не содержит аддитивного шума, обусловленного внутренними процессами компонентов камеры, формирующей изображение. Так как в данной ситуации не рассматриваются процессы формирования изображения, то применительно к плотности распределения значений яркости пиксела изображения необходимо рассматривать плотность распределения лучистой энергии, исходящей от наблюдаемого пространства и улавливаемой ячейкой фоточувствительной матрицы камеры. Рассматривая распределение лучистой энергии в конкретной точке пространства, а именно ячейке матрицы камеры, нельзя с уверенностью утверждать о каком-либо законе распределения, так как он будет зависеть от наблюдаемого камерой пространства. Утверждать какой-либо определенный закон распределения лучистой энергии в конкретной точке пространства равносильно утверждению, что элементы изображения наблюдаемого пространства, как и само пространство (область пространства в пределах разрешения элемента изображения), распределены по этому закону, что в свою очередь является неверным обобщением ввиду бесконечности вариантов расположения предметов, освещения и т.д. В то же время, для представления аналитического доказательства необходимо совершенно конкретно определить начальные условия для ясности доказательства. В рассматриваемой ситуации справедливым будет выбор любого удобного распределения вероятностей яркости пикселов изображения, что эквивалентно частному случаю наблюдаемого пространства. На основании вышеизложенного в качестве закона распределения яркости пикселов выбран нормальный закон распределения, как наиболее удобный для аналитических расчетов.

Для аналитического доказательства эффективности предлагаемого метода комплексирования исходных изображений рассмотрим следующую ситуацию. Пусть имеется некоторое эталонное изображение Т, полученное заранее, и содержащее изображение объекта на некотором фоне. Также пусть имеется некоторая область поиска Ж - изображение в котором будет производится поиск фрагмента, наиболее соответствующего эталонному изображению. В области поиска выберем два непересекающихся фрагмента I и Е, один из которых содержит искомый объект на некотором фоне, как показано на рис. 2 (серым цветом помечены пикселы, относящиеся к объекту, а белые - к фону).

Рис. 2. Фрагменты изображений, содержащие искомый объект на некотором фоне

Фрагменты I и Е имеют размеры равные размерам эталонного изображения. Предположим, что все пикселы фона независимы и имеют случайное значение, распределенное нормально. Будем вычислять значение коэффициента корреляции фрагментов I и Е с эталонным изображением Т. При этом фрагмент I содержит искомый объект, а фрагмент Е нет. Исходя из описанного выше принципа работы корреляционного алгоритма сопровождения

оптически наблюдаемых объектов, срыв сопровождения произойдет, если коэффициент корреляции между фрагментом Р и эталонным изображением Т окажется больше либо равным коэффициенту корреляции между фрагментом I и эталонным изображением. Необходимо найти для случая использования комплексирования и без него вероятность срыва сопровождения - вероятность того, что значение коэффициента корреляции эталонного изображения с фрагментом без объекта окажется выше значения коэффициента корреляции с фрагментом, содержащим объект. Введем следующие обозначения: К - коэффициент корреляции между фрагментом Р и эталонным изображением Т, Кг - коэффициент корреляции между фрагментом I и эталонным изображением Т. Поскольку мы принимаем, что пикселы фона являются независимыми случайными величинами, то в таком случае коэффициенты корреляции являются функциями множества случайных величин. Найдем отношение коэффициентов корреляции:

Р = К

К '

(3)

В данном случае срывом сопровождения является ситуация, когда значение К будет больше или равным Кг, то для ситуации срыва сопровождения соответствующее значение Р > 1. Следовательно, для того, чтобы сравнить вероятность срыва сопровождения при использовании комплексирования и без него, необходимо найти вероятность того, что Р превысит значение 1. Для этого необходимо найти плотность распределения случайной величины Р.

Для вывода аналитического выражения для плотности распределения случайно величины Р примем ряд допущений. Ввиду того, что нам неважны форма и тип объекта сопровождения, как и характер эталонного изображения, то для удобства записи выражений примем следующее. Пусть эталонное изображение является реализацией Ы-мерного случайного процесса (Ы = п*т), каждый пиксел которого независим и распределен нормально. Пусть половина пикселов эталонного изображения относится к объекту, а остальные - к фону. Пусть пикселы эталонного изображения имеют такое значение, что оценка среднеквадратического отклонения яркости независимых пикселей равна принятому для доказательства среднеквадратическому отклонению яркости пикселов (30), а среднее значение равно среднему значению яркости пикселов, принятому для доказательства (128). Пусть для фрагмента I соответствующие объекту пикселы имеют значение равное соответствующим пикселам эталонного изображения, а значение остальных пикселов является случайным, как показано на рис. 3.

Рис. 3. Вариант распределения яркости пикселей для эталонного изображения

Принимая во внимание сделанные предположения и переходя от математического ожидания к его оценке [5, 6] - среднему значению яркости пикселов изображения, выражение (1) для изображения Р и эталонного изображения Т примет следующий вид:

Д(У (X) - М Ж х) - М )}

К = ——

N0 ; О,

(4)

где х - индекс положения пиксела в одномерном массиве изображений; Дх) - одномерный массив изображения со всеми случайными элементами; 1(х) - одномерный массив эталонного изображения.

Для изображения I и эталонного изображения Т с учетом сделанных допущений выражение (4) примет следующий вид:

n n

£(,(х) -м)2 + ] {(/(X) -М1)(/(х) -М,)}

К = ■

х=N+1

Na/СТ,

(5)

где 1(х) - одномерный массив изображения с N-N0 случайными пикселами.

Таким образом, мы имеем эталонное изображение Т, N0 пикселей которого относится к объекту, а остальные к фону. Также мы имеем изображение I, где пикселы, относящиеся к объекту, идентичны соответствующим пикселам эталонного изображения, а остальные N - N0 пикселов имеют значения, изменяющиеся по случайному закону. Кроме этого, мы имеем изображение Е, где все пикселы имеют случайные значения. Таким образом, мы моделируем ситуацию, когда имеется заранее сформированное эталонное изображение с элементами фона, имеется объект от кадра к кадру, располагающийся на различной фоновой обстановке (Изображение I) и имеем изображение, где находятся только элементы фона.

Для определения вероятности срыва сопровождения необходимо найти плотность распределения случайной величины Р. Как видно из выражений (4) и (5), коэффициенты корреляции являются линейными комбинациями независимых нормально распределенных случайных величин (согласно начальным условиям). Следовательно, коэффициенты корреляции также будут распределены нормально [5] со следующими математическими ожиданиями и среднеквадратическими отклонениями:

стк =

СТ^ =

«о

МК2 =5]

1=«0 +1

« (;(х) -м )2

1

«СТ/СТ; )

NСТ/ СТ;

(6)

(7)

(8)

Математическое ожидание коэффициента корреляции К1 равно нулю (Мк\ = 0). Для нахождения плотности распределения Р необходимо найти плотность распределения системы случайных величин (К1, К2) [5, 6]. Ввиду того, что случайные величины независимы, плотность распределения системы случайных величин будет равна произведению их плотностей распределения [5, 6]:

/ К к2) =

1

К2 (К2 -Мк2)2

2ст2„ 2 СТ '

*2

СТК

(9)

Соответственно плотность распределения частного случайных величин К1 и К2 будет иметь следующий вид [6]:

о

/(Р) = | [к2/(рк2, К2)\акг +1 [к2/(рк2, К2)\ёк2,

(10)

где ДРК2, К2) - плотность распределения системы случайных величин (К1, К2) (9) с эквивалентной подстановкой К1 = РК2, согласно выражению (3).

Соответственно вероятность срыва сопровождения в данном случае будет рассчитывается согласно выражению [6]:

р(Р > 1) = | /(Р)сР>.

(11)

х

е

о

Примем следующие начальные условия для проведения расчетов: о/ = о/ = Ot = 30, Мг=М/=М1 = 128 (возможные значения яркости пикселов от 0 до 255), N = 16, N0 = 8, Их) = {-30,30, -30,30, -30,30, -30,30, -30,30, -30,30, -30,30, -30,30}. Значения элементов эталонного изображения ¿(х) выбраны так, чтобы оценка среднеквадратического отклонения соответствовала начальным условиям о/ = Ot = 30. График плотности распределения случайной величины Р имеет вид, как показано на рис. 4.

Рис. 4. Плотность распределения случайной величины Р

Для различных значений СКО комплексированного изображения рассчитывалась вероятность срыва сопровождения оптически наблюдаемых объектов. При данных начальных условиях график зависимости вероятности срыва сопровождения от значения СКО комплексированного изображения представлен на рис. 5.

Рис. 5. Зависимость вероятности срыва сопровождения от значения СКО комплексированного

изображения

Как видно из графика, при уменьшении значения СКО комплексированного изображения вероятность срыва снижается. Для значения СКО исходных изображений (о/ = Ot = 30) вероятность срыва составляет 5 %. При уменьшении значения СКО комплексированного изображения (ок = 15) вероятность срыва стремится к нулю. Приведенные выше результаты аналитических исследований доказывают принципиальную эффективность предложенного метода.

Для подтверждения аналитических расчетов был проведен эксперимент с использованием предложенной корреляционной функции (5). Схема эксперимента аналогична схеме аналитического доказательства. При каждом отдельном опыте изображение Р и I представляли собой реализацию многомерного нормального процесса. Требуемое количество экспериментов равнялось 316179 исходя из доверительной вероятности Q = 0,99 и доверительного интервала в = 0,001 для определения частоты срыва сопровождения. Результаты эксперимента отличаются от аналитических расчетов не более чем на 0,001, что говорит о верности предположений и справедливости допущений. Используя метод математической индукции полученные закономерности можно распространить и на изображения большего размера.

Заключение

Предложен способ снижения вероятности срыва сопровождения оптически наблюдаемых объектов, основанный на комплексировании исходных изображений ИК и ТВ диапазона при расчете корреляционной функции изображений. Показано, что возможно значительно уменьшить вероятность срыва сопровождения (до 5 раз). При этом предлагаемый способ повышения эффективности корреляционных алгоритмов сопровождения оптически наблюдаемых объектов может быть комбинирован с уже известными способами повышения

эффективности, такими как предварительная обработка изображений, сложные алгоритмы анализа и изменения эталонного изображения в процессе сопровождения, обработка корреляционной матрицы и анализ траекторной информации без необходимости их адаптации. Таким образом, применение предлагаемого способа является перспективным и не требует значительных дополнительных вычислительных ресурсов.

LOWERING OF FAILURE PROBABILITY OF OPTICALLY OBSERVABLE OBJECTS IN CORRELATION TRACKING ALGORITHMS BASED ON THE INTEGRATION OF THE INITIAL IMAGES OF IR AND TV RANGES

D.S. SHARAK, A.V. KHIZHNIAK, A.V. SHEVYAKOV, E.I. MIKHNIONOK

Abstract

The typical automatic tracking correlation system of optical observable objects is described. The method of tracking failure probability lowering based on the integration of the initial images of IR and TV ranges is offered and proved. Results of the experiments confirming efficiency of the offered decision are resulted.

Keywords: tracking algorithms, correlation functions of images, tracking failure, reference

images.

Список литературы

1. Баклицкий В.К. Корреляционно-экстремальные методы навигации и наведения. Тверь, 2009.

2. Wong S. // The Proceedings of SPIE: Acquisition, Tracking and Pointing. 2005. Vol. 19.

3. Алпатов Б.А., Бабаян П.В., Балашов О.Е. и др. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М., 2008.

4. Садыхов Р.Х., Дудкин А.А. // Штучный интеллект. 2006. № 3. С. 643-644.

5. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. М., 2000.

6. Вентцель Е.С. Теория вероятностей. М., 1969.