CC BY
34
УДК 004.932.72'1
ПРИМЕНЕНИЕ ОРИЕНТАЦИИ ГРАДИЕНТА ЯРКОСТИ ДЛЯ АВТОСОПРОВОЖДЕНИЯ ЦЕЛЕЙ
Ирина Валентиновна Борисова
Новосибирский государственный технический университет, 630073, Россия, г Новосибирск, пр. К. Маркса, 20, кандидат технических наук, доцент кафедры автономных информационных и управляющих систем, тел. (383)346-26-23, e-mail: i.v.borisova@corp.nstu.ru
Владимир Николаевич Легкий
Новосибирский государственный технический университет, 630073, Россия, г. Новосибирск, пр. К. Маркса, 20, доктор технических наук, доцент, заведующий кафедрой автономных информационных и управляющих систем, тел. (383)346-26-23, e-mail: sniios@mail.ru
Сергей Александрович Кравец
Новосибирский государственный технический университет, 630073, Россия, г. Новоси бирск, пр. К. Маркса, 20, аспирант кафедры автономных информацио нных и управляющих систем, тел. (383)346-26-23, e-mail: santoserg@yandex.ru
Рассматривается задача автосопровождения цели, находящейся на сложном естественном фоне. Предлагаемый метод основан на представлении каждой точки изображения ориентацией градиента яркости в локальной окрестности. В пространстве признаков эталон поэлементно сравнивается с фрагментами изображения. Для достижения устойчивого сопровождения применяется особое правило перезаписи эталона - динамическая мера близости.
Ключевые слова: обработка изображений, автосопровождение целей, направление градиента яркости, эталонный фрагмент.
APPLICATION OF THE GRADIENT ORIENTATION FOR AUTOMATIC TARGET DETECTION
Irina V. Borisova
Novosibirsk State Technical University, 630073, Russia, Novosibirsk, 20 K. Marksa Prospekt, Ph. D., associate Professor of the Department Autonomous Information and Control Systems, tel. (383)346-26-23, e-mail: i.v.borisova@corp.nstu.ru
Vladimir N. Legkiy
Novosibirsk State Technical University, 630073, Russia, Novosibirsk, 20 K. Marksa Prospekt, D. Sc., associate Professor, Head of the Department Autonomous Information and Control Systems, tel. (383)346-26-23, e-mail: sniios@mail.ru
Sergey А. Kravets
Novosibirsk State Technical University, 630073, Russia, Novosibirsk, 20 K. Marksa Prospekt, graduate student, Department Autonomous Information and Control Systems, tel. (383)346-26-23, e-mail: santoserg@yandex.ru
In this paper we consider the problem of automatic tracking for targets in complex natural backgrounds. The proposed method is based on a representation of each pixel as the gradient orientation in its vicinity. The element wise comparison of the reference image and current fragment is performed in the space of the features. Target detection in each frame of the video sequence is performed. A
special rule overwriting the standard so-called dynamic proximity measure is used to achieve stable tracking.
Key words: image processing, target detection, gradient orientation, reference image.
Рассмотрим задачу автосопровождения цели, которая находится на сложном естественном фоне и имеет низкий контраст относительно фона. Элементы фона могут заслонять цель на некоторое время. Общая яркость изображения, а также его частей, может изменяться. Для таких изображений алгоритмы сопоставления изображений, использующие непосредственно полутоновую информацию, например, корреляционные методы, оказываются неэффективными. Избавиться от яркостной зависимости позволяет описание изображений в терминах фасетной модели [1].
Фасетная модель описывает изображение как совокупность наклонных фасетов, т.е. плоскостей, ближайших к локальной окрестности, в смысле некоторого критерия (например, метода наименьших квадратов). Фасеты составляют с горизонтальной плоскостью двугранный угол и характеризуются величиной угла наклона и ориентацией в плоскости координат.
Ориентация фасета в координатной плоскости совпадает с ориентацией вектора градиента яркости в данной локальной окрестности. В настоящее время ориентация градиента в окрестности используется для описания и распознавания изображений в таких известных дескрипторах как SIFT и HOG [2, 3]. Эти дескрипторы предполагают разбиение изображения объекта на фрагменты (блоки), в которых формируются гистограммы направлений градиентов. В данной задаче рассматриваются объекты небольшого размера, к которым не применяется фрагментация. Использование гистограммы направлений градиентов только по одному блоку дает низкие результаты сопоставления [4]. Поэтому рассматриваемый подход основан на поточечном сопоставлении с эталоном.
Разделим окрестности изображения на условные группы (классы) в зависимости от ориентации градиента яркости. Номер класса окрестности рассматриваемой точки изображения (нумерация классов может быть произвольной) принимается в качестве признака этой точки. Таким образом, формируется псевдоизображение, каждая точка которого кодируется номером класса окрестности.
Дискретные изображения, заданные на квадратной решетке, могут быть описаны моделью, использующей пять классов окрестностей: четыре из них соответствуют направлениям градиента яркости, составляющим углы 0, /4, п/2, 3п/4 с горизонталью (беззнаковый градиент); пятый класс составляют окрестности с изотропной структурой.
Характеристики вектора градиента яркости могут быть получены различными методами, в том числе при обработке окрестности изображения пространственными дифференциальными операторами (например, операторами Собела или Превитт). Также хорошие результаты показал метод локальных анизотропных признаков (ЛАП) [5]. В методе ЛАП для каждой локальной окрестности находится спектр Фурье, и анализируются суммы элементов энергетического
спектра Ет и Еп -в направлении с максимальной энергией и в перпендикулярном направлении. Используя отношение Еп/Ет, окрестность проверяется на изотропность:
Еп /Ет < Q - анизотропность; ^^
Еп /Ет п Q - изотропность, где Q - порог анизотропности.
Для анизотропных окрестностей направление с максимальной энергией определяет ориентацию градиента и класс окрестности.
Проблема выделения изотропных окрестностей очень важна при поточечном сопоставлении с эталоном. Если структура окрестности близка к изотропной, т.е. окрестность не имеет четко выраженной анизотропии спектра, то существует большая вероятность определения ложных направлений. Признак, соответствующий такой точке, будет неустойчив и может меняться под воздействием шумов. Поэтому окрестности такого вида следует рассматривать как изотропные. Для этого требуется корректно определить порог анизотропности Q. Эта процедура, названная «эффектом отскока» подробно описана в работе [5].
Мерой близости двух закодированных изображений одного размера служит компарационная функция:
^=и§ Ь), (2)
Ь к
где а(], к) и Ь(/, к) - элементы сравниваемых псевдоизображений, а 8 - символ Кронекера 8'
а(ьк) = I1, а( к) = Ь(Ь, к)
'Ь(ьк) [0, а(ь, к) * Ь(ь, к)
Функция £ дает количество совпадающих элементов закодированных изображений. Сравнивая закодированные эталон и текущие фрагменты анализируемого изображения в режиме двухкоординатного сканирования, получаем компарационную матрицу (КМ).
Компарационная матрица аналогична корреляц ионной матрице, но в ином пространстве признаков. Признаком точки теперь является не яркость, а направление перепада яркости. При сравнении эталонного и анализируемого изображений местоположение эталона и его координаты определяются по максимальному значению КМ.
Когда эталон сравнивается с фрагментом фона, количество совпавших элементов случайно. Предположим, что значения признаков равновероятны. Тогда значения «фоновых» элементов КМ подчиняются биномиальному распределению:
(
Р(М ,Ж, р) =
V М у
рМдЖ -М, (3)
где Ж - площадь фрагментов, М - значение элемента КМ, р - вероятность совпадения классов в точке, д - вероятность несовпадения, р+д =1.
Для обнаружения цели фоновые элементы КМ должны иметь как можно меньшие значения при неизменной величине компарационного пика. Это достигается выбором такого порога анизотропности Q0, при котором пик распределения фоновых элементов максимально смещен влево по оси М. Этот порог называется точкой отскока [5] и определяет оптимальный режим работы для заданных изображения и эталона. Для того чтобы найти точку отскока, строится кривая смещения координаты максимума распределения значений элементов КМ для разных порогов Q.
Рассмотрим систему автосопровождения цели. Будем считать, что первый эталонный фрагмент уже имеется. Это фрагмент реального изображения, который указал оператор или выделила система обнаружения. После кодировки производится поиск цели посредством вычисления в режиме скользящего фрагмента компарационной меры близости текущего кадра с эталоном. Локация объекта производится по максимальному из полученных значений КМ. Обновление эталона происходит после каждого кадра. Если зафиксирован срыв слежения, то перезапись эталона запрещается до тех пор, пока цель не будет обнаружена.
Знание статистики КМ имеет еще одно важное следствие - возможность контроля достоверности результатов. Если компарационный пик лежит в области фоновых значений КМ, то результат нельзя принимать как достоверный. Основными причинами срыва слежения являются заслонение или затенение цели, а также попадание в эталон фрагментов окружающего фона.
Для устойчивого слежения и возможности продолжать автосопровождение в том случае, когда видна лишь часть цели или она на некоторое время совсем пропадает из поля зрения, используется динамическая мера близости (ДМБ) [6]:
В( k ,1) = 1, 1 < В( j, k, t) < К V k
[в(/, k, t -1) + Т1, и о; k, ^ = и о; k, t -1) (4) j, k, t) = <
[В(j,k,t -1) -т2, и(j,k,t) ф и(j,k,t -1),
где Т1, т2 > 0 - постоянные величины, t - количество перезаписей эталона, и(/,^)
- элемент (/,Е) эталона на шаге t, К - пороговое значение, определяется количеством сравнений эталона, необходимых для получения установившейся матрицы.
Смысл динамической меры близости состоит в том, что элементы эталона, не изменяющие свое значение от кадра к кадру, будут иметь больший «вес» по сравнению с остальными. Таким образом, производится адаптация эталона к форме динамической цели. При исчезновении цели матрица В некоторое время сохраняет информацию о ней. Через некоторое количество кадров, определяемое величинами т1 и т2, эта информация стирается из кратковременной памяти, если цель снова не появится в поле зрения следящей системы. Кроме того, использование матрицы сравнения В позволяет автоматически варьировать размеры эталона, согласуя их с размерами цели.
В качестве эталонов возможно использование не только фрагментов реальных изображений, но и графических изображений, в частности схематичных рисунков. Применение графических эталонов оправдано в начале слежения до накопления матрицы D и при срыве слежения.
Описанный алгоритм проиллюстрирован на рис. 1, приведена последовательность кадров с обнаруженными объектами.
а) б) в) г) д) е)
Рис. 1. Процедура поиска объекта с перезаписью эталона:
а) начальный эталон (кадр 1); б) кадр 4; в) кадр 8; г) кадр 12; д) кадр 14;
е) накопленная матрица D
Тестирование рассмотренного метода показало устойчивое сопровождение при кратковременном заслонении цели. В то время как при использовании классической нормированной корреляционной меры наблюдалась потеря объекта (рис. 2). На рис. 3 приведены значения сформированных компарационной и корреляционной матриц для зоны поиска в кадре № 16.
а) б)
Рис. 2. Кадр 16 с найденными объектами при использовании:
а) компарационной меры; б) корреляционной меры
Рассмотренный метод автосопровождения целей эффективен, если параметры движения объекта и носителя, на котором установлен датчик изображений, обеспечивают сопоставимость кадров в темпе перезаписи эталона. Поточечное сопоставление с эталоном, вообще говоря, не обеспечивает инвариантности к изменению масштаба и поворотам. Смена масштаба эталона должна производиться исходя из анализа матрицы D.
Если эталонный объект обладает ярко выраженной анизотропией структуры, предлагается применять модификацию рассмотренного метода формирования КМ, которая обеспечивает инвариантность к повороту в плоскости изображения. Для эталона формируется гистограмма направлений градиентов. Затем выполняется циклический сдвиг гистограммы, таким образом, чтобы первое направление соответствовало пику гистограммы направлений. Гистограмма направлений для текущего фрагмента изображения строится аналогично и сравнивается с эталонной. Фрагменты изображения, в которых гистограммы направлений градиента наиболее близки к эталонной, поворачиваются на соответствующий угол, кодируются и сравниваются с эталоном. Либо наоборот, заранее формируется набор повернутых эталонов, и сравнение проводится с эталоном, соответствующим пику гистограммы направлений.
Предложенный метод обнаружения целей применим даже в тех случаях, когда эталон и изображение отличаются по яркостям друг от друга, когда они получены от датчиков, работающих в различных спектральных диапазонах и т.п. Выбор оптимальных параметров и сама процедура обнаружения выполняются автоматиче ски.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Haralick R.M., Watson L. A facet model for image data // Computer Graphics and Image Processing.-1981.-V15, №.2.-1» 113-129.
2. Lowe D.G. Object recognition from local scale-invariant features // Proc. International Conference on Computer Vision.- 1999.-V 2.-P 1150-1157.
3. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection// Computer Vision and Pattern Recognition.- 2005.- V 1.-P. 886-893.
4. Алгоритм сопоставления изображений на основе скользящих гистограмм направленных градиентов / Д. Мирамонте-Харамилло, В.Х. Диас-Рамирес, В.И. Кобер, В.Н.Карнаухов // Информационные процессы.- 2014.- Т 14, № 1.-С. 56-63.
5. Попов П.Г., Борисова И.В. Практическое применение эффекта «отскока» в обработке изображений // Оптический журнал.-1999.- Т.66, №4. - С. 94-101.
6. Попов П.Г. Динамическая мера близости изображений: Часть I: Выделение движения // Автометрия.-1994.- № 1.- С.60-67.
© И. В. Борисова, В. Н. Легкий, С. А. Кравец, 2017 35
