CC BY
127
СРАВНЕНИЕ ИЗОБРАЖЕНИИ ПО ФОРМЕ С ИСПОЛЬЗОВАНИЕМ ДИФФУЗНОЙ МОРФОЛОГИИ И ДИФФУЗНОЙ корреляции
Визильтер Ю.В., Горбацевич В.С., Рубис А.Ю., Выголов О.В.
ФГУП «Государственный научно-исследовательский институт авиационных систем»
(ФГУП «ГосНИИАС»)
Аннотация
Сравнение изображения с формой другого изображения или сравнение форм двух изображений позволяет сравнивать фрагменты изображений одной сцены, полученных в различных условиях освещённости, погодных условиях или в различных спектральных диапазонах. Наиболее популярным методом сравнения форм изображений является подход, основанный на использовании взаимной информации. Другой известный подход к сравнению изображения с формой другого изображения предложен в морфологии Пытьева. В данной статье предлагаются новый метод сравнения изображений по форме на основе диффузных операторов и диффузной корреляции, а также соответствующий обобщённый формализм диффузной морфологии. Описана быстрая реализация алгоритма диффузной фильтрации. Проведено экспериментальное сравнение разработанного метода диффузной корреляции с другими методами сравнения по форме применительно к задаче взаимной привязки ТВ- и ИК-изображений.
Ключевые слова: математическая морфология, сравнение изображений, диффузные операторы.
Введение
Задача сравнения изображений по форме безотносительно к яркостной составляющей их пикселей часто возникает на практике, например, в случае сравнения изображений, полученных при различных погодных условиях, условиях освещённости, в разное время суток, в различных спектральных диапазонах и т.д.
Наиболее популярный в настоящее время метод сравнения форм изображений использует меру взаимной информации, вычисляемую по эмпирическому совместному распределению яркостей двух изображений [1]. Однако такой подход исходит из статистических соображений и не рассматривает понятие формы изображения в явном виде. В то же время широко известен и другой подход, предложенный Ю.П. Пытьевым - морфологический анализ изображений (морфология Пытьева), основанный на геометрическом и алгебраическом описании формы [2]. Этот подход выражает геометрическую идею о форме изображения в явной форме и предлагает базовый метод сравнения изображения с формой другого изображения посредством морфологического коэффициента корреляции. Кроме того, в рамках данного направления был разработан целый ряд различных морфологических средств анализа и сравнения изображений. В частности, в статье [3] с помощью данного подхода был предложен коэффициент геометрической корреляции мозаичных форм изображений, оцениваемый как среднеквадратичный коэффициент морфологической корреляции (СКМК).
К сожалению, эксперименты по взаимной привязке ТВ- и ИК-изображений показали, что все эти методы сравнения изображений по форме недостаточно устойчивы по отношению к шуму и высокочастотным искажениям. Более того, качество результатов привязки во многом зависит от качества предварительной сегментации изображений, поскольку форма мозаичных изображений традиционно описывается как
набор однородных областей разбиения кадра, вследствие чего она чрезвычайно чувствительна к шуму, применяемому алгоритму сегментации и его параметрам.
Между тем в области алгоритмов снижения размерности и сравнения данных известны устойчивые методы, основанные на тепловых ядрах и диффузных операторах [5]-[8]. Их применение не требует предварительной сегментации данных, и это позволяет надеяться, что возможные модификации морфологических методов, основанные на таких диффузных операторах, будут более робастны.
В данной статье предлагается обобщение морфологического анализа изображений Пытьева, основанное на тепловых ядрах и диффузных операторах. В рамках диффузной морфологии сравнение изображений по форме осуществляется с использованием диффузной корреляции, являющейся непосредственным обобщением Пытьевской морфологической корреляции. Для проверки практической полезности предлагаемого подхода поводится экспериментальное сравнение диффузной корреляции со взаимной информацией, морфологической корреляцией и геометрической корреляцией (СКМК) на примере задачи взаимной привязки ТВ- и ИК-изображений одной сцены.
1. Обзор существующих подходов
Взаимная информация
Взаимная информация является статистической мерой, которая определяет количество информации, содержащееся в одной случайной величине, о другой. Она определяется как расстояние Кульбака-Лейблера между эмпирическим совместным вероятностным распределением двух случайных величин и оценкой такого распределения для случая их полной статистической независимости:
I (A, B ) = H (A) + H (B)-H (A, B),
(1)
H (A) = -X Pa («) log Pa (a), H (B) =
a
= -Z Pb (b ) log Pb (b ) ,
b
H(A,B) = ZZPAB (a,b) logp AB (a, b ),
где Н(А) - энтропия А, Н(В) - энтропия В, Н(А,В) -совместная энтропия А и В. В случае сравнения формы изображений для двух значений интенсивностей а и Ь пары соответствующих пикселей на двух изображениях эмпирические оценки совместного и частных распределений формируются посредством расчёта нормализованных совместной (2D) и частных (Ш) гистограмм. За последние годы был создан ряд успешных приложений данного метода сравнения изображений по форме [8], [9].
Морфологический анализ изображений и геометрическая корреляция
В рамках простейшей морфологии Пытьева [2] изображения рассматриваются как кусочно-постоянные функции вида
п
/ ( X У ) = Х / Хг, ( X У),
;=1
где п - число областей разбиения F кадра О на связные непересекающиеся области постоянной яркости F = {Еь...,Еп}; f = (/1, ...,/п) - вектор действительных значений яркости, соответствующих каждой области разбиения; хк (х,у) е {0,1}- характеристическая функция ;-й области яркости:
Xp (X У) =
1, если (х, y) е f 0, в противном случае.
(2)
Множество изображений одной формы разбиения кадра F в таком случае образовывает выпуклое и замкнутое подпространство Е с L2(Q):
F = {f ( х, У ) = £ х, У ),
,=1
f = {./;,..., fn},f е Rn}.
(3)
Для любого изображения g (х,у) е L2(Q) может быть определена проекция на форму Е:
gF (X У) = PFg (X У) = Z gp, Xp (х' У) '
gf, = (Xp' g )/||х
(4)
i = 1,
, n.
Морфологическое сравнение изображений /(х,у) и g (ху) в рамках морфологии Пытьева может осуществляться с помощью нормированных морфологических коэффициентов корреляции Пытьева:
Km (g, F) =
|Pfg| ||g||
, Km (f, G) =
II PGf II ||f|| .
Здесь в первом случае изображение g сравнивается с формой изображения / а во втором случае, на-
оборот, изображение / сравнивается с формой изображения g.
Для того чтобы не учитывать постоянную неинформативную часть яркости изображения, производится нормализация с использованием проекций:
Km (g, F) =
Km(f, G) =
IlPfg - P0g|| II g - Pogll ' \Ppf - Pof II II f - Pof\\ '
(5)
где Р0 / - морфологическая проекция изображения / по пустой форме О с одной однородной областью.
Позднее были предложены усовершенствования и модификации данного подхода в работах [10], [11], однако основные идеи были основаны на проекции одного изображения на мозаичную форму другого изображения или класса изображений.
В работе [3] был предложен геометрический подход к сравнению изображений, основанный на морфологическом анализе Пытьева. Пусть /(ху) из Е -кусочно-постоянная двухмерная функция и изображение g(x,y) из G - аналогичная функция с т областями G = {Р\, ..., Рт}; g = ..., gm) - вектор значений яркости; хр] (х,у)е{0,1} - характеристическая функция ]-й области.
Введём дополнительно следующие обозначения: - площадь кадра О; = || %к(х,у) ||2 - площадь области разбиения Е;; = || %р(х,у) ||2- площадь области разбиения Р/; 8у = (хк(ху), Хр(ху)) - площадь пересечения Е; п Р/.
Среднеквадратичный эффективный коэффициент морфологической корреляции (СКМК) форм Е и Р определяется как
к2(е , р)=х т=. х :=, =
(6)
= Z IZ Г=1 Kq (F,, Gj) KM (Gj, f),
где Kq (F,,Gj) = S,j/ S - нормированный коэффициент значимости пары областей F, и Gj для оценки сходства разбиений F и G; KM2(Gj,Fi) = Sij/Sj - квадрат нормированного морфологического коэффициента парной корреляции пары областей F, и Gj.
Методы нелинейного снижения размерности данных, тепловые ядра и диффузные фильтры
Традиционно основным методом (линейного) снижения размерности многомерных данных считался метод главных компонент (PCA). Суть его заключается в том, чтобы найти главные компоненты (собственные векторы матрицы ковариации данных) и перейти в линейное подпространство меньшей размерности, являющееся замыканием заданного числа наиболее значимых собственных векторов (значимость определяется величиной соответствующих собственных чисел).
Наиболее интересными и известными подходами в данном направлении являются: Isomap [12], Locally Linear Embedding (LLE) [13], Kernel Principle Compo-
ab
,=1
2
p
nent Analysis [14], Laplacian Eigenmaps [15], Hessian LLE [16], Manifold Sculpting [17] и ряд других.
Термины «тепловое ядро» и «тепловое рассеивание» были введены в [15]. В работах [5], [6], [18] была введена и развита теория диффузных операторов (idiffusion maps). Тогда проблема снижения размерности с помощью диффузных операторов может быть решена следующим образом:
1. Определение графа соседства G.
2. Формирование теплового ядра heat kernel H = || hij || (матрица теплового обмена с параметром температуры t е R). Если между точками i и j имеется связующее ребро, то
hv = exp
X - X:
2a2
в противном случае hij = 0.
3. Нормализация теплового ядра и получение ядра диффузии Р = М-1 Н, где М = || тц || - диагональная матрица сумм Н: т, = ^.
4. Выбор масштабного параметра t.
5. Вычисление спектрального разложения матрицы Р' с собственными числами
1 = Х0 >Х1 >х2 >...
и соответствующими собственными функциями {V,}.
6. Отображение данных в пространство низкой размерности I путём выбора I максимальных собственных значений и перехода к новым координатам:
\ у« Г •
Ключевыми шагами здесь являются шаги 2 и 3, поскольку нормализация теплового ядра позволяет трактовать его как переходную матрицу Марковских случайных блужданий, а параметр ' (степень матрицы Р') позволяет рассматривать евклидово расстояние в новом пространстве как вероятность перехода из точки в точку за ' шагов таких случайных блужданий.
Однако задачами снижения размерности применимость данного подхода к описанию формы не ограничивается. Например, в [6] можно найти описание целого ряда различных применений диффузных отображений в таких областях, как обработка изображений, комплексирование информации от различных датчиков, восстановление разреженных матриц и ряд других. В частности, в [6] описано приложение данной техники к анализу формы изображения (точнее, к задаче фильтрации изображения с сохранением его формы). В данной работе для каждой точки изображения I с координатами р = (хр, ур) вводится некоторый вектор признаков v(p), характеризующий её окрестность. В простейшем примере в качестве v(p) используется сама окрестность, например, 5*5. Далее выбирается е > 0 и определяется Марковский фильтр
А,« = exP-
||v ( p )-v ( q )||
exp
-l lv ( p )-v ( q )ll
Линейная фильтрация изображения I с таким фильтром описывается выражением
Ia (P ) = Х Ар«1 (q ).
ТВ
IIK
Рис. 1. Примеры диффузной фильтрации для удаления шума ТВ- и ИК-изображений
На рис. 1 представлены примеры диффузной фильтрации для удаления шума ТВ- и ИК-изображений с ядром 5^5, как в и статье [6]. Форма изображений сохраняется при эффективной фильтрации изображений от шума.
В последние годы в отдельное и быстро развивающееся направление выделились дескрипторы формы, основанные на «тепловых ядрах» и диффузных преобразованиях, а также их спектральных и других производных характеристиках. Инвариантные описания форм как точечных множеств, представляющие собой диагональ теплового ядра (Heat Kernel Signature, HKS), были предложены в [20], [21], [22], [23]. В литературе также рассматриваются такие статистики, как распределение HKS (heat kernel signature distribution, HKSD) и «тепловой след (heat trace)». Существует и множество других модификаций этого подхода, часто называемого также «спектральным» подходом к описанию формы.
2. Диффузная морфология и сравнение изображений
Обобщение морфологического анализа Пытьева с использованием тепловых ядер и диффузных фильтров
В основе спектральной теории диффузных отображений лежат симметричные нормированные
диффузные операторы H, такие что
h > 0; hii > hj ; hj = h, ; Уя hj = 1; y " hj = 1.
L-i ,=1 j ' L-i j=1 j
В частном случае они задаются путём нормирования
тепловых ядер вида kj = exp(-dj./ е^
где dj - расстояние между i-й и j-й точками многообразия в некотором исходном пространстве признаков.
2
2
Б
Б
q
q
Рассмотрим полутоновое изображение /х,у) и определим дискретное расстояние по яркости между 1-й и}-й точками изображения как
_ 10, если / (х, у) = / (х, у1); '' [да, в противном случае.
Тогда матрица сходства (тепловое ядро) будет иметь вид
, . , ,. [1, если / (х, у) _ /(Xj, у});
[0, в противном случае .
С точностью до формы записи это ничто иное, как матрица пиксельных отношений «пикселы равны по яркости» [4]:
[0, если / (х, у) ф /(и, V);
юр (х,у,и, V) _
1,
если /(х,у) _ /(и,V).
При этом если изображение / относятся к пытьев-ской форме Р, описываемой кусочно-постоянной моделью
/(XУ)_Х/хр (хУ),
юр (х,у,и, V) _ •
тогда отношение юр имеет вид
[1, если V/: хр, (х,у) _ хр (и,V); [0, в противном случае . Проведём вероятностную нормировку:
°Р _ цюг (х,у,и,V) du ,
ар (х,у,и,V) _ юр (х,у,и,V)!(ор(х,у) ир (и,V)),
что для кусочно-постоянного изображения формы р даёт
ар (х,у,и,V) _
_ П/^, если з/: хг (х у) _ хг (^V) _1;
[0, в противном случае ,
где Я, - площадь области разбиения Г,.
Таким образом, как мы видим, оказался сформирован линейный оператор (пытьевского проецирования), эквивалентно описывающий форму р, заданную набором отношений сходства юр:
gF (х,у,и,V) _ AFg(х,у) _
_ Ц ар (х, у, и, V) g (х, у) du dv.
Следует отметить, что || Ар || < 1, то есть это «диффузное» преобразование. При этом собственными функциями данного преобразования являются характеристические функции пытьевской формы {хк(х,у)} (все с собственными числами 1), а собственным пространством является линейная комбинация собственных функций, то есть сама пытьевская форма (3) как линейное подпространство в пространстве изображений с ортогональным базисом из характеристических функций областей разбиения.
Таким образом, пытьевские проекторы являются частным случаем диффузных отображений, а пытьев-ские формы являются частным случаем собственных подпространств диффузных операторов. С учётом этого, обобщая пытьевскую терминологию, можно дать следующие определения.
Определение 1. Реляционной моделью диффузной формы Г изображения / будем называть функцию парного отношения сходства точек изображения
kF (х, у, и, V): О х О ^ [0,1], такую что:
kF (х, у,и, V) > 0;
kF (х, у, х, у) > kF (х,у,и, V);
kF (х, у,и, V) _ kF (и, V, х,у)
и при этом существует однозначная функция измерения сходства л, что
"( / ( X у) , / (^ V ))_ kF ( X У U, V) .
Определение 2. Операторной моделью диффузной формы Г будем называть оператор диффузного преобразования Рр,
PFg (х,у)_ Цп Рр (х,у,и, V) g (и, V) du dv,
определяемый нормированным ядром рр(х,у,и,у), таким что:
рр (х,у,и, V) > 0;
Рр (х,у, х,у) > рр (х,у,и,V);
Цп рр (х,у,и, V) du dv _ 1;
ИИО О Рр(х,у,и, V) dx dy du dv
При этом всякой реляционной модели диффузной формы может быть поставлена в соответствие её операторная модель:
рр (х,у,и,V) _ kF (х,у,и,V)Ц kF (х, у, а, b)da db.
Определение 3. Диффузной формой р изображения /х,у) назовём собственное пространство оператора диффузного преобразования Рр
р _ spаn {Х1ф1 (x, у),..., Хифи (x, у)},
где {ХЬ...,ХИ} - собственные числа, а {ф1(х,у),...,фи(х,у)} - собственные функции оператора
рр:
Ррф, (X у) _ Кф, (x, у), . _1,... п. В частном случае выб
л(/ ( x, у), / (u, v ))_•
В частном случае выбор
[1, если /(х,у) _ /(и, V); [0, в противном случае
приводит к построению пытьевской морфологии, описывающей форму изображения на основе разбиения кадра на области равной яркости. Соответственно, диффузная форма становится в данном частном
1 _1
случае пытьевской формой вида (3), а для любого изображения g (х,у) е L2(Q) проекция на форму F может быть записана в явном виде (4).
В случае дискретного изображения f(х,у), заданного на множестве точек {(х,,у,)}, , = 1, ..., т, диффузный оператор представляет собой матрицу Н (размера т х т), такую что
Н (X,, у, ) = 1 т=1V (Х, у)'
Н * н *Н»; I; 1 Н =1.
Таким образом, мы построили обобщение проективной морфологии Пытьева, которое можно назвать
диффузной морфологией двумерных изображений.
Метод взаимной привязки многоспектральных
изображений на основе диффузной корреляции
Для взаимной привязки изображений различных спектральных диапазонов предлагается следующее обобщение морфологической корреляции с использованием диффузных операторов.
Как было указано выше, сравнение изображений f (х,у) и g (х,у) в рамках морфологии Пытьева осуществляется с помощью нормированных морфологических коэффициентов корреляции Пытьева (МКК). Данный коэффициент, естественно, удовлетворяет свойству Км (/ F) = 1, поскольку в проективной морфологии f= Рр f. Однако диффузный морфологический оператор в общем случае не является проективным, так как представляет собой сглаживающий фильтр: || РР/|| < ||f||. Впрочем, естественно предположить, что степень сглаживания Рр существенно меньше для изображений с похожими формами, чем для изображений с разными формами. Исходя из этого, предлагается определить морфологический коэффициент диффузной корреляции (МКДК) как отношение пытьевских коэффициентов:
Кмп (g, F) =
Км (g, F) = || P.g || ||,Я| Км (/, Р) ||Рр/|ИЫГ
где Км (/р) описывает степень собственного размытия / относительно F.
Следует отметить, что МКДК является корректным обобщением МКК, поскольку в случае проективной морфологии
11/11 = 1М1 ^ Км» (g, F) = Км (£, F).
Кроме того, как и в МКК (5), для исключения неинформативной части яркости изображений перед непосредственно сравнением их необходимо нормализовать:
Кмп (g, F) =
- Pogll II/ - Ро/11 II Рр/-Ро/ II I^ -Pogí
(7)
где Ро / - фильтрация изображения / по пустой диффузной форме О, в которой сходство всех пикселов в пределах носителя теплового ядра одинаковое.
При этом важно, что в диффузной морфологии такая нормализация не является тривиальным вычитанием среднего значения, как в случае пытьевского
коэффициента. В данном случае имеет место вычитание среднего в скользящем окне, определяемом носителем теплового ядра диффузного фильтра. При этом сохраняются только локальные информативные особенности при анализе в соответствующих масштабах. Эти информативные элементы изображения g в случае, если форма G похожа на форму Р, сохраняются или, в противном случае, размываются при фильтрации диффузным фильтром Рр. Иными словами, оператор (РР - РО) в диффузной морфологии реализует известный приём морфологической нормализации изображения (рис. 2). Легко заметить, что при последовательном уменьшении эффективного размера теплового ядра свойства диффузной морфологической корреляции (7) будут стремиться к свойствам точечных и контурных корреляторов, которые используют для сравнения изображений лишь простейшие локальные особенности формы. Однако, как было сказано выше, диффузные операторы имеют естественный инструмент для анализа данных с использованием разных масштабных уровней - параметр t (число Марковских случайных блужданий). Описание формы изображения посредством набора диффузных операторов разного масштаба {Р'} позволяет производить морфологический анализ на различных масштабных уровнях.
а)
Рис. 2. Пример морфологической нормализации изображения: изображение/ (а); изображение g (б); изображение/, нормализованное по форме Р(Рр/— РО/) (в); изображение g, нормализованное по форме р (Рр g - РО ^ (г)
На практике, также как и для пытьевского коэффициента МКК, в задаче привязки фрагментов изображений предпочтительнее использовать квадрат МКДК, поскольку такая мера сходства имеет смысл статистического коэффициента детерминации между моделью (форма Р) и данными (изображение g).
3. Вычислительная реализация и результаты экспериментов
Быстрая реализация диффузных операторов
Расчёт результатов диффузной фильтрации с тепловым ядром формы
Н (р, q) = ехр
( ||у (р)- -г (q)||2 Л
в
где v(p) - некоторый малый фрагмент изображения с центром p - вычислительно весьма затратная процедура даже в случае умеренных размеров v(p). В связи с этим при практической реализации описанного подхода предлагается заменить v(p) на упрощённый тип дескриптора точки - iLBP(p) (intensity + LBP):
iLBP ( p ) = ( m ( p ), LBP ( p )),
где m(p) - среднее значение яркости для v(p); LBP(p) - пороговый LBP [23] для v(p).
Соответственно заменяем исходную евклидову метрику сравнения двумерных фрагментов на специальную метрику сравнения iLBP-дескрипторов
||v (p)-v (q )f ~
~ P ||m (p) - m (q)||2 + dham (LBP(p), LBP (q)),
где dham - расстояние Хемминга, в - весовой коэффициент яркостной части iLBP. Кроме того, в предлагаемой реализации локальные бинарные паттерны хранятся как битовые массивы, а расчёт расстояния Хемминга производится посредством XOR-операции. Экспонента рассчитывается по табличным значениям. Среднее значение в скользящем окне рассчитывается быстрым алгоритмом с пересчётом скользящей суммы. В соответствии с этим использование iLBP позволяет ускорить время расчёта и получить форму тепловых ядер, очень похожую на исходную.
Текущая программная реализация обеспечивает время обработки около 300 мс при работе в одном потоке для изображения размера 640*480 для PC с конфигурацией Core i7 - 860 /8Gb/ GeForce GTX 680.
Использование технологии CUDA [24] позволяет дополнительно улучшить производительность алгоритма диффузной фильтрации. В текущей реализации алгоритм с использованием CUDA обрабатывает изображение размера 640*480 за 40 мс для той же конфигурации PC, то есть позволяет выполнять описанную процедуру сравнения изображений в реальном времени.
Результаты экспериментов по взаимной привязке ТВ- и ИК-изображений
Для изображений видимого (ТВ) и инфракрасного (ИК) диапазонов корреляционная функция вычислялась при сопоставлении заданного фрагмента ТВ с изображением ИК с использованием гистограммной сегментации методом динамического программирования (число мод гистограммы n = 4). Значение корреляционной функции С(х, у) соответствовало результату её расчета при сравнении исходного сегментированного ТВ-фрагмента и текущего фрагмента ИК (форма-разбиение G) без сегментации, отстоящего от начальной точки сопоставления на (х, у). Глобальный максимум корреляционной функции соответствует положению левого верхнего угла наиболее похожего на ТВ-фрагмент фрагмента ИК. Корреляционные функции оценивались для следующих мер сходства: взаимная информация (1), квадрат центрированного морфологического коэффициента
Пытьева (5), квадрат среднеквадратичного коэффициента морфологической корреляции (СКМК) (6), квадрат морфологического коэффициент диффузной корреляции (МКДК) (7).
Для оценки качества сравнения по форме использовались следующие показатели - отношение разности глобального максимума и среднего значения корреляционной функции к её СКО и отношение значений центрированного глобального максимума и следующего по величине локального максимума в прямоугольной окрестности £ глобального максимума (Е):
SNR = |С-ц |/ а; Е = |С-ц |/|С2-ц|,
где С1 = СфЬ - значение глобального максимума корреляционной функции; С2 = С1ос(£) - первый локальный максимум вне прямоугольной окрестности £ глобального максимума; д - среднее значение корреляционной функции; с - среднеквадратическое отклонение.
На рис. 3, 5 приведены четыфе пары ТВ-и зашум-ленных аддитивным Гауссовским шумом ИК-изображений (примеры 1, 2 соответственно). Координаты точек совмещения ТВ- и ИК-фрагментов (левого верхнего угла фрагмента ТВ относительно левого верхнего угла ИК) - (38,48) и (67,73) для примеров 1, 2 соответственно, при этом допустимая погрешность при совмещении 1 пиксель по вертикали и горизонтали. Рис. 4, 6 содержат графики корреляционных функций ((а) взаимная информация (1), (б) МКК Пытьева (5), (в) СКМК (6), (г) МКДК (7)). Численные данные приведены в табл. 1, 2.
Табл. 1. Численные данные сравнения ТВ- и ИК-фрагментов (Пример 1)
Мера сходства Макс. SNR E
MI(F,G) 0,11779 5,2488 1,8078
KM2f-fo,G) 0,11652 4,4419 1,5112
KM\F,G) 0,45184 4,6458 1,8060
Kmd(JG) 0,11051 9,7336 5,4148
Табл. 2. Численные данные сравнения ТВ- и ИК-фрагментов (Пример 2)
Мера сходства Макс. SNR E
MI(F,G 0,12510 6,2888 1,6984
KM2(f-fo,G); 0,15762 6,0133 1,6097
Km2(F,G) 0,41022 6,6922 1,6646
KMu(f,G) 0,07371 9,0106 1,8946
В соответствии с этими экспериментами можно сделать следующие выводы. Предложенный коэффициент МКДК обеспечивает более высокий и острый пик корреляционной функции по сравнению с другими мерами сходства. Например, по сравнению с критерием взаимной информации в некоторых экспериментах МКДК даёт в 1,5-2 раза лучшее значение SNR. Пример 2 показывает также более высокую устойчивость МКДК к шуму по сравнению как с взаимной информацией (1), так и с морфологическими коэффициентами МКК (4) и СКМК (5).
о)
в)
Рис. 3. Пример 1: эталонный ТВ-фрагмент (а); тестовое ИК-изображение (б); сегментированный ТВ-фрагмент (в) , тах(38, 48] =
0,10 0,08 0,06 0,04 0,02
а)
Рис. 5. Пример 2: эталонный ТВ-фрагмент (а); тестовое ИК-изображение (б); сегментированный ТВ-фрагмент (в)
а)
Рис. 6. Графики корреляционных функций (Пример 2)
Заключение
В статье описан новый математический аппарат для сравнения изображений по форме на основе тепловых ядер и диффузных операторов, который пред-
ложено называть диффузной морфологией. Диффузная морфология представляет собой непосредственное обобщение морфологического анализа изображений Пытьева. Все средства анализа форм, ранее пред-
ложенные в рамках морфологии Пытьева, могут быть также получены и в диффузной морфологии путём использования согласованного с формой изображения диффузного оператора вместо морфологического проектора на эту форму.
Для непосредственного применения в практических приложениях в статье предложен новый инструмент сравнения изображений по форме - морфологический коэффициент диффузной корреляции (МКДК), реализуемый на основе быстрой диффузной фильтрации с использованием нового типа точечного дескриптора признаков iLBP. Такая вычислительная реализация позволяет производить взаимную привязку изображений на основе МКДК в реальном времени.
Проведено сравнительное экспериментальное исследование предложенной диффузной корреляции, взаимной информации, коэффициента морфологической корреляции Пытьева и среднеквадратичного коэффициента морфологической корреляции (СКМК) в задаче взаимной привязки фрагментов ТВ- и ИК-изображений. Качество получаемых двумерных корреляционных функций оценивалось посредством двух статистик: отношение сигнал-шум (SNR) и превышение первого пика (максимума) над вторым. В проведённых экспериментах с реальными данными аэрофотосъёмки МКДК показал существенно лучшую форму корреляционного поля. Это позволяет утверждать, что предложенная в данной работе морфологическая диффузная корреляция - лучшая из известных на сегодня оценок сходства по форме для подобного класса задач сравнения изображений.
Благодарности Работа выполнена при поддержке грантов РФФИ № 13-08-01071, 14-07-00914 и при поддержке гранта Президента РФ (ВНШ-3477.2014.8).
Литература
1. Maes, F. Multimodality Image Registration by Maximization of Mutual Information / F. Maes, A. Collignon, D. Vandermeulen, G. Marchal, P. Suetens // IEEE Transactions on Medical Imaging. - 1997. - Vol. 16(2). - P. 187198. - ISSN 0278-0062.
2. Pyt'ev, Yu.P. Morphological Image Analysis / Yu.P. Pyt'ev // Pattern Recognition and Image Analysis. - 1993. -Vol. 3(1). - P. 19-28. - ISSN 1555-6212.
3. Vizilter, Yu.V. Geometrical Correlation and Matching of 2D Image Shapes / Yu.V. Vizilter, S.Yu. Zheltov // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - Vol. 1(3). - P. 191-196.
4. Визильтер, Ю.В. Реляционные модели формы изображений и метрики их сравнения / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Рубис // Интеллектуализация обработки информации: 9-я международная конференция. Черногория, г. Будва, 2012 г.: сб. докладов. - М.: Торус Пресс, 2012. - С. 406-409.
5. Lafon, S. Diffusion maps and geometric harmonics // PhD thesis. - Yale University, Dept of Mathematics & Applied Mathematics. - 2004.
6. Coifman, R. Geometries of sensor outputs, inference and information processing / R. Coifman, S. Lafon, M. Mag-gioni, Y. Keller, A.D. Szlam, F. Warner, S. Zucker // Stor-
age and Retrieval for Image and Video Databases, edited by Intelligent Integrated Microsystems. - 2006. - Vol. 6232. -P. 623-209.
7. Memoli, F. A spectral notion of Gromov-Wasserstein distance and related methods / F. Memoli // Applied and Computational Harmonic Analysis. - 2011. - Vol. 30(3). -P. 363-401. - ISSN 1063-5203.
8. Goebel, B. An Approximation to the Distribution of Finite Sample Size Mutual Information Estimates / B. Goebel, Z. Dawy, J. Hagenauer, J.C. Mueller // Communications, 2005, ICC 2005 IEEE International Conference. - 2005. -Vol. 2. - P. 1102-1106.
9. Ji, Y. Direct and Recursive Prediction of Time Series Using Mutual Information Selection / Y. Ji, J. Hao, N. Reyhani,
A. Lendasse // Computational Intelligence and Bioinspired Systems, Lecture Notes in Computer Science. - 2005. -Vol. 3512. - P. 1010-1017.
10. Falomkin, I.I. Algorithm of Adaptive Morphological Filtering of Images / I.I. Falomkin, Yu.P. Pyt'ev // Pattern Recognition and Image Analysis. - 2007. - Vol. 17(3). -P. 408-420. - ISSN 1555-6212.
11. Vizilter, Yu.V. The Use of Projective Morphologies for Object Detection and Identification in Images / Yu.V. Vi-silter, S.Yu. Zheltov // Journal of Computer and Systems Sciences International -2009. - Vol. 48(2). - P. 282-294. -ISSN 1064-2307.
12. Tenenbaum, J.B. A global geometric framework for nonlinear dimensionality reduction / J.B. Tenenbaum, V. de Silva, J.C. Langford // Science. - 2000. - Vol. 290. - P. 2319-2323.
13. Roweis, S.T. Nonlinear dimensionality reduction by locally linear embedding / S.T. Roweis, L.K Saul // Science. -2000. - Vol. 290 - P. 2323-2326.
14. Scholkopf, B. Kernel principal component analysis /
B. Scholkopf, A.J. Smola, K.-R. Muller // Advances in Kernel Methods: Support Vector Learning. - Cambridge, MA, USA: MIT Press, 1999. - 386 р.
15. Belkin, M. Laplacian eigenmaps and spectral techniques for embedding and clustering / M. Belkin, P. Niyogi // Advances in Neural Information Processing Systems. - 2001. - Vol. 14. -P. 585-591.
16. Donoho, D. Hessian eigenmaps: locally linear embedding techniques for high dimensional data / D. Donoho, C. Grimes // Proceedings of National Academy of Sciences. -2003. - Vol. 100(10). - P. 5591-5596.
17. Gashler, M. Iterative Non-linear Dimensionality Reduction by Manifold Sculpting / M. Gashler, D. Ventura, T. Martinez // Advances in Neural Information Processing Systems. - 2007. - Vol. 20. - P. 513-520.
18. Coifman, R. Diffusion maps / R. Coifman, S. Lafon // Applied and Computational Harmonic Analysis. - 2006. -Vol. 21(1). - P. 5-30. - ISSN 1063-5203.
19. Sun, J. A concise and provably informative multi-scale signature based on heat diffusion / J. Sun, M. Ovsjanikov, L Guibas // Computer Graphics Forum. - 2009. - Vol. 28(5). -P. 1383-1392. - ISSN 1467-8659.
20. de Goes, F. A hierarchical segmentation of articulated bodies / F. de Goes, S. Goldenstein, L. Velho // Computer Graphics Forum. - 2008. - Vol. 27(5). - P. 1349-1356. - ISSN 14678659.
21. Lieu, L. High-Dimensional Pattern Recognition using Low-Dimensional Embedding and Earth Mover's Distance / L. Lieu, N. Saito [Электронный ресурс]. - 2009. - URL: https://www.math.ucdavis.edu/~saito/publications/saito_prl deemd.pdf (дата обращения 6.11.2014).
22. Reuter, M. Laplace-Beltrami spectra as "Shape-DNA" of surfaces and solids / M. Reuter, F.-E. Wolter, N. Peinecke //
Computer-Aided Design - 2006. - Vol. 38(4). - P. 342-366. - ISSN 0010-4485.
23. Ahonen, T. Face recognition with local binary patterns / T. Ahonen, A. Hadid, M. Pietikainen // Computer Vision. -ECCV 2004, Lecture Notes in Computer Science. - 2004. -Vol. 3021. - P. 469-481.
24. NVIDIA CUDA Compute Unified Device Architecture [Электронный ресурс]. - URL: http://www.nvidia.ru/object/cuda-parallel-computing-ru.html (дата обращения 17.09.2014).
References
1. Maes, F. Multimodality Image Registration by Maximization of Mutual Information / F. Maes, A. Collignon, D. Vandermeulen, G. Marchal, P. Suetens // IEEE Transactions on Medical Imaging. - 1997. - Vol. 16(2). - P. 187198. - ISSN 0278-0062.
2. Pyt'ev, Yu.P. Morphological Image Analysis / Yu.P. Pyt'ev // Pattern Recognition and Image Analysis. - 1993. -Vol. 3(1). - P. 19-28. - ISSN 1555-6212.
3. Vizilter, Yu.V. Geometrical Correlation and Matching of 2D Image Shapes / Yu.V. Vizilter, S.Yu. Zheltov // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - Vol. 1(3). - P. 191-196.
4. Vizilter, Yu.V. Relational Models of Image Shapes and Shape Comparison Metrics / Yu.V. Vizilter, A.Yu. Rubis, V.S. Gor-batsevich // Proceedings of Intelligent Information Processing: 9th International Conference. Montenegro, Budva, 2012. -Moscow: Torus Press, 2012. - P. 406-409. - (In Russian).
5. Lafon, S. Diffusion maps and geometric harmonics // PhD thesis. - Yale University, Dept of Mathematics & Applied Mathematics. - 2004.
6. Coifman, R. Geometries of sensor outputs, inference and information processing / R. Coifman, S. Lafon, M. Mag-gioni, Y. Keller, A.D. Szlam, F. Warner, S. Zucker // Storage and Retrieval for Image and Video Databases, edited by Intelligent Integrated Microsystems - 2006. - Vol. 6232. -P. 623-209.
7. Memoli, F. A spectral notion of Gromov-Wasserstein distance and related methods / F. Memoli // Applied and Computational Harmonic Analysis. - 2011. - Vol. 30(3). -P. 363-401. - ISSN 1063-5203.
8. Goebel, B. An Approximation to the Distribution of Finite Sample Size Mutual Information Estimates / B. Goebel, Z. Dawy, J. Hagenauer, J.C. Mueller // Communications, 2005, ICC 2005 IEEE International Conference. - 2005. -Vol. 2. - P. 1102-1106.
9. Ji, Y. Direct and Recursive Prediction of Time Series Using Mutual Information Selection / Y. Ji, J. Hao, N. Reyhani, A. Lendasse // Computational Intelligence and Bioinspired Systems, Lecture Notes in Computer Science. - 2005. -Vol. 3512. - P. 1010-1017.
10. Falomkin, LI. Algorithm of Adaptive Morphological Filtering of Images / I.I. Falomkin, Yu.P. Pyt'ev // Pattern Recognition and Image Analysis. - 2007. - Vol. 17(3). -P. 408-420. - ISSN 1555-6212.
11. Vizilter, Yu.V. The Use of Projective Morphologies for Object Detection and Identification in Images / Yu.V. Vi-silter, S.Yu. Zheltov // Journal of Computer and Systems Sciences International. - 2009. - Vol. 48(2). - P. 282-294. -ISSN 1064-2307.
12. Tenenbaum, J.B. A global geometric framework for nonlinear dimensionality reduction / J.B. Tenenbaum, V. de Silva, J.C. Langford // Science. - 2000. - Vol. 290. - P. 2319-2323.
13. Roweis, S.T. Nonlinear dimensionality reduction by locally linear embedding / S.T. Roweis, L.K Saul // Science. -2000. - Vol. 290. - P. 2323-2326.
14. Scholkopf, B. Kernel principal component analysis / B. Scholkopf, A.J. Smola, K.-R. Muller // Advances in kernel methods: support vector learning. - Cambridge, MA, USA: MIT Press. - 1999. - 386 p.
15. Belkin, M. Laplacian eigenmaps and spectral techniques for embedding and clustering / M. Belkin, P. Niyogi // Advances in Neural Information Processing Systems. - 2001. - Vol. 14. -P. 585-591.
16. Donoho, D. Hessian eigenmaps: locally linear embedding techniques for high dimensional data / D. Donoho, C. Grimes // Proceedings of National Academy of Sciences. -2003. - Vol. 100(10). - P. 5591-5596.
17. Gashler, M. Iterative Non-linear Dimensionality Reduction by Manifold Sculpting / M. Gashler, D. Ventura, T. Martinez // Advances in Neural Information Processing Systems. - 2007. - Vol. 20. - P. 513-520.
18. Coifman, R. Diffusion maps / R. Coifman, S. Lafon // Applied and Computational Harmonic Analysis. - 2006. -Vol. 21(1). - P. 5-30. - ISSN 1063-5203.
19. Sun, J. A concise and provably informative multi-scale signature based on heat diffusion / J. Sun, M. Ovsjanikov, L Guibas // Computer Graphics Forum. - 2009. -Vol. 28(5). - P. 1383-1392. - ISSN 1467-8659.
20. de Goes, F. A hierarchical segmentation of articulated bodies / F. de Goes, S. Goldenstein, L. Velho // Computer Graphics Forum. - 2008. - Vol. 27(5). - P. 1349-1356. -ISSN 1467-8659
21. Lieu, L. High-Dimensional Pattern Recognition using Low-Dimensional Embedding and Earth Mover's Distance / L. Lieu, N. Saito [Electronical Resource]. - 2009. - URL: https://www.math.ucdavis.edu/~saito/publications/saito_prl deemd.pdf (request date 6.11.2014).
22. Reuter, M. Laplace-Beltrami spectra as "Shape-DNA" of surfaces and solids / M. Reuter, F.-E. Wolter, N. Peinecke // Computer-Aided Design. - 2006. - Vol. 38(4). - P. 342366. - ISSN 0010-4485.
23. Ahonen, T. Face recognition with local binary patterns / T. Ahonen, A. Hadid, M. Pietikainen // Computer Vision -ECCV 2004, Lecture Notes in Computer Science. - 2004. -Vol. 3021 - P. 469-481.
24. NVIDIA CUDA Compute Unified Device Architecture [Electronical Resiurce]. - URL: http://www.nvidia.ru/object/cuda-parallel-computing-ru.html (request date 17.09.2014).
IMAGE SHAPE MATCHING USING DIFFUSION MORPHOLOGY AND DIFFUSION CORRELATION
Yu.V. Vizilter, V.S. Gorbatsevich, A.Yu. Rubis, O.V. Vygolov FGUP "GosNIIAS"
Abstract
Shape-based matching techniques should provide the matching of scene image fragments registered in various lighting, weather and season conditions or in different spectral bands. The most popular shape-to-shape matching technique is based on a mutual information approach. Another well-known approach is a morphological image-to-shape matching proposed by Pytiev. In this pa-
per we propose a new image-to-shape matching technique based on heat kernels and diffusion maps. The corresponding Diffusion Morphology is proposed as a new generalization of Pytiev morphological scheme. The fast implementation of morphological diffusion filtering is described. An experimental comparison of the newly proposed and aforementioned image-to-shape and shape-to-shape matching techniques as applied to the TV and IR image matching problem is made.
Keywords: mathematical morphology, image matching, diffusion maps.
Сведения об авторах
Визильтер Юрий Валентинович, 1970 года рождения, в 1992 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 1997 г. защитил кандидатскую, а в 2009 году -докторскую диссертацию. В настоящее время является начальником подразделения ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Опубликовал более 80 научных работ (из них более 20 статей в рецензируемых журналах из списка ВАК). Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия.
E-mail: viz@gosniias.ru .
Yuri Valentinovich Vizilter (b.1970) graduated from Moscow Aviation Institute (National Research University) in 1992. Since 1997 is the Candidates of Technical Sciences, 2009 - the Doctor of Technical Sciences. Currently he works as the head of department at the FGUP "GosNIIAS". Author of 80 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry.
Горбацевич Владимир Сергеевич, 1985 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является начальником сектора ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Опубликовал более 20 научных работ (из них более 6 статей в рецензируемых журналах из списка ВАК). Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия.
E-mail: gvs@gosmias.ru.
Vladimir Sergeevich Gorbatsevich (b.1985) graduated from Moscow Aviation Institute (National Research University) in 2009. Currently he works as the head of sector at the FGUP "GosNIIAS". Author of 20 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry.
Рубис Алексей Юрьевич, 1986 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является инженером ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Является автором и соавтором 17 научных трудов (из них 8 статей в рецензируемых журналах из списка ВАК). Круг научных интересов: обработка изображений, системы улучшенного видения, распознавание образов, программирование.
E-mail: arcelt@mail.ru .
Aleksey Yurievich Rubis (b.1986) graduated from Moscow Aviation Institute (National Research University) in 2009. He currently resides at the FGUP "GosNIIAS". Author of 17 scientific papers. Research interests are image and video analysis, pattern recognition, programming, enhanced vision systems.
Выголов Олег Вячеславович, 1977 года рождения, в 2000 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 2007 г. защитил кандидатскую диссертацию, кандидат технических наук. В настоящее время является начальником лаборатории ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Область научных интересов: обработка и анализ изображений, математическая морфология, комплексирование информации в технических системах, навигация и управление мобильными объектами с использованием технического зрения.
E-mail: o.vygolov@gosniias.ru.
Oleg Viacheslavovich Vygolov (b.1977) graduated from Moscow Aviation Institute (National Research University) in 2000 and received Ph.D. degree in Technical Sciences in 2007. He has been working at FGUP "GosNIIAS" since 2000, currently holds the position of head of Enhanced and Synthetic Vision Systems laboratory. His research interests include image processing and analysis, mathematical morphology, data fusion in technical systems, vision-based mobile objects navigation and guidance.
Поступила в редакцию 3 декабря 2014 г. Окончательный вариант - 8 апреля 2015 г.
