Синтез псевдоградиентных процедур привязки изображений по критерию максимума взаимной информации Текст научной статьи по специальности «Математика»

УДК 004.932.4

СИНТЕЗ ПСЕВДОГРАДИЕНТНЫХ ПРОЦЕДУР ПРИВЯЗКИ ИЗОБРАЖЕНИЙ ПО КРИТЕРИЮ МАКСИМУМА ВЗАИМНОЙ

ИНФОРМАЦИИ

© 2014 А.Г. Ташлинский, С.В. Воронов, М.Г. Царев

Ульяновский государственный технический университет

Поступила в редакцию 02.12.2014

В работе рассмотрено использование взаимной информации в качестве целевой функции при синтезе псевдоградиентных процедур оценивании параметров привязки изображений. Предложен новый способ оценки энтропии изображений, направленный на уменьшение вычислительных затрат. Ключевые слова: цифровое изображение, целевая функция, информация, энтропия, скользящий контроль, оптимизация, псевдоградиент

Одной из ключевых проблем при обработке цифровых изображений, заданных дискретными сетками отсчетов, является привязка изображений [11, которая заключается в установлении соответствия между сопряженными точками двух и более изображений. Она возникает при решении многих практических задач: при ком-плексировании данных, полученных с различных датчиков, компьютерном видении, дистанционных исследованиях Земли, идентификации биометрических параметров, в робототехнике, медицине, обеспечении государственной безопасности. Решение задачи привязки зачастую осложняется различными мешающими факторами: шумами, помехами на изображениях, изменением освещенности, трансформациями объектов изображений и др.

Методы оценки параметров привязки можно разделить на работающие в частотной и пространственной областях. Первые основаны на фазовой корреляции, к их недостаткам можно отнести вычислительную сложность и ограниченность возможных моделей деформаций. Методы пространственной области оперируют с отсчетами изображений или выделяемыми структурами более высокого уровня. Их удобно классифицировать исходя из основных элементов: модель деформации, тип используемых элементов изображения, вид целевой функции, метод поиска оптимальных параметров. Выбор каждого из этих элементов сужает возможности выбора остальных, поскольку они не являются независимыми.

Ташлинский Александр Григорьевич, доктор технических наук, профессор, заведующий кафедрой радиотехники. E-mail: [email protected]

Воронов Сергей Васильевич, программист. E-mail:

valmedia@yandex. ru

Царев Михаил Григорьевич, аспирант

При решении практических задач более эффективными и гибкими являются рекуррентные процедуры, работающие в пространственной области. При этом высоким быстродействием обладают процедуры, основанные на псевдоградиентной безыдентификационной адаптации:

а, = а- А, ~р (I, а),

где а - вектор оцениваемых параметров; в -

псевдоградиент целевой функции I; Л, -матрица усиления; £ - номер итерации. Псевдоградиент в находится на £-ой итерации по локальной выборке = {г(¡Кг!! } отсчётов

с привязываемого и 211 с опорного изобра-

(2)

жений, где - координаты отсчетов , попавших в локальную выборку; ~ ^ = ~(1) , а ,-1)

- отсчеты непрерывного изображения Z(1), полученного из опорного изображения по оценкам а ,_1 модели привязки с использованием некоторой интерполяции. Объем выборки ц равен

(2)

числу отсчетов . ПГП работают в условиях априорной неопределенности, применимы к обработке изображений с плавно меняющейся неоднородностью, не требуют предварительной оценки параметров изображений.

Псевдоградиентные процедуры [2] основаны на оптимизации многомерной целевой функции качества оценивания, характеризующей меру подобия (или различия) между парами изображений. Существует множество мер Г3], которые могут быть использованы в качестве

целевых функций. Среди мер подобия можно выделить корреляционное отношение, энергия совместной плотности распределения вероятностей яркостей, взаимная информация Шеннона, взаимная информация Реньи, взаимная информация Тсаллиса, меры F-информации, стохастическая и детерминированная смена знаков, порядковая мера, коэффициенты межкадровой корреляции, Танимото, минимального отношения, ранговой корреляции Спирмана, ранговой корреляции Кендалла, наибольшего отклонения. К мерам различия изображений, которые могут быть использованы в качестве целевых функций, можно отнести средний модуль разности, медианы модулей разности и квадрата разностей, средний квадрат межкадровой разности, нормированный средний квадрат межкадровой разности, инкрементальное знаковое расстояние, дисперсия отношения яркостей, дисперсия отношения отображения яркостей, среднее ранговое расстояние, энтропия совместной плотности распределения вероятностей яркостей, исключающая F-информация.

Исследования показали, что в условиях сильных яркостных искажений изображений перспективными являются меры, основанные на информационных критериях [4], в частности взаимная информация (ВИ). Применение ВИ в качестве целевой функции при обработке изображений долгое время сдерживалось требованием больших вычислительных затрат, особенно для методов прямого вычисления ВИ. Снизить указанное требование при решении задач оценивания параметров изображений позволило появление методов восстановления плотности распределения вероятностей (ПРВ) яркостей изображений [5] по ограниченной выборке. Это дало возможность синтеза реализуемых процедур. Тем не менее, их реализация в современных информационных системах, характеризующихся все более высокими скоростями передачи данных, остается проблемной, так как требуемый объем вычислений остается большим, а вопросы синтеза и анализа рекуррентных процедур по

критерию максимума ВИ изображений -исследованными слабо.

Эффективность взаимной информации как целевой функции. Исследована эффективность использования ВИ в качестве целевой функцией в ПГП при различных видах яркост-ных искажений: аддитивные несмещенные гауссовы шумы, линейные и нелинейные искажения проведено на имитированных и реальных спутниковых изображениях. Для сравнительного анализа в качестве целевых функций исследованы также средний квадрат межкадровой разности (СКМР) и коэффициент межкадровой корреляции (КМК) [6, 7]. Целевые функции, выбранные для исследования, имеют разную размерность, поэтому их численные значения нормировались. Для наглядности в качестве исследуемого параметра использован взаимный сдвиг к изображений вдоль одной из координатных осей. Заметим, что выбор в качестве а только сдвига, незначительно ограничивает общность рассмотрения, поскольку для каждой точки пространства оцениваемых параметров проведенные исследования справедливы и для евклидова расстояние рассогласования (ЕРР) оценок, комплексно характеризующего произвольный набор параметров модели привязки.

На рис. 1 приведены графики зависимости целевых функций от сдвига к при шумах, дисперсии которых различаются в 10 и 100 раз, где д=дисперсия шума/дисперсия сигнала. Кривая 1 соответствует СКМР, кривая 2 - КМК, кривая 3 - ВИ (та же нумерация кривых на рис. 2 и 3. Видно, что при небольших шумах наибольшую крутизну имеет ВИ, что при использовании этой целевой функции в рекуррентных процедурах обеспечит и большую потенциальную скорость сходимости оценок параметров. Эта же функция благодаря «острому» экстремуму обеспечит и большую точность оценок. Однако при увеличении интенсивности шума крутизна и максимум характеристики ВИ падают. При изменении q от 0 до 2 величина максимума уменьшается в 15 раз.

} 0.8-

0.4

01-

т

т

к 01-

к 65

-65 -30 0 30 65 -65 -30 0 30 65 -65 -30 0 30

Рис. 1. Целевые функции при разном отношении шум/сигнал

В рекуррентных процедурах оценивания крутизна К целевой функции. Зависимости мак-потенциальную скорость сходимости оценок симальной крутизны СКМР, КМК и ВИ от q параметров во многом определяет максимальная приведены на рис. 2. При небольших шумах

кривая ВИ имеет существенно большую крутизну по сравнению с СКМР и КМК, однако по мере увеличения шума по этому показателю она начинает им проигрывать. Если изображения отличаются только аддитивными шумами, использование в качестве целевой функции ВИ при q >0,1 уже потенциально не обеспечит большую скорость сходимости оценок привязки по сравнению с использованием СКМР и КМК.

К 1.2-10"1

310"

810"

/3

2

\ 1

810"3 310"2

0.1

0.5 1

Р

30

10

810"

0.1 0.5

1

Рис. 2. Зависимость максимальной крутизны от отношения шум/сигнал

Еще одним важным на практике показателем является эффективный рабочий диапазон Р 11111, под которым в этой работе понимается подобласть области определения параметров привязки, в которой достигаются требуемые точностные показатели при заданных ограничениях (вычислительные затраты, число итераций и др.). Условием вхождения точки пространства оцениваемых параметров в эффективный рабочий диа" пазон может являться крутизна целевой функции в этой точке, превышающая некоторое критическое значение. Для примера на рис. 3 приведены зависимости потенциального рабочего диапазона от q при критическом значении крутизны 0,035. Видно, что по этому показателю ВИ примерно вдвое уступает СКМР и КМК, которые при отсутствии шума обеспечивают практически одинаковый Р. С ростом q до 1 рабочий диапазон уменьшается для КМК в 1,65 раза, для СКМР - в 1,9 раза, а для ВИ с заданной эффективностью оценивание возможно лишь до q«0,5.

Исследование целевых функций на изображениях с линейными яркостными искажениями показало, что лучшие результаты обеспечивает ВИ, немного отстает КМК. Однако учитывая значительный выигрыш КМК по вычислительным затратам относительно ВИ, в большинстве случаев предпочтителен первый. Но для изображений, имеющих значительные нелинейные яркостные искажения, единственной мерой, обеспечивающей приемлемую эффективность, оказалась ВИ.

Рис. 3. Зависимость эффективного рабочего диапазона от отношения шум/сигнал

Оценка градиента взаимной информации изображений. Ключевым этапом при нахождении псевдоградиента ВИ является оценка ПРВ яркостей изображений по локальной выборке. Воспользуемся методом окна Парзена [8], при котором оценка ПРВ находится как суперпозиция аппроксимирующих функций, центрированных на яркостях отсчетов, попавших в локальную выборку. Тогда вероятность яркости т.

р(г) - И~1 ЕЯ(2 - )

2=1

где К(') - аппроксимирующая функция.

Для нахождения энтропии изображения по восстановленной ПРВ яркостей обычно используют дополнительную выборку Хъ объема цъ. При этом энтропия рассчитывается как выборочное среднее логарифмар(Хъ, 20):

нФ) = -^ Е Мр^, ))

Тогда для псевдоградиента ВИ получаем:

в = — Е ЕЙ -^)>

° ИЪ 2 е2Ъ Зе2а

х(~2(1) -~(1))

а (1) - ^) аа

(1)

ж(1) =-

Л(~(1) - )

где:

2] ега

(1) - ) к(? (2) - 2 )

Ж(и) =_Г_=_X—Г_=_X ;

2 Е (1) - ~(1)) ^ (2) - 2 ?)'

а - параметр ширины аппроксимирующей функции.

0

q

q

В релейном варианте синтезированная 11111 принимает вид:

а

t+1

= at — At sign в

(2)

где: в - определяется выражением (1).

Отметим, что при нахождении псевдоградиента ВИ наиболее затратной с вычислительной точки зрения является оценка энтропии (совместной энтропии) исследуемых изображений, которая производится на каждой итерации оценивания. Поэтому сокращение вычислительных затрат при оценке энтропии дает существенное увеличение быстродействия 111 П. Для решения поставленной задачи воспользуемся процедурой скользящего контроля [9], используемой в задачах машинного обучения при оценке вероятностей по методу окна Парзена. В соответствии с этой процедурой из исходной локальной выборки объемом ц формируется ц возможных разбиений. Каждое разбиение делится на две части, одна из которых состоит из единственного отсчета, используемого для оценки энтропии, а вторая - из всех оставшихся отсчетов, которые используются для оценки ПРВ яркостей изображения. Выигрыш в вычислительных затратах при этом достигается за счет того, что на каждой итерации используется одна и та же выборка, как для оценки распределения, так и для оценки энтропии изображений:

H (Z) = — ц

—1

I log

z eZt

И

—1

I R( z, — z, )

zjeZtJ*i

где ^ Е . Применяя к решаемой задаче данный подход, для псевдоградиента ВИ получаем выражение:

0, =1 Е ^ К(1) - Ж,™ 1а"1 (?« - 2™ )х

1*'

и (?« - 2™) сх^ - 2™) ^

V

dx

da

dy

da

y

(3)

Вычислительная сложность синтезированных процедур. Детальный анализ вычислительных затрат на нахождение псевдоградиента ВИ требует учета не только особенностей и структуры расчетного соотношения, но и большого числа других влияющих факторов (скорость и условия считывания отсчетов изображений, тип вычислительного устройства, время на операции обращения к памяти, пересылки и др.). Многие из этих факторов зависят от конкретных устройств регистрации изображений и вычислительных средств. Ниже приведены некоторые результаты анализа вычислительной сложности только расчетных соотношений, реализующих предложенные способы, через число операций (сложения (+), вычитания (-), умножения (х),

деления (), взятия корня ), тригонометрических функций (sin, cos), интерполяции яркости одного отсчета (z ), экспоненцирования (exP).

Получены расчетные выражения, позволяющие найти вычислительные затраты и быстродействие разработанных способов нахождения псевдоградиента ВИ для конкретных вычислительных средств. Так, суммарные вычислительные затраты для вычисления псевдоградиента:

N = c± N± + cx N х + c^ N^ + czNz +

+ + csin Nsin + CexpNexp

где

c. c c c~

csin, cex

и

N±,Nx,N+, Nz, Nj-, Nsil,Nex -

время и число

подстановка которого в (2) дает еще один вариант релейной ПГП по критерию ВИ.

Экспериментальные исследования, проведенные на имитированных изображениях при использовании в качестве модели привязки модели подобия, показали, что по сравнению с алгоритмом EMMA [10] вычислительные затраты на нахождение энтропии изображений сокращаются примерно на 10-15%, а дисперсия погрешности при этом увеличивается в среднем лишь на 2,5%.

выполнения соответствующих операции.

Проведено также сравнение вычислительной трудоемкости с ситуациями использования в качестве целевой функции СКМР и КМК. Так в таблице приведено число операций, требуемое для нахождения псевдоградиента СКМР, КМК и ВИ как функции д при аффинной модели деформаций и билинейной интерполяции яркостей.

На рис. 4 для примера приведены графики зависимости времени вычисления псевдоградиента ВИ для процессора AMD Turion II X2 M500, при этом кривая 1 соответствует алгоритму EMMA, а кривая 2 - алгоритму вычисления по методу скользящего контроля. Последний обеспечивает меньшие затраты, при этом выигрыш в быстродействии растет с ростом д. Однако при обоих способах зависимость вычислительных затрат от объема выборки носит квадратичный характер, тогда как аналогичные зависимости для СКМР и КМК линейные.

Таблица. Число операций на нахождение псевдоградиента для одной итерации

Операция Число операций

СКМР КМК ВИ (EMMA) ВИ (скользящий контроль)

+, - 34p, -2 38p -5 16p2 +8p 16p2 +8p

X 14p +10 18p +11 (34p2 + б)/2 + 10 (34p2 - 28p)/2 +10

10 20 4p 2 4p2 - 4p

4p 4p 8p 8p

sin, cos 2 2 2 2

лГ - 5 1 1

exp - - p 2 p2 -p

ВИ

15

30

Рис. 4. Зависимость времени вычисления псевдоградиента от р

Выводы:

1. Исследование эффективности использования в задаче привязки изображений в качестве целевой функции ВИ при различных видах ярко-стных искажений (аддитивный несмещенный шум, линейные и нелинейные искажения) показало, что при рекуррентном оценивании для изображений, не имеющих мультипликативных яр-костных искажений, в качестве целевой функции целесообразно использование СКМР. При небольших аддитивных шумах наибольшую крутизну имеет ВИ, что потенциально обеспечивает и большую скорость сходимости оценок параметров привязки. Однако при увеличении шума крутизна и максимум характеристики ВИ резко уменьшаются. Для изображений, яркости которых связаны линейным преобразованием, лучшие результаты показывает ВИ, немного отстает КМК, для изображений, имеющих значительные нелинейные яркостные искажения, единственной мерой, обеспечивающей приемлемую эффективность, является ВИ.

2. При синтезе ПГП использован метод окна Парзена, при котором оценка распределения вероятностей находится как суперпозиция одинаковых по форме аппроксимирующих функций,

центрированных на яркостях всех отсчетов выборки. Показано, что по сравнению с «гисто-граммными» методами он дает существенно лучшее качество оценивания ПРВ. При нахождении псевдоградиента ВИ наиболее затратной с вычислительной точки зрения является оценка энтропии исследуемых изображений. Предложенный способ оценки энтропии, основанный на процедуре скользящего контроля, дает по сравнению с алгоритмом EMMA сокращение объема выборки до двух раз. При этом вычислительные затраты на нахождение энтропии изображений сокращаются на 10-12 % при незначительном увеличении дисперсии погрешности (единицы процентов).

3. Проведенный анализ вычислительных затрат на расчет псевдоградиента целевой функции показал, что способ вычисления, основанный на методе скользящего контроля, обеспечивает выигрыш в быстродействии, который растет с увеличением объема выборки. Так, при р=10 он составляет 9 %, при р =30 - 10%, р =50 - 16%. Отметим также, что при р =10 вычисление псевдоградиента ВИ с использованием метода скользящего контроля по сравнению с СКМР требует вычислительных затрат в 10,7 раз больше, а с применением алгоритма EMMA - в 12,4 раз больше. При р=30 - уже соответственно в 34.5 и 37.8 раз больше.

Исследование выполнено при финансовой поддержке гранта РФФИ № 13-01-00555 а b государственного задания Минобрнауки России № 2014/232.

СПИСОК ЛИТЕРАТУРЫ:

1. Ташлинский, А.Г. Методика привязки изображений в условиях интенсивных помех / А.Г. Ташлинский, И.Н. Кавеев, С.В. Воронов // Радиотехника. 2012. №9. С. 45-49.

2. Ташлинский, А.Г.Оценивание параметров пространственных деформаций последовательностей. - Ульяновск: издательство УлГТУ, 2000. 132 с.

3. Goshtasby, A.A. Image registration. Principles, tools and methods // Advances in Computer Vision and Pattern Recognition. Springer. 2012. P. 441.

4. D'Agostino, E. An information theoretic approach for non-rigid image registration using voxel class probabilities помех / E. D'Agostino, F. Maes, D. Vandermeulen, P. Suetens // Med. Image Anal. 2006. V 6(3). P. 413-431.

5. Pluim, J.P. W. Mutual information based registration of medical images: a survey / J.P.W. Pluim, J.B.A. Maintz, M.A. Viergever // IEEE Transactions On Medical Imaging. V. 22, № 8. 2003. P. 986-1004.

6. Ташлинский, А.Г. Анализ целевых функций при рекуррентном оценивании межкадровых геометрических деформаций изображений / А.Г. Ташлинский, С.В. Воронов // Наукоемкие технологии. 2013, Т. 14, № 5. С. 16-21.

7. Voronov, S.V. Analysis of objective functions in the problem of estimating mutual geometric deformations of images / S.V. Voronov, A.G. Tashlinskii // Pattern recognition and image analysis. 2014. V. 25, No. 4. P. 335-338.

8. Parzen, E. On Estimation of a Probability Density Function and Mode // Annals of Math. Statistics. 1962. V. 33. P. 1065-1076.

9. Воронцов, К.В. Комбинаторный подход к оценке качества обучаемых алгоритмов // Математические вопросы кибернетики. - М.: Физматлит, 2004. T. 13. С. 5-36.

10. Viola, P. Alignment by maximization of mutual information / P. Viola, W.M. Wells // International Journal of Computer Vision. 1997. Vol. 24. P. 137-154.

SYNTHESIS OF PSEUDOGRADIENT PROCEDURES OF IMAGES BINDING BY CRITERION OF MAXIMUM MUTUAL

INFORMATION

© 2014 A.G. Tashlinskiy, S.V. Voronov, M.G. Tsaryov Ulyanovsk State Technical University

In paper using the mutual information as criterion function at synthesis of pseudo-gradient procedures estimation the parameters of images binding is considered. The new way of assessment the entropy of images directed on reduction of computing expenses is offered.

Key words: digital image, criterion function, information, entropy, sliding control, optimization, pseudogradient

Alexander Tashlinskiy, Doctor of Technical Sciences, Professor, Head of the Radio Engineering Department. E-mail: [email protected] Sergey Voronov, Programmer. E-mail: [email protected] Mikhail Tsaryov, Post-graduate Student