Применение интегральных вероятностных метрик для анализа текстурных изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.9341

ПРИМЕНЕНИЕ ИНТЕГРАЛЬНЫХ ВЕРОЯТНОСТНЫХ МЕТРИК ДЛЯ АНАЛИЗА ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ

© 2011 А. И. Пластинин

Самарский государственный аэрокосмический университет имени академика С. П. Королёва (надиональный исследовательский университет)

Работа посвящена разработке ядер для текстурных изображений. Предлагается использовать интегральные вероятностные метрики в качестве меры сходства текстурных изображений, на которых основаны предлагаемые ядра. Проведены исследования предложенных ядер с использованием метода дис-криминантного анализа и метода опорных векторов на тестовых наборах изображений.

Текстурные изображения, текстурный анализ, меры схожести, интегральные вероятностные метрики, гильбертовы пространства с воспроизводящим ядром, дискриминантный анализ, метод опорных векторов.

Текстурный анализ широко распространён в обработке различных типов изображений [1, 2]. Распространённым подходом к классификации текстурных изображений является их описание с помощью набора признаков (надример, признаков Харалика) с последующей классификацией в полученном признаковом пространстве.

Предлагается использовать другой подход - определить функцию ядра на пространстве текстурных изображений, которая является скалярным произведением в некотором гильбертовом пространстве. Это позволяет использовать ряд методов на основе идеи перехода к ядру, например, метод опорных векторов.

Модель изображения

Областью определения И изображения будем называть конечное, связное множество И тЪ2 . Наиболее часто используется прямоугольный участок двумерной целочисленной решётки

И = Ьх х Ьу,

где Ьх = {1,2,...,Кх} и Ьу = {1,2,...,Ку} -

пространственные координаты (соответственно ширина и высота изображения).

Элементы области определения будем называть пикселями.

Под изображением будем понимать функцию I: D r G , где G - множество цветов. Например, в случае полутонового изображения G = [0; 1], для цветного RGB

изображения G = [0; 1]3. Значение изображения I в пикселе р будем обозначать

Введём следующие обозначения: Яр - окрестность пикселя р ;

Нк„ - к -ый элемент окрестности;

=0V,.",V I - вектор значении

отсчётов изображения в окрестности пикселя.

Будем считать, что изображение является реализацией марковского случайного поля, т.е. выполнено условие

Р( 1Р 11о,р) = Р( 1Р 11*г).

Примеры окрестностей и возможной нумерации пикселей приведены на рис. 1.

Рис. 1. Порядок пикселей в окрестности: (а) некаузальная, (б) каузальная

Анализ векторов окрестностей

Каждое изображение, являющееся реализацией марковского случайного поля с распределением Р , можно рассматривать как реализацию многомерной случайной величины, обладающей таким же распределением:

(•£(), гп),

где г0 = 1р, (zp•.., гп) = • = 1Ыр .

Каждому изображению соответство-вует конечное множество векторов окрестностей:

М1) фо^ • ^ •) •^ =^„, РеЪ

Для анализа изображений можно использовать характеристики выборки окрестностей I) •

Гильбертовы пространства с воспроизводящим ядром

Гильбертовы пространства с воспроизводящим ядром играют важную роль в теории распознавания образов, так как они позволяют применять линейные методы в нелинейных случаях (ярким примером является метод опорных векторов [3]).

Нелинейность достигается за счёт отображения исходного пространства объектов X в гильбертово пространство

Н более высокой размерности (возможно и бесконечной).

Ниже представлены основные положения о гильбертовых пространствах с воспроизводящим ядром [4]. Будем рассматривать класс функций (ядер) к , которые соответствуют скалярному произведению в некотором пространстве Н согласно отображению Ф:

Ф :Х г П,

к (х, х~) = <Ф( х), Ф( х)).

Рассматривались только действительно значимые ядра к :Х х X г К..

Определение 1. (Половдггельно определённое ядро). Пусть X - непустое множество. Будем называть функцию к :Х х X г К. положительно определённым ядром, если

т

^с1с]к(х1, х]) > 0

1,1=1

для любых т е N , х1, •, хт е X и любых

ст ^ .

Определение 2. (Отрицательно определённое ядро). Пусть X - непустое множество. Будем называть функцию к :Х хА'гК. отрицательно определённым ядром, если

Y,c¡cjk (x¡, xj)< °

¡, j

для любых m > 2, x,,...,xm R X и любых

Си

таких что

0.

i=i

Далее, всякий раз, когда будет использоваться термин "адро", подразумевается положительно определённое ядро (если не оговорено обратное).

Следует отметить, что для положительно определённого ядра всегда можно построить соответствующее ему гильбертово пространство, то есть построить вложение исходного пространства объектов в гильбертово пространство (детали такого построения можно найти в [3, 4]).

Классическим примером функции ядра на Ж2 является гауссово ядро:

к (х, х) = ехр |-у|\х - х'\ |2) > 0.

Следующие теоремы показывают связь между отрицательно определёнными и положительно определёнными ядрами.

Теорема 1. Пусть X - непустое множество и у/ :Х хЛ'^Е является ядром. Тогда у/ является отрицательно определённым тогда и только тогда, когда ехр(-у^) является положительно определённым ядром для любого у> 0.

Теорема 2. Пусть у/ :Х хХ^Ш является отрицательно определённым ядром, которое удовлетворяет условию у/(х, х) > 0 , тогда х//" также является отрицательно определённым при 0 <а< 1.

Теорема 3. Пусть ут.Х является ядром, тогда у/ является отрицательно определённым тогда и только тогда, когда (а + (при а > 0 ) является положительно определённым.

Теорема 4. Пусть (Л\//) - метрическое пространство, где /¿:Х-

метрика. Тогда ^ является отрицательно определённым ядром тогда и только тогда, когда существует Гильбертово про-

странство Л и отображение Ф :Х ^Н , такое что

ц( х, х~) = ||Ф (х) -Ф( х')|, Ух, § е*.

Доказательства теорем 1 - 4 имеются в [4] в главе 3.

Сравнение текстурных изображений

Для сравнения текстурных изображений воспользуемся интегральными вероятностными метриками [5 - 8], которые определяются как

ГАР, 0 = 8ир| 1°ёР - \

| ш лм

где Т - класс действительных ограниченных измеримых функций на М .

Следует отметить [5], что эта метрика получена из полунормы

||//|| = вир! 1, откуда

/ R^1

Y А р, Q)

|р - Q.

Выбирая соответствующим образом класс функций Т, можно получить различные известные меры расстояния: Метрика Дадли:

Т = {/:

BL

< 1},

где

+

= sup ¥ f (x)|: x r M } , \\f\\L = sup{l f (x) - f (у) I lp{x, y): x g y}, ||/||L - полунорма Липшица действительной функции f на метрическом пространстве (M,/?).

Метрика Канторовича и расстояние Васерштейна: если использовать

= {° : II Ah < i}, т0 бУДет получена метрика Канторовича, которая двойственна расстоянию Васерштейна в случае, если M сепарабельно.

Метрика максимального среднего расхождения (Maximum Mean Discrepancy —

MMD [9]j: T = {f : I/||w < l} , где H явля-

n

c

Вестник Самарского государственного аэрокосмического университета ется гильбертовым пространством с воспроизводящим ядром.

В работе [9] был предложен ряд методов для эмпирической оценки вероятно-

№ 2 (26) 2011 г.

стных метрик. Пусть С1 = {с^...,с"} и С2 = {с2,..., с^} - независимые одинаково распределённые выборки из распределений Р и (Ц), соответственно. Тогда эмпирическая оценка у^ (Р, О) определяется как

—bp (с , с1) < a — a. < bp (с , с1), Vi, j , —с < ai < с, Vi, b + с < 1.

Оценка максимального среднего расхождения

Следующая функция является решением для Т = Тк:

г А рп, Qm) = s«P

т+и

T,y,f (с')

i=1

П (П ,Q т )

(1)

[Z yi§jk (с',с).

где Ри и Qm являются эмпирическими распределениями Р и Q соответственно и

Ядра на пространстве текстурных изображений

Функцию ядра для изображений к : ЗхЗ^ М можно определить как

У =

с =•

1

,

и _

т ,

и

'2 ,

1 < i < п

и < i < п + т

1 < i < и и < i < и + т

k(I, I') = exp (—#/(I, I')), у> 0.

(2)

Другой способ определить ядро на пространстве изображений:

Оценка расстояния Васерштейна Следующая функция является решением для Т = Зф:

т+п

ф Рп ,0. т ) = Е УЛ ,

I=1

где а* является решением задачи линейного программирования

r max

к(I,1~) = (а+Ьц(I,/'))" ,а > 0, Ь > 0. (3)

В [10] указывается необходимость масштабирования признаков (в случае пространства Е" ) в диапазон [0;1] для

улучшения качества классификации. Однако поскольку такой возможности нет, в случае пространства изображений введём дополнительный масштабирующий коэффициент с0 при метрике ¡1.

Тогда ядро (2) можно записать в виде

i=1

k(I,I') = exp {_ус0р.(I, I')),

(4)

-р(с'', С) < а1 - а} <р(с'', С), V/, ] .

Оценка метрики Дадли

Следующая функция является решением для Т = Тр:

т+п

,0 т ) =£ ,

I=1

где а* является решением задачи линейного программирования

т+ и

Z у a r

max

a. ,..,am+l! ,Ь,с

где у > 0, с0 - константа, которая определяется по обучающему множеству как

с0 =-* . ч . (5)

max,., .fi (, Ij)

Ядро (3) можно представить как

k (I, I') = ( a + Ьс{I, I'))_1, (6)

где a > 0 и b > 0, а константа с0 определяется так же, как и в (5).

Следует отметить возможность использования ядер (2), (3) и (3), (6) в каче-

стве ядер скалярного произведения. Например, в [11] рассматривается ряд ядер, основанных на подстановке произвольных метрик в известные ядра. Введённые метрики являются нормой и используются здесь в качестве отрицательно определённых ядер.

Таким образом, пространство текстурных изображений может быть вложено в гильбертово пространство. Следовательно, на пространстве изображений может применяться любой метод, в основе которого используются ядра скалярного произведения, например, метод опорных векторов для классификации и регрессии.

Исследования

Исследования проводились на разных наборах тестовых и натурных (для решения реальных задач) изображений. В качестве тестовых использовались два набора изображений, показанных на рисунке 2.

а б

Рис. 2. Примеры тестовых изображений:

(а) - «161», (б) - «linen»

Исследование с использованием дискриминантного анализа

В работе [12] было предложено использовать метод перехода к ядру для дискриминантного анализа. Идея класси-

Управление, вычислительная техника и информатика ческого метода дискриминантного анализа заключается в определении такого линейного отображения исходного пространства в признаковое Em r Мn, n < т , которое максимизирует критерий линейной разделимости. В случае использования перехода к ядру ищется отображение X r Rs , которое максимизирует критерий линейной разделимости для образов в пространстве И., индуцированным некоторым ядром к .

Следует отметить, что в случае, если размерность пространства больше количества классов, то К центров классов лежат в подпространстве размерности < К -1.

Воспользуемся методом дискриминантного анализа для исследования эффективности ядер для текстурных изображений. Будем использовать «экспоненциальное» (4) и «обратное» (6) ядра.

Для каждого набора изображений будем строить отображение в пространство К2 (как было отмечено ранее, для случая двух классов достаточно строить отображение в К.1). Из исходного множества изображений выбирается небольшое подмножество, по которому вычисляются проекторы, используемые для вычисления образов всего исходного множества.

На рисунке 3 представлен результат эксперимента с классами «161» и «linen» (пол^оновый вариант изображений, представленных на рисунке 2), использовалась метрика Васерштейна с подвыбор-кой из 100 случайных окрестностей, «экспоненциальное» ядро (4).

Рис. 3. Дискриминантный анализ изображений «161» и «Ииеи», метрика Васерштейна, «экспоненциальное» ядро

На рисунке 4 представлен результат эксперимента с классами «161» и «linen» (по^щшовый вариант изображений, представленных на рисунке 2), использо-

валась MMD метрика с подвыборкой из 100 случайных окрестностей, у = 0.1 , «экспоненциальное» ядро (4).

-1.0 -0.5

0.0

0.5

1.0

1.5

Рис. 4. Дискриминантный анализ изображений «161» и «Ииеи», MMD метрика, у = 0.1, «экспоненциальное» ядро

Видно, что в признаковом пространстве объекты разных классов являются линейно разделимыми.

Исследование классификации

по методу опорных векторов

Воспользуемся методом опорных векторов для классификации текстурных изображений [3]. Для исследования качества классификации использовались те же наборы текстурных изображений, что и для исследований дискриминантного анализа (рис. 2).

Следует отметить, что во всех экспериментах качество классификации составило 100% , что полностью согласуется с тем, что в дискриминантом анализе были получены линейно разделимые образы объектов.

Исследование регрессии по методу опорных векторов

Будем использовать метод оценки регрессии с обучением по методу опорных векторов [3]. Рассмотрим следующую тестовую задачу. Пусть задан набор изображений, являющихся реализацией белого шума с Гауссовским распределением со

средним 0.5 и С КО ст.

255

, i = 1,... ,25.

В качестве обучающего множества выберем по одному изображению для каждого значения СКО. Затем оценим функцию регрессии по методу V -SVR и с использованием полученной функции оценим значение СКО других изображений.

Результаты эксперимента с использованием MMD метрики (подвыборка 1000) и экспоненциальным ядром приведены на рисунке 5.

/

•—• Истинное значение Оценка

10 15

СКО шума

Рис. 5. Оценка СКО шума

Заключение

В работе представлены два типа ядер на пространстве текстурных изображений на основе вероятностных метрик. Рассмотрены вероятностные метрики на

основе дивергенции, а также ряд интегральных вероятностных метрик: метрика Дадли, расстояние Васерштейна и максимальное среднее расхождение. Показано, что представленные ядра можно исполь-

зовать в качестве ядер скалярного произведения. Это позволяет вложить пространство текстурных изображений в гильбертово пространство, индуцированное этими ядрами.

Результаты показывают, что ядра на основе мер схожести текстурных изображений могут эффективно применяться для решения задач анализа текстурных изображений.

Библиографический список

1. Mirmehdi, М. Handbook of Texture Analysis [Текст] / M. Mirmehdi, X. Xie, J. Suri. - Imperial College Press, 2008. - 413 c.

2. Pietikainen, M. Texture analysis in machine vision. Series in machine perception and artificial intelligence [Текст] / M. Pietikainen. - World Scientific, 2000. - 269 c.

3. Scholkopf, B. Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond [Текст] / B. Scholkopf, A.J. Smola. - MIT Press, 2001. -626 c.

4. Berg, C. Harmonic Analysis on Semigroups [Текст] / C. Berg, J.P.R. Christensen, P. Ressel. - Springer, 1984. - 302 c.

5. Muller, A. Integral probability metrics and their generating classes of functions [Текст] / A. Muller // Advances in Applied Probability, 1997. - C. 429 - 443.

6. Rachev, S.T. Probability Metrics and the Stability of Stochastic Models [TeKCT] / S.T. Rachev. -John Wiley & Sons, 1991. -494 c.

7. Zolotarev, V.M. Probability Metrics [TeKCT] / V.M. Zolotarev // Theory of Probability and its Applications, 1984. - Vol. 38, N. 2. - C. 278 - 302.

8. Dudley, R. Probabilities and metrics [TeKCT] / R. Dudley. - Aarhus universitet, Matematisk institut, 1976 - 128 c.

9. Sriperumbudur, B. Non-parametric estimation of integral probability metrics [TeKCT] / B. Sriperumbudur, K. Fukumizu, A. Gretton, et al. // IEEE International Symposium on Information Theory Proceedings, 2010. - C. 1428 - 1432.

10. Abe, S. Support Vector Machines for Pattern Classification. [TeKCT] / S. Abe. -2nd ed. - Springer, 2010. - 473 c.

11. Haasdonk, B. Learning with Distance Substitution Kernels [TeKCT] / B. Haasdonk, C. Bahlmann // Proc. of the 26th DAGM Symposium, 2010. - C. 220 - 227.

12. Mika, S. Fisher discriminant analysis with kernels [TeKCT] / S. Mika, G. Ratsch, J. Weston, et al. // Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop, 1999. - C. 41 - 48.

INTEGRAL PROBABILITY METRICS FOR TEXTURE IMAGE ANALYSIS

© 2011 A. I. Plastinin

Samara State Aerospace University named after academician S. P. Korolyov

(National Research University)

The paper is devoted to the development of kernels for texture images. We suggest using integral probability metrics as a similarity measure of texture images on which the kernels proposed are based. The kernels have been analysed using the method of discriminant analysis and the support vector method for test image sets.

Texture images, texture analysis, similarity measures, integral probability metrics, reproducing kernel Hilbert spaces, kernel discriminant analysis, support vector method.

_Управление, вычислительная техника и информатика

Информация об авторах

Пластинин Анатолий Игоревич, аспирант кафедры технической кибернетики. Самарский государственный аэрокосмический университет имени академика С. П. Королёва (надиональный исследовательский университет).Область научных интересов: цифровая обработка изображений, анализ текстур, интеллектуальный анализ данных и машинное обучение. E-mail: anatoliy.plastinin@ gmail.com.

Plastinin Anatoliy Igorevitch, post-graduate student of the technical cybernetics department, Samara State Aerospace University named after academician S. P. Korolyov (National Research University), [email protected]. Area of research: digital image processing, texture analysis, data mining and machine learning.