Алгоритмы подбора параметров комбинирования ациклических графов соседства в задаче распознавания текстурных изображений Текст научной статьи по специальности «Математика»

УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

УДК 004.93

С.Д. Двоенко, д-р физ.-мат. наук, проф., (4872) 35-36-37, [email protected] (Россия, Тула, ТулГУ), Д.В. Шанг, асп., (950) 908-68-88 [email protected] (Россия, Тула, ТулГУ)

АЛГОРИТМЫ ПОДБОРА ПАРАМЕТРОВ КОМБИНИРОВАНИЯ АЦИКЛИЧЕСКИХ ГРАФОВ СОСЕДСТВА В ЗАДАЧЕ РАСПОЗНАВАНИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ

Рассмотрена древовидная модель соседства элементов марковского случайного поля принадлежностей к текстурным классам как марковская цепь в задаче распознавания растровых изображений. Предложены алгоритмы подбора диагонального элемента марковской матрицы условных вероятностей переходов и весов графов в линейной комбинации для максимизации апостериорных вероятностей скрытых классов.

Ключевые слова: распознавание образов, машинное обучение, марковское случайное поле, марковская цепь.

Введение. В классической теории распознавания образов объекты рассматриваются независимо друг от друга. При обработке данных часто нужны скоординированные решения об объектах, связанных в единый массив. Взаимосвязи между ними представлены графом соседства.

В линейно упорядоченных массивах граф соседства является цепью. Скрытые марковские модели оказались эффективны при обработке массивов с цепочечным соседством их элементов [1]. Но для графов общего вида с циклами задача распознавания марковских случайных полей обладает свойствами задачи класса NP [2, 3]. В [4-6] была предложена дре-

вовидная модель марковского случайного поля и разработан эффективный алгоритм распознавания, выполняемый только за три прохода по графу соседства элементов массива, когда в нем циклов.

Марковская матрица условных вероятностей переходов является параметром модели. В [5, 6] показано, что такая матрица может быть задана только одним диагональным элементом. Но он задавался эвристически.

В прикладных задачах графы соседства элементов массива обычно содержат циклы. Древовидная редукция графа соседства существенно искажает взаимосвязи элементов в массиве данных. В [7] предложено скомпенсировать редуцированное множество взаимосвязей элементов расширением самого множества ациклических графов соседства. Был разработан алгоритм определения оптимальных весов в линейной комбинации ациклических графов соседства из некоторого заданного множества.

В данной работе предложены алгоритмы одновременного подбора весов графов в их линейной комбинации и диагонального элемента марковской матрицы условных вероятностей переходов.

Задача распознавания массивов данных и базовый алгоритм. Пусть [4-6] массив взаимосвязанных данных T состоит из элементов t е T и представлен как двухкомпонентное поле (X, Y). Наблюдаемая компонента Y состоит из векторов у {, t е T, принимающих значения из множества у {е 0, определенного природой источника данных. Элементы xt, t е T скрытой компоненты X принимают значения из множества xt е О., специфичного для конкретной задачи анализа данных. Например, для задачи распознавания образов О = {1,2,..., m} - это номера классов объектов. На множестве элементов t е T массива данных определено симметричное антирефлексивное бинарное отношение, представленное в виде неориентированного графа G без петель, ребра которого ^, t) е О соединяют соседние элементы массива данных s е Т и t е Т.

Обработка массива (X, Y) заключается в преобразовании массива Y = (у {, t е Т) в массив X = (х{, t е Т). В задаче распознавания взаимосвязанных объектов требуется по наблюдениям у определить принадлежность элементов t е Т массива Т к скрытым классам из О с учетом априорной информации о классах соседних объектов, заданных графом О.

В вероятностной задаче распознавания взаимосвязанных объектов двухкомпонентное поле (X, Y) является случайным. Такая задача названа в [4-6] задачей распознавания массивов взаимосвязанных данных.

Задача обработки сводится к численному определению апостериорного распределения п(X | Y) = ^)П7 I X)/ /^)« ^| X), где £( X) - априорное распределение вероятностей на множестве комбинаций

IT I

целевых переменных X еО , а их вероятностная связь с исходными переменными представлена условной плотностью n(X | Y), Y e0|T|. Для решений о скрытом поле X часто используется байесовское правило xt (Y) = arg max pt (xt | Y), t е T, где pt (xt | Y) - апостериорное маргинальное

xt еО

распределение вероятностей скрытых классов в элементе массива t е T.

Пусть граф соседства G не содержит циклов (рис.1), а скрытое поле классов X является марковским [4-6]. Тогда qt (xt | X(t)) = qt (xt | X(0t)), t е T,

где X(t) = (xs, s еT \ t), X(0t) = (xs, s е T \ t, (s, t) е G). Аналогичные обозначения применяются для подмножеств элементов Y и массива T в целом.

Древовидный граф G разбивает окрестность (рис. 1,а) нетерминального элемента xt на две произвольные части X(0t) = X"0 U X(+0. Любая

вершина t е T в качестве корня задает естественный нисходящий и восхо-

-0

дящий порядок просмотра, определяя окрестность X {t) = xr из одного элемента (рис. 1б), предшествующего xt, и окрестность X(+0 непосредственных потомков xt. В [5, 6] показано, что такое априорное случайное поле является односторонним марковским qt (xt | X(0t)) = qt (xt | xr).

Рис. 1. Древовидный граф соседства

Пусть поле Y образовано случайными наблюдениями у(, условно независимыми относительно поля X = (л(, t е T), где у {(у{| X) = у{(у{| л(). В [5, 6] показано, что апостериорное скрытое поле относительно того же графа G остается односторонним марковским pt(| X((), Y) = pt(| , Yt+),

где Yt + - поддерево с корнем в у{, включая его. При обработке массива независимые решения pt (л( | уt) согласуются между собой с учетом совместного априорного распределения X). Базовый алгоритм имеет следующий вид.

1. Задается начало обработки в корне ? * и априорное распределение

132

Управление, вычислительная техника и информационные технологии qt*(xt*), xt* eQ. Нисходящим просмотром для всех t e T вычисляются априорные распределения классов qs (xs) = Е qs (xs | xt) qt (xt), xs eQ, s e T(+}0.

xteQ

2. Восходящим просмотром от терминалов к корню вычисляются «фильтрационные» апостериорные маргинальные распределения классов

Pt(xt I Yt +) « Pt(xt I Y(+))Pt(xt I уt)> xt e Q , t e T,

pt (xt I Y(+)) ^ПЕ Ps (xs I Ys+ ) ^, s e T(+)0,

s xseQ

где апостериорные маргинальные распределения pt (xt | yt) получены на этапе независимого обучения. В терминальных вершинах t каждого уровня, начиная с LM , выполнено pt (xt | Yt +) = pt (xt | yt) (рис. 1б).

3. На последнем восходящем шаге распределение в корне опирается на все наблюдения pt*( xt* | Yt+) = pt *( xt *| Y), xt* eQ. Такое «интерполяционное» апостериорное маргинальное распределение значений корневой переменной позволяет принять решение о классе xt*(Y) = arg max pt*( xt * | Y).

xt*eQ

4. Нисходящим просмотром от корня для всех t e T вычисляются интерполяционные апостериорные маргинальные распределения

ps(xs | Y) <*£ Ps(xs | xt,Y)pt(xt | Y), xs e Q, s e T(+)0,

xteQ

ps ( x,|xt, Y ) « ps ( x,|Y,+ ) qt ( xt) ^ и принимаются решения о классах xs (Y) = arg max ps (xs | Y).

Частная модель марковского случайного поля. Марковское априорное случайное поле классов X определяет его одностороннее свойство в виде условных распределений вероятностей на множестве значений переменной х( еО относительно любой переменной хг е Х°) из марковской окрестности х{. Для каждой пары вершин г, t е G, соединенных ребром в дереве G, определена пара условных распределений вероятностей (х( | хг) и qr (хг | х(). Выбор некоторой вершины дерева G в качестве корня t* е Т задает нисходящее и восходящее направления просмотра, объявляя одно из распределений «нисходящим», а другое - «восходящим». В [46] рассмотрены важные частные свойства такой модели марковского поля, заключающиеся в следующем.

Односторонняя марковская модель поля X является однородной конечной марковской цепью с неизменными условными распределениями в прямом (восходящем) и обратном (нисходящем) направлениях, где qг (Хг | х() = q(Хг | х(), qt (х( | хг) = q (х( | хг), и определена матрицей прямых

Q(т х т) и матрицей обратных Q(т х т) условных вероятностей перехо-

xseQ

дов. Односторонняя марковская модель поля X является эргодической неразложимой марковской цепью и имеет финальное распределение p(я),

х е О в корне X*. Для неразложимой марковской цепи матрицы Q и Q связаны ц (хх | хг) = ц(хг | хх)р(хх)/ р(хг) через финальное распределение вероятностей р(х), х е О . Очевидно, что в такой модели начальное априорное маргинальное распределение вероятностей ц (хх) можно задать в любой вершине t е Т, тогда соответствующие маргинальные распределения оказываются известными во всех остальных вершинах дерева G, в том числе и в его корне. Корень X * естественно связать с началом обработки, а начальное распределение сделать корневым д{*(хх*),хх* е О.

Априорное распределение классов в корне X является равномерным финальным распределением хх*) = р(хх*) = 1/ т . Тогда маргинальные априорные распределения вероятностей скрытых классов во всех остальных объектах также равномерны. В этом случае Ц(х( | хг) = ц(хг | х(). В итоге, остается только одна симметричная и дважды стохастичная матрица переходов Q. В частной модели [5, 6] предполагается, что матрица Q имеет одинаковые диагональные элементы и одинаковые недиагональные элементы. Тогда матрица Q задается только одним значением ее диагонального элемента ц.

Алгоритмы комбинирования ациклических графов соседства.

Очевидно, что произвольный граф соседства не может быть заменен древовидным графом G без потери фундаментального свойства исходного графа представлять полную информацию о каждом элементе X е Т относительно других элементов. Например, решетка является графом соседства элементов растровых изображений и не является ациклическим графом. В алгоритме комбинирования неизвестные нам апостериорные маргинальные распределения вероятностей скрытых классов относительно исходного графа соседства заменяются линейной комбинацией распределений относительно некоторого набора ациклических графов соседства.

Пусть задан набор ациклических графов соседства [7] так, что каждый граф покрывает все множество вершин, а каждое ребро исходного графа входит хотя бы в один ациклический граф. Например, для растровых текстурных изображений удобно использовать графы на рис. 2.

Ступенч. дерево Спираль Гориз. змейка Верт. змейка Диаг. змейка

Рис. 2. Ациклические графы соседства

134

стериорные распределения (х{ | Y) = Х =1 (х{ | Y), t е Т как взвешенную сумму распределений рк( (х( | Y), к = 1,..., К, где wk > 0, XК^^ = 1.

Итерационный алгоритм распознавания с комбинированием ациклических графов. Применим базовый алгоритм распознавания к каждому графу Gк из данного набора. Для каждого ациклического графа

сформируются распределения рк( (х( | Y), t е Т, к = 1,..., К, где К - число

ациклических графов, и соответствующие решения о классах хк ^), t е Т.

Для окончательных решений о классах х{^), t е Т вычислим апо-

'К к. ' - хк=1 wkpЛлt

>*(Xt | Y), к = 1,..., К, где Wk > 0, XК=^

Повторим комбинирование, приняв только что найденные распределения р1 (xt | Y) за исходные вместо распределений р1 (х{ | уt) для каждого ациклического графа соседства в отдельности и вновь повторим комбинирование. Остановим процедуру, когда результат перестанет изменяться.

Определение весов графов по схеме Гаусса-Зайделя. Изменение веса графа Gk в диапазоне от 0 до 1 считаем аналогом покоординатного варьирования. На начальном шаге распределение весов всех графов изменяется от 1/(К —1),...,0,...,1 /(К — 1), когда граф Gk полностью исключен,

до 0,___,1,___,0 , когда есть только граф Gk. Шаг заканчивается после варьирования всех весов и выбора того графа, чей вес обеспечил минимальное число ошибок распознавания на обучающем множестве изображений.

На очередном шаге варьируется вес 0 < р < 1 графа Gk. Нормированный вес графа Gk в линейной комбинации имеет значение wk = р. Остальные графы имеют к данному шагу постоянные веса , i = 1,..., К , i Ф к,

^ К

где их сумма также постоянна L = Х =1 I, i Ф к . Их нормированные веса wi = ^ (1 — р) / L изменяются в диапазоне от wi = ^ / L до wi = 0 .

Каждое пробное варьирование проверяется однократным комбинированием уже вычисленных маргинальных распределений рк( (х( | Y), t е Т, к = 1,..., К и распознаванием с подсчетом числа ошибок для решений х{, t е Т. Шаг заканчивается после варьирования всех весов и выбора нового веса того графа, для которого получено минимальное число ошибок.

Алгоритмы подбора параметров комбинирования ациклических графов соседства. Расширим схему Гаусса-Зайделя для поиска оптимального значения диагонального элемента матрицы переходов. Заметим, что при однократном распознавании новый шаг варьирования диагонального элемента в диапазоне 1/ т < q < 1 оказывается вырожденным, т. к. при любом наборе весов ациклических графов монотонное увеличение диагонального элемента при условии q < 1 монотонно уменьшает

число ошибок распознавания. Чтобы задача поиска не оказалась вырожденной, в новых алгоритмах подбора параметров комбинирования графов

135

будем применять многократное распознавание при оценке числа ошибок.

Алгоритм 1. Подбор единственного диагонального элемента и весов. В этом алгоритме считается, что все ациклические марковские модели, соответствующие графам Gk, k = 1,...,K , определяются одним общим диагональным элементом q.

1. Сначала будем считать, что веса всех ациклических графов одинаковы: w = w* = w° = [wt = 1 / K, i = 1,...,K}, где K - число графов.

2. Варьируем q в диапазоне 1 / m < q < 1. Найдем значение q , которое обеспечило минимальное число ошибок E: q* = arg min E(w, q).

1/m<q<1

3. Сделаем шаг варьирования весов по всем графам. Пусть варьируется вес wk очередного графа Gk в диапазоне 0 < wk = p < 1 при масштабировании весов остальных графов. Каждое пробное варьирование проверяется многократным распознаванием с подсчетом числа ошибок E(w, q ). Для каждого графа Gk определим оптимальный вектор весов и число ошибок: w*k = (w1,...w*,...,wK), wk* = argmin E(w,q*), E* = min E(w,q*).

wk=p ,0< p <1 wk=p ,°< p <1

4. Среди полученных оптимальных наборов w*, k = 1,...,K, найдем

тот набор весов w*, который обеспечил наименьшее число ошибок E :

* . * 7 * . * * *

E = minEk, k = argminEk, w = wk*.

1<k<K 1<k < K

5. Снова варьируем q в диапазоне 1/ m < q < 1. Найдем значение q , которое обеспечило минимальное число ошибок E: q* = argmin E(w*,q).

1/ m < q <1

6. Присвоим веса w = w* и перейдем к шагу 3.

*

7. Повторим шаги 3-6 до тех пор, пока E не перестанет меняться.

Алгоритм 2. Первая схема подбора диагональных элементов и

весов. Каждому графу Gk, k = 1,...,K соответствует отдельная ациклическая марковская модель со своим диагональным элементом qk, k = 1,...,K.

1. Сначала будем считать, что веса всех ациклических графов одинаковы: w = w* = w° = {wi = 1 / K, i = 1,...,K}, где K - число графов.

2. Варьируем все диагональные элементы qk, k = 1,...,K одновременно q1 =... = qK = q , где 1 / m < q < 1. Найдем q , обеспечивающее минимальное число ошибок: q = (q *,..., q *) = argmin E( w°, q1,..., qK).

q1 =...=qK =q ,1/m <q <1

3. Сделаем шаг варьирования весов по всем графам. Пусть варьируется вес wk графа Gk в диапазоне 0 < wk = p < 1 при масштабировании весов остальных графов. Каждое пробное варьирование проверяется многократным распознаванием с подсчетом числа ошибок E (w ,q). Для каждого

графа Gk определим оптимальный вектор весов и число ошибок:

w*k = (wv...w*k,...,wK), w*k = argmin E(w,q*), E*k = min E(w,q*).

wk=p ,0< p <1 wk=p ,°< p <

4. Среди полученных оптимальных наборов w*, k = 1,...,K, найдем

тот набор весов w , который обеспечил наименьшее число ошибок E :

k . k 7 k . k k k E = min Ek, k = argminEk, w = wkk.

1<k<K 1<k<K

k

5. После нахождения оптимальных весов w сделаем шаг варьирования всех диагональных элементов. Пусть в диапазоне 1 / m < qk < 1 варьируется диагональный элемент qk, соответствующий графу Gk. Остальным графам соответствуют в данный момент оптимальные диагональные элементы q*, i = 1,...,K, i Ф k, которые найдены до начала варьирования qk. Значения диагональных элементов qt, i = 1,...,K, i Ф k остаются постоянными qt = qk, i = 1,...,K, i Ф k при варьировании qk. Найдем значение ql, которое обеспечило минимальное число ошибок Ё*к: qk = argminE(w*, q13...,qK),

1/m<qk <1

где E* = min E(w , q13...,qK). Новое значение ql применяется при варьиро-

1/m<qk <1

вании следующих диагональных элементов qk+р qk+2,..., qK.

6. Присвоим веса w = w * и перейдем к шагу 3.

7. Повторим шаги 3-6 до тех пор, пока E * не перестанет меняться. Алгоритм 3. Вторая схема подбора диагональных элементов и

весов. Каждому графу Gk, k = 1...K соответствует отдельная ациклическая марковская модель со своим диагональным элементом qk, k = 1...K. Первый и второй шаги такие же, как у алгоритма 2. 3. Сделаем шаг варьирования весов и диагональных элементов по всем графам. Пусть варьируется вес wk графа Gk и соответствующий ему

элемент qk. Вес wk варьируется в диапазоне 0 < wk = p < 1 при масштабировании остальных весов. Каждое пробное варьирование проверяется многократным распознаванием с подсчетом числа ошибок E(w,q ). Для каждого графа Gk определим оптимальный вектор весов и число ошибок: w*k = (w1,...w*,...,wK), wkk = argmin E(w,q*), Ekk = min E(w,q*).

wk=p ,°< p <1 wk=p ,°< p <1

k

После нахождения wk варьируем qk в диапазоне 1 / m < qk < 1. Остальным графам соответствуют на данном шаге оптимальные диагональные элементы qt = q*, i = 1,...,K, i Ф k, которые не меняются при варьировании qk. Найдем значение ql, которое обеспечило минимальное число ошибок Ek: qk = argmin E(w*, q^..., qK ), Ek* = min E(wk, q1,..., qK ).

1/m<qk <1 1/m<qk <

Оптимальное значение q*k определяет соответствующий оптимальный вектор диагональных элементов: д* = (ц15...,Ц**,---,Цк).

4. Среди полученных пар оптимальных наборов д*), к = 1,...,К , найдем ту пару (у?*, д ), которая обеспечила наименьшее число ошибок

Е

Е = min Ек, к = а^minЕк, w = wк*, д = д

1<к < К

1<к < К

5. Присвоим веса w = w * и перейдем к шагу 3.

6. Повторим шаги 3-5 до тех пор, пока Е * не перестанет меняться. Экспериментальное сравнение алгоритмов. Решалась задача

сегментации 100 модельных текстурных изображений (рис. 3) размером 201x201 пикселей. Текстуры трех классов представлены реализациями трех нормально распределенных случайных величин с немного отличающимися средними в пространстве красной и зеленой компонент (рис. 3,а -пример первого изображения, рис. 3,б - классификации текстур на первых десяти из 100 тестовых изображений).

ЭЯЯЯБ,

нкчя

а

б

Рис. 3. Текстурные изображения

Средняя ошибка распознавания просмотренных в случайном порядке изображений вычислялась каждый раз после добавления очередного изображения к этому множеству (рис. 4).

Сравнивались четыре алгоритма комбинирования и алгоритм TRWS [8]. Легко увидеть одинаковый характер линий ошибок для всех алгоритмов. Алгоритмы с подбором диагонального элемента резко улучшают качество распознавания по сравнению с алгоритмом без его подбора. Алгоритм TRWS не является однозначно лучшим, т. к. на некоторых подмножествах изображений он уступает по качеству распознавания.

Рис. 4. Среднее число ошибок (%)

В итоге, все алгоритмы сравнимы по качеству с алгоритмом TRWS, который сегодня считается одним из эффективных алгоритмов обработки изображений. В частности, на уровне значимости а = 0,05 гипотеза о равенстве среднего уровня ошибок алгоритмов с подбором диагонального элемента и TRWS не отвергается. Работа выполнена при поддержке РФФИ (гранты № 10-07-00489, 11-07-00634).

Список литературы

1. Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proc. IEEE, 77. 1977. V. 2. P. 257-286.

2. Li S.Z. Markov Random Field Modeling in Image Analysis. L: Springer-Verlag, 2009. 371 p.

3. Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference // Foundations and Trends® in Machine Learning. 2008. V. 1. P. 1-305.

4. Mottl V.V., Dvoenko S.D., and Kopylov A.V. Pattern Recognition in Interrelated Data: The Problem, Fundamental Assumptions, Recognition Algorithms // Proc. 17th ICPR'2004. Cambridge, UK, 2004. V. 1. P. 188-191.

5. Двоенко С.Д., Копылов А.В., Моттль В.В. Задача распознавания образов в массивах взаимосвязанных объектов. Постановка задачи и основные предположения//Автоматика и телемеханика. 2004. №1. С. 143-158.

6. Двоенко С.Д., Копылов А.В., Моттль В.В. Задача распознавания образов в массивах взаимосвязанных объектов. Алгоритм распознавания // Автоматика и телемеханика. 2005. №12. C. 162-176.

7. Dvoenko S.D., Savenkov D.S. The Effective Recognition Procedure Based on Tree-Like Markov Models // Proc. 9th Int. Conf. on Pattern Recognition and Information Processing, PRIP'2007. Minsk, 2007. V.1. P. 98-100.

139

8. A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors / R. Szeliski [et al.] // IEEE Trans. on PAMI. 2007. / Vol. 6. P. 1068-1080.

S.D. Dvoenko, D. V. Sang

ALGORITHMS FOR SELECTING PARAMETERS OF COMBINATION OF ACYCLIC ADJACENCY GRAPHS IN THE PROBLEM OF THE RASTER TEXTURED IMAGE RECOGNITION

The tree-like graphic model of a Markov random field of hidden classes was proposed as a Markov chain to recognize the raster textured images. We developed algorithms to select the optimal value of the diagonal element of Markov transition matrix and weights for the linear combination of acyclic adjacency graphs to maximize aposteriori probabilities of hidden classes.

Key words: pattern recognition, machine learning, Markov random fields, Markov

chain.

Получено 18.04.12

УДК 681.5.015:07

А.Н. Грачев, канд. техн. наук, доц., (4872) 35-36-37, gai 50161 @mail.ru (Россия, Тула, ТулГУ),

А.А. Фомичев, д-р техн. наук, проф., зав. кафедрой, (4872) 35-36-37,

(Россия, Тула, ТулГУ),

С.В. Шурыгин, (910)9432622, [email protected]

(Россия, Тула, ТулГУ)

АНАЛИЗ ПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИЦИРУЕМОСТИ МОДЕЛЕЙ ОДНОГО КЛАССА СИММЕТРИЧНЫХ ДИНАМИЧЕСКИХ ОБЪЕКТОВ

Предлагается подход к исследованию свойства идентифицируемости линейных моделей типа «вход-состояние-выход» для специального класса симметричных динамических объектов высокой размерности. Показано, что исследование свойства параметрической идентифицируемости в этом случае можно производить с использованием сокращенной модели.

Ключевые слова: параметрическая идентифицируемость, модели в пространстве состояний, метод преобразований подобия.

Важнейшим этапом моделирования и идентификации различных технологических объектов для целей косвенного контроля и управления является проверка параметрической идентифицируемости формируемой

140