CC BY
33
УДК 004.93
С.Д. Двоенко, д-р физ.-мат. наук, проф., (4872) 35-36-37, [email protected] (Россия, Тула, ТулГУ), Д.В. Шанг, асп., (950) 908-68-88, [email protected] (Россия, Тула, ТулГУ)
АЛГОРИТМЫ ПОДБОРА ПАРАМЕТРОВ КОМБИНИРОВАНИЯ АЦИКЛИЧЕСКИХ ГРАФОВ СОСЕДСТВА В ЗАДАЧЕ РАСПОЗНАВАНИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ
Рассмотрена древовидная модель соседства элементов марковского случайного поля принадлежностей к текстурным классам как марковская цепь в задаче распознавания растровых изображений. Предложены алгоритмы подбора диагонального элемента марковской матрицы условных вероятностей переходов и весов графов в линейной комбинации для максимизации апостериорных вероятностей скрытых классов.
Ключевые слова: распознавание образов, машинное обучение, марковское случайное поле, марковская цепь.
В классической теории распознавания образов объекты рассматриваются независимо друг от друга. При обработке данных часто нужны скоординированные решения об объектах, связанных в единый массив. Взаимосвязи между ними представлены графом соседства.
В линейно упорядоченных массивах граф соседства является цепью. Скрытые марковские модели оказались эффективны при обработке массивов с цепочечным соседством их элементов [1]. Но для графов общего вида с циклами задача распознавания марковских случайных полей обладает свойствами задачи класса NP [2, 3]. В [4-6] была предложена древовидная модель марковского случайного поля и разработан эффективный алгоритм распознавания, выполняемый только за три прохода по графу соседства элементов массива, когда в нем циклов.
Марковская матрица условных вероятностей переходов является параметром модели. В [5, 6] показано, что такая матрица может быть задана только одним диагональным элементом. Но он задавался эвристически.
В прикладных задачах графы соседства элементов массива обычно содержат циклы. Древовидная редукция графа соседства существенно искажает взаимосвязи элементов в массиве данных. В [7] предложено скомпенсировать редуцированное множество взаимосвязей элементов расширением самого множества ациклических графов соседства. Был разработан алгоритм определения оптимальных весов в линейной комбинации ациклических графов соседства из некоторого заданного множества.
В данной работе предложены алгоритмы одновременного подбора весов графов в их линейной комбинации и диагонального элемента мар-
ковской матрицы условных вероятностей переходов.
Задача распознавания массивов данных и базовый алгоритм
Пусть [4-6] массив взаимосвязанных данных T состоит из элементов t е T и представлен как двухкомпонентное поле (X, Y). Наблюдаемая компонента Y состоит из векторов y t, t е T, принимающих значения из множества y t е 0, определенного природой источника данных. Элементы xt, t е T скрытой компоненты X принимают значения из множества xt е О, специфичного для конкретной задачи анализа данных. Например, для задачи распознавания образов О = {1,2,..., m} - это номера классов объектов. На множестве элементов t е T массива данных определено симметричное антирефлексивное бинарное отношение, представленное в виде неориентированного графа G без петель, ребра которого (s, t) е G соединяют соседние элементы массива данных s е T и t е T.
Обработка массива (X, Y) заключается в преобразовании массива Y = (y t, t е T) в массив X = (xt, t е T). В задаче распознавания взаимосвязанных объектов требуется по наблюдениям yt определить принадлежность элементов t е T массива T к скрытым классам из О с учетом априорной информации о классах соседних объектов, заданных графом G .
В вероятностной задаче распознавания взаимосвязанных объектов двухкомпонентное поле (X, Y) является случайным. Такая задача названа в [4-6] задачей распознавания массивов взаимосвязанных данных.
Задача обработки сводится к численному определению апостериорного распределения п(X | Y) = Z(X)n(Y I X)/ f (Y) к Z(X)n(Y | X), где Z( X) - априорное распределение вероятностей на множестве комбинаций
IT I
целевых переменных X еО , а их вероятностная связь с исходными переменными представлена условной плотностью n(X | Y), Y е0^. Для решений о скрытом поле X часто используется байесовское правило xt (Y) = arg max pt (xt | Y), t е T, где pt (xt | Y) - апостериорное маргинальное
xt еО
распределение вероятностей скрытых классов в элементе массива t е T.
Пусть граф соседства G не содержит циклов (рис.1), а скрытое поле классов X является марковским [4-6]. Тогда qt (xt | X(t)) = qt (xt | X(0t)), t е T,
где X(t) = (xs, s еT \ t), X(0t) = (xs, s е T \ t, (s, t) е G). Аналогичные обозначения применяются для подмножеств элементов Y и массива T в целом.
Древовидный граф G разбивает окрестность (рис. 1, а) нетерминального элемента xt на две произвольные части X(0t) = X"0 U X(+0. Любая
вершина t е T в качестве корня задает естественный нисходящий и восхо-
-0
дящий порядок просмотра, определяя окрестность X (t) = xr из одного эле-
мента (рис. 1, б), предшествующего х(, и окрестность Х(+0 непосредственных потомков х{. В [5, 6] показано, что такое априорное случайное поле является односторонним марковским qt (х( | )) = qt (х( | хг).
Рис. 1. Древовидный граф соседства
Пусть поле Y образовано случайными наблюдениями уt, условно независимыми относительно поля X = (х{, t е Т), где уt (у11 X) = уt (у. | х{). В [5, 6] показано, что апостериорное скрытое поле относительно того же графа G остается односторонним марковским р1 (х( | Х(.), Y) = р1 (х( | хг, Yt+),
где Yt + - поддерево с корнем в у., включая его. При обработке массива независимые решения р{ (х{ | уt) согласуются между собой с учетом совместного априорного распределения X). Базовый алгоритм имеет вид:
1. Задается начало обработки в корне . * и априорное распределение qt*( х.*), х.* еО. Нисходящим просмотром для всех t е Т вычисляются априорные распределения классов (х£ ) = I (х£ | х1 ) (х1 ), х£ е О, £ е Т(+0.
х.еО
2. Восходящим просмотром от терминалов к корню вычисляются «фильтрационные» апостериорные маргинальные распределения классов
Р.(X | ^+) « Р.(X | ОР.(X | у.), X еО, .е Т,
Р<(X | <* П I Р£(х | Ys+)^, £ е Т(+)0,
£ х£еО
где апостериорные маргинальные распределения р1 (х. | у.) получены на этапе независимого обучения. В терминальных вершинах . каждого уровня, начиная с LM , выполнено р( (х( | Yt +) = р( (х( | у.) (рис. 1б).
3. На последнем восходящем шаге распределение в корне опирается на все наблюдения р.*(хг*\ ) = р{*(х{*| Y), х.* еО. Такое «интерполяционное» апостериорное маргинальное распределение значений корневой пе-
ременной позволяет принять решение о классе xt*(Y) = arg max pt*(xt* | Y).
xt,EQ
4. Нисходящим просмотром от корня для всех t е T вычисляются интерполяционные апостериорные маргинальные распределения
ps(xs | Y) к £ ps(xs | xt,Y)pt(xt | Y), xs е О, s е T^0,
xtеQ
ps ( x,|xt, Y ) к ps ( x,|Y,+ ) qt ( xt) ^ и принимаются решения о классах xs (Y) = arg max ps (xs | Y).
Х,еО
Частная модель марковского случайного поля
Марковское априорное случайное поле классов X определяет его одностороннее свойство в виде условных распределений вероятностей на множестве значений переменной xt е О относительно любой переменной
xr е X(0t) из марковской окрестности xt. Для каждой пары вершин r, t е G,
соединенных ребром в дереве G , определена пара условных распределений вероятностей qt (xt | xr) и qr (xr | xt). Выбор некоторой вершины дерева
G в качестве корня t* е T задает нисходящее и восходящее направления просмотра, объявляя одно из распределений «нисходящим», а другое -«восходящим». В [4-6] рассмотрены важные частные свойства такой модели марковского поля, заключающиеся в следующем.
Односторонняя марковская модель поля X является однородной конечной марковской цепью с неизменными условными распределениями в прямом (восходящем) и обратном (нисходящем) направлениях, где qr (xr | xt) = q(xr | xt), qt (xt | xr) = q (xt | xr), и определена матрицей прямых
Q(m x m) и матрицей обратных Q(m x m) условных вероятностей переходов. Односторонняя марковская модель поля X является эргодической неразложимой марковской цепью и имеет финальное распределение p(x) ,
x е О в корне t*. Для неразложимой марковской цепи матрицы Q и Q связаны q (xt | xr) = q(xr | xt)p(xt)/ p(xr) через финальное распределение вероятностей p (x), x еО . Очевидно, что в такой модели начальное априорное маргинальное распределение вероятностей qt (xt) можно задать в любой вершине t е T, тогда соответствующие маргинальные распределения оказываются известными во всех остальных вершинах дерева G , в том числе и в его корне. Корень t* естественно связать с началом обработки, а начальное распределение сделать корневым qt*(xt*), xt* е О.
Априорное распределение классов в корне t* является равномерным финальным распределением qt*(xt*) = p(xt*) = 1/ m . Тогда маргинальные априорные распределения вероятностей скрытых классов во всех остальных объектах также равномерны. В этом случае q (xt | xr) = q(xr | xt). В итоге, остается только одна симметричная и дважды стохастичная матрица
256
переходов Q. В частной модели [5, 6] предполагается, что матрица Q имеет одинаковые диагональные элементы и одинаковые недиагональные элементы. Тогда матрица Q задается только одним значением ее диагонального элемента q.
Алгоритмы комбинирования ациклических графов соседства
Очевидно, что произвольный граф соседства не может быть заменен древовидным графом G без потери фундаментального свойства исходного графа представлять полную информацию о каждом элементе t е Т относительно других элементов. Например, решетка является графом соседства элементов растровых изображений и не является ациклическим графом. В алгоритме комбинирования неизвестные нам апостериорные маргинальные распределения вероятностей скрытых классов относительно исходного графа соседства заменяются линейной комбинацией распределений относительно некоторого набора ациклических графов соседства.
Пусть задан набор ациклических графов соседства [7] так, что каждый граф покрывает все множество вершин, а каждое ребро исходного графа входит хотя бы в один ациклический граф. Например, для растровых текстурных изображений удобно использовать графы рис. 2.
Ступенч. дерево Спираль Гориз. змейка Верт. змейка Диаг. змейка
Рис. 2. Ациклические графы соседства
Итерационный алгоритм распознавания с комбинированием ациклических графов
Применим базовый алгоритм распознавания к каждому графу Ок из данного набора. Для каждого ациклического графа сформируются распределения рк1 (х( | Y), t е Т, к = 1,..., К, где К - число ациклических графов, и соответствующие решения о классах х'к ^), t е Т.
Для окончательных решений о классах х{^), ? е Т вычислим апо-
стериорные распределения р( (х{ | Y) = ^ (х{ | Y), t е Т как взвешен-
ную сумму распределений рк(х( | Y), к = 1,..., К, где wk > 0, ^К wk = 1.
Повторим комбинирование, приняв только что найденные распределения р1 (х{ | Y) за исходные вместо распределений р1 (х{ | у() для каждого ациклического графа соседства в отдельности и вновь повторим комбинирование. Остановим процедуру, когда результат перестанет изменяться.
Определение весов графов по схеме Гаусса-Зайделя. Изменение веса графа Ок в диапазоне от 0 до 1 считаем аналогом покоординатного
варьирования. На начальном шаге распределение весов всех графов изменяется от 1 / (K —1),...,0,...,1 / (K — 1), когда граф Gk полностью исключен, до 0,...,1,...,0 , когда есть только граф Gk. Шаг заканчивается после варьирования всех весов и выбора того графа, чей вес обеспечил минимальное число ошибок распознавания на обучающем множестве изображений.
На очередном шаге варьируется вес 0 < p < 1 графа Gk. Нормированный вес графа Gk в линейной комбинации имеет значение wk _ p. Остальные графы имеют к данному шагу постоянные веса lt, i _ 1,..., K , i Ф k,
где их сумма также постоянна L l, i ^ k. Их нормированные веса
wi _ (1 — p) / L изменяются в диапазоне от wi _ / L до wi _ 0 .
Каждое пробное варьирование проверяется однократным комбинированием уже вычисленных маргинальных распределений pk (xt | Y), t e T, k _ 1,..., K и распознаванием с подсчетом числа ошибок для решений xt, t e T. Шаг заканчивается после варьирования всех весов и выбора нового веса того графа, для которого получено минимальное число ошибок.
Алгоритмы подбора параметров комбинирования ациклических графов соседства
Расширим схему Гаусса-Зайделя для поиска оптимального значения диагонального элемента матрицы переходов. Заметим, что при однократном распознавании новый шаг варьирования диагонального элемента в диапазоне 1/ m < q < 1 оказывается вырожденным, т. к. при любом наборе весов ациклических графов монотонное увеличение диагонального элемента при условии q <1 монотонно уменьшает число ошибок распознавания. Чтобы задача поиска не оказалась вырожденной, в новых алгоритмах подбора параметров комбинирования графов будем применять многократное распознавание при оценке числа ошибок.
Алгоритм 1. Подбор единственного диагонального элемента и весов. В этом алгоритме считается, что все ациклические марковские модели, соответствующие графам Gk, k _ 1,...,K , определяются одним общим диагональным элементом q.
1. Сначала будем считать, что веса всех ациклических графов одинаковы: w = w* _ w0 _ [wt _ 1 / K, i _ 1,...,K}, где K - число графов.
2. Варьируем q в диапазоне 1 / m < q < 1. Найдем значение q , которое обеспечило минимальное число ошибок E: q* _ arg min E(w, q).
1/m<q<1
3. Сделаем шаг варьирования весов по всем графам. Пусть варьируется вес wk очередного графа Gk в диапазоне 0 < wk _ p < 1 при масштабировании весов остальных графов. Каждое пробное варьирование проверя-
ется многократным распознаванием с подсчетом числа ошибок E(w, q ). Для каждого графа Gk определим оптимальный вектор весов и число ошибок: w*k _ (w1,...w*,...,wK), wk* _ argmin E(w,q*'), E* _ min E(w,q*).
wk _ p ,0< p <1 wk _ p ,0< p <1
4. Среди полученных оптимальных наборов w*, k _ 1,...,K найдем
тот набор весов w*, который обеспечил наименьшее число ошибок E :
* . * 7 * . * * *
E _ min Ek, k _ argminEk, w _ wk*.
1<k<K 1<k < K
5. Снова варьируем q в диапазоне 1/ m < q < 1. Найдем значение q*, которое обеспечило минимальное число ошибок E: q* _ argmin E(w*,q).
1/ m < q <1
6. Присвоим веса w = w* и перейдем к шагу 3.
*
7. Повторим шаги 3-6 до тех пор, пока E не перестанет меняться. Алгоритм 2. Первая схема подбора диагональных элементов и
весов. Каждому графу Gk, k _ 1,...,K соответствует отдельная ациклическая марковская модель со своим диагональным элементом qk, k _ 1,...,K.
1. Сначала будем считать, что веса всех ациклических графов одинаковы: w = w* _ w0 _ {w. _ 1 / K, i _ 1,...,K}, где K - число графов.
2. Варьируем все диагональные элементы qk, k _ 1,...,K одновременно q1 _... _ qK _ q , где 1 / m < q < 1. Найдем q , обеспечивающее минимальное число ошибок: q _ (q ,..., q ) _ argmin E( w0, qp..., qK).
Я1 _ _ Qk _ Я ,1/m < q<1
3. Сделаем шаг варьирования весов по всем графам. Пусть варьируется вес wk графа Gk в диапазоне 0 < wk _ p < 1 при масштабировании весов остальных графов. Каждое пробное варьирование проверяется многократным распознаванием с подсчетом числа ошибок E (w ,q). Для каждого графа Gk определим оптимальный вектор весов и число ошибок:
wk _ (w1,...w*,..., wK), w* _ argmin E(w,q*), E* _ min E(w,q*).
wk _ p ,0< p <1 wk _ p ,0< p <1
4. Среди полученных оптимальных наборов w*, k _ 1,...,K, найдем
тот набор весов w , который обеспечил наименьшее число ошибок E :
* . * 7 * . * * *
E _ min Ek, k _ argminEk, w _ wk*.
1<k<K 1<k<K
*
5. После нахождения оптимальных весов w сделаем шаг варьирования всех диагональных элементов. Пусть в диапазоне 1 / m < qk < 1 варьируется диагональный элемент я* , соответствующий графу G*. Остальным графам соответствуют в данный момент оптимальные диагональные элементы q*, i _ 1,...,K, i Ф k, которые найдены до начала варьирования я* .
Значения диагональных элементов qt, i = 1,...,K, i Ф k остаются постоянными qt = q*, i = 1,...,K, i Ф k при варьировании qk. Найдем значение q*k , которое обеспечило минимальное число ошибок E*: q*k = arg min E (w *, q1,..., qK),
1/m<qk <1
где E* = min E(w , q1,..., qK). Новое значение q* применяется при варьиро-
1/m<qk <1
вании следующих диагональных элементов qk+р qk+2,..., qK.
6. Присвоим веса w = w* и перейдем к шагу 3.
7. Повторим шаги 3-6 до тех пор, пока E * не перестанет меняться. Алгоритм 3. Вторая схема подбора диагональных элементов и
весов. Каждому графу Gk, k = 1...K соответствует отдельная ациклическая марковская модель со своим диагональным элементом qk, k = 1...K. Первый и второй шаги такие же, как у алгоритма 2. 3. Сделаем шаг варьирования весов и диагональных элементов по всем графам. Пусть варьируется вес wk графа Gk и соответствующий ему
элемент qk. Вес wk варьируется в диапазоне 0 < wk = p < 1 при масштабировании остальных весов. Каждое пробное варьирование проверяется многократным распознаванием с подсчетом числа ошибок E(w,q*). Для каждого графа Gk определим оптимальный вектор весов и число ошибок: wk = (w1,...w*,...,wK), w* = argmin E(w,q*), E*k = min E(w,q*).
wk=p ,0< p <1 wk=p ,0< p <1
* У-Ч
После нахождения wk варьируем qk в диапазоне 1 / m < qk < 1. Остальным графам соответствуют на данном шаге оптимальные диагональные элементы qi = q*, i = 1,...,K, i Ф k, которые не меняются при варьировании qk. Найдем значение q*, которое обеспечило минимальное число
* k
ошибок Ek: q* = arg min E(w*, q1,..., qK ), E* = mm E(w*, q1,..., qK ).
1/m<qk <1 1/m<9k <
Оптимальное значение q* определяет соответствующий оптимальный вектор диагональных элементов: q* = (q15..., qk,..., qK ).
4. Среди полученных пар оптимальных наборов (w*,qk), k = 1,...,K , найдем ту пару (w*, q ), которая обеспечила наименьшее число ошибок E *: E * = min E*, k * = argmin E*, w * = w**, q * = qk*.
1<*<k 1<k < K
5. Присвоим веса w = w* и перейдем к шагу 3.
6. Повторим шаги 3-5 до тех пор, пока E * не перестанет меняться.
Экспериментальное сравнение алгоритмов
Решалась задача сегментации 100 модельных текстурных изображений (рис. 3) размером 201x201 пикселей. Текстуры трех классов пред-
ставлены реализациями трех нормально распределенных случайных величин с немного отличающимися средними в пространстве красной и зеленой компонент (рис. 3, а - пример первого изображения, рис. 3б - классификации текстур на первых десяти из 100 тестовых изображений).
Средняя ошибка распознавания просмотренных в случайном порядке изображений вычислялась каждый раз после добавления очередного изображения к этому множеству (рис. 4).
Сравнивались четыре алгоритма комбинирования и алгоритм TRWS [8]. Легко увидеть одинаковый характер линий ошибок для всех алгоритмов. Алгоритмы с подбором диагонального элемента резко улучшают качество распознавания по сравнению с алгоритмом без его подбора. Алгоритм TRWS не является однозначно лучшим, т. к. на некоторых подмножествах изображений он уступает по качеству распознавания.
а б
Рис. 3. Текстурные изображения
Рис. 4. Среднее число ошибок (%)
В итоге, все алгоритмы сравнимы по качеству с алгоритмом TRWS,
261
который сегодня считается одним из эффективных алгоритмов обработки изображений. В частности, на уровне значимости а = 0,05 гипотеза о равенстве среднего уровня ошибок алгоритмов с подбором диагонального элемента и TRWS не отвергается. Работа выполнена при поддержке РФФИ (гранты № 10-07-00489, 11-07-00634).
Список литературы
1. Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proc. IEEE, 77. 1977. V. 2. P. 257-286.
2. Li S.Z. Markov Random Field Modeling in Image Analysis. L: Springer-Verlag, 2009. 371 p.
3. Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference // Foundations and Trends® in Machine Learning. 2008. V. 1. P. 1-305.
4. Mottl V.V., Dvoenko S.D., and Kopylov A.V. Pattern Recognition in Interrelated Data: The Problem, Fundamental Assumptions, Recognition Algorithms // Proc. 17th ICPR'2004. Cambridge, UK, 2004. V. 1. P. 188-191.
5. Двоенко С.Д., Копылов А.В., Моттль В.В. Задача распознавания образов в массивах взаимосвязанных объектов. Постановка задачи и основные предположения//Автоматика и телемеханика. 2004. №1. С. 143-158.
6. Двоенко С.Д., Копылов А.В., Моттль В.В. Задача распознавания образов в массивах взаимосвязанных объектов. Алгоритм распознавания // Автоматика и телемеханика. 2005. №12. C. 162-176.
7. Dvoenko S.D., Savenkov D.S. The Effective Recognition Procedure Based on Tree-Like Markov Models // Proc. 9th Int. Conf. on Pattern Recognition and Information Processing, PRIP'2007. Minsk, 2007. V.1. P. 98-100.
8. A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors / R. Szeliski [et al.] // IEEE Trans. on PAMI. 2007. V. 6. P. 1068-1080.
S.D. Dvoenko, D. V. Sang
ALGORITHMS FOR SELECTING PARAMETERS OF COMBINATION OF ACYCLIC ADJACENCY GRAPHS IN THE PROBLEM OF THE RASTER TEXTURED IMAGE RECOGNITION
The tree-like graphic model of a Markov random field of hidden classes was proposed as a Markov chain to recognize the raster textured images. We developed algorithms to select the optimal value of the diagonal element of Markov transition matrix and weights for the linear combination of acyclic adjacency graphs to maximize aposteriori probabilities of hidden classes.
Key words: pattern recognition, machine learning, Markov random fields, Markov
chain.
Получено 07.03.12
