Алгоритмы подбора параметров древовидного марковского случайного поля в задаче распознавания растровых текстурных изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

Известия Тульского государственного университета Естественные науки. 2012. Вып. 1. С. 98-110

= ИНФОРМАТИКА =

УДК 004.93

Алгоритмы подбора параметров древовидного марковского случайного поля в задаче распознавания растровых текстурных изображений *

С. Д. Двоенко, Д. В. Шанг

Аннотация. Рассмотрена задача распознавания массивов взаимосвязанных данных, представленных как двухкомпонентное случайное марковское поле наблюдений и скрытых классов объектов, для которого ранее была предложена древовидная модель соседства элементов скрытого марковского поля принадлежностей объектов к классам. Модель скрытых классов рассмотрена как марковская цепь с матрицей условных вероятностей переходов между ее состояниями. Для заданного ациклического графа соседства элементов массива такая матрица переходов является параметром модели. В частном случае достаточно определить значение только одного диагонального элемента матрицы переходов.

Дана постановка задачи поиска его оптимального значения и разработаны соответствующие алгоритмы. На примере задачи сегментации растровых текстурных изображений выполнено сравнение алгоритмов и показаны результаты экспериментов.

Ключевые слова: распознавание образов, машинное обучение, марковское случайное поле, марковская цепь.

Введение

В классической теории распознавания образов объекты рассматриваются независимо друг от друга. При обработке данных часто нужны скоординированные решения об объектах, связанных в единый массив. Объекты могут быть упорядочены вдоль оси времени, частоты, одной или нескольких пространственных координат. Элементы массива рассматриваются как «смежные», «соседние», «упорядоченные». Взаимосвязи между ними представлены графом соседства с ненаправленными

* Работа выполнена при финансовой поддержке РФФИ (проекты № 10-07-00489, № 11-07-00634).

ребрами без петель. В линейно упорядоченных массивах граф соседства является цепью.

Скрытые марковские модели оказались эффективны при обработке линейно упорядоченных массивов с цепочечным соседством их элементов [1]. Но для графов соседства общего вида, содержащих, как правило, циклы, задача распознавания марковских случайных полей является весьма трудоемкой [2-5] и обладает свойствами задачи класса МР.

В [6-9] предложена модель марковского случайного поля в виде марковской цепи, управляющей сменой скрытых классов распознаваемых объектов. Был предложен эффективный алгоритм распознавания, который выполняется за три прохода по графу соседства элементов взаимосвязанного массива, когда граф соседства не содержит циклов.

Марковская матрица условных вероятностей переходов является параметром предложенной в [6-9] модели. В [8, 9] было показано, что в частном случае такая матрица может быть задана только одним значением ее диагонального элемента. Но диагональный элемент задавался эвристически без поиска его оптимального значения.

Целью данной статьи является разработка алгоритмов подбора значения диагонального элемента для заданного ациклического графа соседства с целью увеличения качества распознавания скрытых классов объектов.

1. Задача распознавания массивов взаимосвязанных данных и базовый алгоритм распознавания

Пусть [6-9] массив взаимосвязанных данных Т состоит из элементов Ь £ Т и представлен как двухкомпонентное поле (X, У). Наблюдаемая компонента У состоит из векторов у*, заданных на множестве элементов массива Ь £ Т и принимающих значения из некоторого подходящего множества у* £ 0, определенного природой источника данных. Элементы х*, Ь £ Т скрытой компоненты X принимают значения из некоторого множества хг £ О, специфичного для конкретной задачи анализа данных. Например, для задачи распознавания образов О = {1, 2,т} — это конечное множество номеров классов объектов.

На множестве элементов Ь £ Т массива данных определим симметричное антирефлексивное бинарное отношение, которое удобно представлять в виде неориентированного графа С без петель, ребра которого (8, Ь) £ С соединяют соседние элементы массива данных ,в £ Т и Ь £ Т.

Задачу обработки массива (X, У) представим как задачу преобразования исходного массива У = (у*,Ь £ Т) в результирующий массив X = (хг,Ь £ Т).

Пусть \Т| — число элементов массива данных, тогда декартовы степени 0\Т \

и О\Т\ образуют множества всех комбинаций значений исходных и результирующих (целевых) переменных, представляя все массивы данных и все результаты их обработки. Алгоритм обработки реализует преобразование

0тI ^ отI каждого исходного массива У Є 0|т 1 в результат его анализа X(У) Є О|т|.

В задаче распознавания взаимосвязанных объектов требуется по вектору наблюдаемых признаков у: определить принадлежность элементов Ь Є Т массива данных Т к классам из О с учетом априорной информации о преимущественных сочетаниях классов смежных объектов, заданных графом С.

В вероятностной задаче распознавания взаимосвязанных объектов предполагается, что двухкомпонентное поле (X, У) является случайным. Задача такого типа была названа задачей распознавания массивов взаимосвязанных данных.

Как правило, обработка массива данных сводится к компромиссу между значениями целевых переменных, вытекающими из имеющихся представлений об их связи с элементами исходного массива, и априорными представлениями о предпочтительности тех или иных комбинаций значений целевых переменных.

Пусть на множествах значений 0, 0|т 1 и О, О|т | переменных

массивов X и У определены соответствующие плотности распределения вероятностей. Пусть ((X) — априорное распределение вероятностей

на множестве комбинаций целевых переменных, а их вероятностная связь с исходными переменными представлена условной плотностью \У), У Є 0|т|. Задача обработки в общем случае сводится к численному определению апостериорного распределения вероятностей \У) = с(X)п(УIX)/!(У) « С(X)п(УX).

Для решений о скрытом поле X часто используется байесовское решающее правило, которое может иметь вид

X (У) = а^шах п^\У) (1)

X еп\т I

или

хь(У) = а^шахРі(хі\У), Ь Є Т, (2)

Ж(ЄП

где рг(%г\У) — апостериорное маргинальное распределение вероятностей скрытых классов в элементе массива Ь Є Т.

Пусть граф соседства С не содержит циклов (рис.1), а скрытое поле классов X является марковским [6-9]. Тогда для элемента Ь Є Т условное распределение ді {xt\X(t)^ на множестве значений Хі относительно остальных

элементов XII) = (х3, 8 Є Т\Ь) зависит д: (xt\X(t)) = д: (X:\X0.)^ только от

значений соседних по графу С переменных XI:) = (х3, 8 Є Т\Ь, (8, Ь) Є С). Будем применять аналогичные обозначения относительно графа С для соответствующих подмножеств элементов наблюдаемого поля У и массива Т в целом.

Древовидный граф О разбивает окрестность (рис. 1а) нетерминального

элемента на две произвольные части Х0) = (х—) ^ X +0 ^. Любая

вершина Ь* Є Т в качестве корня немедленно задает естественный нисходящий порядок просмотра вершин от корня и восходящий порядок к корню, определяя окрестность X= хг из одного элемента (рис. 1б),

предшествующего х*, и окрестность X++0 непосредственных потомков х*. В

[8, 9] показано, что такое априорное случайное поле является односторонним

-о

марковским ді ^х *\Х= ді(х і\хг).

Рис. 1. Ациклический граф соседства

Пусть поле У = (уг, Ь € Т) образовано случайными наблюдениями уг, условно независимыми относительно поля X = (хг, Ь € Т), где фг(уг\Х) =

= Фг(уг\хг)- В [8, 9] показано, что апостериорное скрытое поле относительно того же графа С остается односторонним марковским рг {хг\Х( г), У) =

= рг (хг\хг, У+), где У+ — поддерево с корнем в yt, включая его.

В распознавании образов способом оценки апостериорных распределений Рг(хг\уг) является обучение с учителем, когда вместе с наблюдаемыми переменными у г известны и их классы хг. При обработке массива выполняется дополнительный этап, когда отдельные решения согласуются между собой с учетом совместного априорного распределения ((X). Базовый алгоритм:

1. Задается корень Ь* как начало обработки и априорное распределение дг*(хг*), хг* € П. Нисходящим просмотром для всех Ь € Т вычисляются априорные распределения классов д3(х3) = ^ д8(х8\хг) дг(хг), х8 € П, 8 €

€ Т+0-

2. Восходящим просмотром от терминальных вершин к корню вычисляются «фильтрационные» апостериорные маргинальные распределения классов

Рг X\У+ & Рг {хг\У(+) Рг(хг\уг), хг € П, Ь € Т,

РгЫУ+) <х П Е Р>(х,\У+)2ЙХЙГ■ 8 € Т+0,

5 Х3ЕО

где апостериорные маргинальные распределения рг(хг\уг) получены на этапе независимого обучения. В терминальных вершинах Ь каждого уровня, начиная с Ьм, выполнено рг (хг\У+) = рг(хг\уг) (рис. 1б).

3. На последнем восходящем шаге распределение в корне опирается на все наблюдения рг*(хг*\Уг+) = рг*(хг*\У), хг* € П. Такое «интерполяционное» апостериорное маргинальное распределение значений корневой переменной позволяет принять решение о классе хг*(У) = а^шахрг*(хг*\У).

4. Нисходящим просмотром от корня для остальных объектов Ь € Т вычисляются все интерполяционные апостериорные маргинальные распределения

рз(хз\У) х ^2 ра(ха\хг,У)рг(хг\У), ха € П, 8 € Т+0

хгЕО

ра(ха\хг,У) х ра(ха\У+)дг(хг)^Хх* и принимаются решения о классах х3(У) = aтgшaxр3(х3\У).

хв €П

2. Частная модель марковского случайного поля

Марковское априорное случайного поле классов X определяет его одностороннее свойство в виде условных распределений вероятностей на множестве значений переменной хг € П относительно любой переменной хг € Х0г) из марковской окрестности хг. Для каждой пары вершин г,Ь € С, соединенных ребром в дереве С, определена пара условных распределений вероятностей дг(хг\хг) и дг(хг\хг). Выбор некоторой вершины дерева С в качестве корня Ь* € Т задает нисходящее и восходящее направления просмотра, объявляя одно из распределений «нисходящим», а другое — «восходящим». В [6-9] был введен ряд предположений о такой модели марковского поля, в том числе следующие.

Предложение 1. Односторонняя марковская модель поля X является однородной конечной марковской цепью с неизменными условными распределениями в прямом (восходящем) и обратном (нисходящем) направлениях, где дг(хг\хг) = д(хг\хг), дг(хг\хг) = д(хг\хг); Ь,г € Т; хг,хг € П. Такая модель поля X полностью определена матрицами прямых Q(m х т) и обратных Q(m х т) условных вероятностей переходов.

Предложение 2. Односторонняя марковская модель случайного поля X является эргодической неразложимой марковской цепью и имеет финальное распределение р(х), х € П в корне Ь*. Для неразложимой марковской цепи матрицы Q и Q связаны через финальное распределение

вероятностей р(х), х € П: д(хг\хг) = д(хг\хг)р(хг)/р(хг). Очевидно, что в односторонней марковской модели начальное априорное маргинальное распределение вероятностей дг(хг) можно задать в любой вершине Ь € Т, тогда соответствующие маргинальные распределения оказываются известными во всех остальных вершинах дерева С, в том числе и в его корне. Корень Ь* естественно связать с началом обработки, а начальное распределение сделать корневым дг*(хг*),хг* € П.

Предложение 3. Априорное распределение классов в корне Ь* является равномерным финальным распределением дг*(хг*) = р(хг*) = 1/т. Тогда маргинальные априорные распределения вероятностей скрытых классов во всех остальных объектах также 'равномерны. В этом случае д(хг\хг) = д(хг\хг). В итоге, остается только одна симметричная и дважды стохастичная матрица переходов Q. В частной модели [8, 9] предполагается, что матрица Q имеет одинаковые диагональные элементы и одинаковые недиагональные элементы. Тогда матрица Q задается только одним значением ее диагонального элемента д.

3. Задача поиска диагонального элемента

В задаче классификации стремятся к поиску решающего правила, достигающего наименьшей средней вероятности ошибок. Ранее показано [6-9], что для массивов взаимосвязанных объектов минимизация уровня ошибок приводит к задаче максимизации совместной апостериорной вероятности \У) в целом или апостериорных вероятностей рг(хг\У), Ь € Т для отдельных элементов массива на основе байесовского решающего правила в виде (1) или (2).

Пусть наблюдаемое поле У = (уг,Ь € Т) образовано случайными векторами уг, условно независимыми фг(yг\X) = фг(уг\хг) относительно скрытого поля X = (хг, Ь € Т). Тогда апостериорное скрытое поле классов формально определяется по следующей формуле:

пда') х (с X)/ п дг(хг)) П рг(хг\Уг). (3)

V гет ) гет

Ранее было показано [8, 9], что для марковского скрытого случайного поля X и заданного ациклического графа соседства совместное распределение скрытых классов ((X) можно вычислить по формуле (рис. 1б):

м -1

((X)= дг* (хг*) ^ ^ П д“(х* \хг )= дг* (хг*) П да(хз\хг), Ь € Т—.

]=\ геЬз зет+° “ет(г*)

Из (3) и (4) получим:

П ръ х У)

п^\У) х дг* (хг*д ^ ) П д“(хз\хг), Ь € Т-0. (5)

Таким образом, для каждой реализации случайного поля ^,У), маргинальные апостериорные вероятности ръ(хъУ), V € Т известны как результат независимого обучения, а соответствующая апостериорная совместная вероятность п(X\У) определяется маргинальными априорными вероятностями дъ(х V), V € Т и условными вероятностями переходов да(ха\хг), 8 € Т(г*), Ь € Т( “°.

В частной модели случайного марковского поля все маргинальные априорные распределения равномерны дъ(хъ) = 1/т, V € Т, хъ € П, а условные вероятности переходов для всех элементов массива задаются в виде матрицы Q(m х т) одним значением 0 ^ д ^ 1 для всех ее диагональных элементов и одним значением (1 — д)/(т — 1) для всех ее недиагональных элементов.

Таким образом, для каждой реализации случайного поля ^,У), соответствующая апостериорная совместная вероятность п(X\У) полностью определяется по формуле (5) значением диагонального элемента д, где

д“(х*\хг) = \д\ х\7(хг = (6)

Ц1 — д)/(т — 1), х“ = хг.

Тогда для данной реализации поля X = (хг, Ь € Т) максимизация апостериорной совместной вероятности п(X\У) сводится к поиску значения диагонального элемента д, доставляющего максимум условной вероятности:

д^У) = ащшах п(X\У). (7)

Решение задачи (2) дает оценку скрытого поля X(У) = (хг(У), Ь € Т). Тогда соответствующая оценка д^^) имеет следующий вид:

д(У )=а^шах п(}С\У). (8)

о^д^1

Очевидно, решение задачи поиска диагонального элемента (8) заключается в итеративном решении двух взаимосвязанных задач: при фиксированных д и У решить задачу (2), при фиксированных X и У решить задачу (7).

Для поиска экстремума (7) продифференцируем функцию п(X\У) по д:

^ | П «.<**.) =0, . € Т-0.

зет(г*)

Тогда получим для V Е Т-Ц0, Ь Е Т--0:

Е{ Лди(хи\ху) -р-г

I —^— П ^(х°\хь)

и^Т(г*) \ 8&Т(ь*)\и

С (л^иХт1 -ихих) П ьхх)\=0.

иЄТ(и) \ 4 ЧиК и и> 8ЄТ(и)

Следовательно:

V (^и(хи\ХУ) ___________1______А 0. Т-0 (9)

V ^ 9и(хи\ху)) ’ (и)

и€Т(1*)

. (хи\ху) _ ) 1, хи _ хь,

-1/(т - 1), хи — хи.

Пусть VI = {и Е Т-и)\хи = ху, V Е Т— }, V} = {и Е Т-и)\хи = х,и, V Е Т— }. Очевидно, что VI П V2 = 0, VI и V2 = Т-4*). Тогда (9) имеет вид:

/йди(хи\ху) 1 \ + у' /dqu(xu\xv) 1 \ = 0 у ^Т-о

V dq qu(xu\xv)) ^ \ ^а{хи\хги)) ’ (и) ’

и^У\ и^У2

После подстановки оказывается, что q зависит от множества VI, которое

определяется графом соседства: £ (1/q) + £иеуЛ Т=Г Т-1) = а\^\ -

иеУ! 4 '

— г— V2\ = 0. В итоге:

q = \Vl\/(\Vl\ + т = №\/(\Т \ — 1). (10)

4. Алгоритмы подбора значения диагонального элемента

Алгоритм 1. Подбор, основанный на независимом обучении (10):

1. Выбрать ациклический граф соседства из заранее заданного набора.

2. Оценить q = \ VI\ /(\Т\ — 1), где VI = {и Е Т^\ хи = х,и, V Е Т—1}.

3. Однократным применением базового алгоритма распознавания с пересчитанным диагональным элементом перейти от распределений рг(хг\уг), полученных ранее для независимого обучения, к апостериорным распределениям рг(хг\У), Ь Е Т, соответствующим реализации X при наблюдении У.

4. Оценить q = \ VI\ /(\Т\ — 1), где VI = {и Е Т^\ хи = х,и, V Е Т-^}.

5. Вновь применить алгоритм распознавания с пересчитанным диагональным элементом q, где вместо распределений рг(хг\уг) рассмотреть только что полученные распределения рг(хг\У), и перейти к новым

апостериорным распределениям, которые снова обозначить как рг(хг\У), £ Є Т. Снова оценить диагональный элемент д.

6. Повторять шаг 5 до тех пор, пока решения хг — argmaxрг(хг\У) не

Ж(ЄП

перестанут меняться или начнут циклически повторяться.

Алгоритм 2. Подбор диагонального элемента, начиная с заранее заданного значения. В предыдущем алгоритме на втором шаге диагональный элемент пересчитывается на основе результата независимого обучения. Но независимое обучение часто дает плохой результат. Поэтому здесь диагональный элемент задается сразу. Алгоритм состоит из тех же шагов за исключением того, что на шаге 2 сразу задано значение д, например, д — 0.95.

Алгоритм 3. Подбор диагонального элемента по схеме Гаусса-Зейделя. Одним из методов оптимизации многомерных функций является метод покоординатного спуска. Ранее [10] данная схема была рассмотрена с целью подбора весов комбинации ациклических графов соседства, где варьирование веса графа рассматривалось как координатное варьирование. Здесь задача оптимизации вырождается, т.к. задан только один ациклический граф соседства, а искомая функция зависит от только одной переменной д. Алгоритм состоит из шагов.

1. Выбрать ациклический граф соседства из заранее заданного набора.

2. Варьировать значение д в диапазоне от 1/т до 1. Для каждого значения д применить базовый алгоритм итерационно до тех пор, пока число ошибок не перестанет изменяться, и оценить число ошибок.

3. Найти значение д, которое обеспечило минимальное число ошибок.

5. Экспериментальное сравнение алгоритмов

Решалась задача сегментации модельных текстурных изображений (рис.2) размером 201x201 пикселей. Текстуры трех классов представляют собой реализации трех нормально распределенных случайных величин с немного отличающимися средними в пространстве красной и зеленой цветовых компонент (рис.2а — пример первого изображения, рис.2б — классификации учителя на десяти тестовых изображениях такого же типа).

Сравнивались все алгоритмы распознавания для пяти видов ациклических графов соседства (рис.3). Результаты распознавания показаны в табл.1-5.

Видно, что алгоритм подбора диагонального элемента на основе независимого обучения является наихудшим. Если в нем на второй итерации вместо пересчитанного по независимому обучению диагонального элемента использовать заданный, то результат улучшается. Но есть случаи, когда алгоритм подбора диагонального элемента выигрывает у базового алгоритма

и, наоборот, есть случаи, когда алгоритм подбора диагонального элемента проигрывает.

ТАБЛИЦА 1

Число ошибок распознавания в случае ступенчатого дерева_______

Изображ ение Базовый алгоритм Алгоритм подбора диагонального элемента

q=0.7 On О II СТ“ q=0.95 q=0.99 1=0.995 Нез. обучение q=0.9 q=0.95 Схема Г-3

1 8548 5835 4919 4780 5206 5107 0.937 4774 0.966 4654 0.974 4628 0.98

2 8192 5946 5154 5162 5618 5323 0.938 4969 0.966 4880 0.973 4889 0.98

3 8104 5702 5114 5299 5869 5240 0.938 4935 0.969 4943 0.975 4929 0.97

4 7886 5308 4518 4635 5159 4609 0.940 4358 0.967 4365 0.977 4358 0.97

5 8097 5401 4482 4527 4846 4629 0.940 4296 0.970 4269 0.977 4292 0.98

6 7763 5242 4282 3935 4232 4421 0.942 3955 0.971 3868 0.978 3868 0.98

7 7949 5540 4886 4834 5307 4980 0.941 4609 0.970 4568 0.976 4585 0.98

8 7858 5287 4396 4109 4456 4584 0.941 4079 0.970 3973 0.977 3959 0.98

9 7574 4912 3977 3687 4030 4104 0.942 3678 0.972 3559 0.979 3553 0.98

10 7949 5259 4428 3897 4057 4585 0.942 4052 0.971 3898 0.979 3897 0.99

Среднее 7992 5443.2 4615.6 4486.5 4878 4758.2 .... 4371 .... 4297.7 .... 4295.8 —

Среди (%) 19.78 13.47 11.42 11.1 12.07 11.78 .... 10.82 .... 10.64 .... 10.63 —

ТАБЛИЦА 2

Число ошибок распознавания в случае спирали_____________

Изображ ение Базовый алгоритм Алгоритм подбора диагонального элемента

ХЭ II р п о q=0.95 q=0.99 q=0.995 Нез. обучение q=0.9 q=0.95 Схема Гаусса-Зайделя

1 8815 6498 5929 6478 7225 6083 0.934 5749 0.964 5752 0.971 5739 0.97

2 8734 6470 6093 6789 7552 6180 0.933 5993 0.962 5993 0.969 5979 0.96

3 8637 6274 5726 6239 7061 5941 0.932 5610 0.963 5562 0.969 5557 0.97

4 8245 5890 5357 6136 6963 5434 0.935 5300 0.964 5350 0.971 5320 0.97

5 8462 5772 4978 5279 5918 5242 0.934 4793 0.966 4748 0.973 4773 0.97

6 8081 5683 5008 5226 5867 5008 0.938 4874 0.967 4841 0.974 4830 0.98

7 8402 6076 5468 6162 7007 5593 0.936 5396 0.964 5386 0.971 5378 0.97

8 8145 5511 4500 4517 4978 4500 0.937 4278 0.967 4206 0.975 4206 0.98

9 7698 5069 4073 3783 4219 4243 0.941 3771 0.970 3683 0.978 3649 0.98

10 8116 5178 4230 3717 4086 4452 0.938 3780 0.970 3659 0.978 3625 0.98

Среднее 8333.5 5842.1 5136.2 5432.6 6087.6 5267.6 — 4954 — 4918 — 4905.6 —

Среди (%) 20.63 14.46 12.71 13.45 15.07 13.04 — 12.26 — 12.17 — 12.14 —

ТАБЛИЦА 3

Число ошибок распознавания в случае горизонтальной змейки______

Изображ ение Базовый алгоритм Алгоритм подбора диагонального элемента

q=0.7 On О II СТ“ q=0.95 q=0.99 q=0.995 Нез. обучение OS о II ст“ q=0.95 Схема Гаусса-Зайделя

1 8610 6190 5523 5778 6398 5718 0.934 5331 0.965 5294 0.972 5297 0.97

2 8693 6408 5765 6505 7261 5871 0.934 5706 0.962 5721 0.970 5718 0.97

3 8481 6015 5510 6420 7150 5554 0.933 5492 0.963 5572 0.971 5492 0.96

4 8290 5815 5208 5603 6320 5298 0.935 5057 0.963 5016 0.971 5026 0.97

5 8364 5549 4863 4560 5045 5038 0.937 4551 0.969 4497 0.976 4452 0.98

6 8146 5401 4509 4628 5080 4644 0.938 4430 0.969 4440 0.977 4428 0.98

7 8267 5513 4863 5016 5655 4970 0.936 4711 0.967 4705 0.974 4696 0.97

8 4594 5631 4908 4828 5390 5015 0.938 4537 0.968 4442 0.974 4462 0.98

9 7642 4830 3949 3574 3848 4124 0.941 3668 0.972 3589 0.980 3574 0.99

10 8148 5348 4359 4085 4450 4291 0.937 4065 0.970 3954 0.978 3940 0.98

Среднее 7923.5 5670 4945.7 5099.7 5659.7 5052.3 — 4755 — 4723 — 4708.5 —

Среди (%) 19.61 14.03 12.24 12.62 14.01 12.51 — 11.77 — 11.69 — 11.65 —

При повторении итераций базового алгоритма области каждого класса сливаются, число пар соседних вершин с одинаковыми классами увеличивается, что увеличивает множество У\. Поэтому при повторении итераций, согласно (10), фактически неявно пересчитывается диагональный элемент. Поэтому итерации позволяют улучшить качество распознавания.

В алгоритмах 1 и 2 фактически дважды пересчитывается диагональный элемент: из-за слияния областей и непосредственно по (10). Это быстро

ТАБЛИЦА 4

Число ошибок распознавания в случае вертикальной змейки_______

Нзображ ение Базовый алгоритм Алгоритм подбора диагонального элемента

Я=0.7 оч о 1! Ч=0.95 q=0,99 1=0.995 Нез. обучение .-О II о чО Я=0.95 Схема Гаусса-Зайделя

1 8667 6480 5940 6721 7534 6072 0.934 5817 0.964 5873 0.971 5826 0.96

2 8497 6251 5680 6288 6958 5792 0.935 5642 0.963 5676 0.970 5629 0.96

3 8667 6385 5795 6394 7238 5943 0.933 5672 0.962 5677 0.970 5676 0.97

4 8352 5869 5170 5296 6290 5307 0.936 5005 0.965 4954 0.972 4968 0.97

5 8474 5786 5184 5702 6465 5322 0.934 5070 0.965 5047 0.972 5066 0.97

6 7815 5275 4490 4158 4522 4627 0.940 4152 0.971 3997 0.977 3987 0.98

7 8175 5764 4871 5393 6046 5061 0.937 4809 0.964 4821 0.973 4795 0.97

8 8011 5318 4353 4120 4539 4576 0.938 4122 0.968 4025 0.977 4002 0.98

9 7968 5307 4495 4387 4890 4665 0.940 4238 0.970 4198 0.976 4178 0.98

10 8094 5435 4517 4375 4850 4635 0.939 4197 0.970 4140 0.977 4125 0.98

Среднее 8272 5787 5049.5 5283.4 5933.2 5200 — 4872 — 4840.8 — 4825.2 —

Среди (%) 20.4 14.3 12.5 13.0 14.6 12.8 — 12.0 — 11.98 — 11.9 —

ТАБЛИЦА 5

Число ошибок распознавания в случае диагональной змейки_______

Изображ ение Базовый алгоритм Алгоритм подбора диагонального элемента

q=0.^ Я=0.9 Я=0.95 4=0.99 q=0.995 Нез. обучение Я=0.9 Я=0.95 Схема Гаусса-Зайделя

1 8691 5828 4973 5073 5649 5159 0.936 4849 0.967 4771 0.975 4767 0.98

2 8394 5970 5141 5635 5935 5270 0.937 4984 0.966 4952 0.973 4939 0.97

3 8296 5851 5089 5067 5547 5290 0.938 4849 0.968 4803 0.975 4805 0.98

4 8053 5467 4640 5077 5644 4828 0.938 4424 0.968 4482 0.976 4442 0.97

5 8073 5262 4270 3794 4195 4433 0.940 3890 0.971 3756 0.979 3747 0.98

6 7760 5028 4012 3248 3337 4143 0.943 3518 0.973 3374 0.981 3248 0.99

7 8044 5348 4386 3961 4386 4604 0.939 4025 0.969 3878 0.976 3838 0.98

8 7885 5126 3951 3521 3792 4186 0.941 3502 0.971 3428 0.979 3434 0.98

9 7560 4766 3650 2857 3184 3779 0.944 3048 0.973 2858 0.981 2857 0.99

10 7885 5155 4223 3656 3886 4386 0.941 3777 0.973 3665 0.980 3656 0.99

Среднее 8064.1 5380.1 4433.5 4188.9 4555.5 4607.8 — 4087 — 3996.7 — 3973.3 ....

Среди (%) 19.96 13.32 10.97 10.37 11.28 11.41 — 10.12 — 9.893 — 9.835 —

увеличивает диагональный элемент и приводит к быстрому слиянию областей. Видно, что ускорение слияния областей отрицательно влияет на качество распознавания. Алгоритм по схеме Гаусса-Зейделя дает лучший результат и выигрывает у остальных алгоритмов. Оптимальное значение близко к единице (0.97-0.99).

а) б)

Рис. 2. Текстурные изображения

Ступенч. дерево Спираль Гориз. змейка Верт. змейка Диаг. змейка Рис. 3. Ациклические графы соседства

В свою очередь, оптимальное значение диагонального элемента резко уменьшает число итераций (до одной - двух) базового алгоритма для любого ациклического графа соседства.

Список литературы

1. Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proc. IEEE, 77. 1977. V.2. P.257-286.

2. Geman S., Geman D. Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images // IEEE Trans. on PAMI. 1984. V.6. P.721-741.

3. Li S.Z. Markov Random Field Modeling in Image Analysis. L: Springer-Verlag,

2009. 371 p.

4. Bishop C.M. Pattern Recognition and Machine Learning. N.Y.: Springer, 2006. 738 p.

5. Wainwright M.J., Jordan M.I. Graphical Models, Exponential Families, and Variational Inference // Foundations and Trends®in Machine Learning. 2008. V.1. P.1-305.

6. Pattern Recognition in Spatial Data: A New Method of Seismic Explorations for Oil and Gas in Crystalline Basement Rocks / V.V. Mottl [et al.] // Proc. 15th ICPR’2000. Spain, Barcelona, 2000. V.3. P.210-213.

7. Mottl V.V., Dvoenko S.D., and Kopylov A.V. Pattern Recognition in Interrelated Data: The Problem, Fundamental Assumptions, Recognition Algorithms // Proc. 17th ICPR’2004. Cambridge, England, UK, 2004. V.1. P.188-191.

8. Двоенко С.Д., Копылов А.В., Моттль В.В. Задача распознавания образов в массивах взаимосвязанных объектов. Постановка задачи и основные предположения // Автоматика и телемеханика. 2004. №1. С.143-158.

9. Двоенко С.Д., Копылов А.В., Моттль В.В. Задача распознавания образов в массивах взаимосвязанных объектов. Алгоритм распознавания // Автоматика и телемеханика. 2005. №12. C.162-176.

10. Двоенко С.Д., Савенков Д.С., Шанг Д.В. Ациклические марковские модели в анализе массивов взаимосвязанных данных // Изв. ТулГУ. Естественные науки.

2010. Вып.2. С.173-185.

Двоенко Сергей Данилович ([email protected], http://lda.tsu.tula.ru/staff. Мш1), д.ф.-м.н., профессор, кафедра автоматики и телемеханики, Тульский государственный университет.

Шанг Динь Вьет ([email protected]), аспирант, кафедра автоматики и телемеханики, Тульский государственный университет.

Algorithms for the selection of the tree-like model parameters of a Markov random field in the problem of the raster textured

images recognition

S.D. Dvoenko, D.V. Sang

Abstract. The recognition problem of interrelated data arrays represented as a two-component Markov random field of observations and hidden object classes, for which the tree-like model of neighborhood elements of a hidden Markov random field of the belonging of objects to classes was previously proposed, is under investigation. Model of hidden classes is considered as a Markov chain and is given by a matrix of conditional probabilities of transitions between its states. For a given acyclic adjacency graph of data array elements that matrix is the model parameter. It is shown that in the particular case it is sufficient to determine only the value of the single diagonal element of the transition matrix. Formulation of the problem to find the optimal value of the diagonal element is given and the corresponding algorithms are developed. In the example of the problem of a segmentation of the raster textured images, the proposed algorithms are compared and results of experiments are shown.

Keywords: pattern recognition, machine learning, Markov random fields, Markov chain.

Dvoenko Sergey ([email protected], http://lda.tsu.tula.ru/staff.html), doctor of physical and mathematical sciences, professor, department of automation and remote control, Tula State University.

Sang Dinh Viet ([email protected]), postgraduate student, department of automation and remote control, Tula State University.

Поступила 24.12.2011