CC BY
65
5
КОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
УДК 004.8
ПОВЫШЕНИЕ БЫСТРОДЕЙСТВИЯ АЛГОРИТМА ОЦЕНКИ НАБЛЮДАЕМОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В СКРЫТЫХ МАРКОВСКИХ МОДЕЛЯХ НА ОСНОВЕ АЛГЕБРАИЧЕСКИХ БАЙЕСОВСКИХ СЕТЕЙ М.Я. Пинский, А.В. Сироткин, А.Л. Тулупьев, А.А. Фильченков
Скрытые марковские модели и алгебраические байесовские сети представляют собой вероятностные графические модели, а потому во многом похожи. Скрытые марковские модели получили широкое применение, в то время как алгебраические байесовские сети пока не столь распространены, однако их аппарат позволяет моделировать и решать задачи скрытых марковских моделей. Рассмотрен вопрос ускорения решения первой задачи скрытых марковских моделей на основе методов, применяющихся в алгебраических байесовских сетях. Предложен алгоритм для оценки вероятности наблюдаемой последовательности в бинарных линейных по структуре скрытых марковских моделях с помощью апостериорного вывода алгебраической байесовской сети.
Ключевые слова: скрытые марковские модели, алгебраические байесовские сети, бинарные линейные по структуре скрытые марковские модели, вероятностные графические модели.
Введение
Вероятностные графические модели - скрытые марковские модели (СММ) и алгебраические байесовские сети (АБС) - используются для изучения различных процессов в таких областях, как распознавание речи, теория информации, машинный перевод, молекулярная биология [1-6]. СММ - более развитый и широко известный инструмент для моделирования временных рядов. Их используют во многих современных системах распознавания речи [4], в большинстве приложений вычислительной молекулярной биологии [7], в сжатии информации [8], в системах статистического машинного перевода [5], приложениях компьютерного зрения [9].
АБС - это одна из математических моделей баз фрагментов знаний с неопределенностью. Она формализует знания (с неопределенностью) при помощи вероятностной логики. Развитие аппарата АБС осуществлялось с 1980-х г.г., и на сегодняшний день в теории АБС существуют алгоритмы для решения различных задач, однако АБС все еще редко используются для практических целей [10]. На текущий момент АБС обладают развитым аппаратом логико-вероятностного вывода [11-15] и набором средств автоматического обучения, который находится на стадии развития [16-18].
Области применения АБС и СММ схожи, поэтому возникает вопрос о возможности представления одной модели через другую. Это может быть полезно для использования разработок, полученных в одной из них, для более широкого круга задач.
Цель работы - ускорение известного алгоритма [19] решения первой задачи для СММ с помощью апостериорного вывода АБС.
Скрытые марковские модели
Определения, связанные со СММ, будут вводиться по [2, 4, 6]. СММ - модель, состоящая из следующих объектов:
1. набор возможных значений скрытых состояний = {«1, «2, • ■ ■ SN } ;
2. последовательность скрытых состояний во времени Q = {д±,42,— 4т};
3. матрица переходных вероятностей А = {а- }, а- = Р4+1 = = «), 1 -',■ - N;
4. вектор начального распределения п = {щ }, щ = Р^ = «), 1 - I - N ;
5. алфавит возможных значений наблюдений V = у2,-.ум};
6. последовательность наблюдений во времени О = {с^,с>2,-.от};
7. матрица вероятностей наблюдений в = {Ь- (к)}, Ь-(к) = р{^к = о)-- = ), 1 - - - N, 1 - к - М , и обладающая следующими свойствами:
1 Р 4+11Ъ, Ъ -1, Ъ - 2, •, 41) = Р 4+1 4) - марковское свойство;
2. Р (о( |о1, • от, 41, •, ) = Р {о(\д() - зависимость текущего наблюдения только от текущего состояния, где О = {,о2,—от}, Q = {41,42, — 4т}- последовательности наблюдений и состояний соответственно.
ПОВЫШЕНИЕ БЫСТРОДЕЙСТВИЯ АЛГОРИТМА ОЦЕНКИ НАБЛЮДАЕМОЙ...
В расчетах, связанных со СММ, пользуются представлением СММ в виде набора матриц вероятностей: р = (, B, П.
В теории СММ сформулированы три основных задачи.
1. Правдоподобие наблюдений. Дана СММ с известными матрицами вероятностей. Определить вероятность поступающей последовательности наблюдений во времени относительно этой СММ. Формальная постановка задачи: дана последовательность наблюдений O = {01,02,-.-oT} и модель
р = ((, B, п). P (о )= ? Для данной задачи существуют различные решения, например алгоритм
«вперед-назад» [19].
2. Декодирование скрытой последовательности. Даны СММ с оценками вероятности и поступившая последовательность наблюдений. Требуется определить наиболее вероятную последовательность скрытых состояний. Формальная формулировка задачи: дана последовательность наблюдений O = {,02,...0у} и модель р = ((,B,п). Найти наиболее вероятную последовательность скрытых состояний Q = {,q2,...qT}, соответствующую данной последовательности наблюдений. Данная задача решается с помощью алгоритма Витерби [20].
3. Обучение СММ. Изменить (настроить) матрицы вероятностей СММ таким образом, чтобы максимизировать вероятности поступающего набора последовательностей наблюдений. Иначе говоря, требуется обучить СММ на наборе тренировочных последовательностей наблюдений. Формальная формулировка задачи: настроить параметры модели р = (A,B, п) так, чтобы максимизировать P(о). Данную задачу можно решать с помощью алгоритма Баума-Вэлха [21].
Для преобразования в АБС в работе будем использовать бинарные линейные по структуре СММ. Это такие СММ, у которых могут быть только два скрытых состояния (S = {s1, s2 }) и два вида наблюдений (V = {v1, v2}). В последнем будет иметь место S = V = {0,1} = {true, false}.
Алгебраические байесовские сети
Определения, связанные с теорией АБС, будут вводиться по [10, 22]. АБС - логико-вероятностная графическая модель баз фрагментов знаний с неопределенностью [10]. Фрагмент знаний представляется в виде идеала конъюнктов с оценками их истинности.
Пусть T - конечный набор элементарных пропозиций; S = {sj,S2,...,sk} - непустое подмножество
T ; Sф = {{2...vr : V1,V2...vr e S,r = 0.k} - конъюнкты (множество положительно означенных конъюнкций над s); SА = Sф \ {e} - идеал конъюнкта (множество положительно означенных конъюнктов без пустого конъюнкта). В идеале существует один максимальный элемент (максимальная по длине конъюнкция) и множество минимальных элементов (одноатомных конъюнкций).
Квант Q = {х... £„-1} - конъюнкция, которая для любой атомарной переменной из алфавита содержит либо ее формулу, либо отрицание.
Теперь введем нумерацию на конъюнктах и квантах. Каждому конъюнкту из идеала
{х/ Xj .■■ xik|0 < /'1 < ... < ik < n-1,k < n} можно сопоставить номер вида 2'1 + 2'2 +... + 2'k . Обозначим через ci конъюнкт с порядковым номером /. Выделим из кванта положительную часть. Номер получившегося конъюнкта будет номером кванта. Обозначим через qt квант с порядковым номером /.
Далее введем вероятность на конъюнктах и квантах. Вероятности, относящиеся к фрагменту знаний, удобно упорядочивать по номерам конъюнктов и квантов и представлять в виде векторов. Выделяют две структуры алгебраических байесовских сетей - первичную и вторичную. Первичная структура АБС - это база фрагментов знаний (ФЗ). Вторичная структура АБС - это связи между ФЗ. Вторичная структура АБС определяется набором вершин и набором ребер между ними. Вершины - это фрагменты знаний, они однозначно задаются глобальным индексом минимального конъюнкта. Ребра однозначно задаются двумя вершинами.
Представление бинарных линейных по структуре СММ в виде АБС
Представление вводится по [23], где приведено формальное доказательство корректности сведения бинарных линейных по структуре СММ к АБС. Отметим, что любая СММ может быть приведена к АБС серией аналогичных преобразований. Рассмотрим простейшую линейную бинарную СММ в четыре момента времени (рис. 1). Матрицы данной модели р = (A, B, п) будут иметь следующий вид:
[^(x/|xi) ^(xi|Xi)^ B = |¿0(v0) b0(v1)Л Кы b1(v1)у
A = 1 00 "01 a10 a11
p( хм' ) Р(х/\Х/ )
P(o\Xi) Р(О'\Х' ) Р(0'|Х' ) р(0/\Х/ )
п = |П0 | = [P(X')
Л J I р(х/ )у
р (Х1 1*0 ) р (Х2 |Х1) р (Х3 1*2 )
Хо *2 Хз
р (о0 Iх)
р (о1 |Х1)
оо
р (о2 |Х2 )
р (о3 |х3 )
о1
о2 оз
Рис. 1. Линейная бинарная СММ в четыре момента времени Теперь построим АБС, соответствующую рассмотренной СММ (рис. 2).
Для нумерации вершин необходимо ввести алфавит. В алфавите соответствующей АБС будем чередовать о , и х,, начиная с ■ = 0 : {о,*о,°1,*1,• • • 0N-1,ХN-1}.
Х0*1 Х1Х2 Х2Х3
РСХХО р(*1*2) Р(Х2Х3)
00 р(о0)
р(0з)
00*0 01*1 02Х2 03Х3
Р(о0Х0) Р(0]Х|) р(о2Х2) р(0зХз)
Рис. 2. АБС, соответствующая рассмотренной СММ. (Серым отмечены узлы, соответствующие одноатомным конъюнктам, белым - соответствующие двухатомным конъюнктам)
( ,,/„ч ч\
Р (Х0 ) V Р(о0 Х0) у
р (Хз) V Р(°з Хз) у
Рис. 3. Соответствующая АБС, изображенная как база ФЗ; изображены узлы и векторы вероятностей в них Данная АБС будет содержать ФЗ вида ,х,}л,{■,хг-+1}л)=0 ,х^^! (рис. 3).
Решение первой задачи для СММ через АБС
В ходе исследований удалось установить, что первая задача для СММ эквивалентна первой задаче апостериорного вывода для АБС [4].
ПОВЫШЕНИЕ БЫСТРОДЕЙСТВИЯ АЛГОРИТМА ОЦЕНКИ НАБЛЮДАЕМОЙ..
Первая задача СMM: Дана последовательность наблюдений O = {ob 02,...0т} и модель ц = (A,B, п) . Какова вероятность наблюдаемой последовательности при условии данной модели P(O|^) = ?
В терминах АБС данная задача будет формулироваться следующим образом. Поступает детерминированное свидетельство, например e = Oo0^...oT, каким-то образом означенное. Требуется оценить вероятность данного свидетельства P(e) = ?
Рассмотрим какое-либо конкретно-означенное детерминированное свидетельство e = O0O1O2...OT . В теории АБС стандартный алгоритм первой задачи апостериорного вывода может пропагировать (распространять влияние) только свидетельство, полностью лежащее в ФЗ. Данное принадлежит T +1 фрагменту знаний. Совершим преобразование, воспользовавшись правилом Байеса: P(0001O2..0т ) = P(0o0102..0т_1 | 0T ) • P(0T ) = ... = P(O0 | 0lO2...OT) • P(01 | °2...°T) •... • P(0T_1 | 0T) • P(0T).
Теперь исходная вероятность состоит из произведения вероятностей свидетельств, полностью лежащих в соответствующих ФЗ. Будем пропагировать, начиная с крайнего правого подсвидетельст-ва ( 0т ). Оно будет поступать на вход к ФЗ 0т xt . После его пропагации на соседний ФЗ, он будет иметь
новые апостериорные оценки вероятностей P°T (...). Для этих оценок вероятностей будем пропагировать 0т _1, поступающее в ФЗ °т _, которое снова изменит оценки вероятностей для следующего ФЗ на
апостериорные P0T0T 1 (...), и т.д. Каждый раз будем пропагировать на соседний ФЗ единичные подсви-детельства, двигаясь справа налево. В конце останется только перемножить вероятности единичных под-свидетельств. Данный алгоритм эквивалентен описанному в [1], так как свидетельство достаточно пропа-гировать только на следующий ФЗ. Его апостериорная оценка изменит оценки следующих свидетельств так же, как если бы свидетельство пропагировали на всю сеть, потому что для любого ФЗ oixi справедливо соотношение
P(0 | 0+1...0T) = P(0' 10+l)P(0i+110+2...От).
Заключение
Известно, что СMM могут быть представлены как частный случай динамических байесовских сетей доверия, которые, в свою очередь, могут быть преобразованы в АБС. Отсюда возник естественный вопрос о прямой связи между СMM и АБС, который и был частично изучен в данной работе.
В работе приведены теория СMM, в том числе первая задача СMM, теория АБС, в частности, апостериорный вывод АБС, а также представление бинарной линейной по структуре СMM в виде АБС. Доказана эквивалентность апостериорного вывода для АБС и первой задачи СMM. Дан улучшенный (ускоренный) по сравнению с [19] алгоритм решения первой задачи СMM, состоящей в оценке вероятности последовательности наблюдений, в терминах апостериорного вывода АБС. Сложность была уменьшена в n раз, где n - количество состояний в СMM. Таким образом, приведенный алгоритм решения работает за полиномиальное от длины входа время. Точную оценку установить не представляется возможным, так как вопрос сложности пропагации свидетельств на данный момент недостаточно изучен.
Первая задача была решена через АБС, что является примером использования АБС в теории СMM и может упростить дальнейшее развитие теории АБС в применении к СMM. Однако для этого необходимо проведение исследований. За рамками работы остаются вопросы, связанные со второй и третьей задачами СMM, которые также разрешимы в теории АБС, однако еще не было создано конкретных алгоритмов решения.
Работа выполнена при финансовой поддержке РФФИ, проект № 09-01-00861-а «Mетодология построения интеллектуальных систем поддержки принятия решений на основе баз фрагментов знаний с вероятностной неопределенностью».
Литература
1. Николенко С.И., Тулупьев А.Л. Самообучающиеся системы. - M.: MНЦMО, 2009. - 288 с.
2. Cowell R.G., Dawid A.P., Lauritzen S.L., Spiegelhalter D.J. Probabilistic Networks and Expert Systems. -NY: Springer-Verlag, 1999. - 321 p.
3. Huang X., Acero A., Hsiao-Wuen Hon Spoken Language Processing. - Prentice Hall, 2001. - 1008 p.
4. Huang X., Jack M. and Y. Ariki. Hidden Markov Models for Speech Recognition. - Edinburgh University Press, 1990. - 276 p.
5. Jurafsky D., Martin J.H. Speech and Language Processing: An Introduction to Natural Language Processing, Speech Recognition, and Computational Linguistics. - 2-d edition. - Prentice-Hall, 2009. - 944 p.
6. Stengel M. Introduction to Graphical Models, Hidden Markov Models and Bayesian Networks. Department of Information and Computer Sciences Toyohashi University of Technology Toyohashi, 441-8580. - Japan, 2003. - 46 p.
7. da-Silva C.Q. Hidden Markov models applied to a subsequence of the Xylella fastidiosa genome // Genet. Mol. Biol. - Sao Paulo, Dec. 2003. - V. 26. - № 4. - Р. 529-535.
8. Li J., Gray R.M. Image Segmentation and Compression Using Hidden Markov Models. - 1-st edition. -Springer, 2000. - 141 p.
9. Bunke H., Caelli T. Hidden Markov Models Applications in Computer Vision. Series in Machine Perception and Artificial Intelligence. - World Scientific, 2001. - V. 45. - 244 p.
10. Тулупьев А.В., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. -СПб: Наука, 2006. - 608 с.
11. Сироткин А.В. Модели, алгоритмы и вычислительная сложность синтеза согласованных оценок истинности в алгебраических байесовских сетях // Информационно-измерительные и управляющие системы. - 2009. - № 11. - С. 32-37.
12. Тулупьев А.Л. Алгебраические байесовские сети: реализация логико-вероятностного вывода в комплексе java-программ // Труды СПИИРАН. - СПб: Наука, 2009. - Вып. 8. - С. 191-232.
13. Тулупьев А.Л. Алгебраические байесовские сети: система операций глобального логико-вероятностного вывода // Информационно-измерительные и управляющие системы. - 2010. - № 11. -С. 65-72.
14. Тулупьев А.Л. Апостериорные оценки вероятностей в идеале конъюнктов // Вестник СПбГУ. - 2010. - Сер. 10. - Вып. 1. - С. 95-104.
15. Тулупьев А.Л., Сироткин А.В., Николенко С.И. Байесовские сети доверия: логико-вероятностный вывод в ациклических направленных графах. - СПб: Изд-во СПбГУ, 2009. - 400 с.
16. Опарин В.В., Фильченков А.А., Тулупьев А.Л., Сироткин А.В. Матроидное представление семейства графов смежности над набором фрагментов знаний // Научно-технический вестник СПбГУ ИТМО. -2010. - № 4. - C. 73-76.
17. Фильченков А.А., Тулупьев А.Л., Сироткин А.В. Компаративный анализ клик минимальных графов смежности алгебраических байесовских сетей // Труды СПИИРАН. - СПб: Наука, 2010. - Вып. 2. -С. 87-105.
18. Тулупьев А.Л. Задача локального автоматического обучения в алгебраических байесовских сетях: логико-вероятностный подход // Труды СПИИРАН. - СПб: Наука, 2008. - Вып. 7. - С. 11-25.
19. Момзикова М.П., Великодная О.И., Пинский М.Я., Сироткин А.В., Тулупьев А.Л., Фильченков А.А. Оценка вероятности наблюдаемой последовательности в бинарных линейных по структуре скрытых марковских моделях с помощью апостериорного вывода в алгебраических байесовских сетях // Труды СПИИРАН. - СПб: Наука, 2010. - Вып. 2. - C. 122-142.
20. Forney D.G. The Viterbi Algorithm // Proceedings of the IEEE. - 1973. - V. 61. - № 3. - Р. 268-278.
21. Welch L.R. Hidden Markov Models and the Baum-Welch Algorithm // IEEE Information Theory Society Newsletter. - 2003. -V. 53. - № 4. - Р. 10-13.
22. Тулупьев А.Л. Алгебраические байесовские сети. Логико-вероятностный подход к моделированию баз знаний с неопределенностью. - СПб: СПИИРАН, 2000. - 292 с.
23. Момзикова М.П., Великодная О.И., Пинский М.Я., Сироткин А.В., Тулупьев А.Л., Фильченков А.А. Представление бинарных линейных по структуре скрытых марковских моделей в виде алгебраических байесовских сетей // Труды СПИИРАН. - СПб: Наука, 2010. - Вып. 1. - C. 134-150.
Пинский Михаил Яковлевич
Сироткин Александр Владимирович Тулупьев Александр Львович
Фильченков Андрей Александрович
Санкт-Петербургский государственный университет информационных технологий, механики и оптики, студент, [email protected]
Санкт-Петербургский институт информатики и автоматизации РАН, мл. научный сотрудник, [email protected] Санкт-Петербургский институт информатики и автоматизации РАН, доктор физ.-мат. наук, доцент, зав. лабораторией, [email protected]
Санкт-Петербургский институт информатики и автоматизации РАН, мл. научный сотрудник, [email protected]
