РАЗРАБОТКА АЛГОРИТМОВ РЕШЕНИЯ ЗАДАЧ СТОХАСТИЧЕСКОГО ВЫВОДА В ПОЛУМАРКОВСКИХ МОДЕЛЯХ ДИНАМИЧЕСКИХ БАЙЕСОВСКИХ СЕТЕЙ Текст научной статьи по специальности «Математика»

Разработка алгоритмов решения задач стохастического вывода в полумарковских моделях динамических байесовских сетей

П.В. Полухин Воронежский государственный университет Аннотация: Динамические байесовские сети представляют собой универсальный инструмент для моделирования стохастических процессов, протекающих во времени. В процессе описания переходных вероятностей динамических байесовских сетей используются марковские цепи с дискретным временем. Однако существуют ситуации, где время пребывания в состояниях динамической байесовской сети может описываться произвольным законом распределения, что обусловлено особенностями моделирования предметной области. Для описания переходных процессов в таких сетях используются полумарковские процессы. В работе приводится описание математического аппарата применения теории полумарковских процессов для построения вероятностях моделей и решение задач вероятностного вывода динамических байесовских сетей. Описывается процедура распространения свидетельств в процессе перехода между временными состояниями рассматриваемой динамической модели на основе алгоритма выборки по значимости.

Ключевые слова: динамическая байесовская сеть, полумарковские цепи, метод вложенных цепей Маркова, вероятностный вывод, модель перехода, модель состояния, алгоритм выборки по значимости.

Введение

Развитие интеллектуальных систем на основе динамических байесовских сетей (ДБС) позволяет решать значительное число задач, связанных с построением сложных аналитических и поисковых систем. В основе классических байесовских сетей используется предположение о дискретности временных состояний модели с ограниченным интервалом времени t е(0; t + к). Между тем, существует ряд случаев, когда время

пребывания может носить как гауссовский, так и произвольный характер распределения. Для таких моделей применение математического аппарата классических цепей Маркова достаточно затруднительно и становится

наиболее целесообразным применение полумарковских цепей (ПМЦ). Использование ПМЦ в процессе моделирования состояний ДБС позволяет определить последовательность наблюдаемых переменных

Е,+к = (Е)+к,Е?+к,..,Е"+к), задаваемых в соответствии с продолжительностью времени пребывания модели в состоянии t + к. В теории полумарковских процессов, если процесс <%( t) представляет собой полумарковскую цепь, то

время, как результирующее распределение переходных вероятностей Р(Х/+11 Х{), будет определяться в соответствии с классической цепью Маркова. Следовательно, полумарковская цепь будет представлять собой марковский процесс первого рода с произвольным законом распределения длительности пребывания в каждом из состояний t. При решении задач вероятностного вывода для моделей ДБС с полумарковскими процессами возникает необходимость адаптации существующих алгоритмов вероятностного вывода с учетом произвольного времени пребывания модели в каждом из состояний. Для этого в работе рассмотрим применение метода вложенных цепей Маркова в сочетании с рандомизированными методами на основе метода Монте-Карло для получения апостериорных значений переменных запроса ДБС с учетом всех поступающих свидетельств.

Описание полумарковских процессов динамических байесовских сетей

Пусть задана динамическая байесовская сеть В = { X, G},

представляющая собой направленный ациклический граф, где каждой из вершин ставится в соответствие таблица условных вероятностей (ТУВ) [1]. Вершины Х/+1, Х{, имеющие связи в соседних временных срезах называются транзитивные, переменные, значения которых известно на временном срезе t + к являются свидетельствами Ет. Тогда обобщенная структура ДБС, состоящая из t + к состояний и й временных состояний, где переходные вероятности образуют полумарковский процесс имеет вид:

Х=2 Не

Рис. 1. Полумарковская динамическая байесовская из t + к состояний, Х{

- множество состояний, Х^ - длительностью пребывания. Для определения переходных вероятностей ДБС, зададим однородную

марковскую цепь с показательным законом распределения времени t [2]:

^ ) = Р ((^у) = Xп+у = Х^^ ) = Х2,...,4('п ) = Хп )). (1) Следовательно, для вероятностей Р (^('о ) = у ) = р ( 0) и

Р(а('п+к) |а('и)), соответствующих случайному процессу а(t), будет справедливо выражение Чепмена-Колмогорова:

Р0 ({( 'п+т )) = ^Р, {(('. ) Р ((( 'п+т )| (( 'п+1 )) ,

' (2) р,,„ (а ^ )а( 'п ))=Ер (а( 'П )а( )) р (а( '„+1 ))•

Из рис. 1 следует, что для задания марковской цепи необходимо определить исходное состояние для момента \, а также матрицу

инфинитезимальных переходов ^^ = Л (Р -1) с вектором параметров показательного распределения X, где Р ={р } - переходные вероятности,

Л = &/},

I = {$,, у}, 81} - элементы матрицы инфинитезимальных

переходов. Для получения распределения вероятностей полумарковского процесса будем рассматривать модель ДБС, для которой время пребывания в1 ] в состоянии / до перехода в состояние у будет являться случайной

и

величиной с произвольной функцией распределения О (Х{). Приведем формулу (1) для описания полумарковского процесса [3,4]:

£( г ) = Р ((£( ^ ) = Хп+1,Тп+1 - Тп )\а),

ст = ((т = ад), (£( г2 ) = X2,71) ,..., (^ ) = Хп) ,Тп) где Т = Т^Т,...,Т - время пребывания модели в состояниях

X = Х1, Х2,..., Хп, моменты п = г, п +1 = j.

В таком случае, полное совместное распределение полумарковской ДБС можно записать с учетом полумарковского переходного процесса (3):

к

Р(Х,Т,Е) = Р(Х0 )Р(Т0 )^Р(Е+1Х+1)Р(Хг+1,Т+1ХгТ ),

г=1 (4)

РД г + 1) = Р (Хг+1,Т+1Хг Т ) = Р(Х+1 \ Х Т )Р(Т1+1 \ Хг+1,Т ). Из формулы (3) и (4) следует, что при заданном начальном распределении

полумарковская цепь будет определяться матрицей переходов для состояний

Х и Х, а также матрицей функций распределений времени пребывания в

каждом из этих состояний Ъ( г.). Тогда для определения переходной

вероятности Р(Х/+1,Т+1 \ Х{ ,Т) воспользуемся методом построения

вложенной цепи Маркова {Х, Т , характеризующим интервальные

переходные вероятности, определяющими переход вложенной марковской цепи из состояния (г,г) в состояние (j,t + г). По формуле полной

вероятности с учетом перехода процесса из состояния ^(г) = г в состояние

^(г) = j с учетом того, что время пребывания г. <г, то вероятность события

будет равна (1 -Р(г)). Тогда для полумарковской цепи вг(г) определим

вероятность перехода из Х{ и Х/+1 [5,6]:

к

Е (г) = Р{г < г} = ^Р,j (Х+1 \ Хг)ъ (г). (5)

п=1

и

С учетом формулы (5), выражение, соответствующее безусловной плотности распределения полного времени пребывания в X имеет вид:

к

^ (') = Р {' <'} = ХР, (^+11X'), ('), (6)

г=1

где 1) плотность распределения, соответствующая интервалу ('г;'.)

полумарковской цепи.

Определим связь между выражениями (5) и (6) с учетом среднего времени ожидания Т:

в(' ) = 1 - ^ (') = $м;1 (')Л' = Р{Т >'}. (7)

'

С учетом выражения (7) определим значение переходно-интервальной вероятности О , соответствующей переходу их состояния Хг в X ■ с учетом

времени нахождения 1 - т. Для этого зададим матрицу Р (') = dгag(Ц (1)).

Тогда матрицу О (*) можно выразить через соответствующую матрицу Р (')

О(' ) = (1 - Р) + / (' )О(') (8)

С учетом выражений (5) и (6) получим выражения для О (X):

ОД' ) = Р (Xk = у, Т < к^о = г) + +Р(Xk = ],тх > к^л = г) =

К

= ' ) + ХР( Xk-/ = 71X0 = г)х (9)

к=1

'

х

|Р(Т = 7, Xl = У | То = г)Ок7(' -г) Лт, 0

где 5- - функция Кронекера, принимающая значение 5- = 1 при г =j и

lj ~t-J — г г ■> г —' у

5- = 0 в противном случае.

М Инженерный вестник Дона, №11 (2022) ivdon.ru/ru/magazine/arcliive/nlly2022/7979

С учетом того, что первый множитель под знаком интеграла есть плотность распределения вероятности времени пребывания модели ^ (X),

получим окончательное выражение для р (X), в соответствии с формулой (8):

К г

Р (г) = 5„в, (г) + £Р,j (Х,Е)\/,к (г)П, (г - т)Л, (I0)

к=1 0

Выражение для расчета переходных вероятностей (10), учитывающих интервалы времени нахождения процесса в состоянии г, является основополагающим выражением для описания полумарковских процессов для динамических байесовских сетей. Для нахождения Р (г) воспользуемся

преобразованием Лапласа для функции ^ ^ (X):

Г'(г ) = е-¡/ (г) йг (11)

0

С учетом преобразования Лапласа (11) приведем выражение (10) к следующему виду:

К

Р (*) = ¥, (г )ХР,к (Х, Е) Гкк (*) Р (*) (12)

к=1

Среднее время пребывания модели в состоянии Х имеет вид:

С 1(1 - *;(*)) (13)

о

Для расчета общего числа состояний полумарковского процесса п (г),

соответствующего интервалу времени (0; г), введем следующие обозначения:

а(г) - состояние полумарковской цепи, соответствующей времени г, г(п) -

время перехода в состояние п . Тогда вероятность перехода можно определить в виде следующего выражения [7]:

Р (п, г) = Р(п(г) = п, о (г) = Ху\о (0) = Х., п(0) = 0) (14) Из выражения (7) следует, что Оу (о) есть полное совместное

распределение вероятностей, соответствующее нахождению модели в

и

состоянии X. в момент времени г, при этом модель сделала п переходов. В

таком случае, за начальную точку отчета (до перехода) возьмем момент времени 1 = 0 и соответствующее ему состояние Х. Очевидно, выражение

Оу. (п,1) будет равно первому слагаемому из выражения (14):

р (0, г ) = ЭД(г) (15)

Вследствие того, что вероятность О (0,1) пребывания модели во

времени 1 является безусловной, то результирующее значение есть сумма по всем состояниям модели п:

Р (г ) = ЕР (п г) (16)

п=0

По аналогии с формулой (10) выражение (16) приведем к следующему виду:

К г

р (п +1,г) = ХРк (X,Е) ^к (г)р (п,г - т)ёт (17)

к=1 0

Вероятностный вывод в моделях с полумарковским процессом перехода

В классической теории ДБС задача логического вывода может быть декомпозирована на решение следующих задач: фильтрация, прогнозирование и сглаживаний. Сформулируем решение каждой из этих задач в терминах полумарковских процессов. Пусть Т1+1 и Тп+к - время пребывания в каждом из состояний 1 +1 и 1 + к. Тогда формулировку задачи фильтрации для дискретного полумарковского процесса получим с учетом уравнения Чепмена-Колмогорова [8]:

Р(Х+1,Т+Е+1 ) = Р(Е,+1 | Хг+1,Т+1) X

/ \

£Р(Хг+1,Т+1ХгТ )Р(Хг,Т(1ЕЪ Т) V Хг

X

(18)

С учетом того, что предсказание содержит в себя одношаговую фильтрацию, тогда выражение, соответствующее решению задачи предсказания, получим из выражения (18):

P (Xt+k+i,Tt+k+i\Eit ) = YP(X ,T, E)

x,+k (19)

P(X,T,E) = P(Xt+k+i,Tt+k+i \ Х,+к,Т,+к)P(Х,+к,Т,+к \ E,t,Tit+i) Если число апостериорных состояний полумарковской скрытой модели

соответствует условию 1 < k < t, то процедура сглаживания приобретает

следующий вид:

P ( Ek+1:t, Tk+1:t \Xk, Tk ) =

= ZP( Ek+1,TkJXk+1,Tk+1)Q, (20)

Xk+1

^ = P(Ek+2:t > Tk+2:t \ Xk+1 > Tk+1)P ( Xk+1 > Tk+1 \Xk > Tk ) Задача декодирования Витерби решается за счет вероятностной оценки

связей между переменными X и X :

Vt,t+1 = max р(Х1,Х2,...,Х,,Xt+1,T1 :t+1l 1:t+1' 1:t+1 /

= P (Et+1,Tt+JXt+1,Tt+1) max P (Х+^Х, T )* (21)

Xt

^ ma\ P(X1'X2'.'Xt"1'Xt ,T1:t\E1:t ,T1:t )• Рассмотрим решение описанных задач за счет использования процедуры логического вывода. Для этого рассмотрим алгоритм выборок по значимости (ВЗ) с учетом полумарковского переходного процесса для двух смежных состояний t и t +1. Основная сущность алгоритма заключается в замене искомого распределения P (X,T, E) на распределение по значимости

Q (X,T,E), где в дополнение к переходной вероятности между срезами

P (Xi+1 \ Xt) добавляются вероятности пребывания в каждом из состояний

P (Xi+1,T+i \ Xt ,T). Сформулируем процедуру перехода к распределению по

значимости Q (X,T, E) в виде следующего интеграла:

и

| / (в) Р (в) йв = | / (в) Рв йв,в = {Х ,7, Е} (22)

Тогда, применяя метод Монте-Карло, можно получить оценку по всем весам сформированных выборок [9]:

1 N

€ = 1Ж+1/ ( Хг+1, Х+),

■¿у ¿=1

И^.г+1 = Ж* Р(Ег+11Х+1, Т+1)Р (Хг+1,Т+1 |Хг,Т ) ; ; д(Х:+1,т;+№,т;Еи+1) ,

Р(Х0Т0)Р(ХрТ | Х0,Т0)Р(Е11 Х1Т) ; 00 (Х0,Т)01(Х1,Т1|Х0,Т0)01(Е11 Х1,Т1), где ^1+1 - веса выборок, соответствующие временному срезу 1 +1, N -

общее число формируемых выборок.

Для удовлетворения условия, что сумма весов равна единицы

/ = 1 произведем их нормализацию. Тогда выражение (24) перепишем

с учетом нормализации весов и приведем к следующему виду [10]:

€ = N (Х„„Х;+,)^ = , (24)

' ¿=1 ' где - нормализованные веса.

Для повышения точности алгоритма ВЗ наиболее целесообразно использовать процедуру повторного формирования выборок. Для этого зададим некоторый порог ^^. Тогда процедура поиска оптимальных весов будет эквивалентна следующему выражению:

^ = шах^ ЖГ } (25)

Заключение

Использование полумарковских процессов для моделирования на основе ДБС является универсальным подходом для решения научно-практических задач в условиях произвольного времени пребывания параметров модели

внутри каждого из состояний Xi+/t. Рассмотренные в работе подходы к

заданию переходных вероятностей ДБС на основе полумарковских процессов доказывают свою значимость и позволяют произвести наиболее точный расчет апостериорного распределения. В работе представлено решение задач вероятностного вывода на основе метода выборки по значимости и приведено его применение для полумарковской модели ДБС. Процедура расчета весов для каждой из выборок в условиях полумарковского процесса накладывает ряд ограничений, связанных необходимостью дополнительной оценки параметров модели, в соответствии с законом распределения времени внутри каждого среза t + к. Особое внимание в работе уделено повышению доли согласованных выборок для каждого из параметров Xt+k модели ДБС, что позволяет исключить выборки с наименьшими весами.

Литература

1. Jensen F. V. Bayesian Networks and Decision Graphs. B.: SpringerVerlag, 2001. 268 p.

2. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. Радио, 1977. 448 с.

3. Guedon Y. Exploring the state sequence space for hidden Markov and semi-Markov Models / Computational Statistics and Data Analysis, 2007. Vol. 51(5). pp. 2379-2409.

4. Guedon Y. Estimating hidden semi-Markov chains from discrete // Computational and Graphical Statistics, 2003. Vol. 12(3). pp. 604-639.

5. Тулупьев А.Л. Апостериорные оценки вероятностей в алгебраических байесовских сетях // Вестник Санкт-Петербургского университета. Серия 10: Прикладная математика. Информатика. Процессы управления. 2012. № 2. с. 51-59.

6. Koller D., Friedman N. Probabilistic graphical models. Principles and Techniques Cambridge: MIT Press, 2009. 1231 p.

7. Bulla J., Bulla I, Nenadic O. HSMM - An R package for analyzing hidden semi-Markov models // Computational Statistics and Data Analysis, 2010. Vol. 54(3). pp. 611-619.

8. Pearl J. Causality: Models, Reasoning and Inference. N.Y.: Cambridge University Press, 2009. - 484 p.

9. Doucet A., Freitas N., Gordon N. Sequential Monte Carlo Methods in Practice. N.Y: Springer, 2001. - 581 p.

10. Sarkka S. Bayesian Filtering and Smoothing. Cambridge: Cambridge University Press, 2013. 256 p.

References

1. Jensen F. V. Bayesian Networks and Decision Graphs. B.: SpringerVerlag, 2001. 268 p.

2. Tihonov V.I., Mironov M.A. Markovskie processy [Markov Processes]. M: Sov. Radio, 1977. 488 p.

3. Guedon Y. Computational Statistics and Data Analysis. 2007. Vol. 51(5). pp. 2379-2409.

4. Guedon Y. Computational and Graphical Statistics. 2003. Vol. 12(3). pp. 604-639.

5. Tulupev A.L. Vestnik Sankt-Peterburgskogo universiteta. Seriya 10: Prikladnaya matematika. Informatika. Processy upravleniya. 2021. No 2. pp 51-59.

6. Koller D., Friedman N. Probabilistic graphical models. Principles and Techniques. Cambridge: MIT Press, 2009. 1231 p.

7. Bulla J., Bulla I, Nenadic O. Computational Statistics and Data Analysis. 2010. Vol. 54(3). pp. 611-619.

8. Pearl J. Causality: Models, Reasoning and Inference. N.Y.: Cambridge University Press, 2009. 484 p.

9. Doucet A., Freitas N., Gordon N. Sequential Monte Carlo Methods in Practice. N.Y: Springer, 2001. 581 p.

10. Sarkka S. Bayesian Filtering and Smoothing. Cambridge: Cambridge University Press, 2013. 256 p.