Непрерывные марковские цепи Текст научной статьи по специальности «Математика»

УДК 517.9:519.2 ББК 22.171

© В.В. Убодоев, Л.А. Телешева

Россия, Улан-Удэ, Бурятский государственный университет E-mail: [email protected]

НЕПРЕРЫВНЫЕ МАРКОВСКИЕ ЦЕПИ

В статье получены эргодические теоремы для неоднородных, периодических и однородных цепей Маркова. Рассмотрена работа телефонной линии в периодическом режиме.

Ключевые слова: марковские цепи, эргодические теоремы, асимптотическая устойчивость.

© V.V. Ubodoev, L.A. Telesheva

Russia, Ulan-Ude, Buryat State University E-mail: [email protected]

CONTINUOUS MARKOV CHAINS

In the article by ergodic theorems for continuous heterogenuos, periodic and uniform Markov chains are received by means of the new way. The work of telephone line in periodic mode is considered.

Key words: Markov chains, ergodic theorems, asymptotic stability.

Введение

Непрерывные марковские цепи в научной литературе описываются системами линейных дифференциальных уравнений Колмогорова, которые являются однородными. В работе [1] получены линейные и нелинейные дифференциальные уравнения вероятностных распределений. Статья посвящена установлению эргодических свойств непрерывных марковских цепей, описываемых неоднородными системами линейных дифференциальных уравнений.

1. Постановка задачи

Рассмотрим систему линейных дифференциальных уравнений вида

dx

dt = Q(t ) x, (1)

где Q(t) при каждом t > 0 является колмогоровской матрицей, т.е.

n

qv(t) > 0i * j, и X q1}(t) = 0 j = ^..^n . (2)

i = 1

Будем предполагать, что функции q(t),i, j = 1,...,n, являются вещественными, непрерывными и заданными при t > 0.

Матрица М = {mij-} называется марковской, если

n

m > 0, Xm = 1, i = 1,...,n.

j э j 5 5 5

j=1

Обозначим через Y (t, t0) фундаментальную матрицу решений системы (1), нормированную в точке t0. Известно [2], что для того чтобы фундаментальная матрица решений

Y (t, t0) системы (1) была марковской при t > t0 > 0, необходимо и достаточно, чтобы матрица Q(t) была колмогоровской при любом t > 0 .

Для системы (1) решение x(t ) = x(t, t0, x0) с начальным условием x0 в момент t0 запишем в виде

x(t) = Y(t,t0)x0 . (3)

Из этой формулы следует, что при выполнении условий (2) каждому начальному распределению х0 в момент t0 отвечает единственное x(t ) = x(t, t0, x0) распределение, являющееся решением системы (1). При этом матрица

P(t0,t) = Y•(t,t0)

(* - знак транспонирования матрицы) является матрицей условных вероятностей или переходной матрицей для непрерывной марковской цепи, описываемой системой дифференциальных уравнений (1).

Считая начальное условие х0 распределением вероятностей, преобразуем правую часть системы (1) следующим образом

— = (0 (1) - Ь (1)е + Ь (1)е)х = (0 (1) - Ь (1)е )х + Ь (1), т

где Ь(1) - произвольный вектор-столбец с компонентами Ь1(1),Ь2(1),...,Ьп(1), которые являются вещественными, непрерывными и заданными при 1 > 0 функциями, е = (1,1,...,1) — вектор-строка, у которой все компоненты единицы. Обозначая через А(1) = 0(1) — Ь(1 )е, получим систему

т" = А (1) х + Ь (1). (4)

п

Легко видеть, что системы (1) и (4) совпадают на интегральном многообразии X хг = 1.

г=1

Условия (2) для системы (4) примут вид

А ) ац (1) + Ьг (1) > 0 г * 1,

” (5)

В ) X °И (1) + Ьг (1) = 0 1 ^ П

г=1

При выполнении условий (5) [1] каждому начальному распределению х0 в момент 10 отвечает распределение х(1) = х(1,10, х0) вероятностей, являющееся решением системы (4). Вместо системы (1) удобнее изучать систему (4).

Целью статьи является установление эргодических теорем для непрерывных марковских цепей, описываемые системой (1), рассматривая вместо нее систему (4).

2. Неоднородные цепи Маркова

Рассмотрим неоднородную марковскую цепь, т.е. когда матрица 0(1) зависит от времени 1. Для системы (4) выпишем соответствующую однородную систему

тх

А = А ) х, (6)

и обозначим через X(1,10) фундаментальную матрицу решений этой системы, нормированную в точке 10. Введем обозначение Кп = |(х1,х2,...,хп) | Xхг = 1, хг > 0, г = 1,...,.

Тогда для асимптотической устойчивости решений системы (4) в Кп достаточно, чтобы все элементы фундаментальной матрицы решений системы (6) аннулировались при

1 ® +¥. При этом говорят, что непрерывная марковская цепь, описываемая системой (1), обладает эргодическим свойством.

Из Б) условия (5) следует

X (1) = — X Ьг(1 X 1 п, (7)

г =1 г =1

обозначим

п

Ь (1) = X М ‘), (8)

г=1

Теорема 1. При выполнении условий (5), для любого решения х(1) = х(1,10, х0), системы (6) справедливо равенство

X хг (1) = ( х 01 + х 02 + к + х 0 п )ехР ^ — (т) , 1 = ^..^ п. (9)

г=1 0

где х01, х02, к х0 п — компоненты начального условия х0

Доказательство. Запишем систему уравнений (6) в скалярной форме

ёх (1) / ч / ч

~т~=X ау(1)^ (1), г=и.п,

суммируя левую и правую части этих равенств по индексу г, получим

п ёх (1) п п

Цтхё(1 = ^х1 (1)^а,, (1).

г=1 т ,=1 ,=1

п

Обозначая через р(1) = X х, (1), и принимая во внимание (8), получим уравнение

=1

^ = —Ь (1) р (')

ш

с начальным условием р (10) = х01 + х02 + ... + х0 п . Выпишем решение этого уравнения

г . ■

\ )

Теорема доказана.

Р(1) = (х01 + х02 + . + х0п )ехР ( — [ Ь (Т)ёт ), 1 = 1,..., п.

казана.

Введем обозначения:

Ьг(1) = тт (1), / = 1,..., п .

1*г

Теорема 2. Если выполнены условия (1) и условие

| Ь (т)ёт = +¥ , (10)

10

то непрерывная марковская цепь, описываемая системой (2), обладает эргодическим свойством.

Доказательство. Покажем, что система (4) является асимптотически устойчивой в Кп. Из условий аг]- (1) = qij (1) — Ьi (1) > 0, г ф ] , следует, что решение

х(1) = (х1(1), х2(1),., хп (1)) системы (6) обладает свойством: хг (1) > 0 при 1 > 10, если хг (10) > 0, г = 1,..., п , и по формуле (9) имеем

X хг (1) = X хг (10)ехР( — I, Ь (Т)ёт) .

г = 1 г=1

Из условия (10) следует, что X хг (1) ® 0 и хг(1) ® 0, г = 1,...,п, при 1 ® +¥ . Т.е. все

г=1

элементы фундаментальной матрицы X(1,10) системы (6) аннулируются при 1 ®+¥, Из асимптотической устойчивости системы (6) следует асимптотическая устойчивость системы (2) в Кп. Теорема доказана.

Следствие 1. Пусть элементы qг] (1) матрицы 0(1) удовлетворяют условиям:

qij (1) >а> 0, г ф 1, г, 1 = 1,..., п,

то непрерывная неоднородная Марковская цепь, описываемая системой (2), обладает свойством эргодичности.

Следствие 2. Если матрица 0(1) является С — периодической и выполняется условие

С

|Ь (т)ёт > 0 ,

0

то непрерывная периодическая марковская цепь, описываемая системой (2), обладает свойством эргодичности.

Следствие 3. Пусть матрица 0 является постоянной. Если в матрице 0 найдется строка с номером г такая, что qi] > 0 при всех 1 ф г , то непрерывная однородная марковская цепь, описываемая системой (2), обладает свойством эргодичности.

3. Периодические цепи Маркова

Рассмотрим отдельно непрерывные марковские цепи, описываемые периодическими линейными дифференциальными уравнениями [2]. При изучении различных задач теории массового обслуживания, учитывающих явную циклическую зависимость от времени (работа телефонной станции с учетом изменений потока требований в течение суток, работа скорой помощи и т.д.), мы приходим к системе (1) с периодическими коэффициентами.

Пусть А(1) является непрерывной С -периодической матричной функцией, Ь(1) — С -периодической векторной функцией. В работе [2] получен следующий результат: если все мультипликаторы системы (4) по модулю меньше единицы, то в этой системе существует единственное стационарное периодическое распределение вероятностей и все остальные распределения стремятся к нему при 1 ® +¥ по экспоненте. Обозначим через р(1) стационарное периодическое распределение, а через р0 начальное распределение для р(1), тогда будем иметь

С

р0 = (Е — X(с))—1 X(с)| X — 1 (т)Ь(т)ёт, (11)

0

1

р( 1) = X(1 )р0 + X(1)I X— 1 (т)Ь(т)ёт, (12)

0

или для системы (1):

Р( 1) = у (1 )р0 . (13)

Заметим, что у матрицы монодромии У(ю) системы (1) мультипликатор р = 1 является простым и все остальные мультипликаторы по модулю меньше единицы, причем р0 является стационарным распределением эргодической однородной дискретной цепи Маркова с переходной матрицей У(С) за один шаг.

В качестве примера применения непрерывных периодических марковских цепей рассмотрим работу телефонной линии в периодическом режиме. Интенсивность поступлений вызовов на телефонную линию зависит от времени. Можно считать, что она является периодической функцией (например, суточные колебания интенсивности поступления вызовов на линию).

Пусть вероятность поступления на телефонную линию одного вызова за время (1,1 + И) равна а (1) И + о (И ) , следовательно, вероятность не поступления ни одного вызова за то же время (1,1 + И) равна 1 — а(1 )И + о(И) . Если в момент 1 еще продолжается разговор, то за время (1,1 + И) он окончится с вероятностью Ь(1 )И + о(И) .

Пусть х(1), у(1) — вероятность того, что в момент 1 линия соответственно свободна и занята. Тогда система дифференциальных уравнений, описывающая работу телефонной линии в периодическом режиме, имеет вид

x = — а (1) х + Ь (1) у,

V 7 V (14)

у = а (1) х — Ь (1) у,

где а(1),Ь(1) — непрерывные С — периодические функции. При каждом 1 : а(1) > 0, Ь(1) > 0, но а(1) и Ь(1) одновременно не равны нулю.

Для системы (14) выполняются условия (2), значит система (14) задает непрерывную С— периодическую цепь Маркова с двумя возможными состояниями.

Непосредственной проверкой можно убедиться, что матрица

1^1 -р(г) у(г) ^

Г(') = Р) 1 у )]• (15)

является фундаментальной матрицей решений системы (14), где

гг гг

р( г) = | ехр( -1 А (т) йт) а (^, у( г) = | ехр( -1 А (т) йт) Ь (5) й5 ,

0 5 0 5

и А (г) = а (г) + Ь (г ) , а мультипликаторами являются величины р1 = 1 ,

р2 = 1 — р(ю) — у (ю) , причем \р2 \ < 1 . Стало быть, в системе (14) существует единственное периодическое распределение и все остальные распределения стремятся к нему при г ® +¥.

Начальное распределение (х0,у0), соответствующее стационарному периодическому распределению ( х 0 (г), у 0 (г) ), вычисленное по формуле (11), равно

х = У(ю) у = Р(ю)

Х0 . л __ч . , , л ..ч • У0

р(ю) + у(ю) р(ю) + у(ю)

а стационарное периодическое распределение, вычисленное по формуле (12), будет равно

ж (г) = У(ю)(1 -р(г)) + Р(ю)У(г) X 0 р(ю) + у(ю)

У(ю)р( г) + Р(ю)(1 -У( г))

У 0( г )

р(ю) + у(ю)

| ехр( - | А й т) Ь ( 5 )

x 0( г) = -*---------5--------------

р(ю) + у (ю)

г + ю г + ю

| ехр( - | Айт)а(5)йэ У 0( г) = —

р(ю) + у (ю)

С ростом времени г вероятность того, что телефонная линия будет занята, стремится к периодической функции у0(г) .

4. Однородные цепи Маркова

Теперь рассмотрим случай непрерывных однородных по времени цепей Маркова, то есть когда матрица А и вектор Ь являются постоянными, то есть систему вида

йх

— = Ах + Ь. (16)

йг

Теорема 3. Если матрица А и вектор Ь постоянны и выполнены условия (5), то матрица Q = А + Ье всегда имеет собственное число 1 = 0, матрица А = Q - Ье всегда имеет собственное число 1 = -(Ь1 + Ь2 +... + Ьп), а все остальные собственные числа матриц А и Q совпадают.

Доказательство. В определителе \Q - ЛЕ\ к первой строке прибавим все остальные строки. Полученный определитель разложим по первой строке, тогда получим

Q - ХЕ\ = -1[ Q „(Л) + О „(1) + ... + О, п (1)] (17)

где Qjj (Л) - алгебраическое дополнение к элементу ) в матрице (Q - ЛЕ ) . Т.е.

матрица Q имеет собственное число 1 = 0. С другой стороны, используя свойства определителей, получим

|А - ЛЕ\ = (1 -Л)Ш„(1) + Q,2(1)+...+Qlп(1)] (18)

Значит матрица А имеет собственное число 1 = -(Ь1 + Ь2 +... + Ьп). Из (17) и (18) следует

утверждение теоремы. Теорема доказана

Теорема 4. Пусть матрица А и вектор Ь постоянны и выполнены условия (5). Если

число 1 = (Ь1 + Ь2 +...+Ьп) является простым собственным числом матрицы А и вещест-

венные части всех остальных собственных чисел матрицы А отрицательны, то в системе (1) существует единственное стационарное распределение, а все остальные распределения в этой системе стремятся к нему при 1 ® +¥ .

Доказательство очевидное.

Замечание. Если (Ь1 + Ь2 +...+Ъп) > 0, то элементы фундаментальной матрицы X(1,t0) = ехр(А(1 —10)) аннулируются при 1 ® +¥. Если (Ь1 + Ь2 +...+Ьп) < 0, то аннулируются компоненты вектора ехр(А(1 —10))(х0 — _у0) при 1 ® +¥ при любых начальных условия х0, _у0 е Кп.

Обозначим через р стационарное распределение однородной эргодической цепи Маркова, описываемое системой (16), тогда

р = — А — 1Ь = — (Q — Ье ) — 1Ь, (19)

причем матрица А является обратимой, если (Ь1 + Ь2 +...+Ьп) Ф 0.

Теперь получим известную формулу для стационарного распределения р в терминах матрицы Q. В формуле (9) положим, например, Ь = (а,0,...,0), и пусть (сгу} = А—1 = ^ — Ье )—1, тогда получим

^ — Ье | = — а А ,

где А = Q11 + Q12 +...+Q1n , и Qij обозначает алгебраическое дополнение к элементу qij в матрице Q, далее имеем

Г = g П С = Q 12 c = Q 1 n

11 - aD , 21 - aD n 1 - aD

и

P a ( C 11, C 2 1,***, C n 1)

Q 1 1 Q 1 2 Q 1

D D D

и окончательно

P1 =------------—-------------,----------—-------------,***, Pn =-----------—-------------, (20)

Q11 + Q12 + *** + Q1 n Q11 + Q12 + *** + Q1 n Q11 + Q12 + *** + Q1 n

где p1,p2,***,pn - координаты стационарного распределения p *

Заключение

Рассматривая вместо однородной системы неоднородную систему линейных дифференциальных уравнений вероятностных распределений, изучены эргодические свойства непрерывных неоднородных, периодических и однородных цепей Маркова*

Литература

1* Зубов В*И* Динамика управляемого движения* - М*: Высшая школа, 1982* - 224 с*

2* Перов А*Н*, Глушко Е*Г*, Белкина С*А* Непрерывные периодические марковские цепи* - Воронеж, 1983, 44 с* / Рукопись деп* В ВИНИТИ 05*08*83, № 4344-83*

3* Романовский В*И* Дискретные цепи Маркова* - М*-Л*: Гостехиздат, 1949* - 362 с*

References

1* Zubov V*I* Dynamic of control moving* - M*: Vysshaya shkola, 1982* - 224 p*

2* Perov A*N*, Glushko E*G*, Belkina S*A* Continuous periodic Markov chains* - Voronezh, 1983* - 44 p* / Dep* in VINITI 05*08*83, No* 4344-83 Dep*

3* Romanovsky V*I* Discrete Markov chains* - M*-L*: Gostehizdat, 1949* - 362 p*