Коэффициент эргодичности стохастической матрицы и устойчивость цепей Маркова Текст научной статьи по специальности «Математика»

компонента Xй не вырождается в точку, то и необходимо, чтобы главная диагональ А состояла из неотрицательных интервалов, а знаки коэффициентов ау при совпадали с произведением знаков а1( и а1у

БИБЛИОГРАФИЧЕСКИЙ СПИСОК 1 Алефельд Г, Херцбергер Ю Введение в интервальные вычисления М : Мир,

1987.

2. Ляшко М А О совпадении интервальной оболочки объединенного множества решений ИСЛАУ с итерационным решением Балашов, 1996 16 с. Деп. В ВИНИТИ 08 02.96, № 429 - В96.

УДК 519.21

А. Ю. Митрофанов

КОЭФФИЦИЕНТ ЭРГОДИЧНОСТИ СТОХАСТИЧЕСКОЙ МАТРИЦЫ И УСТОЙЧИВОСТЬ ЦЕПЕЙ МАРКОВА

Применению коэффициентов эргодичности для оценивания устойчивости стационарных распределений конечных однородных цепей Маркова посвящены работы [1, 2] (см. также [3] и обзор [4]). В работе [1] получена оценка устойчивости стационарного распределения цепи Маркова, выраженная через коэффициент эргодичности т,(Р) матрицы вероятностей переходов Р. При этом предполагается, что т1(/>)< 1. В настоящей статье для апериодических цепей Маркова, у которых существует единственное стационарное распределение, получено обобщение этой оценки

Пусть X = {X п, п = 0,1,...} и X = {Хп, п = 0,1,...} - цепи Маркова с пространством состояний 5 = {1,..., А/}, матрицами вероятностей переходов соответственно Р и Р и единственными стационарными распределениями я = (7г,) и 7Ё = (л/). Определим коэффициент эргодичности Т](#) вещественной тхп -матрицы В = (Ь()):

т,(В) Лпшх (1)

Знаком || | обозначим -норму (сумму модулей компонент) для векторов и да-норму (максимальную строчную сумму модулей элементов) для матриц. Величина ||л - я| равна расстоянию по вариации между распределениями я, л: л| = 2зир4=5 | й(/1)-л(Л)|, где п(А) = ^кел • = = ^ кк . Векторы будем считать вектор-строками.

В работе [1] показано, что если т,(Р) < 1, то справедливо неравенство

11я-л|< М , (2)

II II i_T((/>)' w

где Е = Р - Р . Для многих цепей Маркова, встречающихся в приложениях, условие т,(/->) < 1 не выполняется. Это справедливо, например, для процесса рождения и гибели с дискретным временем и конечным числом состояний, который является апериодической цепью Маркова с единственным стационарным распределением

ПРЕДЛОЖЕНИЕ Если X - процесс рождения и гибели и N ^ 4, то т1(/') = 1-

Доказательство. Обозначим через ptj элементы матрицы Р. Если X - процесс рождения и гибели, то р¡j = 0 при | / - j |> 1. Выберем такие / и j, что \i-j\>2. Тогда для любого keS либо pik > 0, либо pjk > 0. Следовательно, А* ~~ Pjt 1= 2 • Из этого равенства, выраже-

ния (1) для коэффициента эргодичности и того факта, что для любой стохастической матрицы П т,(П) < 1, следует доказываемое утверждение.

Положим Р(к) = Рк, Р(к) = Рк . Следующая теорема обобщает оценку (2) в случае апериодических цепей Маркова.

ТЕОРЕМА. Если цепи X и X апериодические, то существует такое целое число к > 1, что z{(P(k)) < 1 и выполняется неравенство

щ-Щ-

1-х ,(/>(*))

Доказательство. Поскольку стационарное распределение цепи X единственно, у нее существует единственный замкнутый класс состояний Следовательно, для любого начального распределения р(0) существует такая константа С, что выполняется неравенство

\p{n)-n\\<CnJ-\\ п = 1,2,..., (3)

где р(п) - распределение вероятностей случайной величины Jf,,, J - порядок наибольшего из жордановых блоков матрицы Р, "К < 1 - наибольший из модулей отличных от 1 собственных значений матрицы Р [5]. Пусть C¡ - константа в неравенстве (3) для начального распределения р{0) = е,, где е- - вектор, i -я компонента которого равна 1, а все остальные компоненты равны 0. Для любых i, j е S

|[е,Р(п)-еуР(л)|| = |(е,/>(")" *)+ (я -вуР(л))| <

á \]e,P(n) - я| + ||e; P(n) - jiJ á 2 max¡| e,P(n) - тс||.

Отсюда с учетом (1) получим

т,(Р(п)) й maxie,Р(п)- л|| < maxC¡nJ~\", /7 = 1,2,...,

jeS 11 1 11 jeS J

откуда следует, что т,(Р(л))—»0 при я->да. Следовательно, существует такое целое к £ 1, что т¡(Р(к)) < 1.

Справедливы выражения лР(к) = л, лР{к) = л . Кроме того, не существует таких вероятностных векторов р, р, что рР(к)= р, р*п, и рР(к)= р, р* л. Докажем это для Р(к). Предположим, что такой вектор р существует. В этом случае для всех / = 1,2,... рР(1к) = р. Однако вследствие апериодичности при любом р{0) р(0)Р(к) —> л при & —> да Мы пришли к противоречию. Таким образом, распределения лил являются единственными стационарными распределениями цепей Маркова с переходными матрицами соответственно Р(к) и Р(к). Следовательно, с учетом (2) получим

В самом деле, для п = 1 это неравенство очевидно. Пусть оно справедливо для некоторого п > 1. Докажем, что оно выполняется для п +1. Имеем

Р(п +1) - Р(п +1) = РР(п) - РР(п) = Р(Р(п) - Р(п)) + (Р- Р)Р{п),

откуда следует

что доказывает (5). Из (4) и (5) следует утверждение теоремы.

Известно, что для любых двух стохастических матриц Р1 и Р2 т,(/'1/>2)<-с1(/>1)т1(/'2), следовательно, т,(Р(г + 1))511(Р(ф1(Р(»)), где г и - положительные целые числа. Таким образом, если для некоторого целого к > 1 т,(Р(/:)) < 1, то для всех целых / > к т,(Р(/)) < 1.

Следует отметить, что существование такого целого к > 1, что т,(/>(*))<1, является достаточным условием единственности стационарного распределения и апериодичности цепи X [6].

Справедтиво неравенство

п = 1,2

(5)

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

I. Seneta F. Perturbation of the stationary distribution measured by ergodicity coefficients//Adv Appl Probab 1988 Vol 20 P 228-230.

2 Senela E Sensitivity analysis, ergodicity coefficients, and rank-one updates for finite Markov chains // Numerical solution of Markov chains N Y. Marcel Dekker, 1991. P 121-129.

3. Senela E Sensitivity of finite Markov chains under perturbation // Stat. Probab Lett 1993 Vol. 17. P 163-168

4 Cho G.E., Meyer C D Comparison of perturbation bounds for the stationary distribution of a Markov chain// Linear Algebra Appl 2001 Vol. 335 P 137-150

5 Rosenthal J.S Convergence rates of Markov chains // S1AM Rev 1995. Vol. 37. P 387-405

6 ЛоэвМ Теория вероятностей M : Изд-во иностр лит, 1962

УДК 519.212

В. Н. Михайлов, С. А. Точилкина

РАСПРЕДЕЛЕНИЕ ВЕКТОРНОЙ ФУНКЦИИ ОТ НЕЗАВИСИМЫХ ДИСКРЕТНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

В работе [1] был предложен алгоритм расчета распределения функции от независимых дискретных случайных величин. Покажем, что этот алгоритм может быть обобщен на вычисление совместного закона распределения нескольких функций от случайных величин.

Пусть в вероятностном пространстве (Q,F,P) определены независимые дискретные случайные величины Çi.Çî,...,^. Введем обозначения: Xj={x{х'т } - множество всех возможных значений случайной величины у=1,л; Х=Х,хХ2х... хА'„ - декартово произведение этих множеств, т-тутг т„ - мощность множества Х\ х={х^ je1,.. ./') - точка в X. Будем считать, что известны законы распределения случайных величин

•>£*>те известны вероятности = д;} V* e X¡, j = 1 ,п.

Рассмотрим в этом же вероятностном пространстве случайный вектор Л=(т11,Т12.. -,т|г), компоненты которого являются измеримыми функциями от независимых дискретных случайных величин Çi,^,...,^: гl.=/l(Çl&... ,U Л2=/2ЙЬ^2,• ■ • .... Т]г=М,

Обозначим через ,4л) векторную функцию как упорядоченную совокупность соответствующих функций .....£»)>

,,/Д 1,^2, •,4л). Тогда случайный вектор -

Необходимо по распределениям ^ь^г.• найти совместный закон распределения случайных величин ЛьЛг. .Л^. или, 41X3 одно и то же, закон распределения случайного вектора T|=/[Ç|Дг,-.-,^).