Эргодические оценки стационарных вероятностей состояний марковской цепи с непрерывным временем Текст научной статьи по специальности «Математика»

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

№ 284 Декабрь

ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

2004

УДК 519.2

Б.А. Гладких, А.А. Назаров

ЭРГОДИЧЕСКИЕ ОЦЕНКИ СТАЦИОНАРНЫХ ВЕРОЯТНОСТЕЙ СОСТОЯНИЙ МАРКОВСКОЙ ЦЕПИ

С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

Рассматриваются статистические характеристики оценки стационарной вероятности состояния дискретной марковской цепи с непрерывным временем в виде отношения времени пребывания цепи в этом состоянии к общему времени наблюдения. Показывается, что эта оценка асимптотически несмещенная, находится ее асимптотическая дисперсия и строится оценка этой дисперсии. Доказывается также асимптотическая нормальность этой оценки.

Одним из больших разделов теории вероятностей является так называемая эргодическая теория [1, 2], согласно которой временные средние вероятностных характеристик случайных процессов при определенных условиях совпадают со средними по ансамблю его реализаций. Это открывает возможность построения оценок параметров случайных процессов по временным средним на конечном интервале наблюдения. Однако в реальности такими оценками пользуются очень редко, потому что неизвестны их статистические свойства, в частности, как правило, непонятно, как находить доверительные интервалы для значений неизвестных параметров. В данной работе делается попытка найти такие характеристики для оценок стационарных вероятностей состояний дискретной марковской цепи с непрерывным временем.

ПОСТАНОВКА ПРОБЛЕМЫ

Пусть имеется однородная неразложимая цепь Маркова Щ) с непрерывным временем t и конечным множеством состояний к^) = 1, N .

Обозначим через Т сумму длин всех интервалов времени из [0, Т], в течение которых цепь к(^) находилась в состоянии Оценку П(-) стационарной вероятности п(-) = Р{Щ) = -} можно брать в виде

П(,) = Т /Т . (1)

Целью данной работы является нахождение статистических характеристик этой оценки.

АСИМПТОТИЧЕСКАЯ НЕСМЕЩЕННОСТЬ ОЦЕНКИ

Найдем математическое ожидание этой оценки при условии, что для цепи задано ее начальное состояние к(0) = ], т.е. траектория движения по состояниям начинается из состояния]. Обозначим

Г1, если к ^) = I,

5(к (ґ), і) =

0, если к(ґ) Ф і.

Тогда

Отсюда

Т = |б(к(ґ), і)йґ.

0

Т Т

М {Т } = | М (5(к (ґ), ґ )}йґ = ІР (ґ)йґ =

0 0

Т

= Тп(і) + Д[ (ґ) -п(і)]ґ,

(2)

(3)

(4)

где Р'п (0 = Р{к^) = 11 к(0) = ]} есть вероятность перехода из состояния ] в состояние I за время t.

Обозначим ^) = Р] ^) - п(/). Тогда

1 Т

М{Т/Т} = п(,) + -1 (t)dt. (5)

Т о

Но, как известно [1], У]/(0 при t ^ ж экспоненциально сходится к нулю. Поэтому интеграл, стоящий в (5), ограничен, и второе слагаемое стремится к нулю при t ^ ж, что и говорит об асимптотической несмещенности оценки вероятности п(-).

АСИМПТОТИЧЕСКАЯ ДИСПЕРСИЯ ОЦЕНКИ

Покажем теперь, что дисперсия оценки (1) убывает как 1/Т. Имеем

ТТ

М {Т2 } = Ц М {5(к ^), /)5(к (5), i)}dtds =

о о

ТТ

= Ц Р{к(t) =-, к(5) =- | к(0) = j}dtds.

о 0

Обозначим Р{Щ) = -, к(в) = А к(0) = ]} как Р]7, t, -, 5). Тогда можно записать

т Лt т Л

М{Т2} = | ] | Р] (-, t, А, +1 Р] (А, t, -, .

0 [ 0 t )

Учитывая марковость рассматриваемого процесса, преобразуем этот интеграл к виду

Т t Т Т

М {Т2} = | dt | Р-(5) Ри ^ +| dt | Р] (О Р-(5 -1 ^ =

= 21Рп (ґ)Л \Ри (8)& .

(6)

Переходя к функции£ї(ґ), получим

Т Т-ґ

МТ } = 21 ((/) + (ґ))ґ { ((/) + /їЮ).

0 0

С другой стороны, как это следует из (5),

Т

М{Ті} = Тп(і) + |/ї(ґ)Л .

0

Опуская преобразования, приведем результат:

В{Ті} = М {Ті2} - М 2{Ті) =

ТТ

= 2Тп(і)| /і - 2п(і) І $(/„ () + /і ^)) +

00

Т Т-ґ ґТ \2

+ 21 /і т І /і -1 І /і (ґ)А

(7)

0

0

0

Таким образом,

о[Т./Т}=ЇТІІ /і (^+0[ Т

Т

(8)

и первое слагаемое, определяющее основной член асимптотики, убывает как 1/Т и не зависит от стартового состояния ]. Отсюда также следует, что оценка П(-) сходится к истинному значению стационарной вероятности п(-) в среднеквадратичном смысле.

ОЦЕНКА ДИСПЕРСИИ

Для построения доверительного интервала для вероятности л(') необходимо иметь оценку величины £>{Т/Т}. Для ее построения необходима более подробная информация.

Пусть интервал наблюдения есть [0, Т]. Далее, пусть в течение этого времени система побывала в состоянии - п раз и времена пребывания в этом состоянии были {Ть Т2, Т3,..., Тп}. Интервалы времени между пребываниями системы в состоянии - обозначим как {Уь У2, У3,..., Уп}. Тогда очевидно, что

Т(-) = £ Тк , Т - Т(-) = ^Ук . (9)

к=1 к=1

Из марковости рассматриваемого процесса следует, что У к, I величины Тк и У1 независимы. Кроме того, для У к величины Тк одинаково распределены; аналогично, для У1 величины Уг также одинаково распределены.

Оценку (1) можно записать в виде Т (0

п(і) =-

Т

пМ{Тк } + £ (Тк -М{Тк })

п(М{Тк } + МV }) + £ [ -М{Тк }) + (к -МV })]

I '»

Т0 + -£АТк

I "

Т0 + V + - £ (АТк + АУ,)

(10)

где Тс = М{Тк}, И = М{ У,}, АТк = Тк - Тс, АУк = У, - У0.

В силу усиленного закона больших чисел [2, 3], средние арифметические в (10) являются при п ^ ж бесконечно малыми величинами; поэтому с точностью до о(Ш) можно (10) переписать в виде

1 ^ АТ,

Т(і) Т0

п к=1 Т0

п к=1 Т0 + У0 У0 1 ^ ґ АТк АУк Ц ґ 1

Т0 + У0 [1 + Т0 + У0 ' п £ [ Т0 У, )} + °1 п ! .

Отсюда имеем

м 1=_Т^_ = Я(0.

Т } Т0 + У0

т

Т } ^ Т0 + у0 ) ^ Т0 + у0 ) п I # И/

= *’(0(1-„(і))‘і {££*> + Ші1. (11)

п I Т0 У0

Так как Тк имеют экспоненциальное распределение [1], то Б{Тк} = Т02 и поэтому

С{П0 } = ,2(0(1 _„(„,! {,+ЕУук!

П2(,)(1 П(і))2 М {У/} = П (/)(1 -п(і))---------2—

пУп

(12)

Это выражение и позволяет построить оценку £>{П(-)} = Б{Т(0/Т}. Действительно, л() = М{Т()/Т}.

1 п

Оценкой М {Ук } является величина — V У к , а оценкой

П к=1

1

У0 - величина — £ У, =

Т - Т(і)

. Заменяя эти величины

их оценками, мы и получаем оценку £>{тф)}:

£{*(0}=^ Еу?- (13)

Т к=1

Для ее практического использования надо измерять еще

п

величину ^Ук2 .

к=1

Приведем еще другой вид формулы (12). Имеем Т=

п п

= Е Тк +Е Ук. Поэтому, в силу усиленного закона

=1 =1

Т 1 п 1 п

больших чисел, при п ^ ж — = — £ Тк +-----------£ у, —

п п к=1 п к=1

->Т0 + У0. Но так как

У0 Т0 + У0 - Т0

Т0 + У0 Т0 + У0

= 1 -

Т0 л ҐЛ 1 -п(і) Т ПН

0 = 1 -л(/), то при п ------------—------------—^

Т, + У)

_—^. (Т0 + У,) = 1.

У0 п

У0

Используя это соотношение, можно утверждать, что при Т ^ ж имеет место

б{т (О/Т } = - • п2 (0(1 - п(0) М{У^}, (14)

1 ' т М{Ук}

т.е. при больших Т дисперсия оценки стационарной

вероятности п(-) убывает как 1/Т.

АСИМПТОТИЧЕСКАЯ НОРМАЛЬНОСТЬ ОЦЕНКИ

Покажем теперь, что построенная оценка является асимптотически нормальной.

Для проведения исследования рассмотрим случайный процесс ДО, значением которого является суммарное время из интервала [0, /], в течение которого цепь находится в состоянии Очевидно, что

Пусть

Т(і) = I(Т), П(і) = I(Т)/Т .

1, если к(ґ) = і,

V(t) = 1п , (,) ■ (15)

[0, если k(t) ФI.

Известно, что время пребывания однородной цепи Маркова в каждом состоянии имеет экспоненциальное распределение с заданным параметром. Величину этого параметра для состояния - обозначим как 1/Т. Время возвращения в А-е состояние для цепи Маркова является случайной величиной, функцию распределения которого обозначим как У(в).

п

к=1

=1

=1

=1

Если у(/) = 0, то определим случайную величину 2(0, равную длине интервала времени от момента t до момента возвращения цепи Маркова в состояние А.

Случайный процесс {у(/), ДО, 2^)} с переменным числом компонент является марковским. Обозначим Р{у(/) = 1, и < I^) < и + du }= }и, t)du , р{/) = 0, и < I^) <и + du, z(t) < г } = Р0(и,г,t)du .

Тогда имеют место равенства ( Дt ^

Р1(и + Дt,t + ДО = 11 - — \Рх(и,t) + Р0(и,Дt,t) + o(Дt),

Р0(и,2 - Д/,t + Д/) = Р0(и,2,t) -Р0(и, Д/,t) +

+ ^Р,(и, t)У (2) + о(Д/).

Т0

Отсюда имеем следующую систему уравнений:

ЗР^и, t) + ЗР^и, t) + 1 Р (и ^) =а?0(и,0, t)

■+ + ^ Р1(и,t) =■

дґ

5м Т0 дг

дР0(и, г, ґ) дР0(и, г, ґ)

дґ дг

дР0 (и,0, ґ) 1

(16)

дг Т,

+ — Р1(и, ґ )У (г).

5т

йх Т0

дп0( х,°, т, є) дг

дп0( г, г, т, є) дп0( г, г, т, є) дп0( х,°, т, є)

є--~~-------~--+

(17)

йт

дг

дг

1

+—п ( г, т, є)У (г). Т

Эту систему будем решать в два этапа.

Этап 1. Делаем предельный переход є ^ 0 и обозначаем пг(г, г, т, 0) = пг(г, г, т) Тогда система (17) принимает вид

_1 п (х т) = ЙП0(х,°, т)

Т0 МХ Т) Йг ,

дп0(г, г, т) 5п0(х,°, т) 1

дг

Следовательно,

дг Т0

^г~п-1 (х, т)У (г) = (18)

= л1(г, т)(1 - У(г)).

Т

1 2

п0(х, г, т) = — щ(х, т)і (1 - У (^))^5 .

П°(г, т) =

п1(г,т)=

У0

Т0 + У0 Т0

Т0 + У°

п( г, т)

п( г, т) .

Этап 2. В системе (17) положим 2 ^ ж и сложим оба

„ дп( х, т, е) 5л,( х, т, е)

уравнения. Тогда получим е---------:------+ е-----:-----= 0 ,

5т

5т

откуда можно записать

дп( г, т) йп1( г, т) Т0 дп( г, т)

йт

йг Т0 + У0 йг

Следовательно, для п(х, т) имеем вырожденное уравнение Фоккера-Планка

дп( г, т) Т0 дп( г, т)

йт Т0 + У0 йг

с равным нулю коэффициентом диффузии и тогда

Х(т) = Т0 г(т) = Т0

Т0 + У0

х(т) =-------------т .

Т0 + У0

(21)

(22)

Возвращаясь к исходным переменным, получим,

Решение полученной системы определяет распределение вероятностей процесса І(ґ), что позволяет найти все характеристики оценки П(і).

Найдем решение этой системы в асимптотическом случае Т ^ ж. Для этого в (16) выполним замену 1/Т = є, ґє = т ,

мє = г , — Рг (и, г, ґ) = пг (г, г, т,є) . Тогда получаем

є

дп,( г, т, є) дп,( г, т, є) 1

є— ^ + є 1 V ^п1(г, т, є) =

что при Т ^ Ж -Т1 = г(т) =

Т0 ґ

Т0 + У Т

так что

11т 1(0 = ЦТ) = _^ = „(,.).

Т Т Т Т0 + У0

(23)

что еще раз говорит об асимптотической несмещенности оценки л(0 .

Для доказательства асимптотической нормальности оценки в исходной системе (16) выполним замены переменных:

Т = є2 , ґє2 = т, мє2 = х(т) + єу, -ЄРг (и, г, ґ) = Иг (у, г, т, є) .

Тогда система (16) примет вид

Є2 ЙИ1(у, т, є) є ,(т) ЙИ1(у, т, є) , Є дИ1(у, т, є) +

йт

■ -єг (т) -

ду

- + Є-

йт

1 ^ . дИ 0 (у,0, Т, є)

+ тИі( у, т, є) =-

Т п

дг

Є

2 дИ0 (у, г, Т, Є) єХ(т) ЙИ0 (у, г, Т, Є)

---ьХ (X) -

(24)

5т ду

= дИ0( у, г, т, є) йИ0( у,0, т, є) + 1

дг

дг Т0

+ ЧГ И2 (У, Т, Є).

Полученную систему будем решать в три этапа.

Этап 1. Сделаем предельный переход є ^ 0 и обозначим Иг(у, г, т, 0) = Иг(у, г, т). Тогда система (24) примет вид

-1 И1( у, т) =ЙИ 0( у,°, Т)

дг

дИ °(у, г, т) дИ °(у,°, т) 1

дг дг Т0

= -1 И 1(у,т)(1 - У(г)).

Т

— И 1( у, т)У (г) =

1 ж 1 Г

п0(х, т) = Итл0(х, г, т) = — п1(х, т) І (1 - У (s))ds = Тогда И°(у,г, т) = — И1(у, т)| (1 - у(я))гі$ .

Т і0

= УТ0 П1( Х, Т), Т

(19)

Т0 0

При г ^ ж получим

И °(у, т) = 11т И °(у, г, т) =

где

У0 = і (1 - У (s))ds =І sdУ (5)

Обозначим п(х, т) = п°(х,т) + п!(х, т) . Тогда

1 ж У

= — И1 (у, т)І (1 - У (s))ds = Т- И1 (у, т) .

‘0 0 -‘о

Обозначив И (у, т) = И 0 (у, т) + И1 (у, т) , получим

И о (у, Т) =

И\ (у, т) =

У0

Т° + У о То Т° + У о

И (у, Т),

И (у, т),

Найдем отсюда значение к0(ж). Преобразуя повторный интеграл, можно получить

к°(ж) = У0 к + ТоУо

У,

То

(Т. + У°)2 2У°

(28)

И 0 (у, г, т) =—— И (у, т)| (1 - У(5)^5 . (25) где У =| 5^У (5). Отсюда, в частности, следует, что

Т° + У° 3 0

Этап 2. Решение системы (24) будем искать в виде

И о (у, г, т) = И (уТ) | (1 - У (5))^5 +єк° (у, г, т) + о(є),

/ _ —1— 1/_

То + у° 0

И1 (у, т) =:

Т0

-И (у, Т) + Є^( у, Т) + о(є).

То + У о

Подставляя эти разложения в систему (24) и производя упрощающие преобразования, получим

1 . . . дко(у,0,т) То дН(у,т)

Ітьі(у, т) - = (Х (т) -1)

дг

дк°( у, г, т) дк°( у,0, т) + 1

Т0

Т° + У о

ду

дг

дг

+—М у, т)У (г) =

Т0

х'(т) дИ (у, т)

Т° + У о

2

І (1 - У (s))ds. (26)

и к0(у, г, т) будем искать в виде

кх( у, т) = к

дИ (у, т)

к°( у, г, т) = к°( г)

ду

дИ (у, т)

ду

к

к° (0) = ^ +

т°у°

То (Т. + У°)2

к

к°(г) = т11 (1 - У С?)^ +

Т0 0

-Т0У^ І {1 - V- І (1 - у (5))&ку.

(То + Уо )2

00

(27)

т 2у

00

У

Т°к° (ж) - Уо к =-----------

0 01 (То + Уо)2 2У°

(29)

Этап 3. В системе (24) перейдем к пределу 2 — ж и сложим получившиеся уравнения:

е 2 дН (у,т,е)-ех-(т) дН (у, т,е) +едН1( у,т,е) = 0.

дт ду ду

Переходя к функциям к1(у, т) и к0(у, 2, т), получим после ряда преобразований следующее уравнение: дН (у, т) То ко (ж) - УД д2 Н (у, т)

5т

То + Уо

дх 2

Обозначив ст2 = Т°2У2/(Т° + У0)3 , с учетом (29) имеем

0

22

ду 0

Решение этой системы относительно функций к1(у, т)

дт

Решение (30) имеет вид И (у, Т) =

дИ(у, т) = ст д И (у, т) 2 ’ '

1

дх2

ґ

л/2

пст2 Т

гехр

2

V 2СТЧ

(30)

(31)

Тогда, подставляя это решение в систему (26), после ряда преобразований получим

В силу замены ие = х(т) + еу можно утверждать, что величина 1(/)/Т = х(т) + еу имеет асимптотически нормальное распределение с математическим ожиданием и дисперсией

Т0

Т° + У° Т

ґ п\ітй

ст2 ґ Т ' Т

Поэтому и оценка стационарной вероятности п(0 = I(Т)/Т при Т —— ж имеет асимптотически нормальное распределение с параметрами

М{П(0} = -Т^-, £{П(А)} = СТ 2 = 1 ^

Т° + У°

Т Т (То + Уо) что совпадает с тем, что было получено ранее.

ЛИТЕРАТУРА

1. Карлин С. Основы теории случайных процессов. М.: Мир, 1971.

2. ЛоэвМ. Теория вероятностей. М.: ИЛ, 1962.

3. Гнеденко Б.В. Курс теории вероятностей. М.: Наука, 1969.

Статья представлена кафедрой теоретических основ информатики факультета информатики Томского государственного университета, поступила в научную редакцию «Информатика» 30 апреля 2004 г.

30