Свойства управляемой векторной марковской цепи со счетным числом состояний, удовлетворяющей рекуррентным соотношениям Текст научной статьи по специальности «Математика»

Математическое моделирование. Оптимальное управление Вестник Нижегородского университета им. Н.И. Лобачевского, 2009, № 3, с. 152-161

УДК 519.21

СВОЙСТВА УПРАВЛЯЕМОЙ ВЕКТОРНОЙ МАРКОВСКОЙ ЦЕПИ СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ, УДОВЛЕТВОРЯЮЩЕЙ РЕКУРРЕНТНЫМ СООТНОШЕНИЯМ

© 2009 г. А.М. Федоткин

Нижегородский госуниверситет им. Н.И. Лобачевского fandr@vmk.unn.ru

Поступила в редакцию 11.02.2009

Рассматриваются инвариантные свойства конечного семейства из управляемых векторных марковских цепей со счётным числом состояний. При этом каждая марковская цепь задаётся функциональным соотношением и некоторым семейством случайных величин. Проведена полная классификация по Колмогорову пространства состояний такого рода управляемых марковских цепей. В терминах параметров распределений определяются легко проверяемые необходимые условия существования стационарного распределения для таких управляемых векторных марковских цепей со счётным числом состояний.

Ключевые слова: управляемая векторная марковская цепь, существенные и несущественные состояния, циклические подклассы, одномерные распределения марковской цепи, производящая функция, стационарное распределение.

1. Постановка задачи

Пусть при каждом фиксированном j = 1, 2, т векторная случайная последовательность {(Гг(ш), шу г(ш), Е'у, i- 1(га)); г > 0} определяется на некотором основном вероятностном пространстве (О, 3, ?(■)). Здесь т > 2 есть некоторое заданное натуральное число, а через символ ш будем обозначать произвольный элемент достоверного события О. При этом ш определяет с помощью некоторого языка описание так называемого элементарного исхода случайного эксперимента Е. Множество 3 является ст-алгеброй и содержит все наблюдаемые исходы А с О такого эксперимента, и, наконец, вероятностная функция Г(Л): 3 ^ [0,1] задается на ст-алгебре 3. В некоторых случаях символ ш будем опускать, если это не приводит к очевидным недоразумениям и писать {(Гг, шу г, Е у г - 1); г > 0}. Пространством состояний векторной последовательности {(Гг, Шу, г, Е'и г - 1); г > 0} является прямое произведение Г х X х Yj множества Г из элементов Г(1), Г(2), ..., Г(2т), множества X = {0, 1, ...} и множества Yj = {0, 1, ..., /,}, где 11,12, ..., 1т суть некоторые заранее заданные натуральные числа. Отсюда следует, что случайный элемент Гг е Г, случайное число шу г е X, случайное число Е 'у, г е Yj.

Будем предполагать, что последовательность {(Гг, шу г, Е у, г - 1); г > 0} удовлетворяет следую-

щему рекуррентному по г = 0, 1, ... соотношению

(Гг + 1, Шу г + 1, Е'у, г) = КГ ), тах{0, шу г + Пи г - Е;, г}, тт{жу г + Пу г, Еу г})- (!)

В соотношении (1) отображение м(Г(х)): Г ^ Г определяется равенством

Гг(5 + 1} їде 5 = 1, 2, ..., 2т - 1;

ЧГ^) = І (1) (2)

І Г() їде 5 = 2т,

а случайные величины пу, і є X и Еу, і є Yj. Пусть (ю: Гк(ю) = Г(Ч шу ¿(ю) = хк, Е ' у, к - і(ю) = Ук, к =

= 0, і } = А0, і. Далее, ради упрощения записи, обозначим элемент Г(5і) через Г(5). Будем предполагать, что при Г(5к) є Г, хк є X , ук є Yj и к =

= 0, і условные распределения случайных величин Пу, і и Еу, і удовлетворяют соотношениям:

?(Пу, і = п | Ао, і) = і = п | Г,- = Г(5)) =

= Ф](п; ТЛ =

[п/2] „ (Я Т )п-г

= Т ЪСП-гР" ~2гч- ]°

= р ^ Сп-Г^у Чу , Ч.

г=0 (п - г)!

п є X,

?(Е/, і = Ь | Ао, і п у і = п) =

= Р(Е, г = Ь | Г.- = Г(5) ) = ру(Ь; Г^) =

1, апёе Ь = 1у е Г(5) = Г(21 - 1);

1, апёе Ь = 0 е г( 5) єГ \ (г(21 - 1)}; (4)

0 а тбаёшйб пёо^ауб.

(«х

В соотношении (3) при любом 5 = 1, 2, ..., 2т числа Ау, Т5, ру, qj = 1 - ру строго положительные и являются параметрами условных распределений величин Пу, г, а символ [и/2] означает целую часть числа и/2. При этом параметры Ау и Ру фиксированы, а величины Т1, Т2, ..., Т2т можно выбирать. Следовательно, изменяя величины Т1 > 0 , Т2 > 0, ..., Т2т > 0, мы тем самым изменяем условные распределения (3) и конечномерные распределения векторной последовательности {(Гг, Шу, г, Еу, г - 1); г > 0}. Итак, векторная случайная последовательность {(Гг, Шу, г, Е 'у, г - 1); г > 0} будет управляемой. В следующих разделах этой работы изучим вероятностные свойства семейства из управляемых векторных случайных последовательностей вида {(Гг, шу г, Е у, г

- 1); г > 0},у е 1,т .

2. Разбиение пространства состояний последовательности {(Гг, жу, г, Еу, i - 1); г > 0}

Пусть теперь у принимает фиксированное значение из множества {1, 2, т}. Используя

соотношения (1), (2) и равенство Г(5г) = Г(5), вычислим для любых фиксированных Г(г) е Г, х е X, у е Yj, Г1'5*'1 е Г, хк е X , ук е Yj и к = 0, г условную вероятность

Р(Г г + 1 = Г(Г), Шу, г + 1 = х, Е 'у, г = У | Л, г) =

X

= Е Е Р(Г г + 1 = Г(Г), Шу, г + 1 = х, Е'у г =

и = 0 Ъе{ 0,1у }

=У, Пу, г = и, Еу, г = Ъ | А0, г) =

= Е Е Р(п;, г = и | Л, г) х и = 0 Ъе{ 0,1у }

хР(Еу, г = Ъ | Л, г, П; г = и) X х Р(Г г + 1 = Г(г), ш у, г + 1 = х, Е' у, г = У | А г, П у, г =

= и, Е у, г = Ъ) =

X

= Е Е Фу(и; Тх)р у(Ъ; Г(5)) X и = 0 Ъе{ 0,1у }

х Р(и(Г(5)) = Г(г), тах{0, хг + и - Ъ} =

= х, тт{ хг + и, Ъ} = у | Л, г, Пу, г = и, Еу, г = Ъ) =

X

= Е Е Фу(и; Тх)р у(Ъ; Г(5))Р(м(Г(5)) = Г(г),

и = 0 Ъе{ 0,1у }

тах{0, хг + и - Ъ} = х, тт{ хг + и, Ъ} = у). (5)

Аналогичным способом найдём, что для любых Г(г) є Г, х є X, у є Yj, Г(5) є Г, х є X , уі є Yj условная вероятность Р(Гг- + 1 = Г(г), ш у, і + 1 = = х, Е ' у, і = у | Гі = Г(5), Ш у, і = Хі, Е ' у, і - 1 = Уі) вычисляется по формуле (5). Значит, управляемая последовательность ((Гг-, Шу, І, Е у, г- - 1); і ^ 0} является марковской. Непосредственно из (5) для векторной марковской последовательности {(Гі, ш у, „ Е 'у, і- 1); і > 0} следует, что все ее условные вероятности перехода за один шаг не изменяется во времени. Поэтому рассматриваемая цепь будет однородной по времени. Используя терминологию и определения из [2, с. 534-538], покажем следующее утверждение.

Теорема 1. Пространство состояний управляемой векторной марковской последовательности ((Гі, Шу, і, Е у, і - 1); і = 0, 1, ...} разбивается

2т

на замкнутое подмножество и Еу(Г(,?)) сущест-

5 =1

венных периодических состояний с периодом 2т и на незамкнутое подмножество {(Г , х, у):

Г(г) е Г \ Г(2;), х е X,у = 1, ..., у } и {(Г(2;), х,у): х > 0, у = 0, 1, ..., 1у - 1} несущественных состояний, где Еу(Г(5)) = {(Г(5), х, 0): х е X} при 5 е е {1, 2, ..., 2т} \ {2у} и Е;(Г(2;)) = {(ГГ2/), х, I, ): х е е X} и {(Г(2у), 0,у): у = 0, 1, ..., у - 1}.

Доказательство. Используя обозначение вероятности Р(Гг = Г(г), ш у, г = х, Е 'у, г - 1 = у) через функции Q у, г (Г(г), х, у), известную формулу полной вероятности для несчетного числа гипотез {ш: Гг(ш) = Г(5), шу, г(ш) = V, Е 'у, г - 1(ш) = w}, (Г(5), V, w) е Г х X х Yу, соотношение (5) и равенство (2), последовательно найдём:

2т х 1у

Qу, г + 1(Г(Г), х, у) = Е Е Е Qу, г (Г(5), V, w) х

5=1V=0 w=0

х Р(Гг + 1 = Г(г), шу, г + 1 = х, Е ' у, г = у | Гг = Г(5), шу, г =

= V, Е ' у, г - 1 = w) =

2т х 1у

= Е Е Е Qу г (Г(5), V, w) х

5=1V=0 w=0

X Е Е в у(Ь; Г(5))Ф т Т ) X

т = 0 Ьє( 0, і] }

х Р(м(Г(5)) = Г(г), тах(0, V + т - Ь} =

= х, тіп^ + т, Ь} = у) =

х 1у

= Е Е Q ], і (Г(г - 1), V, w) X

V=0 w=0

X

X Е Е в у(Ь; Г(г - 1))ф у(т; Тг - 1) х

т = 0 Ьє( 0, і] }

х Р(тах{0, V + т - Ь} = х, тіп^ + т, Ь} = у), (6)

X

где Г(г) е Г, х е X, у е YJ, Г(0) = Г(2т), Т = Т2т. Принимая во внимание определение функции Ру(Ъ; Г(г - 1)) с помощью равенства (2), обозначение V + т через с и выполняя в связи с этим обозначением соответствующую замену переменных, непосредственно из (6) для г = 2у' и ге{1, 2, ... , 2т} \ {2у} получим два следующих соотношения:

Q ], і + 1(Г(2]), х, у) =

X 11 _

^ | X

= Е Е Q], і (Г(2] - 1), V, w) Е Фу(т; Ту - 1) X

V=0 w=0 т = 0

X Р(тах{0, V + т - ]} = х, тіп^ + т, ]} = у) =

і —1 і і] 1 С і]

= Е Е Е Q], і (Г(2] - Ч V, w) Ф](с - V; Т2] - 1) > с=1у=0 w=0

хP(0 = х, с = у) +

X с 1]

+ Е Е Е Q у, і (Г(2] - :), V, w) X

с = I уу=0 w=0

Q ], і + 1(Г(г), х, у) =

X 1] X

= Е Е Q], і(Г(г- !), V, w) Е фу(т; Т- 1) X у=0 w=0 т = 0

X Р(тах{0, V + т} = х, min(v + т, 0} = у) =

X ^

= Е Е Q ], і(Г(г - !), V, w) Фу(х - V; Тг - 1) X у=0 w=0

хP(x > 0, 0 = у).

2 т

Q у, і + КГ®, х, I]) =

х+іі

і] -1

= Е Q], і(Г(2]), 0, w)фj(x; Т2у) +

w=0

і] -1

+ Е Q у, і(Г(2]), V, і]) Ф](х - V; Ту), (11)

v=0

Q у, і + 1(Г(г), х, 0) =

іі -1

= Е Q ], і(Г(г - 1), V, 0)ф](х - V; Тг - !), (12)

V=0

где г > 1, Г(2т+1) = Г(1) , Г(г) е Г(/) = Г \ {Г(2у), Г(2; + 1)}, х е X, у = 0, 1, ..., 1у - 1. При любом

фиксированном у е 1, т марковская цепь {(Гг, Шу, г, Е 'у, г - 1); г = 0, 1, .} из любого несущественного состояния в начальный момент за один шаг переходит в некоторое состояние

хф](с - V; Т2] - 1) Р(с - і] = х, I] = у) ; (7)

2т

множества и Еу(Г(5)). Поэтому при изучении

5 = 1

вероятностных свойств этой марковской цепи будем в дальнейшем задавать её начальное распределение только на множестве состояний ви-

2т

(8)

Из равенств (7), (8) видно, что для всех г = 0, 1, . ненулевыми остаются только формулы для вероятностей Q] г + 1(Г(2;), 0, у), Qу, г + 1(Г(2;), х, /у), Qу, г + 1(Г(Г), х, 0), где у = 0, 1, ., /у- 1, ге {1, 2, ., 2т} \ {2у}, х е X. Отсюда ясно, что множество

да и Еу(Г(г)). Тогда соотношения (9)-(12) оп-

Г=1

ределяют динамику одномерных распределений марковской цепи {(Гг, Шу г, Е 'у, г - 1); г = 0, 1, .}. Так как функция ф у(и; Т5) > 0 для всех у' е 1, т, и е X, Т5 > 0, 5 е 1, 2т, то соотношения (9)-(12) вычисляют ненулевые вероятности перехода за один шаг марковской цепи {(Гг, Шу, г, Е у, г - 1); г = 0, 1, .} для множества состояний

2т

(Г х X х Yj) \ и Еу(Г(5)) состоит из несущест-

5=1

венных состояний, а соотношения (7) и (8) можно записать в следующем виде:

Qу, г + 1(Г(2;), 0, у) =

у

= Е Qу, г(Г(2у - 1), V, 0)фу(у - V; Ту - 1), (9)

v=0

вида и Еу(Г(г)). Например, из соотношения (9)

г=1

легко определяется условная вероятность перехода за один шаг Р(Гі + 1 = Г(2у), Ш у, і + 1 = 0, Е у, і = = у | Гі = Г(2] - !), ш у, і = V, Е ' у, і - 1 = 0), которая равна фу(у - V; Т2у- ]) > 0, где V = 0, 1, ..., у и у = = 0, 1, ..., 1у - 1. Используя этот факт, нетрудно найти хотя бы одну конечную цепочку переходов марковской цепи из любого состояния (Г(г ),

2т

V, w) є и Еу(Г(г)) в любое состояние (Г(г), х, у) є

2т

г=1

є и Еу(Г(г)) с ненулевой вероятностью. При

г =1

= Е Q], і(Г(2] - 1), V, 0)ф](х + і] - V; Ту - 1), (10)

V=0

Q и і + 1(Г(2] + 1), х, 0) =

этом для всех 5 = 1, 2т, если марковская цепь в начальный момент находится в одном из состояний множества Еу(Г(5 1)), то она на следующем шаге непременно переходит в некоторое состояние из множества Еу(Г(5)) и возвращается с ненулевой вероятностью в это начальное со-

Доказательство. Используя соотношение (10), вычислим функцию Фу, і + і(Г(2]), г, іу):

стояние через 2тг шагов (г = 1, 2, ...). Суммируя всё это, получаем, что для векторной марковской последовательности {(Гг, Шу г, Е 'у г - 1); г = 0,

1, ...} множества Еу(Г(1)), Е;(Г(2)),..’., Е;(Г(2т)) х

представляют собой циклические подклассы фу г + 1(Г(2;), г, /у) = Е Qу г + 1(Г(2;), х, /у) гх =

х + /

состояний замкнутого множества и Е. (Г(г))

г=1

х = 0

существенных состояний с периодом 2т. Теорема 1 доказана.

В [1] подробно изучены свойства условного распределения Р(пу, і = п | Гі = Г(5)) = Фу(п;Т$) =

[п/2] _ 2 (X Т )п-г

V» ^г п-2г г 4 ] ь

= е~хуТ$ Е Сп-гру Я] ~~ г)Г

е г=0 (п - г)!

п є X

случайной величины Пу, г при каждом фиксированном у = 1, 2, ..., т и Т5 = Т1, Т2, ..., Т2т. В частности, для производящей функции Т/Т* г) =

X

= Е Ф у(и; Т)ги указанного условного распреде-

и = 0

ления случайной величины Пу г была приведена формула вида Ту(Т5, г) = ехр{ АуТрг + qjZ2 - 1)}.

3. Рекуррентные соотношения для производящих функций одномерных распределений марковской цепи {(Гг, а* г, Е'у, г - 1); г > 0}

При каждом Г(5) е Г и у е Yу равенство

Фу, і(Г($), г, у) = Е Qj, і(Г\ х, у)х определяет

х = 0

производящую функцию по г (| г | ^ 1), которая соответствует семейству вероятностей Qу, г(Г(5), х, у), х е X. Покажем следующее утверждение.

= Е гх Е &], і(Г(2] 1), V, 0) Ф](х + і] - V; Ту - 1) =

х = 0 V = 0

1] -1

= г - Іі Е і(Г(2] - 1), V, 0)х

V=0

X

хгv Е г х + ] - v фу(х + і, - V; Т2у - 1) +

х=0

г - 1 Е і(Г(2' - 1), V, 0) х

V=1,

X

хг Е Уг х +1у v фу(х + і, - V; Ту - 1) =

х=у-I ,

1]-1

= г - ] Е &у, і(Г(2] - 1), V, 0) х

V=0 X

хг Е У фу(к, Ту - 1) +

к=11 -у

+ г - 1 Е &у і(Г(2] - 1), V, 0) х

V=1,

X

хгv Е г х + ] v фу(х + і, - V; Ту - 1) =

х=у-11

Теорема 2. Для производящих функций вида

Ф], і+1(ТГ(2;), г, і]), Ф], і+1(Г(2] + 1), г, 0), Фу і + 1(Г(г), г, 0), где Г(г) є Г(1), выполняются следующие рекуррентные по і > 0 соотношения:

Ф],і + 1(Г(2]), г, I]) = г - 1 Фу і(Г(2у - 1), г, 0)Ч'/7у - 1, г) -1]-1

- г - 1 Е Qj і(Г(у' - 1), V, 0) х

v=0

1] -1

X

= г - ] Е і(Г(2] - 1), V, 0) г” Е гк ф,(к; Ту - 1) +

V=0

к = 0

+ г - ] Е & і(Г(2у - 1), V, 0) гУ Т/Ту - 1, г) -

У=1

1]-1

- г - 1 Е & і(Г(2] - 1), V, 0) х

V=0

11 -у-1

х гУ Е г Ф](к; Ту - 1), (13)

к=0

11-v -1

хгv Е гк ф](к; Туу - 1) =

к=0

Фу і + 1(Г(2у + 1), г, 0) = Фу і(Г^>, г, і)]] г) +

1]-1

+ Е і(Г(2]), 0, w)Т](T2], г), (14)

w=0

Ф], і + 1(Г(г), г, 0) = Ф], і(Г(г - 1), г, 0)Т](Тг - 1, г) . (15)

(2у)

= г - ] Е & і(Г(2] - 1), V, 0) г1' Т](Ту - 1, г) ■

v=0

1] -1

- г - 1 Е & і(Г(2] - 1), V, 0)х

V=0

X

X

+

X

X

X

у}-V-1

X гУ Е гк фу(к; Т2у - 1) =

к=0

= г - у Фу, г (Г

(2у - 1)

0, г) Т/Ту - 1, г) -

/у-1

■ г - у Е 0, г(Г(2у - 1), V, 0)х

(2у + 1)

Фу, 2т(г + 1)(Г(2), г, /у) = г~Ч Фу, 2тг (Г^, г, /у) X

хехр{ 1уТ (ру г + qу г2 - 1)} +

+ г - 1у ехр{ АуТ(ру г + qу г2 - 1)}х

(2у)

/}-1

Е 0, г(Г(2у), 0, w) -

w=0

/} -1

- г - у Е 0, 2т(г + 1) - 1(Г(2у- 1), V, 0)>

v=0

V=0

/у-V -1

X г Е гк фу(к; Ту - 1). к=0

Алогичным способом, используя соотношения (11) и (12), получим соответственно формулы (14) и (15). Теорема 2 доказана.

Рекуррентные соотношения (13), (14) и (15) не позволяют непосредственно изучить предельное поведение при г ^ X каждой из производящих функций вида Фу, г(Г(2у), г, /у),

Ф, г (Г

/у-у -1

X Е гкфу(к; Туу - 1),

к=0

(16)

Фу, 2т(г + 1)(Г(2у + 1), г, 0)

г, 0), Ф;, ¿(Г , г, 0), где Гг; е Г(/). В связи с этим получим рекуррентные соотношения для производящих функций одномерных распределений векторной марковской цепи {(Гг, Шу, г, Е у, г - 1); г = 0, 1, .} за 2т шагов её перехода. Для этого введём производящие функ-

X

ции: Фу, 2тг(Г(2/), г, /у)= Е Q1, 2тг (Г(2?), х, /у) гх, х = 0

X

Фу, 2тг(Г(2у + 1), г, 0) = Е Q у, 2тг (Г® + 1), х, 0) гх,

х = 0

X

Фу, 2тг(Г(Г), г, 0) = Е Q у, 2тг (Г(Г), х, 0) гх, где

х = 0

у е{0, 1, ...,т}, г е{0, 1, ...}, Г(г) е Г(у'), | г | < 1. Используя выражения (13), (14) и (15), найдём рекуррентные по времени г выражения для производящих функций Фу, 2т(г + 1)(Г(2/), г, /у), Фу, 2т(г + 1)(Г(2у + 1), г, 0), Фу, 2т(г + 1)(Г(Г), г, 0), где Г(г) е Г(/). Обозначим период смены состояний обслуживающего устройства (светофора) через символ Т, т. е. Т = Т1 + Т2 + .+ Т2т. Пусть Г(-2) = Г(2т - 2) г(-3) = Г(2т -3) Г(-2т + 1) = г(1) и

наконец, Т-2 = Т2т - 2, Т- 3 = Т2т - 3, Т- 2т + 1 = Т1.

Справедливо следующее утверждение.

Теорема 4. Для производящих функций вида

Фу, 2т(г + 1)(Г(21), г, /у), Фу, 2т(г + 1)(Г® + 1), г, 0),

Фу, 2т(г + 1)(Г(Г), г, 0), где Г(г) е Гу), | г | < 1, выполняются следующие соотношения:

= г у Фу, 2тг(Г(27 +1), г, 0) ехр{ у (ру г + ql г2 - 1)} +

/у-1

+ Е О, 2т(г + 1) - 1(Г(2), 0, w) Т/Ту, г) -

w=0

/у-1

- г - у Е Ql, г'(Г(2у - 1), V, 0)>

V=0

XZV Е гк фу(к; Ту - 1) Т/Ту, г), (17)

к=0

Фу, 2т(г + 1)(Г(Г), г, 0) =

: г - j Фу, 2тг(Г(г), г, 0) ехр{ 1уТ(ру г + ql г2 - 1)} -

- г - у Т/Т - 1, г) х ... х Т/Ту - 1, г)>

/у-1

Е а

/у-V-1

у=0

у, 2т(г + 1) - 5 - 2

(Г® - 1), V, 0)> XZV Е гк к =0

фу (к; Ту - 1) +

+ Т/Т - 1, г) хТ/Т - 2, г) х... х Т/Ту - 1, г)>

/у-1

X Е 0, 2т(г + 1) - 5 - 1(Г(2), 0, w) Ту(Т2у, г), (18) w=0

где Г(г)е Гу), 5 = г - 2! - 1, если г > у + 1, или 5 = г + 2т - у - 1, если г < 2л

Доказательство. Покажем справедливость соотношений (16), (17) и (18).

1) Используя последовательно выражение (13) однократно, равенство (15) ровно (2т - 2) раз подряд и соотношение (14) однократно, получаем

Ф, 2т(г + 1)(Г(2), г, /у) =

г - у Фу, 2т(г + 1) - 1(Г*-и, г, 0) Т/Ту - 1, г)

/у-1

- г - у Е 0у, 2т(г + 1) - /Г® - 1), V, 0)> у=0

(2у - 1)

X

X

11 -у -1

хгv Е гк фу(к; Ту - 1)

к=0

= г - ] Ф], 2т(і + 1) - 2(^ Ч г, 0)Т](Т2] - 1, г)

(2у - 2)

1]-1

<Т](Т2]- 2, г) - г- 1 Е &, 2тіі + 1) - 1(Г(2]- 1), V, 0)х

!=0

11-v -1

х гv Е гк фу(к; Ту - 1)

к=0

= г ] Ф,

2т(і + 1) - 2т + 1(Г(2] 2т 1), г 0)х

Т](Т2] - 1, г) Т](Т2] - 2, г)х ... хТ](Т2]

- 2т + Ь г) "

іі -1

- г ] Е &у,

- г ./ ^

2т(і + 1) - 1(

у=0

іі -v -1

(Г(2] - 1), V, 0)х

х гУ Е гк фу(к; Ту - 1)

к=0

= г ] Ф,

], 2т(і + 1) - 2т + 1

(Г

(2] - 2т + 1)

, г, 0)

П ВД, г)

к є {1, 2, 2т} 1 {2]}

П

х к є {1, 2, Гут} \ {2]} г) Т](T2], г) +

П

к є {1, 2, ..., 2т} \ {2]}

+ .. . 1А. ]к, г)х

1]-1

х Е & і(Г(2у), 0, *) Т](Т2], г) -*=0

1] -1

- г - 1 Е &], 2т(і + 1) - 1(Г(2] - 1), V, 0)> !=0

11-v-1 х гУ Е гк фу(к; Ту - 1).

к=0

Итак, в результате этих преобразований получим, что

Фу, 2т(і + 1)(Г(у), г, I]) = г - 1 Ф], 2ті (Г(2]), г, I]) х хехр{ 1]Т(ру г + я, г2 - 1)} +

+ г - 1у ехр{ ХуТ (ру г + я, г2 - 1)}х

1]-1

- г - 1у Е &], 2т(і + 1) - 1(Г(2] - 1), V, 0)х

!=0

1]-v -1

х гv Е гк фу(к; Ту - 1)

к=0

= г - 1 П ВД, г)х

к є {1, 2, ..., 2т} \ {2]}

х ( Ф], 2ті(Г(2у - 2т), г, I]) Т](Т2], г) + 1]-1

+ Е & і(Г(2]), 0, *) Т](Т2], г) ) -*=0

1] -1

- г - 1 Е & 2т(і + 1) - 1(Г(у' - 1), V, 0)х !=0

1]-1

Е & і(Г(у), 0, *)

*=0

і] -1

- г - 1 Е & 2т(і + 1) - 1(Г(у' - 1), V, 0)х

v=0

/у-V-1 X г Е гк фу(к; Туу - 1). к=0

Это и доказывает истинность рекуррентного выражения (16) для производящих функций вида Фу, 2т(г + 1)(Г(2/), г, /у).

2) Используя последовательно выражения (14) и (13) однократно и формулу (15) в точности (2т - 2) раз подряд, получаем

Фу, 2т(і + 1)(Г(2] + 1), г, 0) = Ф], 2т(і + 1) - 1^, г, ])

х ]] г) +

(2у)

11 -у -1

х гv Е гк фу(к; Туу - 1) =

к=0

= г - 1 Ф], 2т(і + 1) - 2т(Г(2] - 2т), г, 1у)х

1Е -1

+ &], 2т(і + 1) -

*=0

1(Г(2]), 0, *) Т](Т2], г)

= г - 1 Ф], 2т(і + 1) - у(Г(2] - 1), г, 0) Т](Т2] - 1, г)х

X

X

X

X

/у-1

X Т/Ту, г) - г- у Е О, ¿(Г(2у - 1), V, 0)X

V=0

/у -у-1

X г Е гк фу(к; Ту - 1) Т/Ту, г) + к=0

/у-1

+ Е 0; 2т(г + 1) - 1 (Г(2l), 0, w) Т/Ту, г) =

w=0

г - у Фу 2т(г + 1) - 3(^ Ч г, 0) Т/Ту - у, г)

(2у - 2)

X Т/Туу - 1, г) Т/Ту, г) -

/у-1

- г - у Е О, ¿(Г(2у - 1), V, 0)x

V=0

/у -у -1

XZV Е гк фу(к; Ту - 1) Т/Ту, г) +

к=0

/у-1

+ Е О, 2т(г + 1) - 1 (Г(21), 0, w) Т/Ту, г) =

w=0

= г - у Ф ^(Г® +1 - 2т), г, 0) П Т(Т, г) -

л 2тгЧ ’ ’ 'к е {1, 2, 2т} А к ;

/у-1

г - у Е О, ¿(Г(2у - 1), V, 0^

V=0

/у-V-1

X zV Е гк фу(к; Ту - 1) Т/Ту, г) + к=0

/у-1

+ Е О; 2т(г + 1) - /Г®, 0, w) Т/Ту, г).

w=0

Следовательно, окончательно имеем равенство (17):

при г > у + 1 или в точности 5 = г + 2т - у - 1 раз подряд при г < у. Затем воспользуемся соотношениями (14) и (13) однократно. Наконец, выражение (15) применим ровно (2т - 2 - 5) раз подряд. Все это дает возможность получить для производящих функций Фу, 2т(г + 1)(Г(г), г, 0), Г(г) е Г(/), рекуррентные выражения. Действительно, последовательно получаем:

Ф, 2т(г + 1)(Г(г), г, 0) = Фу 2т(г + 1) - 1(Г(г - 1), г, 0)x X Т/Тг - 1, г) = ... =

= Фу, 2т(г + 1) - 5(Г(у + 1), г, 0) Тl(Tг - 1, г) Т/Т - 2, г) х X... хТ/Ту + 2, г) Т/Ту + 1, г) =

= Фу 2т(г + 1) - 5 - Л г, /у) Тl<Tг - 1, г) Т/Т - 2, г) х х ... хТ/Ту + 1, г) Т/Ту, г) +

+ Т/Т - 1, г) Т/Т- - 2, г) х ... х Т/Ту + 1, г) X /у-1

X Т/Ту, г) Е О; 2т(г + 1) - 5 - 1X(Г(21), 0, w) =

w=0

= г - 1у Фу, 2т(г + 1) - 5 - у(Г(^ - 1), г, 0) х хТ/Т - 1, г) х ... х Т/Ту - 1, г) -

- г - 1у Т/Тг- 1, г) х ... х

/у-1

: Т/Ту - 1, г) Е Оу, 2т(г + 1) - 5 - 2(Г(2у - 1), V, 0^

v=0

/1-V -1

X 2 Е гкфу(к; Туу- 1) + Ту(Тг- 1, г) х ... х

к=0

Ь-1

X Тl(T2l - 1, г) Е Оу, 2т(г + 1) - 5 - 1(Г(у), 0, w) w=0

Фу, 2т(г + 1)(Г® + 1), г, 0)

<Т/Ту, г) = г - у Фу

у, 2т(г + 1) - 5 - 3

(Г® - 2), г, 0)>

г у Фу, 2тг(Г^ г, 0)ехр{ ХуТ (ру г + ц г - 1)}

(2у +1)

/у-1

- г - у Е Оу, ¿(Г(2у - 1), V, 0) ¿х

V=0

/у ^-1

X Е г фу(к; Ту - 1) Т/Ту, г) + к=0

/у-1

+ Е Оу, 2т(г + 1) - 1 (Г(у), 0, w) Т/Ту, г).

w=0

3) Считаем теперь, что Г(г)е Гу Ниже используем, в общем случае, последовательно равенство (15) ровно 5 = г - 2; - 1 раз подряд

xТl(Tг - 1, г) х ... х Т/Ту - 1, г)Т/Ту - 2, г) -- г - 1у Ту(Тг- 1, г) х ... х

/у-1

<Тl(T2l - 1, г) Е Оу, 2т(г + 1) - 5 - 2(Г(27 - 1), V, 0)X

V=0

/1 -у -1

X г Е гкфу(к; Ту- 1) + Т/Т- 1, г) х ... х

к=0

/у-1

X Т/Ту - 1, г) Е Оу, 2т(г + 1) - 5 - 1(Г(у), 0, w)x w=0

Т/Ту, г) = ... = г - у Фу, 2тг(Гг>, г, 0)

(г)

X

X

X

2т

П ЧКТь г) - г - 1 Т](ТГ - 1, г) х ... х

к = 1

1]-1

■у - 1, г) Е & 2т(і + 1) - , - 2(Г(у' - 1), V, 0)х !=0 1] -У-1

х гv Е гк фу(к; Ту - 1) + к=0

+Ч'<ТГ - 1, г) х ... х Т/Ту - 1, г) х

1]-1

х Е & 2т(і + 1) - , - 1(Г(2]), 0, *) Т/Ту, г). *=0

Ф](Г(2]), г, I]) =

= г 1у Ф/Г(2]), г, і,) ехр{ ХуТ (р, г + я, г - 1)} +

+ г 1у ехр{ХуТ(руг + я,г - !)}>

1]-1

1]-1

Е &](Г(2у), 0, *) - г - ] Е &](Г(2] - 1), V, 0)х

*=0 V=0

11 -у -1

х гУ Е гк фу(к; Ту - 1),

к=0

(19)

Итак,

Фу, 2т(і + 1)(Г(Г), г, 0) = г - 11 Ф], 2ті(Г(г), г, 0) хехр{ ХуТ(ру г + я, г2 - 1)} -

- г - 1у Т/ТГ - 1, г) х ... х

1]-1

х Т/Ту - 1, г) Е &], 2т(і + 1) - , - 2(Г(у' - 1), V, 0)х !=0

1] -у -1

х гv Е гкфу(к; Ту- 1) + Т/ТГ - 1, г) х ... х

к=0

1]-1

: Т/Ту - 1, г) Е О/, 2т(і + 1) - 5 -

1(Г(2]), 0, *)Т/Ту, г),

*=0

Соотношение (19) получается из (16), если в качестве начального выбрать стационарное распределение. Разложим функцию г,(г) =

= г - 1у ехр{ХуТ(ру г + яу г - 1)} в ряд Тейлора в левой окрестности точки г = 1:

Г](г) = г- 1] ехр{ Х]Т(ру г + я,г2 - 1)} 1г = 1 +

+ (-і— 1у- 1ехр{ХуТ(р/г + яуг2 - 1)} +

+ ХуТ(ру + 2яг)г~ 1уехр{ХуТ(р]г + ] - 1)})1г = 1(г - 1) + + о (г - 1) = 1 + (ХуТ (1 + яу) - 1у)(г - 1) +

+о(г - 1). (20)

Разложим в ряд Тейлора в левой окрестности точки г = 1 также и функцию

где Г(г) е Гу 5 = г - у - 1, если г > у + 1, или 5 = г + 2т - у - 1, если г < у. Этим доказана истинность рекуррентного выражения (18) для производящих функций Фу, 2т(г + 1)(Г(г), г, 0), Г(г) е Гу Имеет место следующее утверждение.

Теорема 5. Для существования единственного стационарного распределения последовательности {(Гг, Шу, г, Е 'у, г - 1); г = 0, 1, .} необходимо ХуТ (1 + Яу) - /у < 0.

Доказательство. Пусть существует стационарное распределение последовательности {(Гг, Шу, г, Е у, г - 1); г = 0, 1, .}, которое обозначим

2т

через

Г=1

Ау(г) = г 1уехр{ХуТ(руг + яуг2 - !)}>

1]-1

1]-1

Е 0,(Г(2]), 0, *) - г - 1 Е ^(Г2'" - 1), V, 0)х

*=0

V=0

11 -у -1

X г Е гк фl(k; Ту - 1). к=0

Прежде преобразуем это выражение, используя формулу (9). В случае стационарной векторной марковской последовательности {(Гг, Шу г, Е у г - 1); г = 0, 1, .} выражение для ве-

’! у, г +1(

вид:

роятности & у, і + 1(Г(2]), 0, у) имеет следующий

Ш/Г« х, у): (Г(5), х, у) є и £](Г(Г))}.

В дальнейшем будем проводить рассуждение для производящей функции Фу(Г(2у), г, /у) =

X

= Е еут®, х, у гх. Так как существует стах = 0

ционарное распределение, то можно записать следующее соотношение для указанной производящей функции Фу(Г(2у), г, /у):

Q/Г(2]), 0, *) = Е &](Г(2у - 1), V, 0] - V; Ту - 1).

V = 0

Тогда для Ау(г) получим:

Ау(г) = г - 1у ехр { ХуТ (р, г + я' г2 -1)} > 1]-1

х Е 0, *) -

*=0

X

X

X

X

X

lj -1

ф<Г(2Л, z, Ij) = ф(ГУ z, j) (1 + )(1 + q) - l)> x(z - 1) + o(z - 1)) + l]-1

+ (z - 1) E QQ™, 0, w) )(1 + q) - w) +

w=0

+o(z - 1).

Преобразовывая это выражение, найдем:

42/)

- z- l Е Q/(r(2/- 1), V, 0) і у

v=0

lj-v-1

у Е zk jk; T2j - i) = z - l у k=0

l j -1

уexp{ 1/T(pj z + q/ z2 - i)} Е Qj(r(2j), 0, w) -

w=0

lj-1 lj-1

lj-1

- z - j Е Е Q{T®- 1), V, 0) )x

w=0 v=0

хф/w - v; T2j - 1) zw =

= z- lj exp{j (pj z + qj z2 - 1)}x

lj-1

Е Qjrj 0, w) - z - j Е Q/QTj 0, w)zw

w=0

w=0

lj -1

: z lj Е (exp{ j (pj z + qj z - 1)} - zw)x

w=0

х0^(Г(2/), 0, w).

Легко проверить, что A](1) = 0 и

l, -1

d

dj) = Е о,(г(2/), 0, w) X

dz w=0

x [z lj(XjT(pj + 2q/z)exp{X/■T{p/z + qjz2 - 1)} -wzw - 1) - ljz - ^(exp^Tpz + qyz2 - 1)} - zw)- 1)],

dA(z)\z = 1 = Е j®, 0, w) j(1 + q) - w).

dz z 1 w=0

Поэтому Aj(z) можно представить в виде Aj(z) = A/(1) + (z - 1) ( d,A(z) \ z = 1) + o(z - 1) =

l j -1

l j -1

= (z - 1) E Q](r(2]), 0, w) )(1 + qj) - w) +

w=0

+ o(z - 1). (21)

Подставим найденные выражения (20) и (21) в формулу (19) и получим:

0 = Ф/Г® г, /ДХД1 + Я) - у +

/l-1

+ Е О/Гу 0, w)[ХlT(l + я!) - w] +

w=0

+ о(г - 1) / (г - 1).

Пусть г - действительное число; переходя теперь к пределу при г ^ 1 и г < 1, можно последовательно найти:

0 = Ф/Г® г, у (ХуТ(1 + я) - /у) +

/у-1

+ Е О/Г®, 0, w)[ХT(l + я) - w],

w=0

/} -1

0 = [Ф/Г1®1, г, /у) + Е О/Г1®1, 0, w)]x

w=0 /} -1

X [ХуТ(1 + я) - у + Е (/у - w)Ql(Г(2l), 0, w)-w=0

l] -1

Т ак как Ф]-(Г(2]), z, lj) + E 0/(Г(2]), 0, w) > 0 при

w=0

z > 0 и 0,(Г(2]), 0, w)(l] - w) >0, w = 0, 1, ..., l] - 1, то необходимо выполнение неравенства X]T(1 + + qj) - l] < 0. Теорема 5 доказана.

Список литературы

1. Федоткин А.М. Математические модели транспортных потоков на автомагистрали и на управляемом по циклическому алгоритму перекрестке / Нижегородский госуниверситет им. Н.И. Лобачевского. 2009. с. 30. Деп. в ВИНИТИ 11.01.09, № 5-В2009.

2. Ширяев А.Н. Вероятность. М.: Наука,

1980.

х

PROPERTIES OF A CONTROLLED VECTOR COUNTABLE-STATE MARKOV CHAIN SATISFYING RECURRENT RELATIONS

A.M. Fedotkin

Invariant properties of a finite assemblage of controlled vector countable-state Markov chains are considered. Each Markov chain is given by a functional relation and a set of random variables. A full Kolmogorov classification of state space for such controlled Markov chains has been carried out. Easily verifiable necessary conditions for the existence of a stationary distribution for such controlled vector countable-state Markov chains are defined in terms of distribution parameters.

Keywords: controlled vector Markov chain, essential and inessential states, cyclic subclasses, one-dimensional distributions of a Markov chain, generating function, stationary distribution.