Определение стационарного режима рекуррентных марковских цепей итеративно-мажорантным методом Текст научной статьи по специальности «Математика»

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ОПТИМАЛЬНОЕ УПРАВЛЕНИЕ

УДК 519.21

ОПРЕДЕЛЕНИЕ СТАЦИОНАРНОГО РЕЖИМА РЕКУРРЕНТНЫХ МАРКОВСКИХ ЦЕПЕЙ ИТЕРАТИВНО-МАЖОРАНТНЫМ МЕТОДОМ

© 2009 г. А.М. Федоткин

Нижегородский госуниверситет им. Н.И. Лобачевского [email protected]

Поступила в редакцию 15.04.2009

Изучаются предельные свойства одномерных распределений конечного семейства управляемых векторных марковских цепей со счётным числом состояний. При этом компоненты марковской цепи определяются некоторым функционально-рекуррентным соотношением. Предлагается эффективный метод определения достаточных условий существования стационарного распределения целого класса управляемых векторных марковских цепей.

Ключевые слова: рекуррентная марковская цепь, одномерное распределение, производящая функция, стационарное распределение, итеративно-мажорантный метод, нелокальное описание потоков событий.

Введение

Пусть (О, 3, Р(0) — основное вероятностное пространство, ю — произвольный элемент достоверного события О и Р(А) — вероятность события А, где А е 3 и А с О. Эта статья является непосредственным продолжением работы [1]. Поэтому исходным материалом для нас послужат обозначения и результаты из [1]. В работе [1] рассматриваются инвариантные свойства конечного семейства {(Г,(ю), Жу, ,(ю), ^ у, _ 1(ю)); г > 0}, j = 1, 2, ..., т, из управляемых векторных марковских цепей с пространством состояний вида Г х X х у. При этом множество

Г тЧ1) тЧ2) тЧ2м)

Г содержит элементы Г , Г , . , Г , множество X = {0, 1, ...} и множество Уу = = {0, 1, ..., /у}, где т > 2 , /1, /2, ..., /т - заранее заданные натуральные числа. Каждая марковская цепь {(Г,-, Жу ,-, ^'у, _ 1); г > 0} рассматривается на основном вероятностном пространстве (О, 3, Р(-)) и задаётся рекуррентно-функциональным соотношением

(Г+ 1, Жу, + 1, £, 'у, ,) = (и(Г),

тах{0, Жу, + п,, - й ,}, тт{Жу, + п, ,, ,}), (1)

циклическим отображением и(Г(5)): Г ^ Г вида

и(Г(5)) =

Г(^ 1 при 5 = 1, 2, 2т - 1;

Г(1) при 5 = 2т ,

(2)

и некоторым семейством случайных величин Пу, ,(ю) е X и ^у, ,(ю) е Уу. В [1] считается, что при

Г^ е Г, хк е X, ук е у, Г^ = Г(5), к = 0,7 и Ао, , = {ю: Гк(ю) = Г(Ч Жу, к(ю) = Хк, £, ' у, к - 1(ю) = Ук, к = 0,7} условные распределения случайных величин П; , и ^у, , удовлетворяют равенствам:

Р(П, , = п | Ао, ,) = Р(Пу, , = п | Г, = Г(5)) =

е

= ф у(п; =

[п/2] , (1 .Т )п'

— Г п -2 г г у J s

п-г Ру Чу —--

г=0 (п - Г)!

(3)

п е X,

Р(£у,= Ъ | Ао, Пу, , = п) =

= Р(у = Ъ | Г, = Г(5) ) = ву(Ъ; Г(5)) =

1, если Ь = ^ и г1^ = г(27' - 1;

1, если Ь = 0 и г(^еГ \ {г(2/ - 1')}; (4)

0 в остальных случаях.

В соотношениях (3) и (4) при j = 1, 2, ., т и

5 = 1, 2, ., 2т числа Ау, Г5, р, ду = 1 - р, /у строго положительные и являются параметрами условных распределений величин п, и £у, ,-, а символ [п/2] означает целую часть числа п/2. При этом параметры Ау и р фиксированы, а величины 71, Т2, ..., Т2т, /1, /2, ..., /т, можно выбирать. Поэтому при каждом j = 1, 2, ..., т векторная случайная последовательность {(Г,-, Жу, ,-, £ 'у, - 1); г > 0} будет управляемой. В [1] проведена полная классификация по Колмогорову пространства Г х XX Уу состояний такого рода управляемых марковских цепей. В терминах параметров распределений (3) и (4) были определены легко проверяемые необходимые условия существования стационарного распределения семейства {(Г,-, Жу, ,-, £ у, - 1); г > 0}, j = 1, 2, ., т, из управляемых цепей Маркова.

—1 2

Ay, 2mi(z) = z yexp{y(p/z + qyz - 1)}X

I Qy, 2т,(Г(2у), 0, w) - z - yX

w = 0

^ Qy, 2m(i + 1) - 1(Г(2У - !), V, 0)ZVX

v = 0

l j - v - 1

X Z zk 9y(k; 72 - 1).

k = 0

Для остальных последовательностей из производящих функций рассуждения аналогичные. Далее, построим доказательство от противного и в два этапа.

а) Итак, имеем Ау-7 (1 + qy) - ly < 0. Пусть не существует стационарного режима работы системы. В этом случае [5, с. 549 - 550] имеем lim Qy 2mi(r(s), x, j) = 0 при любых допусти-

Достаточное условие существования стационарного распределения управляемой цепи Маркова {(Г, - 1); I > 0}

Прежде всего, получим ограничения на параметры условных распределений случайных величин п, и £у,,, при которых каждая управляемая векторная марковская цепь вида {(Г,-, Жу,,-, £ 'у,_ 1); г > 0} имеет единственное стационарное распределение и не происходит неограниченное увеличение при г ^ да математического ожидания МЖу,случайной величины Жу,при любом j = 1, 2, ., т. Справедлива следующая теорема.

Теорема 1. Для существования единственного стационарного распределения последовательности {(Г,-, Жу, ,-, £ 'у, ,-1); г = 0, 1, ...} при Т = Т1 + Т2 + ...+ Т2т достаточно выполнения неравенства АуГ(1 + у - /, < 0.

Доказательство. Доказательство теоремы проводится итеративно-мажорантным методом [2-4], который основан на анализе рекуррентных соотношений (16)-(18) из [1] для произво-

-42/ + 1)

дящих функций Фу, 2т,(Г , 7, /у), Фу, 2т,(Г

0), Фу, 2т,(Г(г), 7, 0), где Г(г) е Г(т) = = Г \ {Г(2у), Г(2у + 1)}. Подробно рассмотрим рассуждения на примере соотношения (16) из [1]

Ф/, 2m(i + 1)(Г(2/), z, ly) =

= r/(z) Ф/, 2т/(Г(2/), z, ly) + Ay 2mi(z),

где

ry(z) = z y exp{X/7(pyz + qyz2 - 1)},

(5)

мых 5, х, у Оценим математическое ожидание МЖу, 2т,- случайной величины Жу, 2т,- при г ^ да. Для этого представим математическое ожидание МЖу, 2т,- в следующем виде:

да 2т 1 ]

МЖу, 2т, = Е X £ £ бу, 2т,(Г(Г), X, .у) =

x = 0 r = 1 y = 0

I

Г(г)еГ \{Г(2у)} x = 0

Z xQy, 2м,(Г(Г), x, 0) +

+ Z xQy 2т,(Г(2у), x, ly) + Z 0

x = 0 y = 0

X Qy, 2м,(Г(2у), 0, y) = N

I

Г(г)ег \{Г(2у)} x = 0

Z xQy, 2м,(Г(г), x, 0) +

+ Z

Z x 0,2™{Г(г), x, 0) +

r(r^ег \{Г(2уx = N+1

N (2y)

+ Z x Qy 2т!(Г(у), x, ly) +

x = 0

0О

+ Z x Qy, 2т!(Г(2у), x, ly) >

x = N+1

I

Г(г^ег \{Г(2у^} x = N+1

Z x 0/,2т!(Г(г), x, 0) +

+ Z x Qy, 2т/(Г( , x, ly) >

x = N+1

> N ( I

Z Qy, 2т/(Г(Г), x, 0) +

r(r>ег \{Г(2j)} x = N+1 ад

+ Z Qy, 2м,(Г(2у), x, ly)) =

x = N+1

X

X

ад

ад

X

ад

ад

>

0

ад

= N (1

I

N

Г(г)єг \{Г(2у)} x = 0

I Öj, 2т!(Г(Г), X, 0)

I Öj, 2mi(r(2j), X, // - I Öj, 2mi(r(2j), 0, y)).

(2j)

x = 0

y = 0

,(s)

I

I Öj, 2м,(Г(Г), X, 0) +

r(r}єг \{Г(2уx = 0

N (2j)

+ I Öj, 2ті(Г( ), X, /у) +

x = 0

l j - 1

| Z - У E Öj, 2m(i + 1) - l(r(2j - !), v, 0)Z

X

v = 0 l J - v - 1

X Z z Ф#; T2j - i)| <

k = 0

< | z - /j'exp{A7T (p, z + q, z2 - 1)} | +

/ j - 1 w

+ | Z - У I E Öj, 2m(i + 1) - 1(Г(2/' - 1), V, 0) X

w = 0 v = 0

x 9j(w - v; Tzj - 1) zw| <

/, - 1

< rj(z) + Z У I Öj, 2m(i + 1)(r(2j), 0, w)zw =

<2у) П

w = 0

/j - 1

= r/Z) + I Öj, 2m(i + 1)(r(2j), 0, W)Z W - У < K2j < 2,

w = 0

Так как lim Ö/, 2m,<P , x, J) = 0 пРи s =

i^+rn

= 1, 2, ..., 2m , x є X и у є Y,, то для любого натурального N и для любого є > 0 найдётся номер /(N, є), что при всех i > /(N, є) будет выполнено:

N

+ Е О/, 2ті(Г( , 0, у) < Є и МЖу, 2ті ^ N(1 - є).

У = 0

Другими словами, математическое ожидание длины очереди Мж/, 2ті по потоку П/ стремится к бесконечности при і ^ да.

й) Рассмотрим соотношение (5) и функцию

г/г). Так как г,(1) = 1 и г/(г)| г = 1 = - /,■ +

+ Х/Г (1 + / < 0, то существует такое число г > 1, что в области В = {г: 1 < г < г } верно неравенство г/г) < Ь Используя формулу для А/, 2ті(г) , оценим значение А/, 2ті(г) в области В:

| А/, 2ті(г) | < | г - у ехр{/ (р/ г + ^ г2 -

1У - 1

-1)} I О/, 2т,(Г(2/), 0, М>) | +

^ = 0 1 у - 1

где К2у - некоторая константа. Выберем для цепи Маркова {(Г,, Жу, ,, £ у, , - 1); г > 0} начальное

распределение {бу, 0(Г(5), х, у): (Г(5), х, у) е Г х X

(2у) *

х у} такое, что Фу, о(Р , 7 , /у) < да. Это всегда можно сделать, если в качестве начального распределения выбрать вырожденное распределение 0у, о (Г (2у); 0; /у) = 1 и бу о(Г(5), х, у) = 0 для всех (Г(5), х, у) е Г х X х Уу \ {(Г (2у); 0; /у)}. Напомним, что при наличии единственного неразложимого класса существенных состояний поведение марковской цепи со счетным числом состояний не зависит от начального распределения. Построим новую последовательность

функций { Фу, 2т;'(Г(2у), 7, /у); г = 0, 1, ...}, которая

определяется равенством Ф у, о(Г(2у), 7, /у) =

(2 ) *

= Фу, о(Р , 7 , /у) и рекуррентным соотношением

Ф у, 2т(, + 1)(Г(2у), г, /у) =

= Гу^) Ф у, ^{Г2», 7, /у) + Ку (6)

Очевидно, что |Фу, 2m;'(Г(2/), 7, /у)| < | Ф у, 2,™^^ ), 7, /у)| при всех г = 0, 1, ... Так как в области В выполняется неравенство гу^) < 1, то известно [6, с. 605-606], что отображение (6) будет сжимающим. Поэтому последовательность

{Фу, 2т;'(Г(2у), ^ /у); г = 0, 1, ...} сходится и ограничена, т. е. | Фу, 2m;'(Г(2/), 7, /у)| < С2у и |Фу, 2т,(Г(:у), 7, /у)| < С2у для всех г = 0, 1, ... и 7 е В. Так как функции Фу, 2т,(Г(2у), 7, /у), г = 0, 1, ..., являются аналитическими в области О = ^: | 7 | < 7 }, то они имеют ограниченные производные в этой области [7, с. 80-86], и, значит,

| 4- Ф/ 2mi(r(2j), Z, /у) | < Ly

dz

(7)

Как уже отмечалось ранее, для остальных рекуррентных соотношений (17) и (18) из [1], которые определяют последовательности из производящих функций Ф , 2т,(Г(5), 7, 0), г > 0,

5 е {1, 2, ..., 2т} \ {2/'}, рассуждения аналогичны. Поэтому приведем для них следующий конечный результат:

|-^ Фу, 2т,(Г(5), 7, 0)| < Ь„ ах

5 е {1, 2, ..., 2т} \ {2Л. (8)

Теперь оценим математическое ожидание МЖу, 2т,- случайной величины Жу, 2т,-, используя свойства (7) и (8) производящих функций:

Мж

7, 2mi '

r(r>єГ \{Г(2j)}

dz

ф,

, 2ті(Г(2У), z, /у) | z = 1 < І Lr.

2m

r = 1

+

Значит, величина МЖу,2т,- ограничена при любом г = 0, 1, ... Отсюда получили противоречие. Итак, при Ху Г (1 + у - /у < 0 стационарное распределение существует. Теорема 1 установлена.

Пусть Ж, = (Ж1, ,-, Ж2, ,-, ., Жт, ,) и £ ' - 1 = (£ '1, - 1, £ '2, , - 1, ..., £ 'т, - 1). Тогда, применяя методику работы [1] и этого раздела для последовательности {(Г,-, ж,-, £',- 1); г = 0, 1, ...}, легко показать следующее утверждение.

Теорема 3. Для существования стационарного распределения управляемой марковской последовательности {(Г,-, ж,-, £ '- 1); г = 0, 1, ...} необходимо и достаточно выполнения неравенств ХуГ (1 + у - /у < 0, j е {1, 2, ..., т}.

Из этих теорем следует, что для семейства {(Г,-, Жу, ,-, £ 'у, ,- - 1); г > 0}, у е 1, да , из управляемых векторных марковских цепей возможно существование стационарного распределения как для отдельной управляемой векторной марковской цепи, так и для всего указанного семейства в зависимости от выполнения соответственно неравенства Ху Г (1 + у - /у < 0 только лишь при каком-либо j или же т неравенств ХуГ (1 + у -

- /у < 0, у е 1, да .

Р(Г, = Г(2у)) = Ё бу, ,{Г<у х, /у) +

х = 0

+ I бу, ,(Г(27), 0, у) =

У = 0

да х + / .

= X I бу, , - 1(Г(2у - 1), V, 0)

у

х = 0 V = 0

X фу(х + /у - V; Гу - 1) +

I-1 у

+ I X бу, , - 1(Г(2у - 1), V, 0)фу(у - V; Г2у - 1) =

у = 0 V = 0

ГО у

= XX бу, , - 1(Г(2у - 1), V, 0)х

у = /у V = 0

хфу(у - V; Г2у - 1) +

X X бу, , - 1(Г(2у - 1), V, 0)фу(у - V; 72у - 1) =

у = 0 V = 0

ГО у

= XX бу, , - 1(Г(2у - 1), V, 0)фу(у - V; Г2у - 1) =

у = 0 V = 0

= X бу, , - 1(Г(2у - 1), V, 0) X фу(у - V; Г2у - 1) =

V = 0 у = V

Вычисление стационарных вероятностей

= X бу, , - 1(Г(2у - 1), V, 0) =

V = 0

Запишем выражения (9)-(12) из [1] для стационарного распределения:

У

б<Г<у, 0, у) = X - 1), V, 0)фу(у - V; 72у - 1),

V = 0

X +1 j

ОТ®, х, /у) = I бу(Г(2у - 1), V, 0)фу(х + /у. - V; Г2у - 1), V = 0

1 j -1

ОДГ^ + 1), х, 0) = I бу(Г(2), 0, ^)фу(х; Г2у) +

^ = 0

х

+ X бу(Г(:у), V, /у)фу(х - V; Г2у),

V = 0

X

бу(Г(г), х, 0) = X бу(Г(г - 1), V, 0)х V = 0

хфу(х - V; Гг - 1), (9)

где Г(г) е Г(/), х е X, у е {0, 1, ., 1 у - 1}. Последовательно вычислим вероятность Р(Г, = Г(2у)), предворительно полагаем, что начальное распределение является стационарным:

= X бу, ¿Г® - 1), V, 0) = Р(Г, = Г(2у - 1)).

V = 0

Аналогично для Р(Г,- = Г(2у + 1)) получаем:

Р(Г,- = Г(2у + 1)) = X о, ,-(Г(27 + 1), х, 0) =

х = 0

да 1 у - 1

= X X бу, , - 1(Г(2у), 0, ^)фу(х; Г2у) + х = 0 w = 0

да х

+ X X бу,, - 1(Г(2у), V, /у) фу(х - V; Г2у) =

х = 0 V = 0

= X бу, , - 1(Г(2у), 0, + X бу, , - 1(г(2Л, V, /у) =

w = 0

V = 0

I у - 1

= X бу, ^ 0, + X бу, ,{Гу V, /у) =

™ = 0 V = 0

= Р(Г ,- = Г(2у)).

Наконец, рассуждая подобным способом для Р(Г,- = Г(г)), где Г(r)еГ(/'), имеем:

+

ГО

го

го

го

да

да

да

Р(Г, = Г(г)) = X О/, ,(Г(г), X, 0) =

да X

= X X О/, і- 1(Г(Г - 1), V, 0/ - V; Г - 1) =

х = 0 V = 0 да

= X О/, ,■ - 1(Г(Г - 1), V, 0) X <р/х - V; Гг - 1) =

V = 0

да

X = V

да

= X б, , - 1(Г(Г - 1), V, 0) = X б, ,(Г(Г - 1), V, 0) =

V = 0 V = 0

= Р(Г, = Г(г - 1)).

Учитывая всё это и Р(Г,- = Г(1)) + Р(Г,- = Г(2)) + + ... + Р(Г,- = Г(2т - 1)) + Р(Г , = Г(2т)) = 1, найдем, что Р(Г ,- = Г(г)) = 1/2т для всех Г(г) е Г, если начальное и стационарное распределения совпадают. Заметим, что в силу соотношения (1) вероятность Р(Г ,- + 1 = Г(г) | Гк = Г(5к), к = 0, г) = = Р(и(Г ,) = Г(г) | Гк = Г(5к), к = 07) = Р(и(Г(5 °) =

- к '

= Г(г) | Гк = Г(ік), к = 0, і) = Р(и(Г(я)) = Г(г)) и роятность Р(Г, + 1 = Г(г) | - = Г(і!)) = Р(и(Г,) = = Г(г) | Г,- = Г(ік)) = Р(и(Г(я)) = Г(г)). Отсюда с учётом равенства (2) вытекает, что случайная последовательность {Г ,; і = 0, 1, ...} является марковской с периодом 2т. Поэтому результат Р(Г , = Г(г)) = 1/2т является вполне ожидаемым.

Перейдём теперь к получению соотношений между стационарными вероятностями О/(Г(г), 0, 0), Г(г) є Г и О/(Г(2/), 0,у), у є {1, 2, ..., /7}. Из соотношения (9) имеем:

О/(г(1), 0, 0) =

= Ф/0; г2т)е,(г(2т), 0, 0), О/(Г(2), 0, 0) =

= ф/(0; Г1)О/(Г(1), 0, 0), ..., Є/(Г(2/ - 1), 0, 0) =

= ф/(0; Гу - 2) X О/(Г(2/' - 2), 0, 0), О/(Г(2/), 0, 0) =

= ф/0; Ту - 1)бу(Г(2у - 1), 0, 0), б/Г^ + ", 0, 0) =

1;

= Фу(0; Ту) X бу(Г(2у), 0, у), бу(Г(2у + 2), 0, 0) = у = 0

= бу(Г(2у + 1), 0, 0)фу(0; Ту + 1), ., бу(Г(2т), 0, 0) = = ф/0; Г2т - 1) б/Г(2т - 1), 0, 0).

Преобразуем одно из этих равенств, а именно

б/Г(у), 0, 0) = ф/0; Ту - 1) б/Г(у - 1), 0, 0), используя оставшиеся. Тогда получим, что

бу(Г(2у), 0, 0) =

= б/Г(у - 1), 0, 0) ф/0; Ту - 1) = б/Г(у - 2), 0, 0) х

х ф/0; Ту - 2)ф/0; Ту - 1) = ... = б/Г(1), 0, 0) х

хфу(0; Т1) ф/0; Т2) х ... х ф/0; Ту, - 2) ф/0; Ту - 1) =

-(2/ + 1)

= б/Г(2т), 0, 0)ф/(0; Г2т)ф/0; Г1)х.х ф/0; Гу - 2) х хфу(0; Г2/ - 1) = б/Г(2т- 1), 0, 0)ф/(0; Г2т- 1) х хфу(0; Г2т)ф/(0; Г1) х...х ф/(0; Гг,- - 2)ф/(0; Гу - 1) = = ... = б/Г(2/ + 1), 0, 0)ф/(0; Гу+ 1) х ... х х ф/(0; Г2т)ф/(0; Г1) х...х ф/(0; Г2/ - 2)ф/(0; Гу/ - 1) = Іу

= X О/(Г(у ), 0,у)ф/(0; Г/ ... х ф/(0; Г2т) х

хф/(0; Г1) х. х ф/(0; Гу - 2)ф/(0; Гу/ - 1) = е у х

І і

Х Є/(Г(2/), 0, у).

Значит,

у = 0

Є/(г(2/), 0, 0) =

ве-

= е - V О/(Г(у), 0, 0) + е - V X Є/(Г(2/), 0, у)

или

у = 1

Є/(г(2/), 0, 0) =

= е - V X О/(Г(2/), 0, у)/ (1 - е - V). (10)

У = 1

Используя соотношение (10), найдём выражение для е/Г(2/ + 1), 0, 0):

б/(Г(2/ + 1), 0, 0) =

= Х е/(Г(2/), 0, у)ф/(0; Гу) = Є/(Г(2/), 0, 0) х

у = 0

хф/(0; Гу) + Х б/Г(2/), 0, у)ф/(0; Гу) =

У = 1

І і

= (1 - е- У)-1 х е- V X О/(Г(у), 0, у) х

У = 1

І і

хф/(0; Гу) + Х О/(Г(2/), 0, у)ф/(0; Гу) =

У = 1

= [е - у (1 - е - ¥)-1 + 1]ф/(0; Гу) Х б/Г(2/), 0, у) =

У = 1

= (1 - е- ¥)-1 Х О/(Г(2/'), 0, у)ф/(0; Гу) =

У = 1

= е- V 2(1 - е- V)-1 Х Є/(Г(2/), 0, у).

У = 1

да

х

І

І

І

І

І

Аналогичным способом получим формулы для

вероятностей О/(Г(г), 0, 0), Рг; є Г(/). Запишем теперь окончательные равенства для вероятно-

стей О/(Г(Г), 0, 0), Г" є Г:

£/(Г(2/), 0, 0) = (1 - е- ¥)-1е - у Х О/(Г(2/), 0, у),

У = 1

£/(Г(у + 1), 0, 0) = (1 - е-Л?Т)-1е - V* X О/Г/ 0, у),

У = 1

О/(ГС2/+2), 0, 0) =

= (1 - е-у)-1е - - ^Т?+1 Х £/(Г(2/), 0, у),

У = 1

Є/(Г(у + 3), 0, 0) = (1 - е-у)-1е - у2/х

і

хе - V2/ + 1е - V* + 2 Х е/(Г(2/), 0, у),

У = 1

О/(Г(2т), 0, 0) = (1 - е- у)-1е - V2/ х

І і

х... х е Х^2т- 1

Х Є/(Г(2/), 0, у),

О/(Г(у - 1), 0, 0) = (1 - е- ¥)-1е - V* х

х. х е V2 - 2

хФ/(Г(2/), г, // +

+ г / I (ехр{Х/Г (р/ г + 9 г2 - 1)} - г*)

хб/(Г(у), 0, ™),

Ф/(Г(у + 1), г, 0) = г /ехр{Х/Г (р/ г + 9/ г2 - 1)} х

х Ф/Г(у +1), г, 0) +

+ I О/(Г(у), 0, ^(Гу, г) (г/ - г*),

^ = 0

Ф/(Г(г), г, 0) = г -/ ехр{Х/Г (р/ г + 9/ г2 - 1)} х х Ф/Г(г), г, 0) + г ^Т/Г^ 1, г) х 1 У - 1

х ... х /у, г) I б/(Г(У), 0, м>) (г / - г*),

где Г(г)е Г(/'). Эти соотношения можно представить в следующем виде:

Ф/(Г(2/), г, //) = (г / - ехр{Х/Г (р/ г + 9/ г2 - 1)}) 1 х

1У - 1

х I (ехр{Х/Г (р/ г + 9 г2 - 1)} - г*)О/(Г(/, 0, ™), ^ = 0

ф/(Г(2/ + 1), г, 0) =(г1/ - ехр{Х/Г (р/ г + 9/ г2 - 1)})-1 х

1- 1

х ехр{ХГу(р/ г + /2 - 1)} I 0(Г(/, 0, ™) (г/ -г*),

Ф/(Г(г), г, 0) = (г// - ехр{Х/Г (р/ г + 9/ г2 - 1)}) 1 х х Т/(Гг - 1, г) х ... х Ч/(Гу + 1, г)// г)х

1У - 1

I О/(Г(у), 0, м>) (г / - г*).

^ = 0

Представим выражения для 1- 1

I Є/(Г(2/), 0, ™), Ф/(Г(5), г, 0), Г(8) є Г ^ = 0 в следующем виде:

1У - 1

I О/(Г(2/), 0, м>) = (г/ - Т/(Г, г))-1х = 0

у = 1 = (

1У

Х у^, 0, у). (11)

У = 1

Нетрудно видеть, что всего в левых частях равенств (11) присутствуют 2т неизвестных, а в правых частях — /у. Тогда для решения системы нам понадобится ещё /у уравнений. Получим их из следующих соображений. Рассмотрим формулы (16) — (18) из работы [1] в случае стационарного распределения для марковской цепи {(Г ,-, Жу, ,-, £ у, ,- - 1); г > 0}:

Фу(Г(2у), 7, /у) = 7. - /уеХр{ХуТ (ру 7 + 9у 72 - 1)} х

1 у - 1

<(г/ - Т/(Г, г) I £/(Г(2/), 0, м>), (12)

= 0

Ф/(Г(2/), г, //) = (г/ - Т/(Г, г))-1х

1У - 1

: I (Т/(Г, г) - г*)£/(Г(2/), 0, м>), (13)

= 0

Ф/(ГС2/ + 1), г, 0) =

=(г/ - Т/(Г, г))-1Ч/(Гу, г)х 1У - 1

х I (г/ - ^)£/(Г(2/), 0, м>), (14)

= 0

Ф/(Г(г), г, 0) = (г/ - Т/(Г, г))-1/,.- 1, г) х ... х

1У - 1

х Ч/(Гу, г) I ^ - г*)Є/(Г(2/), 0, м>). (15) = 0

Рассмотрим, например, выражение для функции Ф/(Г(2/ + 1), г, 0). Так как Ф/(Г(2/ + 1), г, 0) является степенной функцией по г и О/(Г(2/), х, 0) є (0, 1), х є X, то Ф/(Г(2/ + 1), г, 0) является функцией, ограниченной на единичном круге | г | < 1. Таким образом, внутри единичного круга и на его границе числитель имеет нули, которые совпадают со всеми нулями знаменателя внутри единичного круга и на его границе. Покажем, что знаменатель (г / - Т/(Г, г)) имеет

ровно // нулей внутри единичного круга | г | < 1 и на его границе | г | = 1. Используем теорему Ру-ше: если две функции _/(г) и ¿(г) аналитические в замкнутой области, ограниченные контуром С и удовлетворяют на этом контуре условию | ¿(г) | < |_/(г) |, то внутри контура С функции Дг)

І

І

X

и /(7) + ¿(7) имеют одинаковое число нулей. Рассмотрим круг {7: | 7 | < 1 + 5}, где 5 - достаточно малое положительное число. Пусть

/(7) = 7 у, ¿(7) = - Т/Т, 7) = -еХр{ХуТ(ру 7 + ^у 72 -

1)}. Функции /7) и ¿(7) являются аналитическими в круге {7: | 7 | < 1 + 5}. Сравним теперь функции /7) и ¿(7) на контуре С = {7:

| 7 | = 1 + 5}. При 7 = (1 + 5)(С08ф +

шпф) проверим выполнение неравенства | ¿(7) | < |Ж) |:

|ехр{ХуТ ((1 + 5) (С08ф + гетф^у +

+9у(1 + 5)2 (со82ф + шп2ф) - 1)}| <

< |(1 + 5)/у (С08(/уф) + шп(/уф))|. (16)

Оценим левую часть неравенства (16):

|ехр{ХуТ ((1 + 5) (со8ф + шпф) р +

+(1 + 5)2 (со82ф + шп2ф)^у - 1)}| =

= ехр{ХуТ ((1 + 5)руС08ф + (1 + 5)2ду со82ф - 1)} <

< ехр{ХуТ ((1 + 5)р + (1 + 5)2ду - 1)} =

= ехр{ХуТ ((ру + 5ру + 9у + 25ду + 52ду - 1)} =

= ехр{ХуТ ((ру + 5 - 5ду + ду + 25ду + 52ду - 1)} =

= ехр{ХуТ (5 + 5ду + 52^у)} =

= 1 + ХуТ 5(1 + у + О(52).

Для правой части неравенства имеем:

|(1 + 5)/у (со8/уф + шп/уф)| =

= (1 + 5)'у = 1 + /у5 + О(52).

Таким образом, неравенство (16) сводится к неравенству ХуТ (1 + у < /у + О(5). Поскольку для стационарного потока выпоняется условие (8), то существует такое достаточно малое 5 > 0, что справедливо и неравенство ХуТ (1 + у < /у + О(5), а значит и неравенство (16). Условия теоремы Руше выполнены. Поскольку /(7) = 7/у

имеет /у нулей в круге {7: | 7 | < 1 + 5}, то сумма функций ./(7) + ¿(7) = 7 у - Ту(Т, 7), также имеет /у нулей.

Оказывается также, что все корни уравнения

7 у - Ту(Т, 7) = 0 (17)

различны. Действительно, если был хотя бы один кратный корень 7к, то первая производная от (7 /у - Ту(Т, 7)) также бы обращалась в ноль

при подстановке 7 = 7к. Тогда 7к/у - Ту(Т, 7к) = 0, и /у 7к/у - 1 - ХуТ (ру + 2^у 7к)Ту(Т, 7к) = 0 или 7к/у = = Ту(Т, 7к), /у 7к/у - 1 - ХуТ (ру + 2ду 7к) 7к/у = 0. Отсюда ХуТ (ру + 2^у 7к) 7к = /у. С учётом условия ХуТ (1 + у -/у < 0 последовательно имеем:

ХуТ(1 + у < ХуТ (ру + 2ду 7к) 7к, 2^у 7к + (1 - у 7к -

- (1 + у > 0, (7к + 1 + р / 2^у) (7к - 1) > 0, 7к < 1 -

- р / 2^у, 7к > 1. Но все найденные корни должны лежать внутри круга | 7 | < 1+5. Получили противоречие, которое показывает, что кратных корней уравнение (17) не имеет. Итак, существует /у различных корней 7о, 71, . 7/у - 1 уравнения (17).

Рассмотрим соотношение (14). В числителе этого соотношения величина Ту(Т2у, 7) ф 0 при любых 7. Поэтому корни уравнения (17) должны совпадать с корнями полинома

I (z j - zw)Ôy(r(2/), 0, w) = 0. (18)

w = 0

Очевидно, что z0 = 1 есть один из корней знаменателя и числителя. Существует методика нахождения корней уравнения (17). Эта методика подробно описана (Downton F. On Limiting Distributions Arising in Bulk Service Queues // J. Roy. Statist. Soc. Ser. B. 1956. Vol. 18. Р. 265-274). Подставляя корни zi, ... zy _ 1 в (18), получим ещё j - 1 дополнительное уравнение к системе (11):

1 j - 1

I (z* y - zkw)Ôy(r(2y), 0, w) =

w = 0

= 0, k e {1, 2, ..., y - 1}.

(19)

Наконец, найдём последнее уравнение, добавление которого к системам (11) и (19) приведёт к их однозначной разрешимости относительно неизвестных вероятностей. Для этого сложим выражения (12)-(15) и составим сумму Фу(7):

Ф/z) = I ôy(r(2y), 0, w) + Фу(Г(2у), z, ly) +

(2 )

w = 0

+ I Фу(Г(г), z, 0) =

r(r^Г \{Г(2j

1 j - 1

= (zy - Ty(T, z))- 1[ I ôy(r(2y), 0, w) x

w = 0

1 j - 1

X (zy - y, z)) + I Qy(r(2y), 0, w) (Ty(T, z) - zw) +

w = 0

+ I

I ôy(r(2y), 0, w) (zy - zw) x

Г(г^r \{r(2j^} w — 0

x Ty(Tr- 1, z) x ... x y2y, z)] =

1 j - 1

= (z y - Ty(T, z))- 1 [ I ôy(r(2y), 0, w) (z y - zw) +

w = 0 1 j - 1

+ I I. ôy(r(2y), 0, w) (zy - zw) x

Г(г^r \{r(2j^} w — 0

хВД- 1, г) х ... х Т/Гу, г)] =

Таким образом, получаем

= (г / - Т/(Г, г))- 1 I б/(Г(у'), 0, *) (г / - г*) х

х (1 + I Т/(ГГ- 1, г) х ... х Т/(Гу, г)) =

Г(г^Г \{Г(2/}}

= (г/' - Т/(Г, г))-1(1 + Т/Гу, г) + Т/Гу + Гу/ + 1, г) + + ... + Т/(Г - Гу/ - 1, г)) х

1У - 1

2т(// - Л/Г (1 + /Г 1 I £/(Г(2/), 0, *) (/■ - *) = 1,

w = 0

1 у - 1

2т I О/(Г(2 , 0, *) (// - *) =

w = 0

= // - Л/Г (1 + 9/).

(21)

17 - 1

х I О/(Г(2/), 0, *) (г1/ - г*).

м = 0

Объединим уравнения (10), (21), (19) в систему:

Итак, для производящей функции Фу(7) получили следующее равенство:

1 У - 1

Ф/(7) = (7у' - Ту(Т, 7))- 1 I бу(Г(2у), 0, *) (7/у - 7") х = 0

х (1 + Т/Ту, 7) + Т/Ту + Ту + 1, 7) +

+... + Т/Т - Ту- 1, 7)). (20)

При 7 ^ 1 - 0 имеем Фу(7) ^ 1, а применение к правой части (20) правила Лопиталя при 7 ^ 1 - 0 даёт 2т(/у - ХуТ (1 + ду))- 1х

1 У - 1

х I у^, 0, *) (/у - *).

= 0

£/(Г(2/), 0, 0) - е - Л/Т Ё £/(Г(2/), 0, у)/ (1 - е - А/Т) = 0, У = 1

17 - 1

I О/(Г(2/), 0, *) (// - *) 2т = // - Л/Г (1 + 9),

^ = 0

1 у - 1

I О/(Г(2/), 0, *) (гк / - гк*) =

^ = 0

= 0, кє {1, 2, ..., //- 1}.

Определитель матрицы коэффициентов этой системы равен

‘/у -і

у Т

- 1

Ж - І

1 - е-у 1] -1

/у 1 /у

г,у 1 -1 г, , - г

/у -1 *7у -1

-* уТ

1 - Є у

/у /у-1

г/ - г/

/у /у-1

г/у -1- г/у-1

-у 1 - е у

=(- 1)у +2—

-Л, ,Т

-^у-Г

1 - е у

-1

2 у — 1 г у — г

/у -1 1 /у -1 /у -1

/у /у -1

- ^

/у /у -1

_ ./ _ _ ./

-1 ^ /у -1

-X ,т

= (- 1)

/. + 2

1 - Є

-X ,Т

1 г

/у -1

/У -1

7 ІУ -1 ІУ-1

П (-1)

¿=1

1

0

0

г1 - г1

0

I

1

1

е

и отличен от нуля, так как последний определитель является определителем Вандермонда и все величины 1, z\, ... zi _ i различны. Поэтому

вероятности 0у(Г(2/), 0, y), y е {0, 1, ..., //} находятся однозначно. А поскольку вид функций Ф/(Г(г), z, y) также станет известным, то для рассматриваемого случайного процесса {(Г,-, а/,¡, £ /, i - 1); i = 0, 1, ...} будут найдены и все оставшиеся стационарные вероятности.

Проделаем вышеуказанные вычисления для случая // = 1. Система уравнений (11), (19), (21) принемает вид 0/(Г(2/), 0, 0) - e - j 0/(Г(2/), 0, 1)/ (1 - e - j) = 0,

2mQ/(r(2/), 0, 0) = 1 - / (1 + q/).

Решение системы выглядит следующим образом:

(2 ) 1 — ^ jT(1 + q j )

Q/(r(2/), 0, 0) =---^^,

2m

X jT

1 -X jT(1 + q j ) 1 - e-KJ-

ОДГ^, 0, 1) =-----

2m

-X jT '

Остальные вероятности вида Qj(r(r), 0, 0) вычисляются так:

1 -Л jT (1 + q ,■ ) 1 -x

j ^ 2m

j 2j

-X ,T

Qj(r(2j + 2), 0, 0) =

= 1 -X jT(1 + q j ) 1 -Xj (T2 j +T2 j +1)

X ,T

2m e j

42j - 1)

Qj(r , 0, 0) =

1 -X jT(1 + gj ) 1 -Xj (T2j +T2j +1+K+T2j-2)

X

ôj(r(2j), 0, 0) =

1 -X jT (1 + q j ) 2m

x 1 e-X j (T2 j +T2 j+1+K+T2 j-2 +T2 j-l) =

-X ,T e J

1 -X jT (1 + q j ) 1 e-X yT = 1 -X jT (1 + q j )

2m

Другие вероятности находятся исходя из вида фор-

мул Ф7(Г(г), z, 0). Рассмотрим, например, выражение

для производящей функции Ф/Г®'+1), z, 0):

Ф/Г® + 1), z, 0) =

1 -X jT (1 + q j ) 2m

x (z - 1) /2/, z) / (z - /, z)). Отсюда находим

Qj(r(2j + 1), 0, 0) = Ф/Г® + 1), z, 0) | z = о = 1 -X jT(1 + q j) 1 -A.,.T2i

2m

-A ,T

d dz

ôj(r(2j + 1), 1, 0) = Ф/Г® + 1), z, 0) | z = о =

1 -X jT (1 + q j ) 2m

[/2j, z) / (z - j, z)) +

+ (z - 1) XjTzj (pj + 2qj z - 1)x x Y/Ty, z) / (z - j, z)) - (z - 1) z) x

x(1 - j (p + 2qj z - 1)x xTj(T, z)) / (z - j, z))2] | z = о =

= 1 -XjT(1 + 4j ) [____^^^jTlj +

2m [ e—1

+ XjT2j (qj + je XjT2j +

^ jT л m s л 1 jT2 j

+ ( e - j (qj + 1)) —^ T e 1 1] =

/э J

1 -X jT (1 + q j ) 2m

(- 1 + XjT2j (qj + 1) +

À, jT л m s л 1 —^ iT2 1

+ e - j (qj + 1)) —^jT e 1 1

и так далее.

Вычислим теперь стационарные вероятности вида Р(Жу = х), х е X. Воспользуемся выражением (20) для Фу^). Так как Фу^) получается сложением функций Фу(Г(г), z, у), Г(г) е Г, у е {0, 1, ., /у}, то Фу(z) представляет собой производящую функцию для последовательности случайных величин {Жу, ,-; г = 0, 1, ...}, отражающих сосотояние очереди требований, ожидающей обслуживания. Вероятности Р(Жу = х), х е X, являются коэффициентами при соответствующих степенях z в разложении функции Фу^) в ряд Маклорена и вычисляются следующим обра-1 dх

зом: Р(Жу = х) =-Фу^) | г = о. Для случая /у =

х! dzх

= 1 функция Фу^) запишется в виде Фу^) = = (z - 1)(1 + Ту(Г2у, z) + уу + Туу + 1, z) + ... + + Ту(Г - Туу - 1, z))(z - Ту(Г, z))-1 X eу(Г(2/■), 0, 0) . Для некоторых конкретных вероятностей вида Р(Жу = х) получим, что

e

e

e

e

e

e

X

X

P(æ/ = 0) = ф/^ I z = 0 =

= (0 - e- ')- 10/(Г(2/), 0, 0) (0 - 1) x

X (1 + e- XJTy + e- VT2' + Ty + l) + ... + e- VT - T2/ - 1) ) =

= 0/(Г(2/), 0, 0) (e' + e¥T - T' +

+ eVT - T2 - T2j + l) + ... + e'2' - 1 ) =

_ 1-À jT(1 + qj) , ' , HT - T..) .

2m

/ Л.T, A.(J - T.) |

■ (e j + e j 2 +

P(æ/ = 1) = — Ф/z) | z = о = [Q/(r(2/), 0, 0) (z - 1)x

+ e"/T T2 Ty + l) + ... + e'2' - 1),

d_ dz

X (1 - À/T (p + 2q z - 1)Y/(T, z)) x

X (1 + /2,, z) + /y + TV + 1, z) + ... +

+ Y/T - T2/ - 1, z)) / (z - Y/T, z))2 +

+ (z - Y/(T, z))- 1Q/(r(2/), 0, 0) x X (1 + Y/Ty z) + /2/ + T2/ + 1, z) + ... +

+ Y/(T - T2/ - 1, z)) +

+ (z - Y/T, z))- 10/(Г(2/), 0, 0) (z - 1) x X (/2/ (Р/ + 2q z - 1)Y/(T2/, z) + ... +

+ /T - T2/ - 1) (p/ + 2q/ z - 1)Y/(T - T2/ - 1, z))]| z=0 =

= - 0/Г(2/), 0, 0) (e' - À/T (q/ + 1)) x

X(e' + e¥T - T2) + e^(T - T2' - T2 + l) + ... + e'2' - 1) +

+ 0/Г(2/), 0, 0) (e' + e¥T - T' +

+ e^(T - T2j - T2j + 1) + ... + e'2' - 1) +

+ 0/Г(2/), 0, 0) (q/ + 1) (À/T2/ e¥T- T2) + ... +

+ À/T - T2/ - 1) e'. - 1) =

1 -X jT(1 + q} ) XT

=-----------J~--------- (e' - À/T (q/ + 1)) x

2m

X (e' + e^(T- T' + e^(T- T2' - T2+ 1) + ... + eV2f'- 1) +

1 -X jT(1 + q j ) x X (T - T2.) _,_

+ -------------— ( e ' + e ' 2 +

2m

+ eVT - T2 - T2' + 1) + ... + e'. - 1) +

1 -XjT(1 + qj )( + 1) (à + +

1 (q/ + 1)(À/T2/ ej ' + ... +

2m

+ Х/Г - Гу - 1) /Л - 1)

и так далее.

Получим теперь формулу для математического ожидания МЖу величины очереди, если система функционирует в стационарном режи-

d

ме. Так как Mæ/ = —Ф/z) |z = 1, то последова-dz

тельно имеем:

d 2

— Ф/z) |z =1 = [-(z - Y/(T, z)) x

dz

X(1 - À/T(p + 2q/z)Y/(T, z))Ô/r(2/), 0, 0)(z - 1) x

x (1 + Y/(T2/, z) + Y/(T2/ + T2/ + 1, z) + ... +

+ Y/(T - T2/ - 1, z)) +

+ (z - Y/(T, z))- 10/(Г(2/), 0, 0) x (1 + Y/(T2/, z) +

+ Y/(T2/ + T2/ + 1, z) + ... + Y/(T - T2/ - 1, z)) +

+ (z - Y/(T, z))- 10/(Г(2/), 0, 0)(z - 1) x

x (À/T2/ (p + 2q/ z)Y/(T2/, z) + ... + À/(T - Ty - 1)x

x (p + 2q/ z)Y/(T - T2/ - 1, z))]|z = 1 =

= 2mQ/(r(2/), 0, 0)[-(z - Y/(T, z))-2x

x (1 - À/T (1 + q/))(z - 1) + (z - Y/(T, z))- 1]|z = 1 +

+ (1 - À/T (1 + ф))-10/Г(2/), 0, 0)À/(1 + q/) x

x ((2m — 1)T2/ + (2m — 2)T2/ + 1 + ... + T2/ - 2).

Применяя теперь при z ^ 1 - 0 правило Ло-питаля к первому слагаемому дважды и ко второму слагаемому один раз, окончательно для среднего значения Mæ/ размера очереди при 1 -À jT (1 + q j )

0/Г(2/), 0, 0) =

2m

получим:

Mæ/ = 2т0/(Г(2/), 0, 0) [-(z - Y/(T, z))-2x

x (1 - À/T (1 + q/) + (z - Y/(T, z))- 1]|z = 1 +

+ (1 - À/T (1 + ф))-10/Г(2/), 0, 0)À/(1 + q/) x

x ((2m - 1)T2/ + (2m - 2)T2/ + 1 + ... + Ty - 2) =

1 -X J T (1 + q J ) 1 2

= 2m------------------------J-— 2-1(1 - À/T (1 + q/)) x

2m

x ((À/T)2 (1 + q/)2 + 2À/Tq/) +

+ (2m)-1 À/1 + q/)((2m - 1)T2/- + (2m - 2) x

xT2/ + 1 + ... + T2/ - 2) =

= 2-1(1 - À/T (1 + q/))-1(2 À/Tq/ + (À/T)2(1 + q/)2) + + (2m) 1 À/(1 + q/)((2m - 1)T2/- +

+ (2m - 2)T2/ + 1 + ... + T2/ - 2).

Список литературы

1. Федоткин А.М. Свойства управляемой векторной марковской цепи со счетным числом состояний, удовлетворяющей рекуррентным соотношени-

ям // Вестник Нижегородского университета им. Н.И. Лобачевского. 2009. № 3. С. 152-161.

2. Федоткин М.А. О существовании эргодиче-ского распределения в системе с переменной структурой обслуживания конфликтных потоков // Теория вероятностей и её применения. 1976. Т. XXI. № 4. С. 792-801.

3. Федоткин М.А. Строение пространства состояний случайного процесса, описывающее динамическое поведение систем с переменной структурой обслуживания при управлении конфликтными потоками в классе нелинейных однородных алго-

ритмов. II // Литовский математический сборник. 1977. Т. XVII. № 2. С. 203-217.

4. Федоткин М.А. О предельных свойствах распределений для состояния систем с переменной структурой обслуживания заявок при управлении конфликтными потоками в классе нелинейных однородных алгоритмов. III // Литовский математический сборник. 1977. Т. XVII. № 3. С. 73-85.

5. Ширяев А.Н. Вероятность. М.: Наука, 1980.

6. Канторович Л.В., Акилов Г.П. Функциональный анализ. М.: Наука, 1977.

7. Титчмарш Е. Теория функций. М.: Наука, 1980.

DEFINITION OF THE STATIONARY MODE OF RECURRENT MARKOV CHAINS BY THE ITERATIVE-MAJORANT METHOD

A.M. Fedotkin

Limiting properties are studied of one-dimensional distributions of controlled vector Markov chain finite family with a countable number of states. Markov chain components are defined by some function-recurrent relation. An effective method is proposed to define sufficient conditions of existence of a stationary distribution of the whole class of controlled vector Markov chains.

Keywords: recurrent Markov chain, one-dimensional distribution, generating function, stationary distribution, iterative-majorant method, nonlocal description of event flows.