Матричный анализ эргодических полу марковских процессов Текст научной статьи по специальности «Математика»

УДК 517.2

A.B. Екимов, А.П. Жабко, H.B. Смирнов

Вестник СПбГУ. Сер. 10, 2004, вып. 1

МАТРИЧНЫЙ АНАЛИЗ ЭРГОДИЧЕСКИХ ПОЛУ МАРКОВСКИХ ПРОЦЕССОВ

Введение. Моделируемые процессы, как правило, протекают в условиях недостатка информации, поэтому точно предсказать их течение во времени не представляется возможным. С определенной степенью достоверности можно предполагать, что указанная неопределенность вызвана влиянием случайных факторов, воздействующих на ход процесса. В рамках теории случайных процессов рассматриваются различные аспекты их моделирования и функционирования в динамике развития.

Случайный процесс можно описать некоторым числом состояний, между которыми происходят случайные переходы. Число возможных состояний в дальнейшем считаем конечным. В простейшем случае случайный процесс X(i), t > 0, меняет состояние в фиксированные моменты времени 0 < ti < ¿2 < • • • < tk < - • • • Если при этом состояние X(ifc) = х* стохастически полностью определяется состоянием X(ijfc_i) = Xk-i в предшествующий момент времени, то мы имеем дело с цепью Маркова. Анализу марковских цепей посвящено огромное число работ. Отметим лишь монографии [1-3]. Марковская цепь полностью определяется матрицей переходных вероятностей Р и вектором начального распределения вероятностей р°. Достаточно эффективными при исследовании различных ее характеристик показали себя методы матричного анализа, в частности теории стохастических матриц [1, 4]. ••.■• =

Естественным обобщением марковской цепи является марковский процесс с непрерывным временем, в котором смена состояний считается возможной в любой случайный момент времени t > 0. Как и в случае марковской цепи, будущее состояние процесса зависит лишь от его настоящего состояния и не зависит от предыстории. При определенных условиях на матрицу переходных вероятностей P(t) А. М. Колмогоровым была построена система дифференциальных уравнений, описывающая динамику процесса в терминах безусловных вероятностей p,(t), г = 1 , п, нахождения в состоянии г в момент t (см. [5, б]). Следует отметить, что время ожидания марковского процесса в любом состоянии есть случайная величина, распределенная по экспоненциальному закону.

Следующий шаг по пути усложнения модели случайного процесса - полумарковские процессы. Они были введены независимо друг от друга Леви, Смитом и Такачем в 1954 г. Эти процессы уже не являются марковскими в определенном выше смысле. Точнее говоря, полумарковский процесс становится марковским лишь в моменты смены состояний, которые называют марковскими моментами. Времена ожидания в различных состояниях могут быть распределены по произвольному закону, отличному от экспоненциального. В работах [7- 9] построены уравнения, описывающие динамику характеристик полумарковского процесса, и рассмотрено их асимптотическое поведение при неограниченном возрастании времени. Как правило, рассматривались временные характеристики: суммарное время пребывания в заданном состоянии, время пребывания в фиксир—".ином подмножестве состояний, время первого достижения одного состояния из д i'oro и т.д.

Цель данной работы — исследование динамики безусловных вероятностей Pi(t). В п. 2 приведен непосредственный вывод уравнений динамики этих величин.

© A.B. Екимов, A.n. Жабко, Н.В. Смирнов, 2004

Методами матричного анализа и теории преобразования Лапласа получены конечные формулы для финальных вероятностей pf3 = lim г — 1, п.

t-¥ со

1. Постановка задачи. Рассмотрим полумарковский процесс с п состояниями. Для удобства будем обозначать состояния целыми числами г = 1, 2,... , п. Отдельная реализация полу марковского процесса выглядит следующим образом:

¿о5 Ч, t-(»oi*i)> ¿2, т(г'1,г2), ' г3, т(г2,г3), ....

Целое число го представляет собой начальное состояние в нулевой момент времени. Оно может быть задано однозначно или определено согласно некоторому распределению р°. За г0 следуют пары случайных переменных, одна из которых является целым числом, а другая - положительная переменная г. Целые числа ii, ¿2, ¿3 • • • ~ это последовательные состояния системы, образующие марковский процесс с условным распределением вероятностей pij = P-fifc+i = j I ik — i }» h j = 1,п, & = 0,1,... . Элементы последовательности положительных переменных г представляют собой интервалы времени между последовательными переходами из одного состояния в другое. Каждый из этих интервалов определяется стационарной функцией распределения F{j(t) = Р{т(г, j) < t}. Таким образом, полумарковский процесс однозначно задается вектором начальных вероятностей р°, вложенной цецью Маркова с матрицей переходных вероятностей Р = {pij}i j=Yn и функциями распределения Fij{t\ времен пребывания в состоянии г при условии, что переход осуществляется в состояние j..

Можно считать, что будущее состояние и переходный интервал определяются совместно с помощью двумерного распределения Фу(^) = pijFij(t), г, j = 1 ,п. Функции Фу(г)'обладают следующими.свойствами:

«МО) = о, Pij = Фу(оо), ф«(°°) = X)pü = L

••:■.•■ j=1 3=1

Матрицу Ф(£) = называют матрицей переходных распределений. Следо-

вательно, полумарковский процесс может быть определен вектором начальных вероятностей р° и матрицей переходных распределений

Отметим, что матрицу переходных распределений Ф(<) можно заменить матрицей переходных плотностей H(t) - { ^у (*)}.•,ГДе = Pijfij(t). Здесь /y(i) -

соответствующая jFy (i) плотность вероятности. Очевидно,

Pij

00 00

= J hij{t)dt, J2 J hij{t)dt = 1.

0 0

Вложенную цепь Маркова называют эргодической, если ее финальные вероятности р7 существуют и не зависят от вектора начальных вероятностей р°. Вопрос об эргодичности марковских цепей хорошо исследован [1, 2, 4]. Необходимым и достаточным условием эргодичности является наличие у стохастической матрицы Р переходных вероятностей единственного по модулю равного единице собственного числа А = 1, которое является простым корнем характеристического уравнения. Указанное условие выполнено для примитивной стохастической матрицы Р [4].

Вектор финальных вероятностей р может быть найден как решение системы уравнений

п

РтР = Р, £> = 1- (1)

»'=1

Таким образом, р есть положительный собственный вектор матрицы Рт, соответствующий собственному числу Л = Г и удовлетворяющий условию нормировки. .

Большую роль в теории эргодических марковских цепей играет матрица <3 = Е — Р. Пусть 1р{\) = скЦАЕ — Р). Обозначим через С присоединенную матрицу для <4- Тогда С$С = у(1)Е = 0. Известно, что вектор финальных вероятностей,может быть найден по формуле [4]

Р = —77тгСтр° = —тутт^, (2)

Ч> (1) Ч> (1)

где лу — столбец матрицы Ст, в которой все столбцы совпадают и являются положительными векторами.

Поставим задачу. Требуется описать динамику полу марковского процесса относительно абсолютных вероятностей Pi(t), г — 1 , п, пребывания процесса в состоянии г в момент рассмотреть вопрос об эргодичности полумарковского процесса при условии эргодичности вложенной марковской цепи; установить связь между соответствующими векторами финальных вероятностей р°° и р; указать численный алгоритм нахождения в любой момент времени t > Ос наперед заданной точностью. 2. Уравнения динамики полумарковского процесса. Зададим полу марковский случайный процесс с п состояниями вектором начальных вероятностей р° и матрицей переходных плотностей Н(£) = В дальнейшем предполагаем отсутствие поглощающих состояний и считаем процесс регулярным, т.е. допустимо лишь конечное число переходов на любом конечном промежутке времени. Плотности fij{t) считаем кусочно-непрерывными справа функциями на промежутке [0,+оо), для которых Итг-++оо = 0.

Введем в рассмотрение функцию Ы,- (2) - математическое ожидание числа входов системы в состояние г на промежутке [0,2]. Для этой функции построим оценку сверху. Обозначим через ¿к вероятность того, что система вошла в г-е состояние ровно к раз на промежутке [0,2]. Тогда

оо к=1

Оценим величину ¿ь. Предположим, что на промежутке [0,2] система из состояния г'о последовательно перешла в состояния ¿1, ¿г> • ■ • > Ч в моменты 0 < ¿1 < 2г < • • • < 2^ < 2. Плотность распределения этого события есть

Л,-0<1(*1) х х ••• х -

а его вероятность определяется равенством

г г г

Ь{го,Ч, • • -,ч) = J ^¿он(^1) J Л»1»'з(*2 - Ь) • •' J Ыы-^к^к ~ Ь-г) ¿2* .. .<¿¿1. о ' <1 гк-х

Введем функции

Ф) = ,2?$* /,,(2)у Мх = вир (р(т).-

1<7<п - -

Поскольку при т Е [0,2] имеет место неравенство = < <р(т) < Мг, то

к\'

0<tj<t,

7 = 1,...,*, t1+-+tk<t

Если на промежутке [0,2] система ровно к раз изменила свое состояние, то вероятность этого события будет равна

Т Г ■ ■ n / iMttУ

дк = öfe(io,»i,...,ijfc} <———п

s=0,...,k

Тогда справедлива оценка

к=1 к=1 к=1

Рассмотрим приращение функции N,-(2) на промежутке + А£]. Система может перейти в состояние г в момент ¿1 € + Ай] либо непосредственно из начального состояния, определяемого вектором начальных вероятностей р°, либо из промежуточного состояния в которое она вошла в момент ¿о £ (0, <]. Вероятность входа системы в состояние ъ на промежутке + А при условии, что до момента £ не произошло ни одного перехода из состояния в состояние, есть

i

Вероятность входа системы в состояние i при условии, что до этого произошел хотя бы один переход, будет

n t t-x+At

p{3)W = E/dNiW / Лл-Wdr. (4)

•7=1 0 t-x

С точностью до бесконечно малых высших порядков относительно Аt приращение математического ожидания N,(t) на промежутке [t,t + At] с учетом (3), (4) составляет

N{(t + Аt) - N,-(*) = 1 • + 1 • р(2) + О ((А*)2) =

п t+At t t-x+At

= I hÄr)dr + J dNj(x) J hji(r)dr \ + О ((At)2).

i=1 t О t-x

Из последнего соотношения следует непрерывность функции N,(i) при t > 0. Введем в рассмотрение функции

Nt-(t + At) — N,-(t) . _

qi[t) — lim —---L-—, г = 1, n.

4 K } д«-».о At

Нетрудно видеть, что данные пределы существуют для всех значений t > 0, отличных от точек разрыва функций hji(t), в которых эти пределы существуют справа. Таким образом, существуют кусочно-непрерывные функции <?,-(£), удовлетворяющие при t > 0 системе интегральных уравнений

п п I

i.'W = 1>°М*) + J2 / - x)dx-j=i j=i{

(5)

Посредством матрицы переходных плотностей Н(2) можно записать систему (5) в виде

г

ф) = нт(г)Р° +1 нт(* - х)ч(х)(1х. (6)

о

Система интегральных уравнений (6) описывает динамику полумарковского процесса относительно вектора

Рассмотрим вопрос о нахождении безусловных вероятностей р,- (¿) нахождения системы в состоянии г в момент I. Положим

п Г

= / ЬЛт)<1т, » = 1,п.

-

Функция представляет собой безусловную функцию распределения времени ожидания в состоянии г.

Вероятность того, что в начальный момент система находится в состоянии г и за время t его не покинет, равна р,-1^) = — ФСО). Кроме того, система может перейти в состояние г в момент х £ ((М) и остаться там до момента I. Вероятность такого события есть

г

рГ}(*) = / д,-(х)(1-Я(*-®))&:. о

Для определения безусловной вероятности нахождения системы в состоянии г в момент I имеем '

р»(*) = У «<(®)(1 - Ж* - *))<** + Р?(1 - Ж*)). »= М»- (7)

о •

Убедимся в том, что =: ^ для любого < > 0. Положим I = (1,1,... , 1)т.

Тогда

П <

= 1Т<М = 1ТНт(0р° + / 1ТНТ(* - х)я(х)^. ¡=1 £

Учитывая кусочную непрерывность функций д,- и кусочно-непрерывную дифферен-цируемость продифференцируем по 2 обе части (7), воспользовавшись известным правилом дифференцирования интеграла, зависящего от параметра

Ш = - / - «)<** - Р?/«(*). * = (8)

о

где /,•(£) = Х)"=1 Складывая все уравнения (8), имеем

Х>м = !>(*) - Е - х)ах - ¿р?/,Й.

г = 1 »=1 : = 1 о «=1

Учитывая, что = Н,-(<)1, где Н,(£) — г-я строка матрицы Н(2), получим

Г

= - I - «)Их - р°ГН(*)1. (9)

,=1 {

Подставляя в правую часть выражения (9) находим

п * *

= 1ТНт(^)р° + 11ТНТ{Ь-х)Ч{х)с1х- I qт(x)H(¿-x)Ií¿x-poTH(í)I. «-1 о о

Так как Чт(я)Н(* - х)1 = 1ТНТ(* - г)ч(®), р°ТН(^)1 = 1тНт(*)р°, то &(*) = 0 для любого г > 0, т.е. = С0П8^- Поскольку в начальный момент Х)Г=1 Р{ = 1»

то = Таким образом, проиллюстрирована корректность модели.

3. Анализ эргодического поведения полумарковского процесса. Рассмотрим построенную выше систему уравнений, описывающую функционирование полу марковского процесса с п состояниями:

г

ф) = Нт(*)р° + J Нт(* - х)Ч{х)<1х, (10)

t

Pi(t) =Jqi(x)(l-Fi{t-x))dx+p(?{l-Fi{t)), t = (11)

.... о... •

Система (10) есть система интегральных уравнений типа свертки. Ее скалярный аналог рассмотрен в теории восстановления [10, 11], и в связи с этим (10) часто называют системой уравнений восстановления. Дополнительно к введенным выше условиям на функции fij{t) предположим выполнение следующего ограничения:

+0О .

У tfij{t)dt<+ 00.

о

Предметом дальнейшего исследования является вопрос об эргодичности данного процесса. Необходимо проанализировать предельное поведение безусловных вероятностей Pi(t) нахождения системы в состоянии г в момент t. Предположим, что вложенная цепь Маркова - эргодическая. Обозначим через р вектор финальных вероятностей этой цепи. Процедура его определения описана выше (см. (1), (2)).

Первоначально изучим предельное поведение вектора q(t) при t —> +оо. С позиции теории матриц, этот вопрос рассмотрен в работе [12]. Применим к обеим частям системы (1(1) преобразование Лапласа. Положим

оо оо

Lt(s) =J e"\{t)dt, Ья(в) = J e"etHT(t)dt. о 0

Отметим, что L#(0) = Рт. В соответствии с известными свойствами преобразования Лапласа [13]

Ь?(5) = (Е-Ья(5))-1Р°.

Нетрудно убедиться в том, что матрица G(s) = Е — L#(s) невырождена при Res > 0. Воспользуемся известной в теории преобразования Лапласа предельной теоремой [13]

lim ait) = limsL0(s),

если хотя бы один из пределов существует. Таким образом,

q°° = lim q(í) = limsG-1(s) limL#(s)p°.

Для элементов матрицы G-1 (s) 5 = 0 является простым полюсом, единственным на всей мнимой оси. Получаем q°° = R(0)PTp°, где R(s) = sG_1(s). Заметим, что

(E-LH(«))R(*) = *Е. Переходя к пределу при s —>• 0, имеем

(Е - Pr)R(0) = О, R(0) = PTR(0).

С учетом последнего равенства

q°° = R(0)p°. (12)

Умножим обе части (12) слева на Рт:

PTq°° = PTR(0)p° = R(0)p° = q°°.

Следовательно, предельный вектор q°° есть собственный вектор матрицы Рт, соответствующий собственному числу Л = 1. Таким образом, q°° пропорционален вектору финальных вероятностей вложенной марковской цепи q°° = ар.

Для вычисления коэффициента пропорциональности а найдем R(0)

R(0) = Hm-^CT = ~l-CT, v ' «-*oA(«) A (0)

где A (s) = det G (s), матрица С та же, что и в (2). В случае эргодической вложенной марковской цепи А (0) >0. Таким образом,

д'(о)' 4 д'(о)

Очевидно, вектор q°° не зависит от вектора начальных распределений р°.

Перейдем к рассмотрению безусловных вероятностей pi (t). Применим преобразование Лапласа к обеим частям (11)

LPf(s) = LÇi(s)L^(e)-fp?L^(s),

»

здесь L $ .(s) - лаплас-образ функции ipi(t) = 1 — Fi(t). В соответствии с предельной теоремой

lim Pi(t) = limsL,,.(s) = limsLflt.(s) limLw,.(s) + o? limsLw,.(s).

t->+oo 4 ' s-y 0 Fty ' í-^0 4 V ' s-fO WlK J s-+0 '

Заметим, что = ¿(1 — Ь/Дя)), где

\

/<(*) = Е^-м» т= Ань.

о

Согласно нормировочному условию

оо

Ь/-(0) = / /,-(*)<Й = 1, Нш5Ц,.(«) = Нш(1 - Ь/;(*)) = 0. о

По правилу Лопиталя

оо

ИтЬ*(«) = Вт(-|ь/(М) = / (/,(()Л = Ц.

О

В соответствии с введенным условием Т{ конечно. Окончательно имеем

р? = д,00^, * = ТЯ (13)

Запишем (13) в виде = арЮ- Учитывая, что = 1, найдем коэффициент

а = РЭД- Следовательно,

= -т Ух п

£ ет i=l

Нетрудно видеть, что - среднее время ожидания в состоянии г. Таким образом, финальные вероятности полумарковского процесса пропорциональны соответствующим финальным вероятностям вложенной марковской цепи. Эргодичность вложенной цепи, очевидно, влечет эргодичность полумарковского процесса.

Пример. В качестве переходных плотностей рассмотрим кусочно-постоянные функции

Г 0 , t ¿(tijiUj -t-rriijAt],

где tij, rriij, fij, А = ijfc —tk-i - постоянные величины; mtJ- G Z. Нормировочное условие имеет вид

П "Iii -

j=ik=i

Положим

ья(5) = H(5) = M') = vaЁ^Ч-'М»

¿=1

-stí"-1'» -stW «§)(.) =« - -■

Предельный вектор q°° определяем так: q°° = w. Здесь w - столбец матрицы, присоединенной для QT = (Е — Р)т, а

Д(в) = det G(s) = det(E - H(s)).

По правилу вычисления производной определителя

д'М = $><(*), ¿=1

где A{(s) = det(Gi(s),... ,Gn(s)), - г-й столбец матрицы G(s), кроме

того,

mij ,

G\{s) = (4(5),... XW)T, hij(s)=PijY^flj)^) M'

Jk=l

4(0)=» E = -) 2" } •

k-1

n n mij

i=l о i = l fc=l

Вместе с тем тот же самый результат можно получить, используя предельные величины

чГ-

= 0). 1 j=1 '

4. Специальный метод интегрирования уравнений динамики. Проблема численного анализа уравнения динамики стохастического полумарковского процесса' (6), (7) связана с построением достаточно эффективного алгоритма интегрирования системы уравнений типа свертки (6). Предложим специальный метод для решения этой задачи.

Запишем уравнение (6) в эквивалентной форме

t

q (t) = НТ (t)p° + + / HT(i - *)q (X)dx. (14)

0

Заметим, что

1 1 1

(1 + c)-e (1 + e) (1 -6) где

1 + e

При е > 0, очевидно, 6 6 (0,1). Кроме того,

1 °°

= 1 + + + + + . = (15)

к—О

Ряд (15), очевидно, сходится.

Решение уравнения (14) ищем в виде ряда по параметру 6

чм^ч^м*4- (16)

л=о

Подставим (16) в (14):

00 1 оо 1 оо

= + / (17)

к=О *=0 5 л=о

Приравнивая в (17) коэффициенты при одинаковых степенях 6, получим

г

Ч(°>(*) = Нт(*)р° + ^ /Нт(* - х)Я(°)(х)^,

о

4 *

= у НТ(* - »)ч(1,(х)|*с + —^ I НТ(* - «)Ч<°>(®)А:. О о

Рекуррентное соотношение имеет вид

* /-1 * = ьЪ/ + I Нт(<-х)Ч^(х)^, (18)

о Ь=00

где / = 1,2,... . Равенства (18) для каждого I представляют собой интегральные урав^ нения типа свертки

я(°)(0)=Нт(0)ро, Ч(,)(0) = 01 /=1,2....

Нетрудно убедиться в том, что компоненты вектор-функций определены при

I > О, неотрицательны и удовлетворяют условию

Ит<А1)(г) = 0, ¿>0.

Теорема. Ряд (16) сходится равномерно на любом конечном промежутке изменения 2.

Доказательство. Введем в рассмотрение (п х п)-матрицу К(£) как решение системы

К(*) = Е + ^ I Нт(* - х)К[х)<1х,

определенное при 2 > 0. Очевидно, что элементы к^(Ь) матрицы К(2) несигрицательны, непрерывны и

00 -1

Нт К(.) = К-. К- = (Е + ^ / Н*(*)л) ~ . ■

О

Положим Мк — тах<>0 ||К(2)||, Ми = Уаг<>0 ||Н(2)||. Переходные плотности, очевидно, являются функциями ограниченной вариации. Рассмотрим вектор-функции

= I НтЦ-х)ЧМ{х)<1х. о

С учетом введенных выше обозначений имеем

г

= К^)г^(О) + ~ г)с1тт^{т), I > 0.

о

Здесь в правой части интеграл Стилтьеса. Замечание 1. г^(0) =0, / > 1.

Используя формулу дифференцирования интеграла по параметру, получим при I > 1

« г

о о

t г г

О Ох

Переходя к оценке по норме, имеем при I > 1

||ч("н 5 2-ттг / ^'-'»мн*«,

о

откуда сразу следует

Данная оценка обеспечивает равномерную сходимость ряда (16) на любом конечном промежутке. Теорема доказана.

Замечание 2. Предложенный специальный метод интегрирования позволяет за счет выбора параметра е обеспечивать устойчивость вычислительного процесса и управлять скоростью его сходимости.

5. Разностная схема. Рассмотрим численную схему, необходимую для последовательного вычисления членов ряда '16). Ограничимся ее описанием для однородного

уравнения, соответствующего неоднородному уравнению (18). Это возможно, так как неоднородность на каждом шаге вычислений является известной функцией времени. Запишем неоднородное уравнение в виде

t

ф) = HT(i)p° + J НT{t - x)q{x)dx. (19)

о

Разобьем отрезок [О, Т] равноотстоящими узлами на элементарные отрезки: to = О, tk = to + kh, к = 1, tm — где h — шаг интегрирования. Подставим t — tk в обе части уравнения (19):

tk

q(tfc) = HT(ife)p° + J HT{tk - ®)q(®)clx. (20)

о

Для вычисления интеграла

tk

J{tk) = J HT{tk - x)q(x)dx

о

воспользуемся квадратурной формулой трапеций

h к~г h J(tk) « Л = -HT(ifc)q(0) + /i£>T(i*_,)q(*,) + -HT(0)q(i*)-

»=1

Введем обозначения q(- = q(it)> Hf = HT(i,). Здесь qг - приближенные значения искомой вектор-функции q(t) в узлах. Подставив полученное выражение для Jk в формулу (20) и разрешив ее относительно q*, получим

(Е - = HjP° + tHjqo + ^¿HL.qn к = T^i.

i=l

Окончательно имеем следующую разностную схему для определения q^:

Ч* = (е - ^Hj) (нг (р° + ^чо) + h ¿2 H?.,*). (2D

1 = 1

Положим С(h) = Е — f-Hg • Очевидно, за счет выбора h матрицу C(h) можно сделать невырожденной, lim^o C(h) = Е.

В заключение отметим, что число членов ряда (16), подлежащих вычислению, определяется лишь требуемой точностью расчетов.

Замечание 3. Разностная схема (21) может быть применена непосредственно к исходному интегральному уравнению (6), но это приведет к росту абсолютной погрешности приближенного решения на большом промежутке времени.

6. Оценка погрешности разностной схемы. Оценим погрешность разностной схемы (21). Точные значения q(ijt) решения q(t) удовлетворяют соотношению

h fc-i

q(tk) = С(h)-1 (Щ (p° + -qo) + h £ Hj:,.qi- + Rfc) , (22)

в котором R* - погрешность квадратурной формулы трапеций. Из (22) Зычтем (21):

h к~1 q (tk) ~4k = C(A)-l(-Hi(q(0) - q0) + h £ Щ-ММ ~ 4i) + R*)-

t"=i

Переходя к оценкам по норме, получим

Mtk) - q*|| < HCW^I^IIHJlllKqiO) - qo)H +

Jfc-1

+ -4i)\\ +||R*||), к =

»=1

Полагая е,- = ||q(i,-) — q,-||, окончательно придем к неравенству

к-i

Ек < а + a(h) & = 2,т, (23)

¿=1

здесь а = \\С(Н)-'\\(|||Hj||||(q(0) - q0)|| + ||R*||), где a(h) = А||С(А)-Ч| max,- ||Hf||. Наряду с (23) рассмотрим соответствующее ему мажорантное уравнение

fc-i

Efc =a + a(A)^Ef, -к = 2~т. (24)

¿=1

Очевидно, Ек < Efe, к — 2, т. Простой проверкой можно убедиться в том, что решением уравнения (24) является

Efc = a(l + a(h))k~1, к = 2, m, Е х = a.

Таким образом, £к < 1 + a(/i))fc-1, к = 2, т.

Для получения оценки, равномерной относительно к, поступим следующим образом. Имеем < a(l + a(A))fc", к = 2,т. Положим а(А) = A/5(/i) = 1/ж. Тогда

т ( \TP(h) '

(l + a(A))* = ((l + l/®)') .

Поскольку величина (1 + 1/:с)х при неограниченном росте х возрастает и стремится к е, то искомая равномерная оценка для имеет вид е* < aeT^hh Так как Нтл_».о а (А) = О, то вычислительный процесс является сходящимся.

Summary

Ekimov А. V., Zhabko А. P., Smirnov N. V. Matrix analysis of ergodic semi-Markov processes. The functioning equations of the semi-Markov stochastic process in terms of an unconditional probabilities of stay in some states Eire constructed. The analysis of the process ergodic behavior is realized where the embedded Markov chain is ergodic. This analysis is based on the methods of the stochastic matrices theory and the Laplace-transformation theory. The fined probabilities formulas are obtained. A transient calculation algorithm for any exactness is suggested. The solution of the integral equation system of convolution is given in the form of the convergent parametric series.

Литература

1. Романовский В. И. Дискретные цепи Маркова. М.; JL, 1949. 436 с.

2. Кемени Дж., Снелл Дж. Конечные цепи Маркова/Пер. с англ.; Под ред. А.. А. Юшкевича. М., 1970. 271 с.

3. Баруча-Pud А. Т. Элементы теории марковских процессов и их приложения / Пер. с англ.; Под ред. А. Н. Ширяева. М., 1969. 511 с.

4. Гантмахер Ф. Р. Теория матриц. М., 1967. 575 с.

5. Вентцелъ Е. С., Овчаров Л. А. Теория случайных процессов и ее инженерные приложения. М., 1991. 383 с.

6. Розанов Ю.А. Случайные процессы. М., 1971. 286 с.

7. Барлоу Р., Прошан Ф. Математическая теория надежности / Пер. с англ.; Под ред. Б. В. Гнетенко,' М., 1969. 488 с.

8. Королюк В. С., Турбин А. Ф. Полумарковские процессы и их приложения.. Киев, 1976. 184 с.

9. Сильвестров Д. С. Полумарковские процессы с дискретным множеством состояний, М., 1980. 271 с.

10. Кокс Д., Смит В. Теория восстановления / Пер. с англ.; Под ред. Ю.И. Беляева. М., 1967. 299 с.

11. Беллман Р., Кук К. Дифференциально-разностные уравнения / Пер. с англ.; Под ред. JI. Э. Эльсгольца. М., 1967. 548 с.

12. Жабко А.П., Екимов A.B., Смирнов Н.В. Анализ асимптотики решения системы интегральных уравнений типа свертки с нормированным ядром // Вестн. С.-Петерб. ун-та. Сер. 1: Математика, механика, астрономия. 2000. Вып. 1 (N° 1). С. 27-34.

13. Диткин В. А., Прудников А. П. Операционное исчисление. М., 1966. 406 с.

Статья поступила в редакцию 10 мал 2004 г.