CC BY
35
УДК 519.21
МЕТОД РЕДУКЦИИ В ЗАДАЧАХ НАХОЖДЕНИЯ ПРЕДЕЛЬНОГО РАСПРЕДЕЛЕНИЯ МАРКОВСКИХ ПРОЦЕССОВ С БЕСКОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ
ГЕРАСИН С.Н, ЛЕЗГИН В.А., ЛОБАС А.Н.
Рассматривается вопрос о применимости метода редукции к решению задачи нахождения стационарного распределения у бесконечнозначных марковских процессов и цепей.
Изучение марковских процессов со счетным числом состояний зачастую приводит к ситуациям более сложным, чем в случае процессов с конечным числом состояний. Особенно это заметно при использовании численных методов. Одной из причин является та, что бесконечные системы уравне -ний разрешимы в некоторых случаях — общая теория пока отсутствует. В то же время вопрос о существовании стационарного решения разрешим в рамках общей эргодической теоремы для процессов Маркова [1]. Но, как обычно, теорема существования не дает конкретных способов решения, поэтому задача их вычисления решается в конкретных случаях по-разному. В данной работе предлагаются некоторые способы решений, базирующиеся на редукции бесконечных систем, т.е. пути сведения к конечным системам. С методической точки зрения этот подход применим и к системам с большим числом состояний. Например, при исследовании нейронных сетей их модель в виде марковской цепи может иметь 106-108 состояний, что делает ее потенциально бесконечной с точки зрения машинных вычислений. Рассмотрим два наиболее простых случая, когда задана однородная марковская цепь со счетным числом состояний или задан дискретный однородный марковский процесс.
1. Однородная цепь со счетным числом состояний
В этом случае универсальной характеристикой процесса является матрица переходных вероятностей P=(pij), i, j=1,2, ... . Здесь pij — условная вероятность перехода цепи из i-го состояния в j-е за один шаг. Матрица P является стохастической,
X
т.е. Z Pi,j = 1. Наряду с матрицей P будем рассмат-
j=1 P(n) - /P(n)\
ривать последовательность P - 1Ру I редуцированных матриц, элементы которых можно определить так:
X
p(n) _ JPi,j + ZPi,k 1 ^ i ^ n,j = 1,
pi,j _ I k=n+1
Pi j 1 < i,j < n .
Отсюда видно, что p(^ сходится с ростом n к pij, причем исходная бесконечная марковская цепь аппроксимирована последовательностью конечных марковских цепей (заметим, что все редуцированные матрицы P(n) являются стохастическими).
Если известно, что существует стационарное распределение исходной марковской цепи p , т.е. вектор, удовлетворяющий матричному уравнению p = p P, то для нахождения данного вектора применима следующая процедура.
Теорема 1. Пусть имеет место поэлементная сходимость последовательности редуцированных
матриц lim P(n) = P и последовательность реше-
n^-x
ний системы q(n) сходится к собственному вероятностному распределению Q = (Q1, Q2,...) Qi > 0, при
X
всех i и Z Qi = 1, тогда исходная последователь-i=1
ность имеет стационарное распределение p*=Q.
Доказательство. Покажем, что Qi = ^ QjPi,j . За-
j=1
фиксируем j и є >0. Выберем число T таким, чтобы
X X
; Ы 4.
i=T+1 6 i=T+1 6
Можно указать номер n такой, что
Q - qj
(n)
є
< —
6 ’
Qi - qi
(n)
Это возможно, исходя из сходимости q(n) ^ Q :
^ — при i < T. 6T
(n)
Pi
(n)
'i,j
* 6; i * T,
и вытекает из сходимости P(n) ^ P ■ .. Поскольку
X ^i,j
(n) _v (n) (n)
qj - Zjqi • Pi,j , то при n>j имеем
i=1
+
Qj-Z Qi • Pi,j i—1 < Qj- qj” +
X / V
М ~ 'з' “•S 1 + Z Pijqf - Qi
i=1 i=1 ' '
если i>n, то q(n) e0.
Оценим второе и третье слагаемые:
Y (n) / (n) \
Z qi ^Pi,j - Pij
i=1
C«J
suP|P(n) P V (n) є є є <SUP Pi,j _Pi,j + Lqi <-+-=--o Jl ^Mi -6 6 3’
i<T 1
qi
i=T+1
X . V Ipi.j(qin> - Qi < SUP q(n) - Qi
i=1 V ' i<T
i=1
Z(n) Vі (Г є Є Є Є
i=T+1 i i=T+1 6 6 6 2
Следовательно,
Qj-Z Qi • Pi,j
i=1
s s s
<^+j+у =*, т.е.
сходимость доказана: Qi -Z QjPi,j .
j=1
Покажем, что второе условие теоремы о том, что q(n) ^ q , существенно и не может быть отброшено.
Поэлементной сходимости матриц P(n) ^ P не достаточно для того, чтобы их собственные векто-
50
РИ, 2000, № 2
ры, соответствующие собственному значению 1, сходились к собственному вектору матрицы P. Рассмотрим последовательность матриц {р(п)}, обладающую следующими свойствами:
1. Первые n элементов последнего столбца матрицы р(п+1) пропорциональны единичному собственному вектору матрицы P(n), т.е. p^+1 = kn • q(n), i=1..n. Коэффициент kn подбирается так, чтобы kn • q(n) < p(1 для V i=1..n. Остальные элементы
матрицы p(n+1) равны соответствующим элемен
,(n+1) _(n) .
там матрицы P(n), т.е. pi j4 = pi j, i=1..n, j=2..n (n+1) , n^1 (n+1) . ,
p- i = p- j , i=1..n.
J=2 ’
2. Элементы pnn.m+1 подбираются так, чтобы пос-
1 p(n+1)
1 _ pn+1, n+1 _
- была ограничена
и
ледовательность
сверху:
1 - p(n+1)
1 p n+1, n+1
kn
kn
^ M и для v n
(n)
> С > 0
Покажем, что для данной последовательности мат-
риц {р (n)} отсутствует сходимость их единичных собственных векторов.
Рассмотрим проекцию разности векторов q(n) - q(n+1) на вектор
S _ L(n+1) p(n+1) p(n+1) p(n+1)
S - (P 1, n+1 > p2,n+1 > ••• >pn, n+1 >pn+1, n+1 _ 1
(если i>n, то q(n) e0): |q(n) - q(n+1)
q(n)
(q(n) -q(n+1))• S
• S - q(n+1) • S
ya(n). p(n+1) ^qi pi,n+1
i=1
yq(n+1). p(n+1) + q(n+1) .fp(n+1) _ 1
^qi pi,n+1 + qn+1 I pn+,n+1 1
U=1
к
n' ,(n+1) f ^fp(n+1) У
цс? j ^nniv
l=1v y v
Поскольку p^+1 = kn • q^ , i=1,...n
q(n+1) _ y^O+P p(n+1) qn+1 _ Zjql pi,n+1 , то
i=1
q(n) - q(n+1)
(n)
kn •!( q( і
i=1v y
(n) f _
( n+1
V q(n +1) p(n +1) _ q(n +1)
^ qi pi,n+1 qn+1
V i=1
\
(knf •z(q(n)) ф - p!ni
i=1 v y v
> +1) l,n +1
и
2
kn 1 q
(n)
,(n)
(n+1) V
+ ^ _ pn+1,n+1 j
2
,(n)
,(n)
(
q(n) 2 +
(1 (n+1) A2
1 - p„ ,1 „ ,1
pn+ 1,n+1 kn
,(n)
+ M2
2
2
2
2
> , ” = = const >0.
V„2 + M2
Следовательно, отсутствует сходимость последовательности векторов q(n).
2. Одородный процесс со счетным числом состояний
Мы обосновали метод редукции в применении к дискретному случаю, т.е. когда изучается бесконечная марковская цепь. Предположим теперь, что изучается марковский процесс с непрерывным временем и счетным множеством состояний. Пусть его поведение описывается матрицей интенсивностей (инфинитезимальной матрицей) Л = (X ij), i,j=1,2, ... , по определению, данная матрица вырождена. Покажем, что применение метода редукции к матрице Л = (X ij) возможно и что в этом случае поэлементной сходимости, вообще говоря, недостаточно. Известен тот факт, что если sup X jj < да , то соответствующая система уравнений Колмогорова
p'(t) = p(t)A (1)
имеет единственное решение, которое можно наити как предел соответствующих редуцированных систем [4]. При доказательстве этого факта редуцирование проводилось простым отбрасыванием элементов матрицы Л = (X ij), начиная с (n+1) строки и столбца. Матрица Л = (X ij)n j=1 в этом случае перестает быть вырожденной и не определяет марковский процесс.
Определим редуцированную матрицу Л = (X ij) следующим образом:
Л(п) =
-^1 X ^12 + ZX1j j=n+1 ••• ^1n
^ 21 + 2j j=n+1 - X 2 •• ^ 2n
^ n1 + nj v j=n+1 ^ n2 •• • - ^ n
Последовательность матриц |д, (n) }Г- 1 сходится поэлементно к матрице Л и с небольшими переделка-
РИ, 2000, № 2
51
ми доказательство теоремы 1 можно перенести на доказательство следующего факта.
Теорема 2. Пусть имеет место поэлементная сходимость последовательности редуцированных матриц L(n) к матрице L, а последовательность
решений q(n) редуцированной системы сходится к собственному вероятностному распределению
q = (qi,q2,...), qi > 0, при всех i и Xqi = 1, тогда
i=1
исходная система уравнений (1) имеет стационарное распределение q = (qi,q2,...) на бесконечности.
Покажем, что и в этом случае поэлементной сходимости Л(п) ^ Л при n недостаточно для сходимости нулевых собственных векторов q(n) матриц Л(п) к собственному вектору q матрицы л •
Для доказательства этого утверждения рассмотрим последовательность инфинитезимальных матриц
(л(п) |”_i, обладающую следующими свойствами:
lim Л(п) = Л . п^ю
Каждая матрица в последовательности связана с предыдущей соотношением:
Л(п+1) =
>!?■
)(п).
k • а(п) kn q1 , Дп) ... л1,п;
k • q(n) kn q2 , >§2. Х(п) ... А2,п;
k • qn) kn • % , Х(п) /^П,П-
Дп+1) An+1,1’ дп+1) ... Ап+1,п'
г
• Qn
где q(n) — собственный вектор матрицы Л(п), соответствующий нулевому собственному значению; kn — произвольные коэффициенты, удовлет-
воряющие условию 0 < kn <
х(п) А 1,1
Последовательность
qi
I Дп+1)
1 А п+1,п+1
(п) ’
i=2..n.
ограничена,
т.е.
Дп+1) %+1,п+1
kn
п=1
< M
и
.(п)
> C > 0
Рассмотрим проекцию разности векторов
q(n) - q(n+1) на вектор
s=(c+i . ^ ..... о . ^пз,+1)
(если i>n, то q(n) е0):
J (q(n) - q(nД -
q<"> -q(n+1)
п
п
п
k
п
S - q(n+1) •
IS
S
n n+1
Vq(n) Дп+1) V а(n+1) Дп+1) L, qi ’А i,n+1 L, qi ’А i,n+1
i=1 i=1
n+1, \2
V Дп+Ц 2
ТІ ^1A i,n+1 i=1v '
Так как i=1..n, то
n+1
I qj1^1
i=1
л (n+T)
A i,n+1
=0
и
Дп+1) _ k . q( Ai,n+1 kn qi
(n)
q(n) _ q(n+1)
,(n)
(knf
,(n)
-(x(n+1) V
n+1,n+1)
(n)
,(n)
,(n)
rx(n+1) Л
n+1,n+1
kn
,(n)
+ M2
C2
VC
= const >0.
+ M2
Таким образом, последовательность jq(n)| не
1 ) n=1
сходится к нулевому собственному вектору матрицы Л .
2
2
2
2
2
Данные результаты могут быть перенесены на случай неоднородных марковских процессов и процессов с точками фокусировки. Различные варианты редукции таких систем были численно проанализированы в работах [2,3].
Литература: 1. Герасин С.Н. Проблемы стабилизации распределений неоднородных марковских систем. Харьков: ХТУРЭ, 1999. 212 с. 2.Герасин С.Н., Дикарев
B. А., Числин Н.И. Существование предельных вероятностей для конечных процессов Маркова с убывающими к нулю временными промежутками перехода / / Доповіді НАН України. 1998. №7. С.15-19. 3. Герасин
C. Н., Кириченко Л.О., Родзинский А.А. Анализ эргоди-ческого режима бесконечных марковских систем методом редукции // АСУ и приборы автоматики. 1999. Вып. 109. С.61-66. 4. Reuter G.E.H., Ledermann W. Differential equations for the transition probabilities of Markov processes with enumerably many states // Proceedings of the Cambridge philos. soc., 1953. Vol.49, N2. P.247-262.
Поступила в редколлегию 11.04.2000
Рецензент: д-р физ.мат. наук, проф. Дикарев В.А.
Герасин Сергей Николаевич, канд. техн. наук, доцент кафедры высшей математики ХТУРЭ. Научные интересы: теория вероятностей и ее приложения, теория процессов Маркова. Адрес: Украина,61166, Харьков, пр. Ленина, 14, e-mail: hm@kture.ua, тел: (0572)40-93-72, (0572)72-12-38.
Лизгин Валерий Анатольевич, начальник отдела АСУ “Карачаево-Черкесскгаз”. Научные интересы: теория вероятностей и ее приложения. Адрес: Россия, 357100, Карачаево-Черкесская республика, г. Черкесск, ул. Кавказкая, 126, тел. (87822)511-51.
Лобас Александр Николаевич, студент 3 курса факультета ПММ ХТУРЭ. Научные интересы: теория процессов Маркова. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. (0572)99-59-37.
52
РИ, 2000, № 2
