Векторные односвязные цепи Маркова Текст научной статьи по специальности «Математика»

2003

Доклады БГУИР

июль-сентябрь

Том 1, № 3

УДК 517.514

ВЕКТОРНЫЕ ОДНОСВЯЗНЫЕ ЦЕПИ МАРКОВА

К С. КОРЧИЦ, В С. МУХА

Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь

Поступила в редакцию 19 сентября 2003

Математический аппарат цепей Маркова находит применение в различных областях знаний. Наибольшее развитие получили одномерные цепи Маркова, т.е. случай, когда исследуемая система характеризуется скалярной величиной. Анализ одномерной односвязной цепи Маркова осуществляется с помощью матрицы вероятностей перехода цепи. Анализ усложняется в случае многосвязной цепи Маркова. В связи с этим в работе [1] была предпринята попытка использовать для анализа многосвязных одномерных цепей Маркова аппарат многомерных матриц [2]. Этот же аппарат можно успешно применить для анализа векторных односвязных цепей Маркова, теория которых в настоящее время отсутствует в литературе. Данная работа посвящена решению этого вопроса.

Ключевые слова: цепи Маркова, уравнение Чэпмена-Колмогорова, случайная последовательность, матрицы вероятностей.

Скалярная односвязная цепь Маркова

Пусть , 5 = 0,1,2,..., — дискретная скалярная случайная последовательность или, иначе, скалярный случайный процесс с дискретным множеством значений (состояний) Е = (ег) , г = 1,к, и дискретным временем Т = {. Как известно [3], такой процесс называется однородной цепью Маркова, если он полностью определяется матрицей вероятностей перехода за один шаг Р = (' рл ■) , г,] = 1,к, и вектором вероятностей состояний в начальный момент времени А(0) = (аг(0)), г = 1,к , не зависящими от момента времени 5 . В дальнейшем будем рассматривать только однородные цепи Маркова. Для матрицы вероятностей перехода за п шагов Р(п) = (рг](п)), г,] = 1,к , справедливо уравнение Чэпмена-Колмогорова:

Р(п) = Р( т )Р( п - т) = РР(п -1) = Рп, (1)

а для вектора безусловных вероятностей в п -й момент времени (на п -м шаге) А(п) = (аг(п)), г = 1,к, — уравнение

А(п) = А(0)Р(п) = А(0)Рп. (2)

Векторная односвязная цепь Маркова

Пусть теперь £(я) = (£г(з)), г = 1, q, 5 = 0,1,2,..., — дискретная векторная случайная последовательность или, иначе, векторный случайный процесс с дискретным множеством значений (состояний) и дискретным временем. Каждая г -я компонента £(з) этого вектора может

принимать различное число значений, так что множество состояний описывается совокупностью

Е = (ег, п) , 1 = 1 q, ь = 1 к •

Это множество представляет собой матрицу из q строк, и строки имеют различное число элементов.

Вероятности возможных значений процесса на з -м шаге будем обозначать как А(з) = Р(£(з) = еи1,£2(з) = е2,12--£ч(з) = е9, ) = (а (з)),

Ь = 1,к1- *2 = 1,к2' ^ = 1,kq .

Это q -мерная гиперпрямоугольная матрица размером к1 х к2 х • • • х ^ . Для упрощения обозначений введем понятие мультииндекса г = (¡1-12-...,1) . Тогда матрицу безусловных вероятностей А(з) можно обозначать аналогично скалярной односвязной цепи Маркова в виде

А(з) = (аг(з)). (3)

Сумма элементов этой матрицы должна равняться единице, т.е.

2 аг(з)=Ч(з) = 1.

г

Здесь чА(з) обозначена q -свернутая матрица для А(з) [2].

Вероятности перехода цепи за один шаг сведем в матрицу вероятностей перехода

Р = Р(£(з) = е1Л,£/з) = е^ /£(з-1) = е1л1, £я(з-1) = е^) = = (р......),

г1-Ь1 = и^ г2,ь2 = 1-k2- = 1,кЧ .

Это 2q -мерная матрица размером к1 х к2 х • • • х кч х к1 х к2 х • • • х кч. Если рассматривать q -мультииндексы г = (i1-i2-...-i ) , ] = (j1-j2-■■■-jq), то матрицу вероятностей перехода за один шаг также можно обозначить аналогично скалярной односвязной цепи Маркова в виде Р = (рг] ). Матрица перехода Р обладает свойством

2 Рг,1 = 1 ™ , ]

или в матричной форме

2 РЬ \ 'Р = (1) ,

V }' )

где (1г ) — q -мерная матрица размером к1 х к2 х • • • х кч, все элементы которой равны 1, а ЧР

обозначена q -свернутая матрица для Р [2].

Аналогично матрице вероятностей перехода за один шаг определим матрицу вероятностей перехода за п шагов

P(n) = P(£/s) = e,ji,^(s) = h /Us - n) = e,,, ^q(s - n) = eq, ) =

= (Ph, 2,.... q }l,2..... Jn)) = ( Pi, j(n)):

s > n

i1, j1 = 1 k1, h> j2 = 1 k2, iq, jq = 1 kq

ясно, что P( 1) = P i ' j — q -мультииндексы. По определению примем, что P(0) = E(0,q),

(4)

где Е( 0,д) — (0,д) -единичная матрица [2], поскольку за 0 шагов система с вероятностью 1 останется в прежнем состоянии. Матрица вероятностей перехода за п шагов обладает теми же свойствами, что и матрица вероятностей перехода за один шаг. Кроме того, по формуле полной вероятности можно получить уравнение Чэпмена-Колмогорова

P(n) = (Pj(n)) = (XР,»(m)p^j(n - m)) = 0 q(P(m)P(n - m)) =

i _ 0,qn»

Pn, n > m

=(I

В частности, при т = 1 получаем Р(п) = °,д(Р(1 )Р(п -1)) .

С учетом свойства (4) это уравнение справедливо и при п = 1, поскольку Р( 1) = °д(Р( 1)Р( 0)) = °д(Р( 1)Е( 0 , д)) = Р( 1) .

Для матрицы безусловных вероятностей на п -м шаге получаем уравнение А(п) = (а(п)) = (I%(0)р^г(п)) = °,д(А(0)Р(п)) = °,д(А(0) °дРп),

(5)

(6)

где А( 0) — матрица безусловных вероятностей на нулевом шаге. Здесь используется понятие (0, д) -свернутого произведения двух многомерных матриц и (0, д) -свернутой п -й степени многомерной матрицы [2].

Таким образом, с помощью многомерно-матричного подхода мы получили простое обобщение соотношений (1), (2) для скалярных однородных цепей Маркова на случай векторных однородных цепей Маркова. Соотношения (1), (2) являются частным случаем соотношений (5), (6) при д = 1.

Пример. Изложенную теорию проиллюстрируем на примере цепи Маркова с параметрами д = 2, кг = к2 = к = 2 и матрицами

A( 0) = (ahl( 0)) =

( 0,3 0,2 Л

P = P( 1) = (Pi

0,4 0,1)

((1,1,1,1) (1,1,2,1) (1,1,1,2) (1,1,2,2)Л

0,7 0,1 0,1 0,1

(2,1,1,1) (2,1,2,1) (2,1,1,2) (2,1,2,2)

0,1 0,6 0,1 0,2

— (1,2,1,1) (1,2,2,1) (1,2,1,2) (1,2,2,2)

0,2 0,1 0,4 0,3

(2,2,1,1) (2,2,2,1) (2,2,1,2) (2,2,2,2)

1 0,3 0,2 0,1 0,4)

i, j, l, m '

Элементы матрицы P снабжены сверху в скобках значениями индексов. По формулам (5), (6) при n = 1,2,...,6 были получены матрицы безусловных вероятностей A(n) . Для выполнения расчетов использовался интегрированный в Delphi пакет научных программ "Анализ многомерных данных"[4], позволяющий производить расчеты при любых q, к . На рисунке 104

приведены графики безусловных вероятностей ai j(n) рассмотренной цепи Маркова. Мы видим, что для данной векторной цепи Маркова существуют предельные (стационарные) вероятности.

0.5 0.45 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0

0 1 2 3 4 5 6

Графики безусловных вероятностей ai j(n)

VECTORIAL 1-CONNECTED MARKOV CHAINS

K.S. KORCHITS, V.S. MUKHA Abstract

On the basis of multidimension-matrix approach a theory of vector single related Markovian chains, not mentioned in the literature, is developed. An example of analysis of vector single related Markovian chain is considered.

Литература

1. Яншин В.В. // Докл. АН СССР. 1991. Т. 318, № 5. С. 1108-1112.

2. Соколов Н.П. Введение в теорию многомерных матриц. Киев, 1972.

3. Гнеденко Б.В. Курс теории вероятностей. М., 1988.

4. Корчиц К.С., Муха В.С. // Изв. Белорус. инж. акад.. 2002. № 1/2. С. 246-249.