Об эргодических свойствах однородной марковской цепи Текст научной статьи по специальности «Математика»

Владикавказский математический журнал 2012, Том 14, Выпуск 1, С. 37-46

УДК 512.643.5+519.217

ОБ ЭРГОДИЧЕСКИХ СВОЙСТВАХ ОДНОРОДНОЙ МАРКОВСКОЙ ЦЕПИ

Е. В. Головнева

Изучен спектр бесконечномерной колмогоровской матрицы, по крайней мере, с одним отделенным от нуля столбцом. Показано, что нуль является собственным значением единичной кратности, а весь остальной спектр отделен от нуля. Соответствующий марковский процесс экспоненциально быстро сходится к финальному распределению; дана явная оценка скорости этой сходимости.

Ключевые слова: марковские процессы, генератор, спектр матрицы, финальный проектор.

Со времени работ Перрона и Фробениуса [2, 3] по изучению спектра положительных матриц, главное внимание было сосредоточено на изучении наибольшего по модулю собственного значения, в то время как задача отделения спектра от нуля практически не рассматривалась. Целью данной статьи является доказательство того, что для некоторого типа Колмогоровских матриц нуль является изолированной точкой спектра, а сами эти матрицы являются, соответственно, генераторами марковской полугруппы в пространстве li, экспоненциально быстро сходящейся к одномерному проектору.

Основные положения теории марковских процессов со счетным множеством состояний и связанных с ними полугрупп в пространстве li хорошо представлены в имеющейся литературе [4-7]. Мы же только напомним, что марковский процесс P(t) = eоднозначно определяется своим генератором Q. Условимся представлять оператор Q в виде матрицы, действующей справа налево на вектор-строку, принадлежащую пространству l1. При этом матричные элементы удовлетворяют условиям Колмогорова:

qii = qj, va > j = i-

В данной работе мы рассматриваем только генераторы конечной li-нормы

llQll = suP^ lqij i

3

откуда очевидно следует, что все элементы матрицы, включая диагональные, конечны. Для начала докажем одно полезное вспомогательное утверждение.

Предложение 1. Пусть дана ограниченная (как оператор в 11) матрица A, для которой существует 6 > 0 такое, что

lannl lank| + 6 (Vn).

k=n

© 2012 Головнева Е. В.

Такая матрица задает в пространстве 11 обратимый оператор, иными словами, А = 0 не является точкой ее спектра. При этом норму обратного оператора A-1 можно оценить так:

< Рассмотрим равенство

A = diag(an ,0.22 ,•••) + A,

где A — матрица с нулевой диагональю, вне диагонали совпадающая с A, а diag(an,a22, • • •) — матрица с нулевыми внедиагональными элементами. Далее рассмотрим матрицу A, определяемую соотношением A = diag(all, a22, • • •) ■ (I + A). Очевидно, что k-ая строка A получена делением k-ой строки A на a^k. Оценим операторную норму A

и 4ii 1 sr^\akj , |0kk|— S 1 S . S \\A\\ = sup > \akj\ = sup >— < sup—-— = 1--:-r < 1 -

k k tli 0kk k |0kk| sup |akk|

j j = k

Поскольку ||A|| < 1, существует обратная к A матрица

A-1 = (I + A)-1 ■ diag(a-il,a-21, • • •) =( £ (-A)m] ■ diag(a-i1 ^••O,

где Ai0 = I, а ряд сходится по операторной норме. Имеем

.11 • (Vo —1 1— -—

|агг| 5 • |ай| 52

где в последнем переходе мы использовали очевидное неравенство И |йй| ^ 5, несколько ухудшая возможную точность оценки. >

Заметим, что в конечномерном случае утверждение о существовании обратной матрицы по сути дела эквивалентно классической теореме Гершгорина [8, 9]. Более того, матрицы с диагональным преобладанием достаточно интенсивно изучаются в литературе, по крайней мере, в конечномерном случае [10, 11]. Но нам в дальнейшем пригодится не только экзистенциальный результат, но и сам подход с разложением в матричный ряд, равно как и следующая из него оценка нормы обратного оператора.

Основной целью данной работы является применение этого метода к исследованию одного класса марковских процессов с непрерывным временем. А именно, рассмотрим такой ограниченный генератор ф, что его матрица содержит столбец, все элементы которого равномерно отделены от 0:

(3 к)(3 5 > 0): (VЯ Ы ^ 5.

С помощью предложения 1 можно не только установить эргодические свойства так определенного класса процессов, но и получить для них несложные доказательства ряда общих утверждений теории марковских процессов, сформулированные на языке элементарных свойств матриц без обращения к понятиям теории вероятности. Например, из общей теории марковских процессов известно, что точки с И,е А > 0 не принадлежат спектру оператора ф.

Лемма 1. У оператора ( нет точек спектра с И,е А > 0, кроме А = 0. < 1) Рассмотрим А = iе, е £ Ж, и оператор ( + АI.

Япп € К Vе <Е Ж |дпп + ге\ = + е2-

Рассмотрим

|9пп + iе|2 - 1Япи12 = (\Чии + iе| - |дпп|)(|9пп + iе| + |9пп|)-С другой стороны, это выражение равно ц2пп + е2 — ц2пп = е2. Кроме того,

1 ^ 1

\Япп\ = \Япк\ = 2^ ^ 2 п=к к=1

Поэтому

е2 е2

\дпп + ге\ - \qnnl = ,- . , , ,-г^-, ,0 (УпеМ).

Щпп + ге\ + Щпп\ Щ + ,/11<ЭН2 | л

Осталось лишь заметить, что в силу доказанного

2

|^пп + «е| 1Япк1 +

е

Пфк Ш + 2

и к матрице ( + iеI применимо предложение 1.

2) Случай положительной вещественной части еще проще. Поскольку дпп < 0, то при И,е А > 0 имеем

|дпп - А| = л/(\Япп\ + Ъ£ А)2 + (1т А)2 ^ \дпп\ + 11е А.

Дальнейшее рассуждение очевидно. > Предложение 2. Область

(1т А)2

Яе А > -

принадлежит резольвентному множеству

< Утверждение следует из доказательства леммы 1 с учетом элементарного неравенства

|9пп — А| > | |^пп — i 1т А| — | И,е А| |. >

Теорема 1. Генератор с отделенным от нуля столбцом и конечной нормой, порождает марковскую полугруппу, экспоненциально быстро сходящуюся равномерно к однозначно определенному финальному распределению.

Утверждение теоремы является следствием серии доказанных ниже лемм 2-7, которые утверждают, что для генератора ( значение А = 0 является изолированной точкой спектра (собственным значением единичной кратности), и все остальные точки спектра имеют Яе А < 0.

По условию существуют к и 5 > 0 такие, что для любого ] выполняется | > 5. Без нарушения общности будем считать, что к = 1. Очевидно, что матрица В, получаемая из Q удалением первой строки и первого столбца, удовлетворяет условию предложения 1. Лемма 2. Спектр матрицы В не пересекается с кругом |А| < 5.

< Для доказательства леммы покажем, что оператор В — А/ обратим при любом | А| < 5. Действительно,

1Ы > Е I + 5.

Следовательно,

|Ьпп — А| > |&гага| — IА| > ^ К] I + 5 — IА|.

Применив к матрице В — /А предложение 1 с 5 — |А| вместо 5, получаем, что существует оператор (В — А/)-1. >

Заметим, что норма оператора (В — А/)-1 оценивается следующим образом:

-ц,^ 11В — А/1|

M(B - А/)-1|| <

(5 — |А|) ■ inf Ibn — А|

Для выяснения вопроса о спектре оператора Q в окрестности А = 0 рассмотрим связь операторов Q и В:

^11 еч

Q - f B

где qn отрицательное число, e может действительно рассматриваться как элемент l1, поскольку |qn| = ^°=2 |e^|, а f принадлежит лишь B — обратимый оператор, все точки спектра которого удовлетворяют неравенству |А| ^ 5 (см. лемму 2).

Лемма 3. Необходимым и достаточным условием того, что А = 0 является точкой спектра оператора Q, служит соотношение qn = eB-1f.

< Выясним, при каких условиях оператор Q имеет обратный. Фиксируем m G 11 и перепишем вектор m в виде m = (m1,rn), где m. = (m2,m3,...). Найдем вектор p G l1, P = (Pi,p), такой, что pQ = m. Если это можно сделать однозначно для любого m G 11, то существует обратный Q-1. Матричное уравнение

(P1,P) ^q/ B^ =(m1,m)

можно записать покомпонентно

fqnP1 + P/ = m1, [ p1e + /B = mm.

Здесь pf понимается как действие функционала / G на вектор p G l1 или как формальное евклидово скалярное произведение, которое сходится, поскольку

те те те

|pf/ = E pfi ^Е Ipfil ^811 p I fil EN < 11Q ММ //M.

i=2 i=2 i i=2

Из второго уравнения находим

p = (m — p1e)B

1

и подстановка в первое уравнение дает

(911 — е£-1/)р1 = т-1 — т.В-1/,

где все операции определены корректно по той же причине, что и умножение р на /. Полученное уравнение имеет решение при любом т тогда и только тогда, когда коэффициент при р1 не обращается в нуль. Если решение существует, то оно очевидно принадлежит 11. >

Лемма 4. Если А = 0 является точкой спектра оператора

(=

911 е

/ ву

где е £ ¿1 и В имеет обратный, то А = 0 является собственным значением кратности 1.

< Утверждение следует из того, что критерий существования собственного вектора = 0 для нашего оператора совпадает с условием из леммы 3. Действительно, пусть

(М

911 е

/ в

или покомпонентно

что эквивалентно системе

911*1 + ¿7 = 0,

¿1в + ¿В = 0,

| 911 ¿1 — ¿1еВ-1 / = 0, = —¿1еВ-1.

Поскольку равенство ¿В = 0 по условию невозможно, имеем ¿1 =0 и 911 = еВ-1 /, а вектор £ определен однозначно. >

Заметим, что генератор ( из условия теоремы имеет собственное значение А = 0. В самом деле, ( удовлетворяет условию ^к 9гк = 0 при любых ^ т. е. формальному матричному уравнению

/1\

1

(

1

V/

0,

которое может быть записано в виде двух условий:

911 + ег = 0, / + В

1 1

1

V/

0.

0

Отсюда следует

Л\

еВ-1/ = —еВ-1В

/Л

= — е

\7

= — Е е» = 911-

:

Поэтому А = 0 есть собственное значение в силу леммы 4. Рассмотрим теперь оператор Q — А/, где |А| < 5.

Я — А/ =

911 — А /

В- А/

Оператор В — А/ имеет обратный в силу леммы 2. Для дальнейшего нам необходимо установить некоторые свойства оператора (В — А/)-1.

Лемма 5. Пусть А — вещественное число, А > —5. Тогда все элементы матрицы (В — А)-1 неположительные.

< Действительно, по предложению 1 обратный оператор к В — А существует и представим в виде сходящегося по операторной норме ряда

(В — А)-1 = ( £ ( — В г] ■ ^ ((&11 — А)-1, (622 — А)-1,...).

При этом очевидно, что все элементы матрицы В неположительные. Значит, матрица (—В?) ^ О. Таким образом, (—В)т ^ 0 для всякого т, в то время как все диагональные элементы исходной матрицы отрицательны. Отсюда, очевидно, следует утверждение леммы. >

Замечание 1. Комбинируя лемму 5 в случае А = 0 с явным выражением для собственного вектора, найденным в лемме 4, видим, что этот вектор (вектор финальных вероятностей) действительно допускает вероятностную интерпретацию, поскольку, выбрав ¿1 > 0, имеем > 0 при любых г.

Лемма 6. Оператор Я не имеет вещественных элементов спектра, удовлетворяющих неравенству А > —5.

< Допустим, что это не верно. Рассмотрим оператор Я[л] = Я — А/. Если А является элементом спектра для оператора Я, то точка 0 будет элементом спектра оператора Я[Л]. Следовательно, по лемме 4 получаем

911 — А = е(В — А/)-1/.

Однако нам также известно, что

911 = е(В )-1/, —(В )-1 / =

/Л

1

1 .

1

1

1

1

После несложных подстановок и преобразований с использованием резольветного уравнения (В — А1 )-1 — В-1 = А(В — А1 )-1 В-1 получаем

1

1 = е(В — А1)

1

\7

В соответствии с леммой 5, все элементы (В — А1 )-1 неположительны, а все компоненты /е неотрицательны по условию. Следовательно, последнее равенство не может быть верным. Получено противоречие. >

Осталось убедиться в отсутствии комплексных точек спектра в проколотой окрестности нуля.

Лемма 7. У матрицы ( нет точек спектра вида А — е^ где А, е £ Ж, таких, что

|е| ■ ||(В — А1)

1

< 1.

< Заметим, что если такие точки в спектре существуют, то они входят в него парами, т. е. точками спектра будут (А — е^ и (А + е^. Допустим, что существует такая пара. В этом случае выполняются следующие соотношения:

911 — А — еi = е(В — (А + е^ I) 1/,

911 — А + еi = е (В — (А — еi) I) 1/.

Известно также, что

1 1

911 = еВ-1/, —В-1/ =

\7

откуда, несколько раз используя резольвентное уравнение, нетрудно получить

2 Л-1

е(В — А1 )((В — А1 )2 + е21)

1

1

\7

= 1.

Рассмотрим оператор (В — А1 ) ((В — А1 )2 + е21) 1. В силу условия леммы он допускает разложение в сходящийся ряд

(В — А1 ) ((В — А1 )2 + е21)-1 = (В — А1 )(В — А1)-2 (I + е2(В — А1)-2) = (В — А1 )-1 ■ 1)к е2к (В — А1 )-2к.

Ч-2Л-1

1

1

1

1

В результате получаем

1 = e > '( — 1)k(B - А/)-(2k+1>c2k

'В

k=0

1 1

1

W

Заметим, что у нечетных членов (с четным к) этого ряда все матричные элементы неположительные в силу леммы 5, а у всех четных — неотрицательные в силу множителя (-1). Но поскольку ||e2(B — А/)-21| < 1, то исходя из явного выражения для принятой операторной нормы, легко убедиться, что сумма элементов любой строки каждого члена этого матричного ряда строго меньше по абсолютной величине суммы элементов той же строки предыдущего члена. Следовательно, величина, стоящая в правой части равенства, отрицательна. Получено противоречие. >

< Доказательство теоремы 1. Мы доказали, что у оператора Q отсутствуют точки спектра в областях комплексной плоскости, определяемых предложением 2 и леммой 7. Следовательно, спектр Q не может лежать правее точек пересечения границ этих областей. Вещественная часть этих точек пересечения, обозначим ее —А*, и задает скорость выхода на финал: ||eQt — limT^^ eQT || убывает не медленнее, чем e-Xtt. >

Легко получить в явном виде несколько грубую оценку величины А*. В самом деле, поскольку

||B — А/1| ^ sup |&й — А| ^ inf Ibii — А| ^ 6 — |А|,

имеем оценку

|B — А/1|

1

<

6 — |А|

(см. замечание после леммы 2). Соответственно условие из леммы 7 запишется в виде N + 1^1 ^ Для простоты огрубим также условие из предложения 2 до

Re А > -

(Im А)2

||Q|| + I Im А|

или в текущих обозначениях

А>

||Q|| + N'

Легко убедиться, что вещественная часть точек пересечения границ этих областей выглядит следующим образом:

_ \\q\\-s j(\\q\\-sy iiqp 4 V 16

или, после преобразований

—А* — —

||Q||

1 + 3

| Q|

1 + 3

| Q|

-8

| Q|

г

1

2

2

2

6

6

6

4

Заметим, что последнее равенство, в пределе малого 5, можно оценить более простым выражением

дающим явную и легко вычисляемую по явному виду генератора, оценку скорости сходимости процесса.

Рассмотрим два примера, иллюстрирующих нашу теорему. В первом случае генератор Я = (9у) задается следующим образом:

1 1 г — 1 г — 1

911 = -1, 912 = 1, 921 = 77' Я22 = —77» ЯН = --, Яш =---•

2 2 г г

Здесь первый столбец отделен от нуля числом а норма оператора (5 равна 2. В этом случае легко разрешаются уравнения Чепмена — Колмогорова Р(£) = ЯР(¿), и можно в явном виде выписать все функции ру (¿):

1 2 з. 2 2 з.

Рп(*) = з + зе"> = з - з > = °

1 1 2 1 з +

№1(^ = 3-36-^, Р22^) = - + -е"\ = О (У^З),

Ри=е-*г* (УОЗ),

1 4(г — 1) з. г-2 ¿-и Л(

Рй =------е~~г* V ОЗ,

^ 3 3(г + 2) г + 2 у

2 4(г — 1) з. 2% <-1, Л(

ру = 0 (V г, ^ : 3 ^ ^ < г или ] > г ^ 3). В данном примере видно, что финал достигается экспоненциально быстро, а именно

-Ит^оов^Ц = Во втором случае Я = (9»^), где

1111

911 = -1, 912 = 1, 921 = Т7> <?22 = ~77> ЯН = т, 9« = —г-

2 2 г г

В этом примере нет отделенного от нуля столбца. Уравнения Чепмена — Колмогорова решаются в полной аналогии с предыдущим примером.

I 2 з+ 2 2 з +

Рп(*) = з + зе"> Р12^) = -~-е"\ р1,=0 (У^З),

II 3 2 1 3

Р21® = ---е~*, Р22{1) = - + -е~2\ р2,=0 (У^З),

Ри = е~^ (Уг^З),

1 4 з ^ г — 2 г

Рг1 =---;---V оз,

№ 3 3(32-2) Зг-2 ^

2 4 2* 4 Л(

= - + ^-- е-2--V оз,

^ 3 3(32-2) Зг-2 ^

ру = 0 (V г, ^ : 3 ^ ^ < г или ^ > г ^ 3).

В данном случае легко заметить, что хоть финальное распределение и существует, но сходимость к нему не равномерная.

Заметим, что другим подходом, в рамках которого возможно изучение спектра Марковской полугруппы, является изучение свойства позитивных полугрупп в полуупорядоченных банаховых пространствах [6]. Основы теории этих пространств были заложены еще В. Л. Канторовичем [12]. В плане развития данной работы планируется применение теории поуупорядоченных банаховых пространств к изучению эргодических свойств Марковской полугруппы.

Автор благодарит профессора В. П. Одинца за постановку задачи и плодотворные обсуждения.

Литература

1. Воробьева Е. В. О некоторых эргодических свойствах однородной марковской цепи с непрерывным параметром // Вестн. Сыктывкарского ун-та. Сер. 1—2006.—Вып. 6.—С. 39.

2. Perron O. Zur Theorie der Matrizen // Math. Ann.—1907.—Vol. 64.—P. 248-263.

3. Frobenius G. Uber Matrizen aus nichtnegativen Elementen // Akad. Wiss.—1912.—P. 456-477.

4. Булинский А. В., Ширяев А. Н. Теория случайных процессов.—М.: Физматлит, 2003.—399 с.

5. Хилле Э., Филлипс Р. C. Функциональный анализ и полугруппы.—М.: ИЛ, 1962.—830 с.

6. Клемент Ф., Хейманс Х. и др. Однопараметрические полугруппы.—М.: Мир, 1992.—352 с.

7. Goldschtein J. A. Semigroups of linear operators and applications.—New York: Oxford University Press, 1985.—256 p.—(Oxford Math. Monogr.).

8. Ланкастер П. Теория матриц.—М.: Наука, 1982.—269 с.

9. Gerschgorin S. A. Uber die Abgrenzung der Eigenwerte einer Matrix (German) // Изв. Академии наук СССР. Сер. 7. Отделение математических и естественных наук.—1931.—Вып. 6.—С. 749-754.

10. Колотилина Л. Ю. Множества, содержащие сингулярный спектр квадратной матрицы // Численные методы и вопросы организации вычислений. XXI, Зап. научн. сем. ПОМИ.—СПб., 2008.—Т. 359.—С. 52-77.

11. Колотина Л. Ю. Проблема вырожденности/невырожденности для матриц, удовлетворяющих условиям диагонального преобладания, формулируемым в терминах ориентированных графов // Численные методы и вопросы организации вычислений. XVII, Зап. научн. сем. ПОМИ.—СПб., 2004.—Т. 309.—С. 40-83.

12. Канторович Л. В., Вулих Б. 3., Пинскер А. Г. Функциональный анализ в полуупорядоченных пространствах.—М.-Л.: Гостехиздат, 1950.—550 с.

Статья поступила 3 февраля 2011 г.

Головнева Елена Вячеславовна Институт эволюционной физиологии и биохимии им. И. М. Сеченова РАН, младший научный сотрудник

РОССИЯ, 194223, Санкт-Петербург, пр. Тореза, 44 E-mail: elww@mail.ru, vorob@iephb.nw.ru

ON ERGODIC PROPERTIES OF HOMOGENEOUS MARKOV CHAINS

Golovneva E. V.

In this paper we continue our investigations initiated in [1]. Namely, we study the spectrum of Kolmogorov matrices with at least one column separated from zero. It is shown that A = 0 is an eigenvalue with multiplicity 1, while the rest of the spectrum is separated from zero. Therefore, a Markov process generated by such a matrix converges to its uniquely defined final distribution exponentially fast. We give an explicit estimate for the rate of this convergence.

Key words: Markov processes, generator, spectrum of a matrix, final projector.