О некоторых решениях уравнения Колмогорова-Чепмена для марковских процессов с дискретным множеством состояний и непрерывным временем Текст научной статьи по специальности «Математика»

О НЕКОТОРЫХ РЕШЕНИЯХ УРАВНЕНИЯ

КОЛМОГОРОВА—ЧЕПМЕНА ДЛЯ МАРКОВСКИХ ПРОЦЕССОВ С ДИСКРЕТНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

Р. Н. Мирошин

С.-Петербургский государственный университет,

д-р физ.-мат. наук, профессор, [email protected]

Указанное в заголовке уравнение — нелинейное интегральное уравнение в случае марковских процессов с непрерывным множеством состояний и билинейное уравнение, в котором вместо интеграла стоит суммирование в случае, когда множество состояний дискретно. Из него нужно определить вероятность перехода траектории процесса из какого-либо состояния в начальный момент времени в другое состояние в любой последующий момент времени. Все решения известны при дискретном времени [1, с. 245], [2], а для процессов с непрерывным временем это уравнение заменяется линейным уравнением, если известны некоторые функционалы от вероятности перехода [1, с. 315-318], [2]. Желательность непосредственного решения уравнения Колмогорова—Чепмена отметил в 1932 г. С. Н. Бернштейн [3], но только в 1961 г. О.В.Сарманов [4] частично реализовал это пожелание билинейными рядами для стационарных марковских процессов с непрерывным временем и непрерывным множеством состояний при некоторых, довольно ограничительных предположениях. Недавно [5-6] нам удалось снять подобные ограничения, построив ряд частных решений для такого рода марковских процессов, в том числе и нестационарных, с помощью функционального уравнения. Решения построены как в виде рядов, обобщающих билинейные [6], так и в виде специального типа однократных интегралов [5]. В настоящем сообщении мы используем функциональное уравнение и для отыскания решений в случае дискретного множества состояний и непрерывного времени. В качестве примеров приведены несколько решений, когда состояний всего два, так что результаты легко проверяются непосредственной подстановкой в исходное уравнение.

Рассмотрим одномерный вещественный марковский процесс с непрерывным временем Ь > 0 и дискретным множеством состояний {^1^=0, где N может быть и бесконечностью. Он полностью характеризуется начальным распределением (при Ь = в) и вероятностью перехода траектории процесса из состояния а при Ь = в в состояние в момент времени Ь > в. Как сказано в [1, с. 314], «принято отождествлять» состояния а^ с натуральными числами 0,1,..., N. Поэтому указанную вероятность перехода, упрощая обозначения, будем писать в виде ^ ]), а уравнение Колмогорова—Чепмена

для неё — в виде

N

Пв^г(г ^ 3) = ^2 (® ^ к) пт^¿(к ^ j). (1)

к=0

Предположим, что

пт^¿(* ^ j) = 0, = 0, 1, 2, . .., N в < т < Ь,

© Р. Н. Мирошин, 2010

т.е. любое состояние в момент времени t достижимо из любого состояния в момент

времени т. Этим мы исключаем тривиальное решение (нуль) уравнения (1). Остальные

решения ищем в виде

L

^ л = Y1 (2)

fc=0

где /st(k) < M — целочисленная вещественная возрастающая функция от k, а известные вещественные функции Mfc(i) и Vfc(i) ортонормированы:

N

um(i)vn(i) = £mn, m,n = 0,1, 2,..., M, M > L (3)

i=0

(^mn —символ Кронекера: £mn = 0 при m = n, = 1).

Примерами таких Mfc(i) и v,t (i) являются ортогональные многочлены дискретного переменного [7, с. 220]: Чебышёва (M = N конечно), Кравчука (M = N тоже конечно), Шарлье, Гана и Мейснера (в трех последних N = то),—которые легко нормируются, т. е. функции, удовлетворяющие условию (3), существуют.

Нам требуется найти в (2) функции ast(k) и /st(k). С этой целью подставим представление (2) в уравнение (1) и переставим суммирования в правой части полученного равенства. Эта перестановка не требует обоснований в случае конечных L, M и N, а при бесконечных потребуем абсолютной сходимости соответствующих рядов. Если /sr(/rt(k)) < M при s < т < t, то вследствие (3) уравнение (1) преобразуется к виду

NN

^МпКС?К4(„)« = «st (/Ti(n)Ki(n)un(j>fST (fTt(n))(i). (4)

n=0 n=0

Сравнивая коэффициенты в левой и правой частях в (4) при un(j), находим, что

asi(n)vfst(„)(i) = «ST (/Ti(n))aTi(n)v/ST (fTt(n))(i). (5)

Это функциональное уравнение решим так же, как в [6]. Предположим, что

/st (/Tt(n)) = /st(n). (6)

Тогда уравнение (5) упрощается:

«St(n) = «ST (/Ti(n))«Ti(n)7 (7)

причем из (6)—(7) следует в силу монотонности /Tt

att(n) = 1, /tt(n) = n.

Уравнение (5) распалось на два — (6) и (7), первое из которых содержит только одну неизвестную функцию /st(n). Предположим, что она пропорциональна n:

/st(n)) = Ast • n < M, (8)

где Ast > 0 —целочисленная функция. Подставив (8) в (6) находим, что Ast определя-

ется уравнением

Asi AST ^^-Ti, s < т < t,

решение которого давно известно (см., например, [8]):

Ast = Y(t)/Y(s), s < t. (9)

Здесь Y(t) —не обращаюшаяся в нуль функция, для которой Ast —целочисленна (к примеру, Y(t) = k[t], где [t] —целая часть t, k — натуральное число). В частности, при L = M из (8) следует Ast = 1, т. е. Y(t) = 1.

Теперь ищем решение уравнения (7), полагая

«st(n) = exp{-g(n)Bst},

причем Bst > 0, g(n) > 0) —однородная функция степени v:

g(«n)= «v g(n). (10)

В этом случае получаем из (7), что Bst удовлетворяет функциональному уравнению

(ATt)VBst + ^Tt — Bst =0, S < T < t,

решенному в [5]:

Bst = a(t)YM(t) — a(s)YM-v (s)yv (t), где a(t) > 0 — произвольная непрерывная вещественная функция, ц — вещественное

число, Y(t) та же, что ив (9). Вследствие неотрицательности Bst функция

h(t) = a(t)YM-v (t)

не убывает.

Таким образом,

некоторые частные решения уравнения Колмогорова-Чепмена (1) имеют вид

L

ns——t (i ^ j) = ^exp{ — g(n)Bst}M„(j>Astn(*), S < t, (11)

n=0

где целочисленная функция Ast определена равенством (9), g(n) удовлетворяет (10),

Bst = YV(t)[h(t) — h(s)], s < t,

а функция h(t) не убывает.

Как следствие, в силу Ast = 1 при L = M получаем из (11) билинейную сумму. Более общее решение уравнения (1) в виде билинейной суммы мы найдем, положив

L

ns—t(i ^ j) = ^2 ast(n)uf(n)(j)vf(n)(i), s < t, (12)

n=0

где /(n) > 0 — целочисленная возрастающая функция. Естественно, должны выполняться неравенства /(n) < M и L < M. Используя (12) в (1), получаем, что (1) удовлетворяется, если

«st(n) = asT(n) • «Tt(n), s < т < t.

Это функциональное уравнение совпадает с (9), так что его нетривиальным решением является дробь

«st(n) = ^n(t)/^n(s), s < t, где ^n(t) —любая непрерывная по t функция, не обращающаяся в нуль.

Таким образом,

среди решений уравнения Колмогорова-Чепмена (1) находятся билинейные суммы

(13)

в которых Ь < М, / (п) — целочисленная возрастающая функция, / (п) < М, —п(£) — непрерывные по £ функции, не обращающиеся в нуль.

то пя^(* ^ _?’) можно отождествить с вероятностью перехода некоторого марковского процесса.

Приведем примеры, ограничившись для простоты процессами с двумя состояниями, 0 и 1, т. е. N = 1. Уравнение (1) имеет вид

П8^(* ^ Л = П8^т(г ^ 0)пт^(0 ^ ^') + п8^т(г ^ 1)пт^(1 ^ Д г,.? = 0,1. (15)

Одним из его решений, как следует из (11) и (13), при Ь = М = 1 является функция

в которой м^(^), (г), г,_?’, к = 0,1, связаны соотношениями ортонормированности (3):

а -&(£), к = 0,1, —непрерывные по £ невозрастающие функции, не обращающиеся в нуль, например, —^(£) = ехр(—к£), £ > 0. Далее, мы полагаем —о(£) = 1, 0 < —1(£) < -1(5) при 0 < в < £.

Пример 1. Удобно обозначить

ио(0) = а, ио(1) = 6, «о(0) = с, «о(1) = й,

«1(0) = е, «1(1) = й, «1(0) = /, «1(1) = $.

Подберем эти числа так, чтобы выполнялись соотношения ортогональности (17):

Если в (11) и (13)

N

(14)

¿=о

(16)

ип(0)«т(0) + ип(1)«т(1) — ^5

т, п = 0,1,

(17)

ас + =1, ес + йй = 0, е/ + =1, а/ + 6$ = 0,

и, кроме того, решение (16) было бы неотрицательным:

(18)

^ ^ -1(5) ^ -1(5)

а также чтобы (см. (14))

а«о(*) + '^1|~ | ег>1(г) > 0, Ьг>о(*) + | Ь,у\(г) >0, ¿ = 0,1,

(19)

В этом случае (16) будет представлять собой вероятность перехода некоторого марковского процесса.

Полагая e = —h, из (20) имеем c = d, (а + b)c = 1, а полагая в (18) f = —g, получаем а = b, 2ef =1 и 2ас = 1. Неравенства (19) выполняются при 2ас > —(t)/—(s), s < t, а поскольку 2ас =1 и —(t) невозрастающая функция, это последнее неравенство справедливо.

Возвращаясь к исходным обозначениям, можем утверждать, что (16) есть вероятность перехода некоторого марковского процесса, если 2uo(0)vo(0) = 1, 2ui(0)vi(0) = 1,

uo(0) = uo(1), vo(0) = vo(1), ui(0) = -ui(1), vi(0) = -vi(1).

Пример 2. Положим в (16)—(17)

uo(j) = v0(j) = cos y, UÁÍ) = vi(j) = cos ^ , j = 0,1,

т.е. uo(0) = 1, uo(1) = 0, ui(0) = 0 , ui(1) = —1 .

Соотношения ортогональности выполняются очевидным образом. Выполняются и условия неотрицательности функции (16). Поскольку

ТГз—>t(0 —> 0) + 7Г s—>£ (0 —> 1) = 1, 7TS—>£ (1 —> 0) + 7TS—>£ (1 —> 1) = ——<1, s<t,

— i(s)

процесс с вероятностью перехода

jn in —i(t) (j + 1)n (i + 1)n

> 1} = cos -------- cos--------/—~ COS ----------- COS -

V JJ 2 2 V’i(s) 2 2

можно отождествить с марковским.

Пример 3. Среди решений (16) уравнения Колмогорова—Чепмена (15) есть и такие, которые не удовлетворяют условиям (14), т.е. функцию (16) нельзя будет отождествить с вероятностью перехода марковского процесса.

Так, если взять в (16)

< Л < Л • (j + k)n '7 П 1

Uk{j)=Vk{j)= Sin-------------------, J,k = 0,1,

т.е. uo(0) = ui(1) = 0, uo(1) = ui(0) = 1, то соотношения ортогональности (17) выполняются. Неотрицательность (16) также очевидна, но

TIs—>t(l 0) + "JTs—(1 —> 1) = 1 + , / Ч > 1,

— i(s)

т. е. решение уравнения (15) вида

. jn . in —i(t) . (j + 1)n . (i + 1)n

7TS___¿ —> j) = sin — sin------------------1----— sin ------------------sin ■

V JJ 2 2 -i(s) °

лишено вероятностного смысла.

1. Вероятность и математическая статистика. Энциклопедический словарь. М., 2003. 912 с.

2. Спицер Ф. Принципы случайного блуждания / Пер. с англ. М.: Мир, 1969. 472 с.

3. Бернштейн С. Н. О зависимостях между случайными величинами // Собр. соч. Т. 4. М.: Наука, 1964. С. 235-254.

4. Сарманов О. В. Исследование стационарных марковских процессов методом разложения по собственным функциям // Труды Матем. ин-та АН СССР. Т. 60. М.: Наука, 1961. С. 238259.

5. Мирошин Р. Н. О некоторых решениях интегрального уравнения Колмогорова—Чепмена // Вестн. С.-Петерб. ун-та. Сер. 1. 2007. Вып. 4. С. 22-29.

6. Мирошин Р. Н. О решении интегрального уравнения Колмогорова—Чепмена в виде ряда // Вестн. С.-Петерб. ун-та. Сер. 1. 2009. Вып. 2. С. 74-78.

7. Бейтмен Г., Эрдейи А. Высшие трансцендентные функции / Пер. с англ. Т. 2. М.: Наука, 1966. 295 с.

8. Мирошин Р. Н. Случайные процессы и поля. СПб., 2003. 284 с.

Статья поступила в редакцию 14 января 2010 г.