Частные решения уравнения Колмогорова-Чепмена для марковского процесса с многомерным пространством состояний и непрерывным временем Текст научной статьи по специальности «Математика»

УДК 519.21

Вестник СПбГУ. Сер. 1. Т. 3(61). 2016. Вып. 2

ЧАСТНЫЕ РЕШЕНИЯ УРАВНЕНИЯ

КОЛМОГОРОВА—ЧЕПМЕНА ДЛЯ МАРКОВСКОГО ПРОЦЕССА С МНОГОМЕРНЫМ ПРОСТРАНСТВОМ СОСТОЯНИЙ И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

Р. Н. Мирошин

Санкт-Петербургский государственный университет,

Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7-9

Билинейное уравнение Колмогорова—Чепмена определяет динамическое поведение марковского процесса. Задача его непосредственного решения (не прибегая к линеаризации) поставлена С. Н. Бернштейном в 1932 г. и частично решена О. В. Сармановым в 1961 г. в виде билинейных рядов. В 2007—2010 гг. автор нашел несколько частных решений вышеупомянутого уравнения как в виде рядов типа рядов Сарманова, так и в виде интегралов. При этом предполагалось, что пространство состояний марковского процесса одномерное. В настоящей статье найдены три частных решения для марковского процесса с многомерным пространством состояний в виде интегралов. Результаты иллюстрируются пятью примерами, в одном из которых показано, что среди решений исходного уравнения есть решение, не имеющее вероятностного смысла. Библиогр. 8 назв.

Ключевые слова: марковский процесс с многомерным пространством состояний, частные решения уравнения Колмогорова—Чепмена, вероятность перехода, функциональные уравнения.

Билинейное интегральное уравнение Колмогорова—Чепмена определяет вероятность перехода траектории марковского случайного процесса из начального состояния в некоторый момент времени в окрестность любого доступного состояния в последующий момент времени. Литература, посвященная методам решения этого уравнения, воистину необозрима (см., например, энциклопедию [1]). Однако среди распространенных методов непосредственное (без обращения к линейным дифференциальным или интегро-дифференциальным уравнениям) решение в [1] даже не упоминается. К поиску таких прямых решений призывал еще С. Н. Бернштейн в 1932 г. на математическом конгрессе в Цюрихе [2, с. 247], но лишь в 1961 г. О. В. Сарманов опубликовал несколько частных решений для стационарных плотностей вероятности перехода в виде билинейных рядов по собственным функциям ядра интегрального оператора, порожденного марковским процессом [3]. Начиная с 2007 г., в серии работ [4, 5] автору удалось свести уравнение Колмогорова—Чепмена к функциональным уравнениям, решив которые, удалось найти еще несколько представлений плотности вероятности перехода как в виде билинейных рядов типа рядов О. В. Сарманова, так и в виде интегралов. Единственным существенным ограничением в работах [4, 5] было рассмотрение марковских процессов с одномерным пространством состояний. В данной статье это ограничение частично снимается. Используемый метод также применялся для вычисления многократных интегралов специального вида, встречающихся в задачах, связанных с выбросами гауссовских процессов [5]. Введем обозначения:

а = (ai, ..., an) € П С Rn, da = dai ■ ■ ■ dan, ak € Ri, к = 1,...,n,

где под а подразумевается любой из n-мерных векторов A, x, y, z, встречающихся далее.

© Санкт-Петербургский государственный университет, 2016

Рассмотрим марковский процесс с п-мерным пространством состояний и непрерывным временем. Как известно [1], такой процесс полностью характеризуется начальным распределением (в момент времени в) и плотностью вероятности перехода па^г(х ^ у) траектории процесса из точки х в момент времени в в окрестность точки у в момент времени £ (эта плотность может быть и обобщенной функцией), определяемой из уравнения Колмогорова—Чепмена

(х ^ г) = (х ^ у)пт^г(у ^ г)йу, (1)

где х,у,г € П С Ип, в < т <

Ищем решение уравнения (1) в виде

п

(х ^ у) = Фаг (А) П иХк (у к )(хк (2)

к=1 ""

где Л С Ип, Ак ,хк, у к € И.1, фаг(Х) —непрерывная вещественная функция вектора

л, ¡(к'

(Ак) — вещественные функции, и\к (ук) и (хк) также вещественные функции такие, что

/ иХк (хк (хк )йхк = д(Ак - Цк), к = 1,...,п. (3)

■)пк

В (3) 5(Ак) —дельта-функция, Ак € Лк С И.1, ^к € Лк С И.1, П = Пп=1 ^к, Л = Пп=1 Лк. Такие пары функций и\к (хк)^\к (хк) используются в теории интегральных преобразований (Фурье, Ганкеля или Конторовича—Лебедева [4]). Например, для косинус-преобразования Фурье при Ок = [0, то), Лк = (-то, то) равенство (3) имеет место в случае

и\к(хк) = гохк{,хк) = \ - сов(Хкхк), V п

причем оно понимается как ядро линейного функционала на непрерывных функциях от Ак. В дальнейшем предполагается, что 0.к и Лк не зависят от переменных уравнений (1) и (2) и подынтегральные функции в (1) и (2) не зависят от 0.к и Лк, а фаг(А) непрерывна по А € Л. Это понадобилось для оправдания перестановки интегралов по крайней мере в случае преобразований Фурье, используемых в следующих примерах.

Внося (2) в (1), переставляя интегралы по у и А в правой части (1) и воспользовавшись (3), получаем уравнение

,, п

Па^г(х ^ г)= Фат(¡тг(А))фтг(А) П и\к (гк^^к)(Хк))(хк)dА, Л к=1 ЗТ

однотипное с (2). Оно удовлетворяется при

пп

Фаг (А) П (\к )(хк ) = фат ¡тг(А))фтг(А) П ví(¡k) цЮ (Хк )) (хк ), (4)

к=1 ° к=1 Т

где

1аг(А) = {¡^(А 1),...,/(П\Ап)} . Функциональное уравнение (4) решим, введя ряд дополнительных предположений.

Сначала выберем функции /[к\Хк} так, чтобы выполнялось

¡(к (№(Хк}) = №(Хк}, к =1,2,...,п. (5)

Тогда уравнение (4) упрощается:

фаг (Х) = Фэт (МХ}Жг(Х}. (6)

При т = Ь из (5), (6) имеем

№ (Хк } = Хк, фи (Х} = 1, к = 1, 2,...,п.

Таким образом, уравнение (4) разделилось на два функциональных уравнения (5) и (6), причем сначала надо найти /^(Хк} из (5), а затем, используя найденное, определить ф^ (Х} из (6). Пусть справедливо

и (Х} = А(з,г}Х = {А1(з,г}Х1,А2(8,г}Х2.. .,Ап(з,г}Хп}, (7)

т.е. /(к\Хк} = Ак(з,1}Хк. В этом случае получаем из (5)

Ак (з,т }Ак (т,1}= Ак (з,1}, к = 1, 2,...,п. (8)

Решение каждого из функциональных уравнений (8) известно (легко проверяется непосредственно):

Ак(з,г) = ^Р- 3<г, к = 1,2,... ,п, (9)

7к (в}

где 7к (£} —вещественные непрерывные функции, не обращающиеся в нуль. Решение уравнения (6) будем искать теперь в виде

фst (Х} = ехр{-д(Х}Б^ } (10)

и определим непрерывные вещественные функции д(Х} = д(Х1 ,...,Хп} и Б^. Подставляя (10) в (6), находим

д(Х}Б^ - д(А(8,1}Х}Бзт - д(Х}Б^ = 0. (11)

Относительно д(Х} предположим, что

— или при вещественном р > 0 имеем

д(рХ}= рид(Х}, Х е Л (12)

(например, д(Х} = (Хк + ■■■ + ХПГ/к),

— или при вещественных положительных р1,...,рп справедливо

g(PlХl,.. .,рпХп} = рЧ1 ■ ■■рП g(Хl, ...,Хп} (13)

(например, д(Х} = Х11 ■■■ Хп}.

214 Вестник СПбГУ. Сер. 1. Математика. Механика. Астрономия. Т. 3 (61). 2016. Вып. 2

Если

Ак(^)=А(^) = Щ, (14)

7(в)

т.е. Ак(в,г) не зависит от к, в случае (12) уравнение (11) преобразуется в следующее:

А"(т,г)Бат + Втг - Ваг = 0.

Его решение найдено в [4]:

Ваг = а(г)^(г) - а(в)1^-"(в)1" (г), (15)

где а(г) > 0 — произвольная непрерывная вещественная функция, ¡л — вещественное число такое, что

Н(Ь) = а(г)^-" (г)

— неубывающая функция в силу Ваг > 0.

В случае (13) получаем из (11) уравнение

А? (т, г) А"2 (т, г)■■■ АПп (т, г)Ват + Втг - Ваг = 0, решение которого, как нетрудно проверить, имеет вид

Ваг = а(гЫ1(г) ■ ■■ ^г(г) - "(в) ■ ■■ -(вЬ"1 (г) ■■■ (г), (16)

где а(г) > 0 — произвольная непрерывная вещественная функция, 7к (г) —те же, что и в (9), ¡1,. ..,лп —вещественные константы, обеспечивающие неубывание, в силу Ваг > 0, функции

к(г) = а(г)ч?1-^(г) (г).

Таким образом, среди решений уравнения Колмогорова—Чепмена (1) есть частное решение в виде

п

Па^г(х ^ у~)= ехр(-д(Х)Ваг) ТТ и\к (у^Лк(а,г)Хк(х)^ (17)

к=1

в котором Ак(в,г) определены равенствами (9) или (14), а Ваг —равенствами (16) или (15) соответственно.

Более простое частное решение уравнения (1) получается при Ак (в, г) = 1, к = 1,...,п, когда функциональное уравнение (6) принимает форму

фат (А)фтг(А) = фаг (А),

аналогичную (8), и поэтому

Ра (А)

где рг(А) —вещественная, не обращающаяся в нуль функция.

Таким образом, среди решений уравнения (1) есть и следующие:

/* ср (А) п Л ра (А)

(18)

Если (х ^ у} > 0 и

[ (х ^ у}Лу < 1, (19)

функции (17) и (18) можно отождествить с плотностью вероятности перехода некоторого марковского процесса.

Рассмотрим несколько примеров для п > 1 (примеры для п = 1 см. в [4]), подобрав их так, чтобы интегралы в (17) и (18) вычислялись в явном виде.

Пример 1. Пусть в < £ - в = р, х = (х1 ,Х2}, у = (у1 ,У2}, Х = (ХЬХ2}, хк ,ук ,Хк е [0, ж}, к = 1, 2. Согласно (17) функция

—> у) = — [ [ exp(y~P\J+ j cos Aiyi cosХ2У2 cosЛ1Ж1 cos\2x2dX1d\2

4 f^ f^

[ cos Л1 y\ cos Л2У2 cos Л1 xi cos,

io Jo

(20)

удовлетворяет уравнению Колмогорова—Чепмена (1), если положить в (20)

[2

= + Л| ихк(хк) = ьхк(хк) = у - совХкхк, к = 1,2.

Вычислим интеграл (20). Сначала вычислим «внутренний» интеграл

Сх2{х1,у\) = J ехр(у~Р\!+ с°8соэ\ix\dXi.

Используя формулы (25) и (3) из [6, с. 25 и 16 соответственно], этот интеграл можно представить в виде

<?А2(жь Ш) = 2(х1 +У1) + 9х 2(х1 -У1)],

где

fOO , !-ч ^ ^ / г

Г2 +

g\2(xi) = f ехр(~Р\/Л1 + A) cosXixidXi = ^Ki^^xl+p2^,

J 0 \J X 1 + p

а функция К1(х} —модифицированная функция Бесселя 3-го рода (функция Мак-Дональда) [6].

В свою очередь, по формуле (3) из [6, с. 16]

I Р

/ дх2(х1)со8\2У2Соз\2Х2(1\2 = ~[г(г1,Х2)+г(г2,х2)], (21)

■)о 4

где согласно (40) из [6, с. 52]

фк,х2) = Г bM^lcosX2X2dX2 = l{zl + xl)-V\ к = 1,2, (22) ./о ¿к 2 у

?2= р"2 + (у1 + х1 }2, г2 = р"2 + (у1 - х{}2. Соединяя вместе (21) и (22), находим, что интеграл (20) равен

4

= (23)

к=1

где р = г - в, в < г,

41 = р2 + (у1 + х1)2 + (у2 + х2)2, 42 = р2 + (у1 + х1)2 + (у2 - х2)2,

43 = р2 + (у1 - х1)2 + (у2 + х2 )2, 44 = р2 + (у1 - х1)2 + (у2 - х2 )2. Так как

Гж Гж . , р Гж Гж dzldz2 . ,

Уо Уо + 1)3/2 =1' (24)

тем самым (23) —плотность вероятности перехода некоторого марковского процесса. Этот же пример является примером к формуле (17) по варианту (12) с ^ =1,

А(в,г) = 1, Ваг = г - в, а(г) = г.

Пример 2. Пусть в < г, р = г - в, х = (х1 ,х2), у = (у1 ,у2), А = (А1,А2), Ак,хк, ук € (-то, то), к = 1, 2. Интеграл

^ ЛОО ЛОО -

^ у) =-т-2 / е_р>/Л?+Л1ехр{-1[А1(г/1-Х1) + А2(гл2-а;2)]}сгА1ЙА2,

4П Л —ж Л —ж

где 1 — мнимая единица, удовлетворяет уравнению (1), являясь частным случаем формулы (18), если положить в ней

V, =<яф(-(^Л5 + Л^), = = -=е1лгл, А* = 1,2.

Этот интеграл вычислен в [7, с. 266] и равен

Р г„2 , /„. „ ^ , /„. „ ч21 -3/2

В силу (24),

/ж /»ж

/ па^г (х ^ у^у = 1,

-оо —оо

так что па^г (х ^ у) может рассматриваться как плотность вероятности перехода некоторого двумерного марковского процесса.

Пример 3. Предыдущий пример допускает обобщение на любую целую размерность пространства состояний. Именно, полагая р = г - в > 0, х = (х1,... ,хп), у = (у 1,.. .,уп), А = (А1,.. .,Ап), хк,ук,Ак € (-то, то), к = 1, 2, видим, что функция

/Ж /»Ж __Г 71 I

(п) / ехр I Ак(ук - хк) \ ■ ■ ■ ¿\п

ж { к=1 )

~^у)= ^Уу I (п) I е

к (25)

удовлетворяет уравнению (1) как частный случай формулы (17). Согласно [7, с. 266], интеграл (25) равен

/п+1\ _гг+1

р2 + ^2(ук- хк)2 к=1

тг+1 2

> 0. (26)

Интегрируя (26) по у1,...,уп во всем пространстве состояний, получаем единицу, т. е. па^г(х ^ у) — плотность вероятности перехода некоторого марковского процесса с п-мерной размерностью пространства состояний.

Пример 4. Покажем, что, как и в случае п = 1 (см. [4]), при п > 1 могут существовать решения уравнения (1), для которых не выполняется условие нормировки (19). Пусть р = Ь - в, 0 < р < 1, х = (Х1,Х2), у = (У1,У2), А = (АЬА2), Хк,Ук,Ак € [0, то) и

->■ у) = ,п л0 / / (А1+А2) Р соэ А1У1 соэ А2У2 СОЭ А1Ж1 соэ А2Ж2ЙА1ЙА2.

(2п)Чо Л

(27)

Поступая так же, как в примере 1, вычисляем этот интеграл:

— = (28)

где

41 = (У1 + ХХ1)2 + (у 2 + Х2 )2, 42 = (У1 + ХЛ)2 + (у 2 - Х2)2,

43 = (У1 - ХЛ)2 + (у 2 + Х2 )2, 44 = (У1 - ХЛ)2 + (у 2 - Х2)2.

Хотя (27) и удовлетворяет уравнению (1) в силу (18), но интегрируя (28) по Ук в [0, то), к = 1, 2, видим, что интеграл расходится, т.е. не выполняется условие нормировки (19), и тем самым (27) не может быть плотностью вероятности.

Следующий пример демонстрирует, что гауссовский марковский процесс с двумерным пространством состояний является частным решением уравнения (1), отличным от (17) или (18).

Пример 5. Рассмотрим двумерный гауссовский процесс (£1 (Ь),£2(Ь)) с нулевым средним и определим, когда он является марковским. Плотность вероятности перехода (отношение гауссовской плотности вектора £ (в), £2(в); £1 (Ь), £2(Ь)) к гауссовской плотности вектора (£1(в),£2(в))) имеет вид [8]

/ \ 1 Г 1(г1,г2)

= Г"21ЁГ

где г1 = У1 - Ш1Х1 - Ш2Х2, ^ = У2 - пЛХЛ - П2Х2, Ук = £к(Ь), Хк = £к(Ь), к = 1, 2, в < Ь,

1(^1,г2) = &22^2 - 2012г1Х2 + |Е| = ((е^о^}2^,

азк = М {£(Ь) - Ы£з(Ь)][£к(Ь) - М£к(Ь)]Ыв),£2(в)} , з,к = 1, 2, М {£1 (Ь)1£1(в),£2(в)} = т1£1(в) + т2£2(в), М {£2(Ь)1£1(в),£2(в)} = п£(в) + п2£2(в),

а символом М{у1х} обозначается математическое ожидание случайной величины у при фиксированном х. Если известны элементы Щк(в,Ь) = М£^-(в)£к(Ь), 2,к = 1, 2, корреляционной матрицы процесса, все указанные выше функции о^к, т^, п^ при 2, к = 1, 2, вычисляются по ним (см., например, [8]). Они зависят от в и Ь и представляют из себя отношения определителей. Нам их конкретная форма в дальнейшем не нужна.

Используя формулу для характеристической функции гауссовского распределения [8], а именно,

I* то I 2 1 2

/ ->• уУ(-х^+х^с1у1с1у2=ехр I \кгк - - ^ Хк

I к=1 2 о,к=1

и обращая преобразование Фурье

ссо роо

1 (• ж (• ж | 2 1

ка^(х -+у)= / / ехр<-1^2\кук\СХи\2(1\1(1\2,

(2п) .1-ж-1 — ж { к=1 )

получаем представление па^г (х ^ у) в виде

/ж /'ж

/ фаг (А)СХу (А1 ,А2)dАldА2, (29)

ж —ж

[ 1 2 1

Фзь(Х) = ехр < -- > , (30)

[ 3,к=1 )

СХу(ЛьЛ2) = |-^=ехр ^-¡^ЛйУй^ | |-^=ехр + пк)х^ |,

совпадающем с (2), причем

и\к(хк) =—^=ех р{-\\кхк}, уХк(хк) =—^=ехр{\Хкхк}, к = 1,2, 2п 2п

а ¡к(Ак) = (тк + пк)Ак, т.е. выполняется предположение (7) с А(в,г) = тк + пк. Функция фаг(А) отлична от (10), поэтому, чтобы (29) удовлетворяла уравнению Колмогорова—Чепмена (1), нужны другие условия на нее. Ниже они формулируются в более общей форме, чем для гауссовского процесса (примера 5). Вместо (10) пусть, как в (30),

[ 1 2 1

Фзг(Х) = ехр < -- В^к(в,г)Х^Хк > , (31)

[ 3,к=1 )

где квадратичная форма - 1п фаг (А) положительно определена.

Подставив (31) в (6), находим, что (6) удовлетворяется, если выполняются функциональные уравнения

Аз(т,г)Ак(т,г)Взк(в,т) + Взк(т,г) - В^к(в,г) = 0, з,к = 1,2.

Простой подстановкой в эти уравнения убеждаемся, что их решениями являются функции

Вк(в,г) = а^З(г)^к(г) - (в)^к—1(в)^к—1(в)ъ(г)7к(г), з, к = 1,2, (32)

в которых азк > 0 — произвольные непрерывные функции, (г) —те же, что и в (9), ¡зк —вещественные константы, обеспечивающие положительную определенность квадратичной формы в (31).

Таким образом, кроме (17) и (18), среди решений уравнения (1) при п = 2 существует частное решение вида

12

->• у) = [ ехр < Взк(в,г)Х^Хк > ~^\_иХк(Ук)ъ\к(хк)(1Х,

и [ 2 з,к=1 ) к=1

в котором матрица {Bjk(s,t)}? к=1 положительно определена, а Bjk задаются формулами (32).

Для гауссовского процесса значения констант в (32) в одномерном варианте (при n =1) см. в [5].

Литература

1. Вероятность и математическая статистика. Энциклопедический словарь. М., 2003. 912 с.

2. Бернштейн С.Н. О зависимостях между случайными величинами // Собр. соч.: в 4 т. М.: Наука, 1964. Т. 4. С. 235-254.

3. Сарманов О. В. Исследование стационарных марковских процессов методом разложения по собственным функциям // Труды матем. ин-та АН СССР. Т. 60. М.: Наука, 1961. С. 238-259.

4. Мирошин Р. Н. О некоторых решениях интегрального уравнения Колмогорова—Чепмена // Вестн. С.-Петерб. ун-та. Сер. 1. 2007. Вып. 4. С. 22-29.

5. Мирошин Р. Н. О многократных интегралах специального вида // Матем. заметки. 2007. Т. 82, вып. 3. С. 401-410.

6. Бейтмен Г., Эрдейи А. Высшие трансцендентные функции / пер. с англ. М.: Наука, 1966. Т. 2. 295 с.

7. Бохнер С. Лекции об интегралах Фурье / пер. с англ. М.: ГИФМЛ, 1962. 360 с.

8. Уилкс С. Математическая статистика / пер. с англ. М.: Наука, 1967. 632 с.

Статья поступила в редакцию 12 мая 2015 г. Сведения об авторе

Мирошин Роман Николаевич —доктор физико-математических наук, профессор; [email protected]

PARTICULAR SOLUTIONS OF THE CHAPMAN—KOLMOGOROV EQUATION FOR MULTI-DIMENSIONAL-STATE MARKOV PROCESS WITH CONTINUOUS TIME

Roman N. Miroshin

St. Petersburg State University, Universitetskaya nab., 7-9, St. Petersburg, 199034, Russian Federation; [email protected]

The bilinear integral Chapman—Kolmogorov equation defines the dynamics behavior of a Markov process. The task of its immediate solution without the linearization was set in 1932 by S. N. Bernstein and partially was solved in 1961 by O. V. Sarmanov as bilinear series. In 2007-2010 author found several partial solutions of the above equation in the form of both a series of the Sarmanov-type and an integral. It was assumed that the state space of a Markov process was one-dimensional. In the article three particular solutions are found as integrals for multi-dimensional-state Markov process. Results are illustrated with five examples, one of which shows that it is the solution of the original equation that does not have a probabilistic sense. Refs 8.

Keywords: multi-dimensional-state Markov process with continuous time, solutions of the Chapman— Kolmogorov equation, transition probability, functional equations.

References

1. Probability and Mathematical ¡Statistics. Encyclopedic dictionary (Bol'shaya Rossiiskaya Entsiklopediya, Moskow, 2003) [in Russian].

2. Bernstein S. N., "On Dependencies between Random Values", Collected works 4, 235-254 (Nauka, Moscow, 1964) [in Russian].

3. Sarmanov O. V., "Investigation of Stationary Markov Processes by the Method of Eigenfunction Expansion", Tr. Mat. Inst. Steklova 60, 238-259 (1961) [in Russian].

4. Miroshin R. N., "On Some Solutions to the Chapman—Kolmogorov Integral Equation", Vestnik St.Petersb. Univ. Math. 40, Issue 4, 253-259 (2007).

5. Miroshin R.N., "On Multiple Integrals of Special form", Math. Notes 82, Issue 3, 357-365 (2007).

6. Bateman H., Erdelyi A., Higher Transtendental Functions 2 (McGraw-Hill, New York-Toronto-London, 1953; Nauka, Moskow, 1970).

7. Bochner S., Lectures on Fourier Integrals (Princeton University Press, Princeton-New Jersey, 1959; GIFML, Moskow, 1962).

8. Wilks S.S. Mathematical ¡Statistics (Wiley, New York, 1961; Nauka, Moskow, 1967).