ПЕРЕХОДНЫЕ ВЕРОЯТНОСТИ МАРКОВСКОГО ПРОЦЕССА НА ОТРЕЗКЕ, ЛЕЖАЩЕМ В ЧЕТВЕРТИ ПЛОСКОСТИ Текст научной статьи по специальности «Математика»

УДК 519.21 DOI: 10.18698/1812-3368-2021-2-4-24

ПЕРЕХОДНЫЕ ВЕРОЯТНОСТИ МАРКОВСКОГО ПРОЦЕССА НА ОТРЕЗКЕ, ЛЕЖАЩЕМ В ЧЕТВЕРТИ ПЛОСКОСТИ

А.В. Калинкин kalinkin@bmstu.ru

МГТУ им. Н.Э. Баумана, Москва, Российская Федерация

Аннотация

Рассмотрен марковский процесс рождения и гибели квадратичного типа. Состояниями случайного процесса являются точки отрезка, лежащего в четверти плоскости. Назовем четвертью плоскости множество векторов с целыми неотрицательными координатами. Процесс задан инфинитезимальными характеристиками или плотностями переходных вероятностей. Эти характеристики определяются квадратичной функцией от координат — функцией на точках отрезка с целыми координатами. Граничные точки отрезка являются поглощающими, в этих точках случайный процесс останавливается. Исследован критический случай, когда скачки процесса равновероятны в момент выхода из точки. Получены выражения для переходных вероятностей марковского процесса в виде спектрального ряда. Использована двухмерная экспоненциальная производящая функция переходных вероятностей и двухмерная производящая функция переходных вероятностей. Первая и вторая системы обыкновенных дифференциальных уравнений Колмогорова для переходных вероятностей марковского процесса сводятся к уравнениям в частных производных второго порядка смешанного типа для двойной производящей функции. Полученная система линейных уравнений решена методом разделения переменных. Найденный спектр является дискретным. Собственные функции выражаются через гипергеометрические функции. Коэффициенты построенного частного решения — ряда Фурье — найдены с помощью разложения экспоненты. Необходимое разложение экспоненты построено через известные в теории специальных функций суммы функциональных рядов

Ключевые слова

Процесс рождения и гибели, квадратичный тип, уравнения Колмогорова, точные решения

Поступила 27.03.2020 Принята 28.04.2020 © Автор(ы), 2021

Введение. Марковские процессы с непрерывным временем на двухмерном фазовом пространстве N2, N = 0,1,2,.., точек с целыми неотрицательными координатами рассматриваются, в частности, в связи с прило-

жениями в теории массового обслуживания [1], в математической теории надежности [2], физической кинетике [3], при математическом моделировании биологических сообществ [4]. Известны многие результаты о стационарных распределениях таких процессов (см., например, [1] и др.) и о вероятностях остановки случайного процесса на границах четверти плоскости — финальных вероятностях (см., например, [5, 6] и др.). Как правило, эти результаты носят асимптотический характер, т. е. при предельном изменении параметров процесса.

Представляет интерес рассмотрение поведения марковского процесса на N2 с течением времени. Трудности такого исследования определяются тем, что переходные функции случайных блужданий в четверти плоскости и переходные вероятности марковских процессов в четверти плоскости связаны с эллиптическими функциями. Аналитические методы исследования нестационарного поведения случайных процессов в квадранте сложны и получили ограниченное развитие [1, 7]. В связи с этим необходимо построение точных решений уравнений марковских процессов в четверти плоскости для тех или иных частных случаев [8].

Рассматривается процесс рождения и гибели квадратичного типа на отрезке в четверти плоскости. Определяется марковский процесс, соответствующий кинетической схеме взаимодействий [4, 9]:

71 + Т2 ^ 211,212, р + q = 1. (1)

Процесс принадлежит специальному классу марковских процессов на Nn — марковским ветвящимся процессам с взаимодействием [10, 11], для которого возможно применение аналитического аппарата производящих функций. Первая (обратная) и вторая (прямая) системы дифференциальных уравнений Колмогорова для переходных вероятностей свертываются к уравнениям в частных производных, — используются двухмерная экспоненциальная производящая функция и двухмерная производящая функция [11].

Для нахождения переходных вероятностей процесса (1) решается система из линейных уравнений в частных производных второго порядка смешанного типа методом разделения переменных [12]. Установлена теорема, при р = q = 1/2, о виде двойной производящей функции переходных вероятностей в форме спектрального ряда. Как следствие, даются переходные вероятности и финальные вероятности рассмотренного процесса рождения и гибели квадратичного типа.

Используемые способы применения спектральных методов к уравнениям марковских процессов развивают положения, первоначально при-

веденные в [3, 13]. В последующих работах, в частности в [14, 15], использование рядов с двумя разделенными переменными приводит к сложностям в вычислении коэффициентов рядов Фурье по специальным функциям. Отличие настоящей работы состоит в рассмотрении ряда с тремя разделенными переменными, что позволило в вычислениях коэффициентов ряда опираться на разложения экспоненты, — многие такие разложения известны в теории специальных функций [16, 17].

Процесс рождения и гибели квадратичного типа. Рассматривается однородный во времени марковский процесс

^) = (^), ^)), Ь е[0, ю), на множестве состояний

N2 = {(аьа.2), аьа,2 =0,1,2,..},

переходные вероятности

р«1 ) = P {^) = (р1, р2) | ^(0) = («1, а2)} которого при Ь ^ 0 + представимы в виде

Р^2 -1)(Ь ) = + о(Ь)

Р^2+1)(Ь) = + о(^ РЙЙ^ ) = 1 + о(Ь X

Рр"1 р"2))(Ь) = о(Ь) в остальных случаях;

здесь X >0; р > 0, ц > 0, р + ц = 1.

С помощью производящей функции

^Г«1,а2)(Ь; 51, 52)= X Рв? ¿Л^52Р2, | 51| < 1, | 52 | < 1,

Р1, ^1=0

вторая система дифференциальных уравнений Колмогорова для переходных вероятностей марковского процесса ),)) записывается в виде уравнения в частных производных второго порядка [11]

д^(дьа2) = л( 2 , 2 ) д 2ц(аьа2)

-—-= Мр51 + Ц52 - 5152 ) -

от д51д52

с начальным условием Ц а1,«2)(0; 51,52) = 5®15®2.

Скачки марковского процесса (точки остановки обозначены знаком х)

Возможные скачки марковского процесса ), )) показаны на рисунке. В начальном состоянии (аь марковский процесс находится случайное время Т(аьа2), Р{Т(а1,а2) < I} =

= 1 - е. Затем с вероятностью р процесс переходит в состояние (а1 +1, а2 -1) или с вероятностью ц процесс переходит в состояние (а1 -1, а2 +1). Далее аналогичная эволюция случайного процесса. Состояния {(у1,0),(0, у 2), Уь У2 = 0,1,2,...} являются поглощающими.

Рассматриваемый случайный процесс является процессом рождения и гибели квадратичного типа. Процесс (Е,^), )) представляет собой модель популяции с особями мужского и женского рода. Состояние (аь а2) интерпретируется как наличие совокупности из а! особей типа Т и а2 особей типа Т2; в случайные моменты времени происходят взаимодействия пар различных особей, превращающихся в новые совокупности особей. Основные предположения в модели (1), (2): любая пара особей Т + Т2 в популяции порождает потомство независимо от всех других; частота актов порождения новых особей пропорциональна числу особей типа Т1 и числу особей типа Т2 [9].

С помощью экспоненциальной (двойной) производящей функции переходных вероятностей

ОС1 И2

X?1 x

F(t; xi, X2; 5i, 52)= X ~~—г «i, «2 = 0 а1!а2!

F(a1,a2)(t; 5i, 52)

(3)

первая и вторая системы дифференциальных уравнений Колмогорова для переходных вероятностей такого марковского процесса записываются в виде [11]

dF .

-= KX\X 2

dt

f d2F d2F d2F ^

p ^+9

&2

6x16x2 j д 2F

dF

— = Цp512 + q4 - 5152) .

dt 051d52

(4)

(5)

с начальным условием

F(0; Z2; 51,52) = г*1*1 + *252 . (6)

Далее рассматривается случай критического процесса р = ц = 1/ 2 [10].

Примем (а)о=1, (а)к = а(а + 1)(а + 2)(а + 3)...(а + к -1), к = 1,2,3,... Потребуются следующие специальные функции [16-18]. Вырожденная гипергеометрическая функция определяется рядом (Ь -ф- 0, -1, -2,...)

к (аЬ*) V (а)к*к 1 Жа;Ь; * )= —• к=0 (Ь)к к!

Гипергеометрическая функция определяется рядом (с Ф 0, -1, -2,...)

ш и , £ (а)к(Ь)к

2 Жа, Ь; с; * )= ^^--— (7)

к=0 (с)к к!

и удовлетворяет обыкновенному дифференциальному уравнению второго порядка

*(1 - *) у"(х) + (с - (а + Ь +1)*) у '(г) - аЬу(х) = 0. (8)

Если —а или -Ь — неотрицательные целые числа, то гипергеометрическое уравнение имеет решение, являющееся многочленом от * (ряд (7) обрывается).

Определяется дополнительно [16] гипергеометрический ряд в случае с = -т, т = 0,1,2,.., когда разложение (7) теряет смысл. Если а = -п, где п = 0,1,2,.., причем с = -т, где т = п, п +1, п + 2,..., то полагают

п( и , £ (-п)к(Ь)к

21\(-п, Ь; -т; х) = ----—. (9)

к=0 (~т)к к!

Функции (9) являются решениями уравнения (8). Указанные выше многочлены называются гипергеометрическими многочленами.

Спектральное представление переходных вероятностей. Сформулируем следующую теорему.

Теорема. Двойная производящая функция переходных вероятностей равна

^ +*2)51 + Z2e(zl +*2)52 К (г; *2; 51,52)=-

X1 + x 2

£ £ (2а1 + 1)(а1 +а2)! J л 0 X2

- Ь X -TZ-—Г X11 X2(X1 + x2) 2FI -а1,1 -а1;2;--I х

И1=1 а2=о (2а1 +а2 + 1)!а2! ^ X1 ,

X (51 -52)И1+1 s2a22Ü ^-«2,ai +1;-ai -«2;^je-«1(«1 +1)^/2

e-«1(«1 +1)Af/2, (10)

Z?1 Z2(Z1 + Z2T22h \ -«1,1 -a1;2;- —

Z1

(51 - 52)a1 +1 sfг2р1 I -a2, a! +1; -a1 - 0,2;—

где

и

S2

— многочлены.

< Решение системы линейных дифференциальных уравнений в частных производных (4), (5) ищем в виде ряда с тремя разделенными переменными:

да

Я*; 21, 22; ¿1, S2)= X Лад С0^2(21, г2) Са1а2(51, а1И2 . (11)

ах, а2=0

Подставляя ряд (11) в уравнения (4), (5), получаем линейные уравнения в частных производных второго порядка:

\Z1Z2

^ 1 д2Ca1a2 ^ 1 32Ca1a2 д2Ca1a2 ^ v 2 2 dz2 6Z16Z2 J

+ ^aia2C a1a2—0, (12)

К 2 ^ + 2 " ^ ) 52 +^а1а2 С«1«2 =0, (13)

где а1, а,2 =0,1, ...

1. Нахождение собственных функций. Поскольку процесс ^) на конечном множестве Ь = {(0,ах +а2),(1,ах +а2 -1),...,(ах +а2,0)}, для уравнений (12), (13) имеет место краевое условие «решение есть многочлен», что возможно для последовательности «собственных значений»:

^а1а2 =1 ^а,1(а,1 +1), аь а2 = 0,1,... (14)

Соответственно уравнение (12) принимает вид

^ 1 32С а1ат 1 52 С тат 52 С ^

Z1Z2

>а1«2 ^ 1 и ^а1«2 и ^а1«2

2 5Z2 2 &2 &1&2 у

+ 2 а1(а1 +1) C а1а2 —0;

у2 о

'2

а1, а2 =0,1, ...

Применяя для начальных значений аь а2 метод неопределенных коэффициентов для нахождения решения в виде многочлена, приходим к выводу, что искомое решение имеет вид

Са1«2 (*1, *2 ) = Zlаl (*1 + *2)И2 у I —

V

где у(х) — многочлен. Подставляя в последнее уравнение это выражение, получаем обыкновенное дифференциальное уравнение второго порядка

х (х +1) у " + ((2 - 2а1)х + 2) у' + а1(а1 -1) у = 0. Решением является гипергеометрический многочлен

у(х) = 2 Ж-«1,1 - «1; 2; -х),

и, таким образом,

~ , = „«1^ , _ л«, .Г , ...

Са1И2 (*1, ) = --1 Z2(Z1 + *2)а2 2Л ^-а1,1 - оц;2; - J. (15) Уравнение (13) принимает вид

152 +152 -51521 ^ С"1а2 + -«1(0.1 +1)Са1а2 =0; аьа2 = 0,1,... 2 2 ) д51д52 2

Применяя для начальных значений аь а2 метод неопределенных коэффициентов для нахождения решения в виде многочлена, получаем, что требуемое решение имеет вид

Си1И2

(51, 52) = (51 " 52)И1 +152И27 (^),

где у(х) — многочлен. Подставляя это выражение в последнее уравнение, получаем для функции у(х ) линейное уравнение второго порядка:

х (х -1) у "(х) + ((а1 -а2 + 2)х + а1 + а2) у'(х) - (а1 + 1)а2 у( х) = 0. Для решения уравнения берем гипергеометрический многочлен

у(х) = 2Ж_а2, «1 + 1, -«1 -«2, х)

и тогда

Са1«2(51,52) = (51 -52)И1 +152С221 -а2,а1 +1;-а1 -а2;—1. (16)

52

2. Нахождение коэффициентов ряда Аа1а2. Подставляя в двойной ряд (11) начальное условие (6), имеем равенство

ГО (Ю / * \

е*151 +*252 = £ £ д^^а1 ^ + *2)а22Л I -«1,1 -аь2;-+ I х

а1=0 а2 =0 V У

X (51 -52)а1 +152а22Л1 ^-а2,а1 +1;-04 -а2; ^ ^. (17)

Найдем значения коэффициентов Аа1М2, сравнив ряд (17) со следующей цепочкой разложений для экспоненты:

рХ2(¡2-51) _ 1

еХ1в1 +2252 = е(Х1 +22)51 + _ 51)е(^1 +22)^1 г__ =

¿2(52 - ¡1)

= е(21 +22)51 + ¿2(52 -51)е(21 +22\т;2;^2 -¡1)),

так как для вырожденной гипергеометрической функции

1 Ж1;2; 2 ) = (е2 -1)/2. Используем разложение в ряд [17, формула 6.8.4.1 при значениях параметров р = 0, q = 1, г = 1, 5 = 0; Р =1, Ь = 2, с = 1]:

1 Ж1;2; ху)= X (-7)к 2И(-к, к +1;2;хШ + 1;2к + 2; 7),

к=о к!(1)2к 1

тогда

е2151 +2252 = е(21 +22)51 + 22(52 -51)е(21 +22)511^11 1; 2; —22—(21 + 22)(52 -51) | =

V 21 + 22 )

Ю (1) (1)

= е(21 +22)51 + 22(52 - 51)е(21 +22)51 X ( )а1( )а1 (-(21 + 22)(52 - 51))«1 X

а1=0 «1!(1)2«1

X2^11 -а1, а1 +1; 2;—— 11^(04 + 1;2а1 + 2;(^1 + 22X52 -51)). V 21 + 22 )

Используя преобразование для гипергеометрической функции [16]

2 Жа, Ь; с; 2) = (1 - 2)"й 2^1 ^ а, с - Ь; с; ^, (18)

для рассматриваемых гипергеометрических многочленов имеем

22

(zi + z2)ai 2F11 -ai,«1 +1; 2;

_ zi

Zi + Z2

f ЛИ1 f "Z2/ Zi ^ ai

-ai,ai +1;2;--- I _ z112Fi

1 + - I 2 F

V zi)

-Z2/ zi -1,

Z2

-ai,1-ai;2;--

zi ,

тогда

ez151 + z252 _ e(z1 + z2 )s1 +

z2(52 - si)e(zi +z2)si X (1)«;i(1)ai ziai(5i - 52)«i2Ü (^1,1 -оц;2; - ^ ai_0 ai!(1)2ai V zi

X iii(ai + 1;2ai + 2;(zi + z2X52 -5i)).

В последнем выражении сумма первого слагаемого и первого слагаемого ряда (при а1 = 0) равна

е(*1 ^ + *2(52 -5l)e(-1 ^ЧЛ (0,1;2;-^^ ^Ц;^- + ^^ -51)) =

= е(*1+-2)5l + *2(52 -51)е(+-2)5l

e(X1 +X2)(52-51) _ 1 x1e(X1 +X2)51 + X2e(X1 +X2)52

(*1 + *2)(52 - 51) +

и разложение экспоненты получает вид

е(*1 + *2)51 I + *2)52

151 +*252 = _^^_+

+

+ *2(52 - 51)^ +-2)51 Е (1)а1(1)«1 ^(ц _ ^а-^ Г^Д _Щ;2; -Х а1=1 а1!(1)2«1 V )

х-Ж^ +1; 2а- + 2; + ^^ - 51)). (19)

Далее воспользуемся разложением в ряд [17, формула 6.8.1.12 при значениях параметров р = 1, ц = 1, г = 0, 5 = 0]:

гк (Ь)г-

1ЖЬ; а; г)е= -ЖЬ; а; г) 0Л)Нх) = £ — ^2Л(-к, 1 - к - а; 1 - к - Ь; х).

к=0 к! (а)к

Для вырожденной гипергеометрической функции из выражения (19) имеем

1 ЖЬ; а; (*1 + *2)(52 - 51)) е(*1+*2 )51 = = -Жа- + 1;2а1 + 2;(-l + ^^ -51)) е"(+-2)(52"51)51/(51 "52) =

= £ ((- + *2)(52 - 51))а2 (а1 + 1)а2 х а2=0 (2а1 + 2)а2

X 2к- I -а.2,-а2 -2а- -1;-а2-а-; ——

51 - 52

и, соответственно, разложение экспоненты есть

X1e(x1+ X2 )51 + X2e(x1 +X2 )52

eX151 +X252

X1 + X2

+ X2(52 - 51) X (1)";i(1)a1 X^fa - 52)a12Ü f-ab1 -0Ц;2; - X

a1=1 a1!(1)2«1 V X1)

V (zi + z2)a2(52 - 5i)«2 (ai +1)„2

X ^--— X

a2_0 «2! (2ai + 2)a2

51

x 2F1I -a2,-2ai-a2 -1;-a—-0,2;-

5i - 52

Преобразование (18) дает равенство для гипергеометрических многочленов

(52 - si)a22Fl I -«2, -2ai -а2 -1; -ai -а2; 51

51 - 52

Si ^|а2 ( sl/ 5

_ s"21 1 —1 I 2F1 [ -«2, -2ai -a2 -1; -ai -a2; —1—2— s2 ) V s1/ s2 _ 1

_ s™22F— I -a2,a— +1;-a— -a2;— |.

52.

Следовательно,

ze(zi + z2 )s— , z e(z— +z2)S2 ez—si +z2S2 _ _+

z— + z2

+ z2(s2 - si) X (1)"'1(—)ai ziai(si - S2)ai2Ü f-ab1 -a—;2; - ^] x ai_1 ai!(1)2ai V z—)

£ (z— + z2)a2 (a— + 1)a, a9 rf s— Л

x I —-2 Д 1 ^ S2a2 2^1 -«2,ai +1;-a— -a2; — I.

a2_0 a2! (2a— + 2)^ ^ S2 J

В последнем выражении проводим преобразования, заменяя

(лЛ . (лЛ ч. («1 +—)«2 («1 +а2)!(2а— +1)! (1)a— _ a—!, (1)2ai _(2а—)!, —-———-—,

(2a— + 2)a2 а—!(2а— + a2 +1)!

ze(zi +z2)s— , z e(zi +z2)S2 ezisi +z2S2 __+

z— + z2

+ z2(52 - si) zf1 (51 - 52)ai2F Г-а—,1 - a—; 2; -^1 x

ai_i(2ai)! ^ z—J

£ (z— + z2)a2 (a— +a2)!(2a— +1)! ( s—

x X —-2 ' 1 ' 5%22Fi -a2,a— + 1;-ai-ot2;— 1 =

a2_0 a2! а—!(2а— +a2 +1)! ^ 52,

z—e( z— +z2)s— + z2e( z— +z2)s2

-+ z2(52 - s—) x

z— + z2

V V аи I № (а1 +«2)!(2а- +1) ( Л

х X X -l1(-l + *2)И2——----2К-1 -а-,1 -а-;2;--I х

а1=1 а2= 0 а2!(2а- +а2 +1)! ^ )

X (5- - 52 )а- 5® 22Л ^ -а2, а- +1; -а- - а2;—^ =

^^ +-2)51 + -2e(-1 +*2)52 + * 2

£ £ (2а- + 1)(а- +а2)! И1 , ( ^

- ь Ь -71-тт:—Г-l1 *2(*1 + *2) 2Л1 -«1,1 -а-;2;--I х

а1=1 «2=0 (2а- +а2 + 1)!а2! V )

X (51 - 52 )а-+15«22Д ^ -«2, а- +1; -а- - а2; ^ ^. (20)

Сравнивая разложение (20) экспоненты по функциям С ща^ь *2) и Са1а2(51,52) и разложение (17), получаем значения коэффициентов

(2а- + 1)(а- +а2)! ^ ^ . .

Да-а2 = - —-——т, «1=1,2,.., а,2 =0,1,2,.., (21)

(2а1 +а2 + 1)!а2!

и, окончательно, ряд (10). Первое слагаемое ряда (10) соответствует собственному значению 0.

Абсолютная сходимость ряда (10) при любых *2, 51, 52 и г е[0, го) следует из сходимости ряда (20). ►

Замечание 1. Полученное в теореме 1 спектральное представление переходных вероятностей (10) записывается в следующем симметричном виде. Введем функции

-le(-1+ )51 + -?e(-1 +*2 )52

Ro(-l, ^ 51,52) = —-2-, (22)

+

Ral(-1, *2; 51, 52) = = --lal^(51 -52)а1 +1е(+-2)512Fl ^-а-,1 -а-;2;-^ х

X -Жа- + 1,2а- + 2;(-l + ^^ - 5-)), а-=1,2,.., (23)

каждая из которых удовлетворяет обоим уравнениям для собственных функций (12) и (13). Из разложения экспоненты (19) следует, что

ж п !

Л(г; *2; 51,52) = Ro(-l, *2; 51, 52) + X —R^(-l, *2; 51, 52)е"«1(а1 +1)^/2.

И1=1 (2а1)!

Замечание 2. Значения спектра (14) найдены следующим образом. Для процесса (^(г),)) с конечным числом состояний Ь = {(0,а,1 +а2),

(1, а! +а 2 -1),.. ,(ах +а 2,0)} составляется матрица инфинитезимальных характеристик А размерности (а! +а2 +1) х (а! +а2 +1) [19]. При начальных значениях аь а2 = 0,1,2,3,... спектр матрицы А, в критическом случае р = ( = 1/2, вычисляется. Далее применяется метод математической индукции.

Выражения для переходных вероятностей и финальных вероятностей. Из производящей функции (10) получим выражения для вероятностей РфЦ1 р™2))(^) при начальных значениях аь а2, рь р2.

Используя первые слагаемые гипергеометрического ряда (7)

аЬ а(а +1) Ь(Ь +1) г2

2 Л(а, Ь; с; г ) = 1 + — г +------+ ...,

с с(с+1) 2

вычисляем собственные многочлены (15) для начальных значений аь а2:

Сю(гь г2) = г1г2 2^1| -1,0; 2; - — | = гг -1 = г^,

г1

С20(г1, г2) = г1 г2 2Л ( -2, -1; 2; - ^= г^г2 ^ 1 - ^^ ] = г^г2 - гхг

г2 I___/„ , „ ч 1 _ „2^ , ^ „2

Cii(zi,Хг) = Z1Z2(Z1 + ^2)2Fl I -1,0;2;-— | = z^zi + z2)-1 = z^z2 + zz

C30(z1, z2) = z3z2 2F1 -3, -2; 2; - — I = z3z2

z1

2„2

f 1 _ 3z2+Л . z1 z12;

= zfz2 - 3zfz| + z1z|,

C21(z1,z2) = zfefo + z2)2F11 -2,-1;2;- —

= + *)i 1 -* 1 = 2322 _212|

z1

■ I = z3z2 - z1z3

z1

Ci2(zbz2) = z1z2(z1 + z2)22Fl I -1,0;2;- — I =

z1

= ziz2(zi + z2)2 • 1 = z3z2 + 2z2z2 + z^, Используя формулы (9), вычисляем собственные многочлены (16):

Cio(si, S2) = (S1 - S2)2 2Fl (0,2; -1; S1 j = (si - S2)2 • 1 = s2 - 2sis2 + s|,

C20(si, S2) = (sx - S2)3 2F | 0,3; -2;у | = (si - S2)3 • 1 = s3 - 3s2S2 + 3sis| - , Cii(si, s2) = (si - s2)2s2 2Fi I -1,2; -2; — I = (si - s2)2s2 I 1 + — 1 =

s2 J \ s2

= s3 - s2s2 - sis2 + s3,

C30(si, s2 ) = (si - s2 )4 2Л f 0,4; -3; ^ 1 = (si - s2)4 • 1 =

s2

= s4 - 4sfs2 + 6sfs2 - 4sis| + s|, C2i(si, s2) = (si - s2)3s2 2ii I -i,3; -3; — I = (si - s2)3s2 I i + —

s2 J \ s2

4 ог3г , if „3 r4

= s4 - 2sfs2 + 2sis| - s|, Ci2(si, s2) = (si - s2)2 s2 2Ü I "2,2; -3;

= (si - s2)2s2

Гл 4 si s2 ^ i +--1 + -2

3 s2 s2 J

s2

4 23 2 2 2 2 3 I 4 = si " 3 si s2 - 3 si s2 " 3 sis2 + s2 •

Отметим, что каждый из многочленов Caia2(zi,z2), Caia2(si,s2) является однородным и имеет степень ai +a2 +1. Первые слагаемые ряда (10) есть

л ^ v (zi + Z2)k-1 sk , » (zi + Z2)k-1 sk ,

F(t;zi,Z2;si,s2) = 1 + zi X-г;- + Z2 X-n- +

k=i k! k=i k!

+ I I Aaia2 Caia2(zi, z 2) C^fe, s2)e +1)Xt/2 + ... =

ai =1 a2=0

= 1 + zisi +1 zi(zi + z2 W +1 zi(zi + z2 )2s3 + ... + z2s2 + 2 1 6 1

+1 z 2(zi + z2)sf +1 z2(zi + z2)2 + ... + 2 6

+ (A10 Ci0(zi, z2) Ci0(si, s2) + A11 Cii(zi, z2) Cn(si, s2) + + Ai2 Ci2(zi, z2) Ci2(si, s2))e~U +

+ (A20C20(zi, z2 )C20(si, s2) + A21 C2i(zb z2) C2i(sb s2 ) + + A22 C22(zi, z2) C22(si, s2 )) e~3Xt + ...

Ограничиваемся рассмотрением слагаемых ряда, имеющих степень для переменных г1, г2, 51, 52 не более трех, т. е.

1 + г151 +1 г1 (г1 + г2 )5? +1 г1(г1 + г2)2 53 + ... + г 252 + 2 1 6 1

+ ^z2(zi + z2)sf + -z2(zi + z2)2+ ... +

1 z2(zi + z2)sf +1

2 6

+ A10 Ci0(zi, z2)Ci0(si, s2) e ~Xt + All Cii(zi, z2) Cii(si, s2) e ~Xt + ... +

+ А20 С 20 (г1, г2) С20 (51,52) гш + ...

Подставив в последнее выражение вычисленные выше собственные функции и значения коэффициентов ряда по формуле (21)

. 1 . 1 . 1

А10 = " —, А11 = "Т, А20 = - — >

2 4 12

имеем

1 + zisi +1 zi (zi + z2 )s? +1 zi(zi + z2 )2 s3 + ... + z2s2 + 2 1 6 1

+ 4" z2(zi + z2)sf +1 z2(zi + z2 )2 + ... -

1

2

-1 z^sf - 2ss + s|)e lt -•4(z2z2 + zizl)^ -s2sL2 -sfsi + s^" )J

1

-—(z2z2 -ziz22)(s3 -3sfs2 + 3sis| -s2

3\„-3Xt

+...

Перегруппировываем слагаемые по степеням zL, z2 и sL, s2:

1

1 + zisi + z2s2 + - zisi + ziz2 2 1 1

2 s12 + 2 s2 - 2(sl - 2s1s2 + s.

-lt

+1zfs2 +

1 3 3 2

+ - zfsf + z(z2 6

1

1 s3 +1 s2 -1 (sf - s2s2 - s^i + s|) e xt -3 6 4

- — (sL3 - 3sf s2 + 3s1s2 - s2

3\„-3Xt

+ z1z2

1

1 si3 +1 s| -L(sl - s2si2 - s|si + s|)e xt + 6 3 4

(s3 - 3s2s2 + 3s1s2 - s2)e~3Xt

+1 z2s2 + ... =

= 1 + zisi + z2 s2 + — z? s? + ziz2 2! 1 1

„2 | 1 _ 1 e-xt 2 2

+ sis2e

-xt

+ s—s2e Xt + s2 [ — -—e Xt

2!

+ — z2 s2 +

1 3 3 1 2

H--z3 53 H--Z2Z2

3! 1 1 2! 1

c3 I 2 1 „-xt 1 „-3Xt

s, |---e — e

3 2

1 -^t , 1 -3Xt

I - -2 [ 1 1 ,j—3Xt | I ,.3 [ 1 1 I 1 ,j—3Xt

+51521 2e " 2e Г5213 " 2e + 6e

1 1

+s—s21 2e м + 2e

i

н— z—z2 2! 2

1 1

5i I---e л— e

xt

-3Xt

32

+ sfs2| — e~lt -—e~3lt

2 I 1 „-Xt , 1 „~3Xt

+5—5212e™ + 2e

+ s31 - -1 e~lt -1 e~3lt

+—z2s3 + ... 3! 2 2

.3 2 6

Приравнивая коэффициенты при степенях 1, 2151, 2152, 2251, 2252, 2^5^, 2^5152, 225^, г^^, 225152, 22 5^, 2^5^, 2^52, 2^ 2-13513, ... в последнем представлении и в определении экспоненциальной (двойной) производящей функции переходных вероятностей (3)

ГО ГО 2 И1 2 И2 чоо

Я* 21, 22; 51,52)= X X ^в!1 ЬС?2))(^ )51Р15?2 ,

«1, «2=0 Рь Р2=0 а1!а2! ф1,Р2) находим явные выражения для переходных вероятностей

Р(0>) = 1; «а) = 1, «а) = 0; ) = 0, Ш) = 1;

г(1,0) 40,1) - и> 41,0) ^(0,1) P(2$(t) _ 1, P—fl(t) _ 0, P(g2?(t) _ 0;

L(i,i)

(0,2)

P((21,01))(t) (1"e"Xt), P((i1,11))(t)_e, p—p)_2(1 -e); P(2°0)(t) _ 0, P——§(t) _ 0, P((002))(t )_1; p(3$(t) _ i, pg—^t) _ 0, P((i0))(t) _ 0, pßp) _ 0; P(m(t)_2-—e"xt-—e, P(^(t)_—e+—e,

"(1,2)

r(3,0)

3 2

42,1)

1 —г -Xt _ 1 ~—e~

2 2

1 1 —e~ -Xt +

3 2

"(0,3)

3 2

42,1)

^__e_3^t

-3Xt

Pflp ) = 2 e+ 2 e , Pm(t ) = 2 - 2 e ~Xt -1 e ~3Xt •

p§$}(t)=0, P«$(t)=0, P$](t)=0, P0p)=1

и т. д. Эти выражения для Рф™1 p™()(t) могут быть получены при указанных

значениях ai, a2, Рь Рг непосредственным решением линейной системы дифференциальных уравнений Колмогорова [19] для рассматриваемого марковского процесса рождения и гибели с конечным числом состояний.

Финальные вероятности — вероятности остановки марковского процесса в поглощающих состояниях

= limp^tx $$2) = МЙ^ Уь У2=0Л,..;

t t ^ <я

двойная производящая функция финальных вероятностей

Ж Ж z ax z И2

ai!a2l ^i'0) Sl

®(zx,Z2;sx,S2) = Z Z +

ax, «2=0 ух =0 ( ■x> z «1 z И2 ,

2 J ai,a2.L У2

+ Z Z±Lf27 Срт. (24)

«1, «2=0 72=1 ^12!

Из представления (10) при t ^ ж следует

г1е(г1 +г2)51 + г2е(г1 +г2)52

Ф(г1, г2; 51,52)= 11ш ; гь г2; 51,52) =-.

г1 + г2

Раскладываем в ряд

7,р(г1 +г2)51 I г р(г1 +г2)52 ю 5к ю Л

^--= 1 + г1 Е (г1 + г2 ^^ + г2 X г + г2 ) ^ £ =

г1 + г2 к=1 к! к=1 к!

_1+£ к£ г1+1г\~1~п (п +1)5? + ^ к£ г1г\~п (к - пЦ к=1 п=0 (п + 1)!(к -1 - п)! к к=1 п=0 н!(к - п)! к

или, заменяя переменные суммирования в кратных рядах,

го го „а1„ И2

Ф(г1,г2;51,52) = 1 +Е X ^^501+"2 +

а1 = 1 а2 = 0 а1!а2! «1 +«2

го го г И1 г И2 „ , V V г1 г2 а2 «1 + «2

+ Л ^ , ~ ~~52 '

а2 = 1 ах

1 ai=o ах!а2! ах +а2

и сравнивая последний ряд с определением (24), получаем выражения для финальных вероятностей

Jai,a2) _ al Jai,a2) _ а2 (25)

V + «2,0) ai ^^2 , V«1 + «2) „1 +а2- (25)

Поскольку «вложенная цепь Маркова» для процесса (^(t), ^2(t)) является случайным блужданием на отрезке с остановкой на границах, вероятности (25) совпадают с вероятностями остановки для «задачи о разорении», приведенными в [20, гл. XIV, § 2, формула (2.5)].

Заключение. Для изложенного аналитического метода вычисления переходных вероятностей возможен перенос на некритический процесс T1 + T2 ^ 2T1,2T2, p Ф q, и другой марковский процесс рождения и гибели квадратичного типа на отрезке L в четверти плоскости, T1 + T2 ^ 2T2; T1 ^ T2 (эпидемия SIS, S — susceptible, «восприимчивые к заболеванию», I — infectious, «инфицированные» [4, 5]).

Благодарности

Автор выражает благодарность М.А. Степановой за ряд проделанных вычислений.

ЛИТЕРАТУРА

[1] Fayolle G., Iasnogorodski R., Malyshev V. Random walks in the quarter plane. Probability Theory and Stochastic Modelling, vol. 40. Cham, Springer, 2017.

DOI: https://doi.org/10.1007/978-3-319-50930-3

[2] Gnedenko B.V., Pavlov I.V., Ushakov I.A. Statistical reliability engineering. Wiley, 1999.

[3] McQuarrie D.A., Jachimowcki C.J., Russel M.E. Kinetic of small systems. II. J. Chem. Phys, 1964, vol. 40, iss. 10, pp. 2914-2921. DOI: https://doi.org/10.1063/L1724926

[4] Anderson W.J. Continuous-time Markov chains. Springer Series in Statistics (Probability and its Applications). New York, Springer, 1991.

DOI: https://doi.org/10.1007/978-1-4612-3038-0

[5] Kalinkin A.V., Mastikhin A.V. A limit theorem for a Weiss epidemic process. J. Appl. Probab, 2015, vol. 52, iss. 1, pp. 247-257. DOI: https://doi.org/10.1239/jap/1429282619

[6] Калмыкии А.В. Предельные теоремы для случайного блуждания в полуплоскости с перескоком границы. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2016, № 6 (69), с. 16-31.

DOI: http://dx.doi.org/10.18698/1812-3368-2016-6-16-31

[7] Valent G. An integral transform involving Hein function and a related eigenvalue problem. SIAM J. Math. Anal., 1986, vol. 17, iss. 3, pp. 688-703.

DOI: https://doi.org/10.1137/0517049

[8] Калмыкии А.В. Вероятность остановки на границе случайного блуждания в четверти плоскости и ветвящийся процесс с взаимодействием частиц. Теория вероятностей и ее применения, 2002, т. 47, № 3, с. 452-474.

[9] Kotz S., Johnson N.L., eds. Two-sex problem. In: Encyclopedia of Statistical Sciences. Vol. 9. Wiley, 1988.

[10] Севастьянов Б.А. Ветвящиеся процессы. М., URSS, 2019.

[11] Калинкин А.В. Марковские ветвящиеся процессы с взаимодействием. УМН, 2002, т. 57, № 2, с. 23-84. DOI: https://doi.org/10.4213/rm496

[12] Kalinkin A.V., Mastikhin A.V. On the separating variables method for Markov death-process equations. J. Theor. Probab., 2019, vol. 32, no. 1, pp. 163-182.

DOI: https://doi.org/10.1007/s10959-017-0795-8

[13] Lederman W., Reuter G.E.H. Spectral theory for the differential equations of simple birth and death processes. Phil. Trans. A, 1954, vol. 246, iss. 914, pp. 321-369.

DOI: https://doi.org/10.1098/rsta.1954.0001

[14] Letessier J., Valent G. Exact eigenfunctions and spectrum for several cubic and quartic birth and death processes. Phys. Lett. Ser. A, 1985, vol. 108, no. 5-6, pp. 245-247. DOI: https://doi.org/10.1016/0375-9601(85)90738-8

[15] Letessier J., Valent G. Some exact solutions of the Kolmogorov boundary value problem. Approx. Theor. Appl., 1988, vol. 4, no. 2, pp. 97-117.

[16] Бейтмен Г., Эрдейи А. Высшие трансцендентные функции. Т. 1. Гипергеометрическая функция. Функция Лежандра. М., Наука, 1973.

[17] Прудников А.П., Брычков Ю.А., Маричев О.И. Интегралы и ряды. Т. 3. Специальные функции. Дополнительные главы. М., ФИЗМАТЛИТ, 2003.

[18] Камке Э. Справочник по обыкновенным дифференциальным уравнениям. М., Наука, 1971.

[19] Гихман И.И., Скороход А.В. Введение в теорию случайных процессов. М., Наука, 1977.

[20] Феллер В. Введение в теорию вероятностей и ее приложения. Т. 1. М., Либроком, 2010.

Калинкин Александр Вячеславович — д-р физ.-мат. наук, профессор кафедры «Высшая математика» МГТУ им. Н.Э. Баумана (Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1).

Просьба ссылаться на эту статью следующим образом:

Калинкин А.В. Переходные вероятности марковского процесса на отрезке, лежащем в четверти плоскости. Вестник МГТУ им. Н.Э. Баумана. Сер. Естественные науки, 2021, № 2 (95), с. 4-24. DOI: https://doi.org/10.18698/1812-3368-2021-2-4-24

TRANSITION PROBABILITIES FOR MARKOV PROCESS ON A LINE SEGMENT LOCATED WITHIN A QUARTER-PLANE

A.V. Kalinkin kalinkin@bmstu.ru

Bauman Moscow State Technical University, Moscow, Russian Federation

Abstract

The paper considers a quadratic birth-death Markov process. The points on a line segment located within a quarter-plane represent the states of the random process. We designate the set of vectors that have integer nonnegative coordinates as our quarter plane. The process is defined by infinitesimal characteristics, or transition probability densities. These characteristics are determined by a quadratic function of the coordinates at the segment points with integer coordinates. The boundary points of the segment are absorbing; at these points, the random process stops. We investigated a critical case when process jumps are equally probable at the moment of exiting a point. We derived expressions describing transition probabilities of the Markov process as a spectral series. We used a two-dimensional exponential generating function of transition probabilities and a two-dimensional generating function of transition probabilities. The first and second systems of ordinary differential Kolmogorov equations for Markov process transition probabilities are reduced to second-order mixed type partial differential equations for a double generating function. We solve the resulting system of linear equations using separation of variables. The spectrum obtained is discrete. The eigen-functions are expressed in terms of hypergeometric functions. The particular solution constructed is a Fourier series, whose coefficients are derived by means of exponential expansion. We employed sums of functional series known in the theory of special functions to construct the exponential expansion required

Keywords

Birth and death process, quadratic type, Kolmogorov equations, exact solution

Received 27.03.2020 Accepted 28.04.2020 © Author(s), 2021

REFERENCES

[1] Fayolle G., Iasnogorodski R., Malyshev V. Random walks in the quarter plane. Probability Theory and Stochastic Modelling, vol. 40. Cham, Springer, 2017.

DOI: https://doi.org/10.1007/978-3-319-50930-3

[2] Gnedenko B.V., Pavlov I.V., Ushakov I.A. Statistical reliability engineering. Wiley, 1999.

[3] McQuarrie D.A., Jachimowcki C.J., Russel M.E. Kinetic of small systems. II. J. Chem. Phys., 1964, vol. 40, iss. 10, pp. 2914-2921. DOI: https://doi.org/10.1063/L1724926

[4] Anderson W.J. Continuous-time Markov chains. Springer Series in Statistics (Probability and its Applications). New York, Springer, 1991.

DOI: https://doi.org/10.1007/978-1-4612-3038-0

[5] Kalinkin A.V., Mastikhin A.V. A limit theorem for a Weiss epidemic process. J. Appl. Probab, 2015, vol. 52, iss. 1, pp. 247-257.

DOI: https://doi.org/10.1239/jap/1429282619

[6] Kalinkin A.V. Limit theorems for random walk in a half-plane with jump across the border. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2016, no. 6 (69), pp. 16-31 (in Russ.).

DOI: http://dx.doi.org/10.18698/1812-3368-2016-6-16-31

[7] Valent G. An integral transform involving Hein function and a related eigenvalue problem. SIAM J. Math. Anal., 1986, vol. 17, iss. 3, pp. 688-703.

DOI: https://doi.org/10.1137/0517049

[8] Kalinkin A.V. Absorption probability at the border of a random walk in a quadrant and a branching process with interaction of particles. Theory Probab. Appl., 2003, vol. 47, iss. 3, pp. 469-487.

DOI: https://doi.org/10.1137/TPRBAU000047000003000469000001

[9] Kotz S., Johnson N.L., eds. Two-sex problem. In: Encyclopaedia of Statistical Sciences. Vol. 9. Wiley, 1988.

[10] Sewastjanow B.A. Verzweigungsprozesse. Berlin, Akademie, 1974.

[11] Kalinkin A.V. Markov branching processes with interaction. Russ. Math. Surv., 2002, vol. 57, no. 2, pp. 241-304.

DOI: https://doi.org/10.1070/RM2002v057n02ABEH000496

[12] Kalinkin A. V., Mastikhin A.V. On the separating variables method for Markov death-process equations. J. Theor. Probab., 2019, vol. 32, no. 1, pp. 163-182.

DOI: https://doi.org/10.1007/s10959-017-0795-8

[13] Lederman W., Reuter G.E.H. Spectral theory for the differential equations of simple birth and death processes. Phil. Trans. A, 1954, vol. 246, iss. 914, pp. 321-369. DOI: https://doi.org/10.1098/rsta.1954.0001

[14] Letessier J., Valent G. Exact eigenfunctions and spectrum for several cubic and quartic birth and death processes. Phys. Lett. Ser. A, 1985, vol. 108, no. 5-6, pp. 245247. DOI: https://doi.org/10.1016/0375-9601(85)90738-8

[15] Letessier J., Valent G. Some exact solutions of the Kolmogorov boundary value problem. Approx. Theor. Appl., 1988, vol. 4, no. 2, pp. 97-117.

[16] Bateman H., Erdelyi A., eds. Higher transcendental functions. Vol. 1. McGraw-Hill, 1953.

[17] Prudnikov A.P., Brychkov Yu.A., Marichev O.I. Integraly i ryady. T. 3. Spetsial'nye funktsii. Dopolnitel'nye glavy [Integrals and series. Vol. 3. Special functions. Additional chapters]. Moscow, FIZMATLIT Publ., 2003.

[18] Kamke E. Differentialgleichungen, lösungsmethoden und lösungen. Leipzig, Geest und Portig, 1959.

[19] Gikhman I.I., Skorokhod A.V. Introduction to the theory of random processes. Dover Publ., 1996.

[20] Feller W. An introduction to probability theory and its applications. Vol. 1. Wiley, 1968.

Kalinkin A.V. — Dr. Sc. (Phys.-Math.), Professor, Department of Higher Mathematics, Bauman Moscow State Technical University (2-ya Baumanskaya ul. 5, str. 1, Moscow, 105005 Russian Federation).

Please cite this article in English as:

Kalinkin A.V. Transition probabilities for Markov process on a line segment located within a quarter-plane. Herald of the Bauman Moscow State Technical University, Series Natural Sciences, 2021, no. 2 (95), pp. 4-24 (in Russ.). DOI: https://doi.org/10.18698/1812-3368-2021-2-4-24