CC BY
44
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
Эргодическая теорема для полумарковских процессов Ахмед-заде Ф.А.
Ахмед-заде Фарах Агиль гызы /Ahmad-zada Farah Aqil - докторант, Институт систем управления имени академика Гусейнова Э. НАНА, г. Баку
Аннотация: целью данной работы является выяснение условий, при которых полумарковский процесс является эргодическим. В данной статье мы проводим аналитический обзор ряда эргодических теорем Марковских процессов и приводим теорему для полумарковских процессов.
Abstract: the purpose of the work is to define the conditions under which the semi-markov process is ergodic. In this paper we conduct the analytical review of a series of ergodic theorems of Markov processes andformulate the theorem for semi-markov processes.
Ключевые слова: эргодичность, стационарное распределение, финальная вероятность. Keywords: ergodicity, stationary distribution, final probability.
[1] Напомним определение и основные свойства марковских процессов. Случайный процесс является марковским, если он обладает следующим свойством. Для каждого момента времени t. вероятность любого состояния какой-либо
системы (или ее элемента) в будущем (при t > tt) зависит только от ее состояния в настоящем (при ' '' ) и не зависит от того, когда и каким образом система пришла в это состояние (т.е. как развивался процесс в прошлом). Если - случайный процесс, то для марковского процесса справедливо следующее соотношение:
р <х„ /X(tl) = Xl,x(h) = X2,....,X(U = хпА } = P$(tn)<xnIX(tn_1) = xn_1 . Вообще, для марковских процессов представляет интерес вероятность из [3,101]
Это вероятность того, что в момент времени п система находится в состоянии j независимо от того, в каком состоянии находилась в предыдущий момент времени. Желательно, чтобы при п —> со система асимптотически приближалась к стационарному состоянию, т.е. в этом случае слева существует предельный вектор, а справа -предельная переходная матрица, в которой вероятности не зависят от состояния i. Выражение (*) называется свойством эргодичности. Оно является важным при длительном протекании процесса, когда вероятности перестают зависеть от времени.
C целью выяснения условий, при которых цепь является эргодической, приведем ряд эргодических теорем. Теорема 1.[2, 277] (о существовании финальных вероятностей).
Для возвратной неприводимой непериодической цепи Маркова с матрицей переходных вероятностей ТС — ( р}- ) , существуют пределы, ljm п р..(п) = — • где = | (п) • ¿, 7 - 1,..., / . (ri) есть вероятность первого возвращения
в состояние Е . через п шагов, [ij - среднее число шагов до первого возвращения в это состояние.
Обратимся теперь к теореме, содержащей способ нахождения финальных вероятностей. Теорема 2.[2,279] (о существовании финальных вероятностей).
Для непериодической возвратной положительной цепи Маркова с состояниями E0, E, E2,... финальные вероятности qj = lim п >у ptJ (п) однозначно определяются условиями:
ZCC ^ 100
о 4j =1 ъ = о qkPk j = o,i,...
(Набор чисел, удовлетворяющих этим условиям, называется стационарным распределением). Теорема 3.[3,36]
Для того, чтобы однородная неразложимая сжимающая цепь Маркова имела стационарное распределение, достаточно существования s е Т, конечного множества Е0 €Е Е, действительного числа s > 0 и набора
неотрицательных чисел X0, X,..., таких, что :
у
j> о
У Psx < +оо, i е E„.
ij j ' о
j
fi 0
Полумарковские процессы.
Следуя [5, 48], дадим определение полумарковских процессов.
Известно, что однородная регулярная цепь Маркова с дискретным множеством состояний Е = 6^1,2,... задается производящей матрицей (1 = е Е , в которой ц = -ц = - V , к ц
Эволюция цепи Маркова происходит следующим образом: в 7 - м состоянии система находится случайное время в., распределенное по показательному закону с параметром , а затем переходит в ] -ое состояние с вероятностью рц — £/;/ / £/;. /,_/ е £ . В 1954-1955 гг. независимо и почти одновременно Леви, Смит, Такач предложили рассматривать стохастические системы, эволюционирующие аналогично цепям Маркова, в которых, однако, время пребывания в / -м состоянии 0. имеет произвольные функции распределения
Р (х) .Такие системы получили название полумарковских.
Следуя [6], траектория процесса формируется следующим образом. Пусть задано начальное распределение
Р, ТТ
, ^ 1г.0 Пусть 10 - величина, разыгранная в соответствии с этим распределением, т.е. конкретное
значение, которое принимает СВ имеющая данное распределение. Далее разыгрываем величины
(^ т) О. (О
(реализации) | '. соответствующие распределению . Пусть результатом такого разыгрывания является
пара тогда полагаем, что реализация процесса ^ ^ - в промежутке времени [0; ) принимает значение .
Затем разыгрываем значения вектора '± 2 * в соответствии с распределением ^ ^ . Пусть при этом они оказались
(/-,,) ¿(Л /
равными ~ ~ , тогда реализация процесса ь 4 ' в интервале времени 11,1 -' принимается равной 1 и т. д.
т
Типичная траектория процесса
представлена на рис. 1.
Рис. 1
Возникает вопрос, верны ли указанные выше теоремы для полумарковских процессов.
Рассмотрим множество дискретных состояний А = некоторого процесса. Введем матрицу
переходных вероятностей р = = 1,« и матрицу () = |, где - случайное время, которое проводит процесс
в состоянии а.
При каких условиях, накладываемых на матрицы Р и р , процесс будет эргодическим?
Теорема 4. Если р^ > 0, п - конечное и (/,. - имеют невырожденное распределение, тогда описанный
полумарковский процесс является эргодическим.
Доказательство этой теоремы можно получить, используя определение Марковских процессов и основные теоремы эргодичности.
Литература
1. Ицкович А.А., Кабков П.К. Учебное пособие ВСМ. ч. 2 (1) 05.2006.
2. Под редакцией Ю.Д. Максимова «Вероятностные разделы математики». С.П.: Иван Федоров, 2001. с.277.
3. Саати Т. «Элементы теории массового обслуживания и ее приложения». М.: Советское радио,1965. с.101.
4. Матвеев В.Г., Ушаков В.Г. «Системы массового обслуживания» - Издательство Московского университета ,1984. с.36.
5. КоролюкВ.С., Броди С.М., Турбин А.Ф. «Полумарковские процессы и их применение», 1976. с.48.
6. Маталыцкий М.А., Тихоненко О.М., Косарева Е.В. «Анализ и применения систем и сетей массового обслуживания», Гродно ГрГУ им. Я. Купалы, 2013 URL: ebooks.grsu.by/sistemi_i_seti/20-polumarkovskie-protsessy.htm (Дата обращения: 12.06.2014).
