CC BY
30
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Плоткин Б.И., Гринглаз Л.Я., Гварамия А А Элементы алгебраической теории автоматов М : Высшая школа, 1994
2 Ершов ЮЛ Проблемы разрешимости и конструктивные модели М Наука,
1980.
УДК 519.21
С. И. Козлова, В. Н. Михайлов
АСИМПТОТИЧЕСКИЕ ОЦЕНКИ ВЕРОЯТНОСТЕЙ СОСТОЯНИЙ ОДНОРОДНЫХ ЦЕПЕЙ МАРКОВА
1. Рассмотрим однородную цепь Маркова с конечным числом состояний п и матрицей перехода вероятностей Р - I,] = \,п , где /7у ^ 0 - вероятность перехода из состояния ; в состояние ] , и
2></=1 у=1
Пусть х1 (к) - вероятность перехода за к шагов из начального состояния в состояние ¡, х(к) - вектор-столбец с компонентами 0. Для известного начального распределения вероятностей д:(0) вектор х(к) при любом к можно вычислить с помощью рекуррентного соотношения [1]
х(к + \)=РТх{к), Л = 0,1,2,..., (1)
Р1 - матрица, транспонированная к Р. Пусть а - некоторый /7-мерный вектор-столбец, а е - л-мерный вектор, компоненты которого равны 1 Запишем (1) в эквивалентной форме
х(к + \) = [рт -~аеТу(к)+аеТх{к).
Так как еТх(к)= *,(&)+ х2(к)+ ■■■ + *„(£)= 1, то
]с(* + 1)=Дх(*)+а, В = Рт-ае (2)
Применяя (2) при к - 0,1,2,..., получаем
х(£ + 1)=й*+1х(о) + (й* + Вк~х +- + Е)а, (3)
где Е - единичная матрица.
Цепь Маркова называется эргодическои, если х(к)-^х при к—>оо для любого начального распределения вероятностей состояний х(0); век-
тор х предельного распределения вероятностей удовлетворяет однородной системе уравнений Р' х = х [2].
ТЕОРЕМА 1. Для эргодичности цепи Маркова необходимо и достаточно, чтобы существовал вектор а такой, что Вк —> 0 при к -> да.
Доказательство. Пусть цепь Маркова обладает свойством эргодичности, тогда существуют предельные вероятности х; положим а = х. Имеем Вх = /'7 х -хе х = х- х = 0, поэтому согласно (3) х(к + 1)= В1"1 *(0) + х. Так как + для любого начального распре-
деления дс(0), то Вк+1 -»0 при к —> х>.
Если Вк 0 при коодля данного вектора а, то согласно теореме линейной алгебры [2] имеем при к —> да
Е + В + В2 +- + Вк -+(Е-В)-\
и из (3) следует х(к + 1)—>(£"- В)л а для любого начального распределения вероятностей дг(0), т.е. х = (Е-В)']а есть предельное распределение вероятностей. Определенный таким образом вектор д: удовлетворяет уравнению (Е - В)х = а, или х-{^Рт -ае ^х = а. Так как е х = 1, то Ртх = х,
следовательно, х - вектор стационарного распределения вероятностей.
Следствие. Если существует такой вектор а, что хотя бы одна из норм ||Я|| матрицы В удовлетворяет условию |В| < 1, то рассматриваемая цепь Маркова является эргодической и предельные вероятности х удовлетворяют уравнению^" - В)х = а.
Это угверждение следует из того, что условие ||В| < 1 является достаточным для сходимости при к —> да. Заметим, что стационарное распределение х (собственный вектор матрицы Р1) находится из системы уравнений (Е - В\х = а с невырожденной матрицей коэффициентов. С помощью условия |[В|| < 1 можно получить достаточные условия эргодичности цепи Маркова [3].
ТЕОРЕМА 2. Для эргодической цепи Маркова имеет место соотношение
(рт) =Вк Б = ~хе \ В = РТ - Б. (4)
-г —
Доказательство. Так как е х = л, + х2 + - •- + хп = 1, то
т.е. 5 - идемпотентная матрица Для стохастической матрицы Р имеем Ре = е, поэтому БРТ = хе Рт = хе = Б Вследствие этого
= б(рт - 5)= - 52 =5-5 = 0 и ВБ = (рТ - = [рТхУ - Б = 0 .
Далее, (/зГ)2 = {В + Б\В + 5)= В2 + БВ + ВБ + Б2 = В2 + Б . Утверждение теоремы верно для к = 1. Пусть верно (4), тогда
(лг = (вк + б\в" + Вк+] + БВ + Вк-\ВБ)+ Б2 = Вк+1 + 5, что и доказывает теорему.
Так как Вх-Рт х- хе х - х - х = 0 для вектора д: предельного распределения вероятностей, то при а = х из (3) получаем
откуда следует
ашЩ,
оценка скорости сходимости вероятностей состояний эргодической цепи Маркова к предельным вероятностям.
2. Поставим в соответствие переходу системы из состояния / в состояние у за один шаг некоторый "доход" ги , который при фиксированном ] не зависит от того, каким образом система пришла в состояние /, а зависит только от этого состояния / [4, 5] Цепь Маркова порождает теперь последовательность доходов, соответствующих переходам из одного состояния в другое. Обозначим через V, математическое ожидание суммарного дохода за к последующих шагов, если процесс начинается из состояния /. Обозначим
П _ _у _
Ч, = Т Руги > ' = 1.и> Ч =(.ЧиЧ2>- -Чп), .....*п{к))>
тогда для вектора полных доходов У (к) имеет место следующее выражение [5]:
У{к) = (е + Р + Р2 +-+Рк'1^ + РкУ(0), (5)
Из (4) следует Рк = (вт )* + Бт, Бт = ех , Вт =Р~БТ, поэтому соотношение (5) преобразуется к следующему виду:
У (к) = [я + В'г + (в-т У + • • • + (вт I+ (Л - 1)5Г + (яг^ к(о) + к (о).
Для эргодической цепи Маркова ¡|#г I < 1 и тогда [2]
Е + Вт + {вт^ + — = [Е - Вт)~ С учетом этого получаем
откуда следует асимптотическая формула для У(к) при больших к : V(k)= kSTq + ((E-BTY-ST)q+ST F(0).
БИБЛИОГРАФИЧЕСКИМ СПИСОК 1 Белпман Р Введение в теорию матриц М : Наука, 1969
2. Фаддеев Д К, Фаддеева В Н Вычислительные методы линейной алгебры. М : Физматгиз, 1960.
3 Михайлов В Н Об эргодичности однородных цепей Маркова. Саратов, 1997 6с Деп. в ВИНИТИ, № ¡425 - В97.
4 Ховард Р.А Динамическое программирование и марковские процессы М Советское радио, 1964
5 Козлова С И, Мастнева И Н Динамическое программирование М , 1984
УДК 515.126.83
А. Б. Коноплев
КРИТЕРИЙ ВЫПУКЛОСТИ ФУНКЦИИ РАССТОЯНИЯ ОТ ТОЧЕК ДО ОБРАЗОВ МУЛЬТИОТОБРАЖЕНИЯ
Пусть X = R",Y = Rm,Z = XxY Рассмотрим замкнутозначное муль-тиотображение F.X-> 2Г, действующее из X в У. Обозначим через
dornF = {хе Х\ F(x) * 0}, grF = {(х,у)е Z | у e F(x)}
соответственно эффективную область и график мультиотображения F.
Определение. Мультиотображение называется выпуклым, если его график есть выпуклое множество в Z.
Положим z = (х,у) е dorn/* х У . Рассмотрим функцию расстояния (ФР) от точек уеУ до образов точек х е do mF мультиотображения F в произвольной норме || • ||
dF{z)= inf ||>-v||. (1)
veF(x)
Эта функция используется в негладком анализе как инструмент для исследования мультиотображений и маргинальных функций [1]. Введем обозначения
Q(z) = {V € F{x) I ¡у - v|| = dF{z)}, W{Z) = {V e Y | ¡y - v|| < dF(z)},
