Устойчивость и стационарное распределение на ориентированных графах с нестандартной достижимостью Текст научной статьи по специальности «Математика»

УДК 519.1

УСТОЙЧИВОСТЬ И СТАЦИОНАРНОЕ РАСПРЕДЕЛЕНИЕ НА ОРИЕНТИРОВАННЫХ ГРАФАХ С НЕСТАНДАРТНОЙ ДОСТИЖИМОСТЬЮ

© 2007 г. В.А. Скороходов

New classification of digraph cicles is considered and the theorem about the shape of finite Marcovian is offered and proofed.

В работе введена и рассмотрена классификация циклов взвешенного ориентированного графа, а также в терминах теории графов сформулирована и доказана теорема о виде конечной цепи Маркова, для которой существует стационарное распределение. Приведем некоторые понятия и определения, требующиеся для дальнейшего изложения [1, 2].

Основные понятия и определения

Определение 1. Цепь Маркова называется сжимающей, если для любой пары состояний i2 существуют время t и состояние у такие, что pti1 у > 0 и

pti2у > 0 (т.е. система может перейти из любой пары состояний в некоторое за одно и то же время).

Определение 2. Распределение п = {пi} на множестве состояний Е (т.е. набор чисел п = (п,п2,...) такой, что п >0 и £п{ = 1) называется стационарным, если выполняется соотношение £ П • р^ у = п у

е Т V/ е Е .

Теорема 1. Если однородная цепь Маркова принимает конечное число состояний, то следующие утверждения равносильны:

1. Существует единственное стационарное распределение П = {пi} и pi у — Пу при 7 — ж для любых

i и у.

2. Цепь является сжимающей.

Теорема 2. Пусть однородная цепь Маркова является сжимающей. Тогда для всех i, у е Е существует предел pti,у (при 7 — ж); при этом: если не существует стационарного распределения, то pi у — 0 для всех i, у е Е (при 7 — ж); если существует стационарное распределение п = {пг}, то оно единственное и pi у — ХуПу (при 7 — ж) для всех i, у е Е, где Л у, возможно, зависит от i и 0 <Лу < 1.

Теорема 3. Пусть существует стационарное распределение п = {п }. Тогда следующие утверждения равносильны:

1 Ит р[ у=п1, уу.

2. Цепь является сжимающей, и всякое ограниченное решение системы уравнений £ р1 у • Ху = Vi

имеет вид х = (х1, х2,...) = с(1,1,...).

Устойчивость и стационарное распределение на графах

Далее будем рассматривать только связные графы

Определение 3. Устойчивым режимом (устойчи-

вым циклом) на графе G(X,U, f) будем называть цикл © с U , обладающий следующим свойством: Vu е© (( p(u) = max {p(v)}) л

ve[(Р2 o f )(u)]+

л (Vve [(p2 o f )(u)]+ p(y) < p(u))).

Другими словами, любая дуга u устойчивого цикла ©, выходящая из некоторой вершины x, имеет наибольшую вероятность среди дуг, выходящих из этой же вершины.

Определение 4. Полуустойчивым режимом (полуустойчивым циклом) будем называть цикл Q, обладающий следующим свойством:

Vu е © (( p(u) = max {p(v)}) л

ve[(p2 o f )(u)]+

л (3veQ 3Ve [(p2 o f )(v)]+ p(y) = p(n))).

Или, что то же самое, существует такая дуга п («уводящая» с цикла Q), для которой вероятность перехода по ней такая же, что и для дуги данного цикла, выходящей из той же вершины.

Определение 4. Неустойчивыми режимами (неустойчивыми циклами) будем называть все циклы орграфа, не являющиеся устойчивыми или полуустойчивыми (т.е. те, с которых «уводит» хотя бы одна дуга с большей вероятностью, чем соответствующая дуга цикла/

Неустойчивые режимы можно классифицировать по степени сложности нахождения. Неустойчивые режимы 1-го (2-го) рода- это устойчивые режимы на частичных графах, полученных уничтожением некоторого подмножества множества дуг устойчивых режимов (и неустойчивых режимов 1-го рода).

Аналогично определяются неустойчивые режимы рода 1,5; 2,5;...:

Неустойчивые режимы рода 1,5 - это полуустойчивые режимы на частичных графах, полученных уничтожением некоторого подмножества множества дуг устойчивых режимов. И т.д.

Неустойчивые режимы рода ж - это циклы графа, которые являются «склейкой» устойчивых и неустойчивых режимов, или неустойчивых режимов разных родов.

Пример 1.

Рассмотрим граф на рис. 1. Дуги {uj,..., u7} такие,

что f К) = (1,2) , f (u 2) = (2,4) , f (u 3) = (4,3) , f (u 4) = (3,1) , f (u 5) = (3,5), f (u 6) = (5,6), f (u7) = (6,4) . При этом вероятности перехода по дугам: f(щ) = 1, fЩ) = 1, f(u3) = 1, f(M4) = 0,8,

f (M5) = 0,2, f (Мб) = 1, f (M7) = 1.

На рис. 1 граф имеет один устойчивый цикл -{u u2,u3,u4} ; один неустойчивый цикл 1-го рода - {u 5, u 6, u 7, u 3}; один цикл рода ж -{u4,u1,u2,u3,u5,u6,u7,u3} .

0,8 3 0 2 5

4 6

Рис. 1

Пример 2.

Рассмотрим граф на рис. 2. Дуги {и1;...,u7} такие, что f(«1) = (1,2), f(ы2) = (2,4), f(ыз) = (4,3), / (ы 4) = (3,1), f (ы 5) = (3,5), f (ы б) = (5,6), f(ы7) = (6,4) . Вероятности перехода по дугам: f (ы 1) = 1, f (ы 2) = 1, f (ы з) = 1, Ды4) = 0,5, f (ы5) = 0,5, f (ыб) = 1, f (ы7) = 1.

На рис. 2 граф имеет два полуустойчивых цикла: {ы1,ы2,ы3,ы4}, {ы5,ыб,ы7,ы3}, один цикл рода ж -{ы4,ы1,ы2,ы3,ы5,ыб,ы7,ы3} .

Рассмотрим вопрос о нахождении устойчивых режимов и неустойчивых режимов 1-го рода.

1 0,5 3 0 5 5

**-#-1-**

1 1 1

1 1 X 1 I

2 4 6

Рис. 2

Алгоритм 1. (устойчивый режим)

1. Берем начальной любую вершину (если находим устойчивые режимы на вспомогательном графе, то начальной берем любую вершину нулевого уровня).

2. Выходим из текущей вершины по дуге с большей вероятностью в некоторую вершину графа, запоминая начальную вершину, а вершину, в которую пришли, полагаем текущей.

Повторяем шаг 2 до тех пор, пока не встретится один из двух возможных случаев:

а) Пришли в вершину, в которой уже были. В этом случае путь между повторяющимися вершинами и есть устойчивый режим.

б) Пришли в вершину, из которой не выходит ни одной дуги.

3. Удаляем все дуги, выходящие из запомненных вершин на данном шаге алгоритма.

Применяем алгоритм к полученному графу до тех пор, пока есть дуги в графе.

Алгоритм 2. (неустойчивый режим 1-го рода)

Для работы алгоритма необходимо найти все устойчивые режимы.

1. Выбираем некоторое не пустое подмножество и(п) множества дуг устойчивых режимов. В графе удаляем дуги множества и(п).

2. Применяем алгоритм нахождения устойчивых режимов к полученному графу.

3. Восстанавливаем удаленные дуги.

Повторяем до тех пор, пока не переберем все возможные подмножества множества дуг устойчивых режимов (для уменьшения порядка сложности можно ввести целевую функцию и применить эвристический алгоритм для метода ветвей и границ).

4. Отбрасываем все устойчивые режимы, найденные алгоритмом как неустойчивые (т.е. в результате работы алгоритма можем наряду с неустойчивыми режимами найти устойчивые, так как, например, есть два устойчивых режима). На к -м шаге множество и (п) состоит только из дуг первого режима, алгоритм отбрасывает их и находит второй устойчивый режим как неустойчивый.

Для нахождения неустойчивых режимов 2-го рода применяется предыдущий алгоритм, а в качестве множества дуг устойчивых режимов берем объединение множеств дуг устойчивых режимов и неустойчивых режимов 1-го рода.

Рассмотрим вопрос о нахождении стационарного распределения.

Определение 5. Устойчивый режим будем называть периодическим, если при возведении матрицы переходных вероятностей в некоторую степень все строки вычисленной матрицы, соответствующие этому режиму, получаются некоторой перестановкой этих же строк исходной матрицы.

Такая ситуация возникает лишь в том случае, когда устойчивый режим является изолированной компонентой сильной связности и из каждой вершины есть только одна дуга, ведущая в вершину данного режима с вероятностью перехода по ней, равной единице.

Определение 6. Компоненту сильной связности Е графа О будем называть изолированной, если выполняется следующее условие: Ух е ХЕ Г+ (х) с ХЕ , т.е. из вершин компоненты Е достижимы вершины только этой же компоненты.

Теорема 4. Конечная цепь Маркова содержит хотя бы одну изолированную компоненту сильной связности.

Доказательство.

Доказывать будем по индукции. Индукцию проведем по количеству компонент сильной связности.

1. Пусть конечная цепь Маркова содержит одну компоненту сильной связности. Ясно, что эта компонента является изолированной.

2. Допустим, что конечная цепь Маркова, содержащая п компонент сильной связности, содержит изолированную компоненту. Докажем утверждение для п +1 компонент сильной связности.

Рассмотрим некоторую компоненту сильной связности. Если она изолированная, то утверждение доказано. Если нет, то заменим ее одной вершиной («сконденсируем»). Получилась цепь Маркова, содержащая п компонент сильной связности. По предположению индукции она содержит изолированную компоненту.

Для конечных цепей Маркова, которые не содержат петель, справедливо следующее утверждение.

Теорема 5. Для того чтобы конечная цепь Маркова О являлась сжимающей, необходимо и достаточно, чтобы выполнялись следующие условия:

1. О не содержит периодических устойчивых режимов.

2. В цепи О существует единственная изолированная компонента сильной связности Н .

3. В компоненте сильной связности Н существу -

1

1

2

ют, по крайней мере, два цикла | и |2, длины которых (| п | и | п21) - взаимно простые числа.

Доказательство.

Необходимость.

Доказательство будем проводить отдельно для каждого условия.

1. Цепь О - сжимающая, следовательно, О не содержит периодических устойчивых циклов.

Допустим противное, что цепь О содержит периодический устойчивый цикл п. Рассмотрим две произвольные вершины х, у е (р2 о /)(п). Очевидно, что для любой вершины данного цикла г е (р2 о /)(п) и любых путей м, /2 таких, что (р1 о / о м)(1) = х, (р1 о / о М2)(1) = у, выполняется | м |=| м |. Или, что то же самое, Уг е X е Т (рХ, г = 0) V (р^ г = 0) (поскольку из вершин х и у достижимы только вершины цикла п). Значит, О не является сжимающей.

2. Цепь О - сжимающая, следовательно, на О существует единственная изолированная компонента сильной связности Н .

Поскольку цепь Маркова обязательно содержит изолированную компоненту сильной связности (теорема 4) осталось доказать ее единственность.

Допустим противное, что существуют две изолированные компоненты сильной связности Н1, Н2. Тогда для любых вершин х е Н1, у е Н2, г е X и произвольного времени 7 е Т выполняется (рХ г = 0) V (рУ г = 0), поскольку произвольная вершина графа (в данном случае) недостижима или из вершины х, или из вершины у . Значит, О не является сжимающей.

3. Так как цепь О - сжимающая, то подграф Н', порожденный вершинами компоненты Н , является сжимающей цепью Маркова. То есть нужно доказать утверждение: если цепь Н' - сжимающая, то существуют по крайней мере два цикла, длины которых -простые числа.

Так как цепь Н' - сжимающая, возьмем две вершины х,у е ХН,, соединенные дугой иху . Для них

существуют вершина г е ХН, и путь м, соединяющий вершины х иг , и существует путь /2, соединяющий вершины у иг такие, что |м| = |/2|. Очевидно, что м Ф /2.

Так как Н' является компонентой сильной связности, то существует путь / , соединяющий вершину г

с вершиной х .

Тогда п = {//, /} является циклом длины

к = |м| +М, п = Ку ,М, /М - (к +1), так как |//| = |м2| . При этом п Ф П2 и число к является взаимно простым с к +1. То есть построили два цикла, длины которых - взаимно простые числа.

Достаточность.

Так как по условию 2 существует изолированная компонента сильной связности Н , то вершины Н

достижимы из любой вершины графа О. Осталось доказать, что подграф Н', порожденный множеством вершин Н , является сжимающей цепью Маркова. По условию 3 существуют хотя бы два цикла п1 и

П2, длины которых (Ц = щ и |п2| = п2) - взаимно

простые числа.

А. Пусть (р2 о /)(|) п (р2 о /)(|) ф 0 , т.е. у циклов | и п2 есть общие вершины.

Возьмем произвольные вершины х, у цепи Н'. Поскольку Н' - компонента сильной связности, то из х и у достижима вершина г е (р2 о /)|) п (р2 о /)(|2). Покажем, что существует путь м (соединяющий вершины х иг) и путь м (соединяющий вершины у и г) такие, что |м| = |м2| = 7.

Пути м и м2 будем строить следующим образом. Концевой вершиной начальных отрезков путей М(1, д) и М2(1,5) является вершина г . Очевидно, что | М(1, Я)|= Я и | М(1,5)|= 5 .

Если д = 5, то искомые пути построили. Если д Ф 5, то следующие отрезки путей м и /2 строим следующим образом:

1. м(Я + а•п\ +1,Я + (а +1)'п\) = |, а = 1,2,3,____

2. /2(д + Р-п2 +1,д + (в +1)'п2) = |2, в = 1,2,3,. . Необходимо, чтобы выполнялось равенство

ММ = М2 . Другими словами д + а • щ = 5 + в • п2. Или

q - s = а • n1 - ß • «2

(*)

Поскольку п1 и п2 - взаимно простые числа, то любое целое число g можно представить в виде g = Л-щ -т•п2 [4]. Следовательно, целые решения для равенства (*) всегда существуют.

Поскольку построили пути м и м2 такие, что

|м| = \м\, то (рд+ап1 ф 0) Л (р5+в п2 ф 0). То есть цепь Н', а значит и О - сжимающие.

Б. Пусть (р2 о/)(п) п (р2 о/)(|) = 0 , т.е. у циклов п и |2 нет общих вершин.

Возьмем произвольные вершины х, у е (р2 о /)|) такие, что /х,у) е |, т.е. существует дуга цикла |, соединяющая х и у .

Возьмем произвольные вершины ху'е (р2 о /)(п2) такие, что /_1(х',у') е|, т.е. существует дуга цикла |2, соединяющая х' и у'.

Так как Н' является компонентой сильной связности, то существует путь м , соединяющий х и у', и путь /2, соединяющий х' и у. Построим цикл П3 следующим образом: |з = {М=Пг\ / "Ч х', у'), М2,| \/(х,у)}, т.е. из вершины х проходим в вершину у' по пути м ; из у' по отрезку цикла п2 - в х'; из х' проходим в у по пути /2; из у по отрезку цикла П - в х .

Ы = М1 + |П2| - 1 + M2I

П\-1 = «э-

+

1. Если п3 -взаимно просто с п1 (п2), то обозначим п2 ::= П3 (П ::= П3) и по пункту А цепь О - сжимающая.

2. Если п3 не является взаимно простым с п1 и п2, то начинаем увеличивать цикл п3 следующим образом: П3 = {/"1,пЛ Г\х', у'),вт?2,М2,т\ ^Ч х, у),агц}, где вП2 = {Ъ,~•>%}, а ащ = {14,...,п}.

ß- раз

а-раз

ности и содержит два цикла, длины которых являются взаимно простыми числами: ы4, щ, ы^ = 4,

\ы 4, ы 5, ы б = 3 . В данном случае для любой пары вершин графа О существует вершина, которая достижима из них за одно и то же количество шагов, т.е. О -сжимающая цепь.

|п3| = п3 +а-п1 +в-п2 = п4 . (**)

Так как п1 и п2 - взаимно простые, то существуют а, в е 2 + , п4 е N, такие, что выполняется (**) и |п4| (длина цикла) - взаимно просто с п1 или с п2 [4].

Если п4 - взаимно просто с п1 ( п2 ), то обозначим П2 ::= П3 (п ::= П3) и по пункту А цепь О - сжимающая.

Замечание 1. Если конечная цепь Маркова О содержит петли, то для того чтобы она являлась сжимающей, необходимо и достаточно, чтобы выполнялось условие 2 предыдущего утверждения, а также следующее условие: или компонента сильной связности Н содержит хотя бы одну петлю, или Н содержит, по крайней мере, два цикла п и п2, длины которых (|п| и |п2|) - взаимно простые числа.

Пример 3.

Рассмотрим граф О на рис. 3. Дуги {ы1, . .. , ы7} такие, что f(ых) = (1,3), f(ы2) = (2,1), f(ы3) = (4,2), f (ы 4) = (4,3), f (ы 5) = (3,5), f (ы б) = (5,б) , f (Щ) = (б,4).

4

Рис. 4

Приведем один из методов вычисления стационарного распределения для произвольного графа.

Допустим, что устойчивые режимы мы уже нашли. По теореме 1 р^ ^ ^ п ^ при t ^ ж для любых / и ] .

Значит, возводя матрицу вероятностей переходов в большую степень, получим распределение, близкое к стационарному.

Рассмотрим несколько примеров:

Пример 5.

Рассмотрим граф из примера 1 при условии неубывающей магнитности [5]. Считаем, что

им = {ы1, ы2, ы5, ыб}, ин = {ы3, ы4, ы7}.

Вспомогательный граф показан на рис. 5.

4

Рис. 3

Граф не содержит периодических устойчивых циклов и сам является компонентой сильной связности, но длины всех его циклов кратны двум (не являются взаимно простыми числами): |ы4,ы5,ыб,ы7| = 4,

|ы3,ы2,ы1,ы5,ыб,ы7| = б ,

Ш3, ы2, ы^, ы5, ы б, ы7, ы 4, ы 5, ы б, ыу = 10 и т.д.

Для любой пары вершин графа О , соединенных дугой, не существует вершины, которая достижима из них за одно и то же количество шагов, т.е. О не является сжимающей цепью. Пример 4.

Рассмотрим граф О на рис. 4. Дуги {ы1, . ..,ыб} такие, что f (ы1) = (1,3), f ы) = (2,1), f (ы3) = (4,2), f (ы 4) = (3,4), f (ы 5) = (4,5), f (ы б) = (5,3).

$\{и_1,...,и_б\}$.

Граф не содержит периодических устойчивых циклов, сам является компонентой сильной связ-

з 4

Рис. 5

Вероятности перехода по дугам вспомогательного графа равны единице для всех дуг, кроме четырех, отмеченных на рис. 5.

Без условия магнитности граф на рис. 1 имеет один устойчивый цикл {ы1, ы2, ы3, ы4}, однако при условии магнитности этот цикл пропадает совсем, и устойчивым циклом на исходном графе при условии неубывающей магнитности становится цикл {ы5, ыб, ы7, ы3}, который без условия магнитности был неустойчивым циклом 1-го рода.

Пример 6.

Рассмотрим граф из примера 1 при условии вен-тильно-накопительной достижимости [б]. Считаем,

что и0 = {ы1,ы2,ы3,ы5,ыб,ы7} , и1 = 0 и и2 = {ы4} .

Вспомогательный граф показан на рис. 3, б.

Вероятности перехода по дугам вспомогательного графа равны единице для всех дуг, кроме четырех отмеченных.

Без условия вентильной достижимости граф на рис. 1 имеет один устойчивый цикл {ы1,ы2,ы3,ы4}, однако при условии вентильной достижимости этот цикл пропадает совсем, и устойчивым циклом на исходном графе при условии вентильной достижимости становится цикл {ы5, ыб, ы7, ы3}, который без условия вентильной достижимости был неустойчивым циклом 1-го рода.

3 4

Рис. 6

Замечание. Для конечной цепи Маркова, соответствующей графу на рис.1, не существует стационарного распределения ни в одном из трех случаев:

1. при наличии условия магнитной достижимости (пример 5);

2. при наличии условия вентильной достижимости (пример б);

3. без какого-либо условия на прохождение по дугам.

Литература

1. Климов Г.П. Теория вероятностей и математическая статистика. М., 1983.

2. Феллер В. Введение в теорию вероятностей и её приложения. Т. 1, 2. М., 19б7.

3. Ерусалимский Я.М. Дискретная математика: теория, задачи, приложения. М., 2001.

4. Курош А.Г. Курс высшей алгебры. М., 197б.

5. Скороходов В.А. Графы с магнитной достижимостью. Марковские процессы и потоки в сетях. Деп в ВИНИТИ, 2003, № 410-В2003.

6. Ерусалимский Я.М., Скороходов В.А. // Изв. вузов. Сев.-Кавк. регион. Естеств. науки. 2003. № 2. С. 3-5.

Ростовский государственный университет

8 ноября 2006 г.