CC BY
4УДК 519.217-044.64
Укрупнение состояний марковских процессов
на основе частот
Б. П. Зеленцов
Изложен метод укрупнения состояний эргодического однородного марковского процесса в дискретном и непрерывном времени, в основе которого лежат средние частоты переходов между состояниями и подмножествами состояний. Множество состояний исходного процесса разбивается на подмножества, каждое из которых заменяется на одно укрупнённое состояние. Затем находятся характеристики этих подмножеств: средние частоты переходов между подмножествами в стационарном режиме, предельные вероятности подмножеств, средняя продолжительность нахождения в подмножествах состояний, средняя продолжительность цикла каждого подмножества. Эти зависимости находятся путём оперирования с числовыми и функциональными матрицами. Метод может быть применён для моделирования вероятностных систем с большим числом состояний.
Ключевые слова: марковский процесс в дискретном и непрерывном времени, средняя частота переходов между подмножествами состояний, средняя частота подмножества состояний.
1. Введение
Одной из проблем в области моделирования сложных систем является увеличение размерности, которое выражается в увеличении числа состояний системы. Большое число состояний и событий обусловлено разными физическими процессами, разными факторами, среди которых можно отметить фазы эксплуатации (использование по назначению, периодические проверки, восстановление), разные виды неисправностей и отказов, наличие непрерывного и периодического контроля технического состояния и др. Так, в рамках сложных систем исследовано поведение бактерий, совершающих случайные движения, приведены эр-годические теоремы и условия эргодичности [18]. В [16] рассмотрена асимптотическая сходимость статистических относительных частот событий, приведены аналитические выражения, описывающие процессы полимеризации и их подтверждение путём статистического моделирования.
В [15] выведены формулы для среднего времени возвращения в подмножество состояний марковского процесса в дискретном и непрерывном времени. Приведены условия существования предельных вероятностей. Переход от процесса в непрерывном времени к вложенной цепи Маркова позволил упростить аналитическую модель и довести её до развёрнутых формул для вероятностей состояний и доказать сходимость вероятностей состояний к предельным [17]. В этих исследованиях увеличение числа состояний системы вызывает естественные трудности на всех этапах реализации модели: при формировании множества состояний системы и исходных характеристик системы приводит к необходимости оперирования с характеристиками большой размерности. В аналитических моделях систем большой размерности возрастает трудоёмкость получения формул, а сами формулы настолько сложны, что их применение в инженерных расчётах практически не оправдано. Зачастую большое число со-
стояний является существенным препятствием при моделировании функционирования систем. В этом случае переходят к алгоритмическому и имитационному моделированию.
В [12, 13] рассмотрена специфическая разложимая структура, названная «почти полностью разложимая цепь». В статье представлены алгоритмы, которые приближённо вычисляют характеристики цепи Маркова в дискретном времени. Алгоритмы основаны на том, что состояния цепи Маркова сгруппированы так, что вероятности изменения состояния внутри группы имеют более высокий порядок по сравнению с вероятностями переходов между группами. Эти алгоритмы позволяют вычислять предельные вероятности состояний, время перехода между состояниями, число попаданий в состояние до поглощения. Предложен древовидный метод вычисления этих характеристик для процесса с большим числом состояний. Метод позволяет приближённо вычислять предельное распределение вероятностей состояний.
Одним из основных путей преодоления трудностей, связанных с большой размерностью сложных систем, является укрупнение состояний, при котором система с данным числом состояний заменяется системой с меньшим числом состояний. Проблема укрупнения - это проблема преобразования первоначальной системы в систему с меньшим числом состояний, изучение которой с точки зрения получения выходных характеристик не приводит к существенной потере информации и искажению результатов моделирования. В связи с этим важное значение имеет разработка новых подходов к укрупнению состояний и развитие известных методов укрупнения состояний, которые не искажают результаты моделирования исходного процесса. При формировании общего подхода к укрупнению состояний следует иметь в виду, что предложения по укрупнению состояний должны быть доказательными, так как произвольное объединение нескольких состояний в одно укрупнённое состояние приводит к потере информации об исходной системе. Существенным обстоятельством является также доведение математически обоснованных методов до практического использования. Проблема укрупнения случайных процессов является актуальной для многих приложений, так как с этой проблемой зачастую связаны возможности моделирования сложных систем.
С точки зрения охвата укрупнением множества состояний укрупнение может быть простым, когда множество состояний разбивается на два подмножества, и блочным, когда множество состояний разбивается на несколько подмножеств (блоков). В [5] приведён частотный метод моделирования случайного процесса при разбиении эргодического множества состояний на два подмножества, при этом вычисляются частоты переходов между этими подмножествами и другие характеристики этих подмножеств. Фактически исходный процесс приведён к двум укрупнённым состояниям. Ключевым понятием здесь является частота переходов между двумя состояниями исходного процесса в стационарном режиме. Средняя частота переходов между подмножествами состояний также является устойчивой характеристикой эргодического марковского процесса в стационарном режиме. Такой вид простого укрупнения можно было бы назвать «частотным укрупнением» состояний марковского процесса в дискретном и непрерывном времени. Этот подход может быть использован для моделирования систем длительного использования.
Необходимое и достаточное условие укрупнения для марковского процесса в дискретном и непрерывном времени сформулировано в ряде работ [1, 7, 8, 9]. При разбиении множества состояний на подмножества исходная матрица переходных вероятностей или интенсивно-стей представляется в виде соответствующей блочной матрицы. Если сумма элементов каждой строки блока является постоянной, то есть не зависит от номера строки этого блока, то такое множество состояний является укрупнимым: подмножество может быть заменено на одно состояние. Сумма элементов строки блока является переходной вероятностью или интенсивностью перехода нового, укрупнённого, процесса. Такой подход позволяет «склеивать» состояния подмножеств и сохранить точные значения предельных вероятностей укрупнённой системы, при этом предельная вероятность нового, укрупнённого, состояния получается суммированием предельных вероятностей состояний соответствующих укрупня-
емых состояний исходного процесса. Однако практическое применение сформулированного необходимого и достаточного условия укрупнимости затрудняется тем, что эта идея не доведена до метода, пригодного для применения в инженерной практике.
При большом числе состояний разбиение исходного множества на два подмножества не всегда является эффективным, оно не учитывает особенности и различия между состояниями одного подмножества. Матричные характеристики подмножеств при этом могут оказаться также больших размеров. Поэтому разбиение множества состояний на несколько подмножеств (блочное укрупнение) может найти применение при моделировании сложных систем.
В [14] рассмотрен процесс Маркова в дискретном и непрерывном времени, множество состояний которого разбито на укрупнённые состояния, каждому из которых приписана предельная вероятность. Достаточное условие укрупнимости представлено как разновидность слабой укрупнимости, при которой вероятности исходного процесса совпадают с вероятностями укрупнённого процесса при определённых начальных условиях. Исследована зависимость свойств укрупнённого процесса от начальных условий процесса. Показано, что расширение процесса Маркова также зависит от начальных условий процесса. Разработанная модель применима для биохимических реакций.
В статье [2] представлены алгоритмы проверки возможности укрупнения цепи Маркова и получения закона формирования укрупнённой цепи. Предложена оценка количества возможных пространств, получаемых в процессе укрупнения состояний исходной цепи.
В [4] изложен метод укрупнения состояний системы, эволюционирование которой описывается марковским процессом как в дискретном, так и в непрерывном времени. В соответствии с этим методом система с данным множеством состояний приводится к множеству с меньшим числом состояний путём введения граничных состояний подмножеств. Переходы между состояниями на исходном множестве заменены на переходы между граничными состояниями. Модель позволяет оперировать с матрицами меньших размеров. Информация об исходном множестве состояний определённым образом упакована в систему с меньшим числом состояний с сохранением средней продолжительности нахождения в подмножестве состояний.
Существенным фактором при укрупнении состояний является возможность сохранения точных значений характеристик процесса. В связи с этим предложено относить укрупнение состояний к одному из двух типов: точному (эквивалентному) или приближённому (квазиэквивалентному) [11]. В этой работе исследованы условия, при которых приближённые значении вероятностей укрупнённых состояний стремятся к точным значениям. К сожалению, оценка погрешности при квазиэквивалентном укрупнении не произведена.
Целью настоящей работы является разработка математической модели для укрупнённого процесса на основе использования средних частот переходов между состояниями этого процесса в стационарном режиме, который протекает в дискретном или непрерывном времени. Множество состояний исходного процесса разбивается на несколько подмножеств. По механизму уменьшения числа состояний здесь производится «склеивание» состояний, при котором несколько состояний каждого подмножества заменяются на одно, при этом сохраняется предельная вероятность и средняя частота этого подмножества. Информация об исходном множестве состояний определенным образом упаковывается в процесс с меньшим числом состояний с сохранением определенных выходных характеристик процесса. Такое укрупнение состояний по терминологии [11] можно назвать эквивалентным.
2. Частоты переходов между состояниями исходного процесса
Рассматривается случайный процесс на дискретном эргодическом множестве с конечным числом состояний £ = {$} в дискретном и непрерывном времени. Исходными характеристиками для процесса в дискретном времени являются переходные вероятности ру между двумя
состояниями Si и Sj на одном шаге, а для процесса в непрерывном времени - интенсивности переходов \у между двумя состояниями Si и Sj. Для этих процессов вводится понятие частоты Wij непосредственных переходов между двумя состояниями исходного процесса. Для процесса в дискретном времени aij - это среднее число непосредственных переходов Si ^ Sj, приходящееся на один шаг, а для процесса в непрерывном времени aij - это среднее число переходов Si ^ Sj, приходящееся на единицу времени.
Частота непосредственных переходов Si ^ Sj следующим образом связана с предельными вероятностями состояний и исходными характеристиками для процесса в дискретном и непрерывном времени [3]:
а) Oj = щ ■ Pij; б) = щ ■ ¿y, i фj, (1)
где ni - предельная вероятность состояния Si.
Зависимость между параметром а и и предельной вероятностью состояния для процесса в дискретном и непрерывном времени определена следующим образом [3]:
а) Oi = щ ■ (Pii -1); б) Oi = щ ■ ¿i, (2)
где pa - вероятность остаться в состоянии Si на одном шаге после попадания в него; Хц - суммарная интенсивность выхода из состояния Si , взятая со знаком минус:
а) 1 -Pii = ZPij; 6)¿í=- (3)
jj'rt j'jrt
Формулы для вычисления предельных вероятностей эргодического процесса в дискретном и непрерывном времени приведены в [3].
Будем записывать исходные характеристики процесса в виде матрицы переходных вероятностей P = Ipyll для процесса в дискретном времени и матрицы интенсивностей Л = \\Ху\\ для процесса в непрерывном времени, а частоты переходов - в виде матрицы частот Q = llalli. Приведённые соотношения (1) и (2) позволяют выразить зависимость между частотами, предельными вероятностями и исходными характеристиками случайного процесса в дискретном и непрерывном времени в матричном виде [5]:
а) Q = ndg ■ (P-E); б) Q = ndg ■Л, (4)
где Q - матрица частот исходного процесса; ndg - диагональная матрица предельных вероятностей состояний; E - единичная матрица соответствующего порядка.
Итак, соотношения (4) связывают три матричные характеристики исходного множества состояний: частоты переходов между состояниями, предельные вероятности состояний и исходные характеристики случайного процесса (переходные вероятности и интенсивности переходов).
3. Частоты состояний исходного процесса
Введём понятия «частота выхода из состояния Si», которая представляет собой сумму частот всех переходов из этого состояния в другие состояния, и «частота входа в состояние Si», которая является суммой частот всех переходов в состояние Wi из других состояний:
= ZOj ^ O+ = ZOji' (5)
- +
где o i - частота выхода из состояния Si, o i - частота входа в состояние Si.
В соответствии с (2) и (3) частота выхода из состояния Si связана с параметром аи следующим образом:
O-= ZOj =-Oii• (6)
Покажем, что О- = о^.
Для процесса в дискретном времени из зависимости для эргодического случайного процесса ж ■ Р = ж [3] следует
ж- (Р - Е) = о, (7)
где ж - строка предельных вероятностей исходного процесса; о - строка, все элементы которой равны нулю. Выделим на множестве £ состояние $■ и выполним умножение (7). В результате получим:
Щ ■ (Рн -1) + Щ ■ Р1 = 0, (8)
где Ж1 - строка предельных вероятностей состояний множества £ без элемента Жу; ру - 1-й столбец матрицы Р без диагонального элементарн. Из последнего равенства следует:
Щ ■ р1 = -Щ ■ (Рп -1). (9)
Левая часть последнего равенства представляет собой частоту входа в состояние $■:
Щ ■ р1 = Ежл • Рл = Есл=((~=-(п. (10)
Сравнивая (6) и (10), видим, что о- = о(, так как О- = -щ и о( = -щ.
Для процесса в непрерывном времени из соотношения ж ■ Л = о [3] следует:
Щ -¿ц = 0 (11)
где Ду - 1-й столбец матрицы Л без элемента Хц. Из этого равенства следует:
Щ "А =-Щ-*ц. (12)
Левая часть последнего равенства является частотой входа в состояние $■:
Щ -4 = ■ Л = =с+. (13)
Сравнив (6) и (13), получим: щ = о(.
Итак, доказано, что щ = о( для процесса в дискретном и непрерывном времени. Это равенство показывает баланс частот, который заключается в том, что средняя частота вхождения в любое состояние эргодического процесса в стационарном режиме равна средней частоте выхода из этого состояния.
Будем называть среднюю частоту щ = О- =о( частотой состояния $■. Очевидно, что щ = -Оц . Частоты переходов ту и частоты состояний т являются устойчивыми характеристиками случайного процесса в стационарном режиме. При изменении этих частот во времени процесс становится нестационарным.
4. Выражение частот переходов через другие характеристики
Из (1) следует, что частота переходов ту, ■ Ф у, пропорциональна исходным характеристикам процессов: переходным вероятностям ру и интенсивностям Ху. Поскольку частота состояния является суммой частот выхода или суммой частот входа в состояние, то каждая из этих составляющих пропорциональна исходной характеристике перехода. Поэтому частоту перехода можно выразить через частоту состояния и вероятность прохождения ру [ 3], которая пропорциональна соответствующей исходной характеристике перехода для процесса в дискретном и непрерывном времени:
а) сл = о ■ ру = О ■ ру/(1 - Рн); б) сл = с ■ ру,=-с ■ %1 4-, ■ ф у (14)
где pj - вероятности прохождения. Вероятность прохождения pj - это вероятность непосредственного перехода Si ^ Sj при условии, что происходит выход из состояния Si.
Частоту перехода ту можно выразить также через среднюю продолжительность нахождения в состоянии Si после попадания в него:
а) Щ] = щ • щ • Pij;; б) Щ] = —щ • t. • Д,i фj, (15)
где щ = 1/(1 — Ра) - среднее число шагов нахождения в состоянии Si после попадания в него;
í¿ = — l/\г - среднее время нахождения в состоянии .v, после попадания в него.
Представляет интерес выражение частот переходов и частот состояний через исходные характеристики. Подставив в (1) выражения для предельных вероятностей, получим формулы для этих частот. Вычисления могут быть произведены по формулам двух типов.
Первый тип формул основан на вычислении определителей. Частоты переходов для процесса в дискретном и непрерывном времени:
а) Щ] = Аi • Pij/ А;; б) Щ] = Аi • Дj/ A; i ф j, (16)
и частоты состояний для процесса в дискретном и непрерывном времени:
а) щ =Ai • (1 — pj)/А; б) щ =—Аг-Д. / А, (17)
где a. = \E — р| для процесса в дискретном времени; E - единичная матрица соответствующего порядка; А. = |Лг| для процесса в непрерывном времени; Pi - матрица, полученная из
матрицы P удалением из неё i-й строки и i-го столбца; Лi - матрица, полученная из матрицы
m
Л удалением из неё i-й строки и i-го столбца; А = ^ А. сумма определителей по всем состо-
i=1
яниям; m - число состояний исходного процесса.
Второй тип формул основан на обращении матриц. Эти формулы для процесса в дискретном и непрерывном времени:
а) Щ = Pj /[1 + Pt • (E — Pi)—1 • e]; б) щ =Д /[1 — Д-Л."1 • e]; i фj, (18)
где р. - i-я строка матрицы P без элемента p..; Д. - i-я строка матрицы Л без элемента Д..; e - столбец, все элементы которого равны 1.
5. Матрица частот исходного множества и её свойства
Полученные соотношения для частот переходов между состояниями и частот состояний позволяют выразить их в матричном виде для процесса в дискретном и непрерывном времени:
а) Q = D• (P — E)/(e • D• e); б) Q = D•Л/(e • D• e), (19)
где D = WdijW - диагональная матрица, диагональные элементы которой равны соответствующим определителям: dj = 0 для i Ф j и da = A¿; e - строка, все элементы которой равны 1. Матрица частот может быть вычислена также на основе обращения матриц:
а) Q = R• (P — E); б) Q = R•Л, (20)
где R = WrijW - диагональная матрица, то есть rj = 0 для i Ф j. Диагональные элементы матрицы R для процесса в дискретном и непрерывном времени:
а) ги = [1 + p. • (E — Р.)—1 • e]-1; б) г.. = [1 — Д-Л."1 • e]—1. (21)
Из определения диагональных элементов матрицы частот Q и из баланса частот относительно каждого состояния можно сформулировать свойства матрицы частот для процесса в
дискретном и непрерывном времени. Поскольку щ. = —щ—, то сумма элементов любой стро-
ки матрицы й равна нулю. Аналогично: поскольку щ = -о(, то сумма элементов любого столбца матрицы й равна нулю. Из этих понятий вытекают свойства матрицы частот для процесса в дискретном и непрерывном времени:
а) О-е = о; б) е О = о ; в) е О,-е = 0; г) |О| = 0, (22)
где о - столбец, все элементы которого равны 0; е - строка, все элементы которой равны 1; о - строка, все элементы которой равны 0. Отметим, что столбцы е суммируют частоты выхода из состояний, а строки е суммируют частоты входа в состояния. Из свойств а) и б) вытекают свойства в) и г): сумма всех элементов матрицы частот равна нулю и определитель этой матрицы равен нулю.
Свойства (22) можно использовать при различных преобразованиях исходного процесса, а также для контроля правильности вычисления матрицы частот.
6. Частотные характеристики подмножеств состояний
Пусть множество состояний £ разбито на подмножества по некоторому признаку: £ = {£/}, I = 1, 2,..., М, где М - число подмножеств.
Следует отметить, что при использовании данного метода для моделирования систем конкретного назначения разбиению множества £ на подмножества целесообразно придавать содержательный смысл. Например, при расчёте надёжности оборудования систем коммутации можно проводить объединение состояний по функциональному признаку, а именно, объединять состояния, если эффект от функционирования системы в одном из них не отличается от эффекта от функционирования в другом с точки зрения решаемой задачи. Например, в [10] в одно подмножество объединены состояния, являющиеся следствием трех видов отказов. Приведённая модель позволила получить частоты этих отказов.
Представим исходные матрицы, а также диагональную матрицу предельных вероятностей и матрицу частот в виде соответствующих блочных матриц: Р = НРиН; Л = НЛиН; Пdg = НШ^Н; П = НПиН. Подматрицы Ри, Ли, Пи имеют размеры тI х mJ , где т1 - число состояний подмножества £1, ти - число состояний подмножества £У. Выполнив умножение (4) в виде блочных матриц, получим для процесса в дискретном и непрерывном времени:
а) Ои = Па§/ ■ Ри; б) Ои = Па§/ ■Ли, I, J = 1,2,...,М, I & Jl
}>. (23)
а) Оп = Па§/ ■ (Рд -Е); б) Он = Па§/-Лн, I = J, I = 1,2,...,Ы]
Найдём частоты переходов между состояниями подмножеств £1 и £У. Умножим подматрицу частот Пи сначала на строку е и затем на столбец е , которые имеют согласованные размеры с подматрицей Пи
си = е■Оц; сои = 0]J ■ ё, I & J, (24)
где е - строка, все элементы которой равны 1; е - столбец, все элементы которого равны 1. Строка Ои состоит из ти элементов: каждый элемент является частотой переходов из подмножества £1 в состояния подмножества £У. Столбец сои состоит из т1 элементов: каждый элемент является частотой переходов из состояний подмножества £1 в подмножество £У.
Частоты переходов между состояниями исходного процесса являются безусловными характеристиками переходов. Поэтому частота переходов из подмножества £1 в подмножество и определяется суммированием всех элементов строки о и , или суммированием всех элементов столбца (си , или суммированием всех элементов подматрицы Пи:
сои = Ои ■ ё = е ■ сои = е ■ Ои ■ ё, I & J, (25)
где ои - частота непосредственных переходов £1 ^ £У, которая имеет такое же определение, как частота ту для исходных процессов в дискретном и непрерывном времени.
Таким образом, частоты переходов являются безусловными характеристиками переходов как между состояниями исходного процесса, так и между подмножествами состояний укрупнённого процесса. Это обстоятельство позволяет получать частоты переходов между подмножествами состояний путём суммирования частот переходов между соответствующими состояниями исходного процесса.
По аналогии с частотами состояний исходного множества введём понятия «частота выхода из подмножества» и «частота вхождения в подмножество состояний»:
о1 - = ; о1 + = , (26)
где о1 - - частота выхода из подмножества Ж/, о1 + - частота вхождения в подмножество Ж/.
Частота оо1 - является частотой переходов из подмножества 81 в другие подмножества и определяется путём суммирования частот переходов из подмножества 81 в другие подмножества. Частота оо1 + - это частота переходов из других подмножеств в подмножество Ж/ , она равна сумме частот переходов из других подмножеств в подмножество 81. В [5] показано, что при разбиении множества состояний на два подмножества средняя частота входа в подмножество состояний равна средней частоте выхода из него, то есть ю1 + = ю1 -. После каждого вхождения в подмножество 81 следует выход из него и каждому выходу из подмножества 81 предшествует вхождение в него. Поэтому частота вхождений в подмножество состояний равна частоте выхода из него. В этом заключается баланс частот для укрупнённого множества состояний.
Будем называть частоту оо1 = о1 + = оо1 - частотой подмножества 81. 7. Матрица частот укрупнённого процесса
Укрупнённый процесс - это процесс, в котором каждое подмножество 81 заменено на одно состояние. Будем обозначать характеристики укрупнённого процесса теми же символами, что и исходный процесс, а номера состояний обозначены строчными буквами.
Представим частоты оЫ в виде матрицы частот переходов между подмножествами состояний Оукр = ||о1Ы||, где оЫ = -о1. Поскольку частоты оЫ на укрупнённом множестве состояний образованы путём суммирования элементов подматриц Пи, то матрица частот укрупнённого множества обладает теми же свойствами, что и матрица частот исходного множества. Эти свойства определяются балансом частот для процессов в стационарном режиме. Таким образом, для укрупнённого процесса
а) Оукр• е = о; б) е • О = о; в) е•Оукр• е = 0; г) Оукр = 0. (27)
Замечание. Баланс частот для укрупнённого процесса может быть доказан так же, как и для исходного процесса.
8. Циклы подмножеств состояний укрупнённого процесса
Рассмотрим циклическое функционирование случайного процесса относительно каждого подмножества. Смысл такого функционирования заключается в том, что в случайные моменты времени имеют место вхождения в каждое подмножество 81 и выходы из него.
Разобьём множество состояний 8 на два подмножества: 81 и 81, где 81 - дополнение подмножества 81 до множества 8. Введём понятие 8/-цикла, который заключается в пребывании процесса в подмножестве 81 и следующем за ним пребывании в подмножестве 81. Очевидно, что каждое подмножество 81 имеет свой «индивидуальный» 8/-цикл. Таким образом, время протекания процесса в стационарном режиме разбивается на циклы относительно
каждого подмножества, состоящие из пребывания процесса в подмножестве £1 и следующего за ним пребывания в других подмножествах: £1 ^ SI ^ £1 ^ SI ^ ...
Введём обозначения: П и пI - среднее число шагов нахождения в подмножествах £1 и SI на £1-цикле для процесса в дискретном времени; Л и й - среднее время нахождения в подмножествах £1 и SI на £1-цикле для процесса в непрерывном времени. Тогда средняя продолжительность £1-цикла для процесса в дискретном и непрерывном времени будет иметь вид:
а) п^ = ^ + пI; б) Гц! = И + й . (28)
Замечание. Средняя продолжительность £1-цикла - это средний период между вхождениями в подмножество £1.
Очевидно, что частота подмножества £1 ((I) является частотой £1-цикла. Эта частота может быть вычислена как по частоте выхода из подмножества £1, так и по частоте входа в это подмножество. Итак, частота цикла a)I и средняя продолжительность £1-цикла для процесса в дискретном и непрерывном времени связаны следующим образом:
а) п^ = 1/(I; б) ^ = К, I = 1, 2,., М. (29)
Предельные вероятности состояний являются безусловными суммируемыми характеристиками случайного процесса. Поэтому предельная вероятность подмножества £1 определяется суммой предельных вероятностей состояний этого подмножества как для процесса в дискретном, так и в непрерывном времени:
ж[ = е ■П^ • её, (30)
где 71[ - предельная вероятность подмножества £1, имеющая смысл средней доли продолжительности нахождения в подмножестве £1 среди всех подмножеств при бесконечном протекании процесса.
В основе подхода к вычислению характеристик укрупнённого процесса лежит свойство суммируемости предельных вероятностей состояний исходного процесса и частот переходов между состояниями исходного процесса, то есть частота переходов между подмножествами £1 и £и определяется по (25), а предельная вероятность подмножества £1 определяется по (30).
Средняя продолжительность нахождения в подмножестве £1 после попадания в него определяется как часть £1-цикла с вероятностью Щ для процесса в дискретном и непрерывном времени:
а) ^ = Щ ■ п^ = Щ / оI; б) и = жI ■ ц = Щ / оI. (31)
Можно провести рассуждения, аналогичные для исходного процесса. За достаточно большой интервал времени [0; ¿] в стационарном режиме среднее время нахождения в подмножестве £1 для процесса в непрерывном времени составит Щ ■ г. С другой стороны, среднее число вхождений в подмножество £1 составит оI ■ г. При каждом вхождении в подмножество £1 среднее время пребывания в нём составит И. За время I средняя продолжительность нахождения в подмножестве £1 составит оI ■ г ■ И . Приравняв средние времена, получим: жI = оI ■ И.
Аналогичные рассуждения можно провести для процесса в дискретном времени.
Итак, можно записать зависимость между предельной вероятностью подмножества, частотой подмножества и средней продолжительностью нахождения в подмножестве состояний для процесса в дискретном и непрерывном времени:
а) Щ = (I ■ ^. б) жI = ( ■ И. (32)
Замечание. В [3] средняя продолжительность нахождения в подмножестве состояний найдена с учетом начального распределения вероятностей состояний при вхождении в подмножество.
9. Частный случай выделения одного состояния
Пусть подмножество 81 состоит из одного состояния 81 = [з]. Тогда 8/ - множество возможных состояний без состояния з/. В этом случае зг-цикл заключается в пребывании процесса в состоянии з и следующем за ним пребывании в подмножестве 8/. Из этого следует, что частота зг-цикла является частотой состояния з/. Характеристики состояния з/ и соответствующего зг-цикла приведены в табл. 1.
Очевидно, что для одного выделенного состояния сохраняются характеристики как в исходном, так и в укрупнённом варианте: п/, ри, Хц.
Таблица 1. Характеристики состояния з/ и соответствующего зг-цикла
Характеристика Процесс
в дискретном времени в непрерывном времени
1. Предельная вероятность состояния з/ П п/
2. Исходная характеристика состояния з/ Pii Хц
3. Частота состояния з/ (°ii = Я ■ (1 - Pii) ®и = -Я/ ■ Ч
4. Средняя продолжительность зг-цикла пц I =-1- Я ■ (1 - Pii) 1ц I =--1— Я Ч/
5. Средняя продолжительность состояния з/ 1 n = i 1 - Pii 1 ti = —
6. Средняя продолжительность подмножества 8/ 1 — Я п =--— Я ■(1 — Pii) 1 -Я] Ц =-- Я ■Ч
10. Показатели укрупнимости
Эффект от уменьшения числа состояний можно оценить коэффициентом укрупнимости, который представляет собой число «исчезнувших», или «упакованных», состояний при замене исходного процесса на укрупнённый, приходящееся на одно укрупнённое состояние:
Ь = (т - М )/М, (33)
где т - число состояний исходного процесса, М - число состояний укрупненного процесса.
Число «исчезнувших» состояний - это разность между числом состояний исходного процесса и числом состояний укрупнённого процесса. Чем больше эта разность, тем выше эффект от укрупнения. При приведении числа «исчезнувших» состояний к одному укрупнённому состоянию можно использовать коэффициент укрупнимости для сравнения эффекта от укрупнения для разных вариантов укрупнения одного процесса и для сравнения эффекта от укрупнения для разных случайных процессов.
Коэффициент укрупнимости является удобным показателем для практического применения, поскольку он характеризует эффект укрупнения, а именно, коэффициент укрупнимости возрастает с увеличением числа «упакованных» состояний. Следует иметь в виду, что при отсутствии укрупнения коэффициент укрупнимости равен нулю.
11. Пример укрупнения
Приведем простой иллюстративный пример с небольшим числом состояний на основе модели функционирования линии связи в условиях недостоверного контроля технического состояния [6]. В модель заложены пять пронумерованных состояний:
1 - работоспособное состояние линии связи;
2 - неработоспособное состояние линии связи;
3 - проверка линии связи, находящейся в работоспособном состоянии;
4 - проверка линии связи, находящейся в неработоспособном состоянии;
5 - восстановление линии связи.
Процесс протекает в непрерывном времени, матрица интенсивностей имеет вид:
Л =
Л —у Л у 0 0 1
0 —у 0 у 0
а) -Мп 0 — Мп 0 а-Мп
0 Р-Мп 0 — Мп (1 — Р)-Мп
Мв 0 0 0 — Мв ,
В матрице обозначено: X - интенсивность отказов линии связи; у - интенсивность начала периодической проверки со случайным периодом; /л - интенсивность завершения периодической проверки; а - вероятность ошибки контроля I рода; в - вероятность ошибки контроля II рода; Цв - интенсивность завершения восстановления.
Граф состояний может быть легко восстановлен по приведённой матрице интенсивно-стей.
Пример приведён в числах, поскольку формулы являются громоздкими. Исходные данные взяты такие же, как в [6], а именно: средняя наработка на отказ - 10 000 часов, среднее время между проверками - 72 секунды, среднее время восстановления - 2 часа, средняя продолжительность одной проверки - 1 с. Исходя из этих значений приняты следующие значения интенсивностей событий, приведённых к единице измерения час-1: интенсивность отказов: X = 10-4; интенсивность начала проверки: у = 50; интенсивность завершения проверки: Цп = 3 600; интенсивность завершения восстановления: Цв = 0.5; вероятность ошибки контроля I рода: а = 0.001; вероятность ошибки контроля II рода: в = 0.001.
Строка предельных вероятностей, вычисленных по формулам на основе определителя или на основе обращения матриц [3]:
ж = (о.898 1.797 -10—6 0.012 2.496 -10" Матрица частот, вычисленная по (19) или (20):
ч-5
->—8
0.09).
п =
0
8
8.985-10 0
— 8.985 -10 0
—5
44.88 0
— 44.88 0 0
Свойства (22) матрицы частот выполняются (в данном примере это можно проверить также и визуально).
—44.88 0
44.835 0
0.045
8.976-10" — 8.985-10—5 0
8.985-10— 0
—5
0 0
0.045 8.976-10 — 0.045
—5
Примечание. При вычислениях с помощью компьютерных средств (Mathcad, МЛТЬЛБ) при проверке свойств матрицы частот зачастую получают не нули, а числа, близкие к нулю и имеющие порядок 10-14 или 10-15.
Разбиение множества состояний по функциональному признаку на два подмножества: £1 = {1, 2, 3, 4}; 82 = {5}. В соответствии с этим матрица частот разбивается на четыре подмат-
рицы:
Qn =
Г- 44.88 8.976-10-5 0 - 8.985-10-5 44.835 0
0
8.985 10
-8
44.88 0
- 44.88 0
0
8.985 10 0
-5
-8.985 10
-5
"12 =
0 0
0.045 v8.976-10-5 ,
П21 =(0.045 0 0 0); Q22 = (- 0.045).
Частоты переходов между подмножествами £1 и S2, вычисленные по (25):
о12 = -e- Q12 - é = 0.045; со21 = -e -Q21 - é = 0.045 . Частоты подмножеств £1 и £2:
о1 = -e - Q11 - é = 0.045; о2 = -e- Q22 - é = 0.045. Матрица частот укрупнённого множества:
" укр =\°Щ =
- 0.045 0.045 0.045 - 0.045
с\\ с\2
с2\ (22
Видно, что свойство баланса частот справедливо как для исходного множества, так и для укрупнённого множества состояний. Так, частота перехода 82 ^ 81, вычисленная непосредственно по предельной вероятности состояния и интенсивности перехода:
с2\ = ж5 ■Л5\ = 0.09• 0.5 = 0.045 .
Полученные результаты полностью согласуются с результатами модели [6], основанной на использовании теории полумарковских процессов. Так, среднее время цикла при принятых исходных данных составляет 1/0.045 = 22.2 часа, то есть восстановление линии связи происходит со средней периодичностью 22.2 часа. Стационарный коэффициент неготовности, который учитывает время в неработоспособном состоянии линии связи при условии, что она используется по назначению, то есть функционирует:
Кнст =-2— = 26.
ж\ + ж2
Заключение
Предложенный частотный метод укрупнения позволяет привести эргодический процесс, состояния которого разбиты на несколько подмножеств по некоторому признаку, к процессу с меньшим числом состояний, при этом информация об исходном множестве состояний определенным образом «упаковывается» в процесс с меньшим числом состояний. В изложенном подходе приведены зависимости между исходными характеристиками процесса, предельными вероятностями состояний исходного и укрупнённого процесса и частотами переходов между состояниями укрупнённого процесса. Особенностью метода является сохранение значений предельных вероятностей подмножеств состояний, средних продолжитель-ностей нахождения в подмножествах состояний и частот попаданий в подмножества состояний соответственно для процесса в дискретном и непрерывном времени. Полученные зависимости между характеристиками исходного и укрупнённого случайного процесса можно использовать при исследовании различных процессов, моделирующих в стационарном режиме функционирование систем различного назначения (технических, экономических, организационных). В частности, по известным (заданным) характеристикам могут быть вычислены другие характеристики и параметры случайных процессов. Например, заданными могут
быть переходные вероятности для процесса в дискретном времени или интенсивности переходов в непрерывном времени, частоты состояний и частоты переходов между состояниями как исходного, так и укрупнённого процесса, оценки которых получены путём сбора и обработки информации о случайном процессе. Также в качестве исходных характеристик могут быть использованы продолжительности нахождения в состояниях и в подмножествах состояний, предельные вероятности состояний и подмножеств состояний и т.д. Материал настоящей статьи позволяет составить модель с целью исследования случайного процесса или вероятностной системы на этапе проектирования или совершенствования их эксплуатационных свойств, например, с целью улучшения их эффективности и надёжности.
Характеристики системы находятся путем оперирования с матрицами. При разбиении множества состояний на подмножества происходит переход к блочным матрицам, а при замене подмножеств состояний состояниями укрупнённого процесса - к матрицам меньшего размера по сравнению с исходными. Эффект от укрупнения заключается в том, что уменьшаются размеры матричных характеристик, описывающих переходы между состояниями укрупнённой системы. Таким образом, для нахождения характеристик, связанных с подмножеством состояний, не нужно использовать полные матрицы исходных характеристик, можно оперировать с подматрицами, относящимися к этому подмножеству. В некоторых случаях это может существенно упростить решение конкретных задач.
При моделировании систем могут быть разные цели, разные исходные данные и разные выходные характеристики. На основе полученных соотношений между параметрами исходного и укрупнённого процесса могут быть найдены характеристики, описывающие функционирование моделируемой системы на укрупнённом множестве состояний. Например, при исследовании надёжности систем могут быть найдены коэффициент готовности, среднее время безотказной работы и другие показатели надёжности системы в стационарном режиме.
Алгоритм укрупнения на основе оперирования с матрицами может быть реализован с помощью таких инструментов, как Mathcad или MATLAB. Операции могут быть выполнены в числовом или аналитическом виде.
Литература
1. Захаров В. К., Сарманов О. В. Укрупнение состояний цепи Маркова и стационарное изменение спектра // Докл. АН СССР. Физика, математика. 1965. В. 160, № 4. С. 762-764.
2. Захаров В. М., Эминов Б. Ф. Алгоритмы укрупнения цепей Маркова // Вестник Казанского гос. технического университета им. А. Н. Туполева. 2013. № 2. С. 125-133.
3. Зеленцов Б. П. Матричные модели функционирования оборудования систем связи // Вестник СибГУТИ. 2015. № 4. С. 62-73.
4. Зеленцов Б. П. Укрупнение состояний сложных систем, моделируемых марковскими процессами // Вестник СибГУТИ. 2017. № 3. С. 43-56.
5. Зеленцов Б. П. Частотный метод моделирования вероятностных систем длительного использования // Вестник СибГУТИ. 2016. № 4. С. 25-38.
6. Зеленцов Б. П., Максимов В. П., Шувалов В. П. Модель функционирования линии связи в условиях недостоверного контроля технического состояния // Вестник СибГУТИ. 2015. № 3. С. 35-43.
7. Каштанов В. А., Медведев А. И. Теория надежности сложных систем. М.: Физматлит, 2010. 608 с.
8. КемениД., СнеллД. Конечные цепи Маркова. М.: Наука, 1970. 272 с.
9. Клемин А. И., Емельянов В. С., Морозов В. Е. Расчёт надёжности ядерных энергетических установок. М.: Энергоиздат, 1982. 208 с.
10. Трофимов А. С., Зеленцов Б. П. Модель функционирования релейной защиты энергосистем // Электроэнергия. Передача и распределение. 2016. № 6. С. 110-114.
11. Черкасов А. В. Принцип квазиэквивалентности укрупнения состояний марковских моделей // Молодой учёный. 2016. № 11. С. 529-535.
12. Gambin A., Pokarowski P. A New Combinatorial Algorithm for Large Markov Chains // Computer Algebra in Scientific Computing (CASC 2001). Springer, 2001. P. 195-212.
13. Gambin A., Pokarowski P. Aggregation Algorithms for Markov Chains with Large State Space // Institute of Informatics, Institute of Applied Mathematics, Warsaw University, Poland. 49 p.
14. Ganguly A., Petrov T., Koeppl H. Markov Chain Aggregation and its Applications to Combinatorial Reaction Networks // arXiv: 1303.4532v2. 2013. 29 p.
15. Kumar A. Discrete Event Stochastic Processes. Lecture Notes for Engineering Curriculum, 2012. 166 p.
16. Rusconi S., Akhmatskaya E., Sokolovski D., BallardN., de la Cal J.C. Relative Frequencies of Constrained Events in Stochastic Processes: An analytic approach // Physical Revew E 92. 043306, 2015.
17. Salfner F. Modeling Event-driven Time Series with Generalized Hidden Semi-Markov Models. Technical Report 208, Department of Computer Science, Humbold University, 2006.
18. Shalizi R C. Methods and Techniques of Complex System: An overview. Publisher arXiv 2006. 96 p.
Статья поступила в редакцию 04.10.2017; переработанный вариант - 08.12.2017.
Зеленцов Борис Павлович
д.т.н., профессор, профессор кафедры высшей математики СибГУТИ (630102, Новосибирск, ул. Кирова, 86), e-mail: zelentsovb@mail.ru.
Aggregation of Markov process states based on frequencies B. P. Zelentsov
A method of Markov process states aggregation in discrete and continuous time is considered. The initial set of states is partitioned into several subsets. The number of states is reduced to a smaller number of states by replacing each subset by one state of aggregated process. The frequencies of transitions between the states of the initial set are replaced by frequencies of transitions between the aggregated states. The method allows to operate with matrices of smaller dimensions. The method can be applied for systems modeling with a large state space.
Keywords: discrete Markov process in discrete and continuous time, mean frequencies of transitions between the aggregated states, mean frequency of a subset of states.
