Корректность марковских моделей с дискретными состояниями и непрерывным временем Текст научной статьи по специальности «Компьютерные и информационные науки»

ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

УДК 004.056.53 DOI: 10.17586/0021-3454-2019-62-1-40-49

КОРРЕКТНОСТЬ МАРКОВСКИХ МОДЕЛЕЙ С ДИСКРЕТНЫМИ СОСТОЯНИЯМИ И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

К. А. Щеглов,

Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: scheglov.konstantin@gmail. com

Исследуются вопросы корректности марковских моделей с дискретными состояниями и непрерывным временем, характеризуемые независимостью входных случайных событий. Обосновано, что корректной является счетная модель при реализации ею сформулированных в работе требований. Изложены требования и обоснованы подходы к преобразованию счетной модели в корректные конечные модели с потерями и без потерь.

Ключевые слова: марковский процесс, модель, корректность, требования, моделирование систем с потерями и без потерь, стационарный входной поток случайных событий, вероятностное разрежение входного потока между состояниями системы

Введение. На сегодняшний день математический аппарат теории марковских процессов, в частности исследуемые в статье марковские модели с дискретными состояниями и непрерывным временем [1], широко применяется на практике в различных областях математического моделирования дискретных систем — в теории массового обслуживания [2], теории надежности [3], теории защиты информации [4] и т.д. В разрабатываемых в данных приложениях марковских моделях много общего: поступление в систему входного потока случайных событий — заявок на обслуживание; наличие обслуживающего прибора, который в различных приложениях в общем случае имеет различный физический смысл; наличие ограниченной емкости накопителя заявок на обслуживание и т.д. При этом состояния моделируемой системы, что естественно, в разных приложениях имеют различную интерпретацию. Ограничением возможности моделирования является обязательное отсутствие в моделируемой системе последействия.

В настоящей статье исследуются вопросы корректности марковских моделей с дискретными состояниями и непрерывным временем с потерями и без потерь входных случайных событий.

Построение корректных марковских моделей без потерь. Случайный процесс, протекающий в системе S, называется марковским (или „процессом без последействия") — цепью Маркова, если он обладает следующим свойством: для каждого момента времени t0

вероятность любого состояния системы в будущем (при t> to ) зависит только от ее состояния

в настоящем (при t = to ) и не зависит от того, когда и каким образом система пришла в это

состояние (т. е. как развивался процесс в прошлом).

Случайный процесс называется процессом с дискретными состояниями (дискретная цепь Маркова), если возможные состояния системы S1, S2, S3, ... можно перечислить (перену-

А. Ю. Щеглов

меровать) одно за другим, а сам процесс состоит в том, что время от времени система £ скачком (мгновенно) переходит из одного состояния в другое. Если число состояний конечно, то говорят о дискретной цепи Маркова с конечным числом состояний, т.е. о конечной цепи; если число состояний бесконечно и их можно пронумеровать одно за другим, то речь идет о счетной цепи Маркова. Если переходы системы из состояния в состояние происходят в случайные моменты времени, имеет место процесс с непрерывным временем.

В исследуемых марковских моделях рассматривается процесс с дискретными состояниями £1, £2,..., £т, каждое из которых характеризуется стационарной вероятностью (установившийся режим) пребывания системы в соответствующем состоянии Р() на любой момент времени и, г=\,...,п, которая интерпретируется как доля времени пребывания системы в этом состоянии [\].

Для задания входного потока случайных событий (заявок на обслуживание) в подобных моделях используется простейший (или стационарный пуассоновкий) поток, характеризуемый тремя свойствами — отсутствие последействия, стационарность, ординарность.

Рассмотрим вначале пример марковской модели с дискретными состояниями и непрерывным временем (рис. 1).

Рис. 1

Данная модель характеризуется наличием двух типов заявок на обслуживание, поступающих в систему с соответствующими интенсивностями Х\ и X2, и двумя обслуживающими приборами, каждый из которых с соответствующей интенсивностью и ^ обслуживает заявки одного типа (приборы могут обслуживать и заявки различных типов, но в данном случае это излишне, поскольку очередь заявок на обслуживание в этой модели не создается). Состоянием £0о в приведенной на рис. \ модели характеризуется отсутствие обоих типов заявок

на обслуживание, состоянием £\о — присутствие заявки первого типа (заявка обслуживается первым прибором), состоянием £0\ — присутствие в системе заявки второго типа (заявка обслуживается первым прибором), состоянием £\\ — присутствие в системе заявок обоих типов — обе обслуживаются соответствующими приборами.

Замечание. Подобные модели широко используются в теории надежности, характеризуемой следующей особенностью объекта моделирования — не может отказать уже отказавший элемент (компонент или устройство).

Рассмотрим для этой модели корректность разрежения входных потоков случайных событий [4]. Поскольку переходы между состояниями осуществляются мгновенно, заявка на обслуживание может поступить в систему только во время пребывания ее в одном из состояний. Так, анализ модели (см. рис. \) показывает, что первый входной поток случайных событий поступает в систему только при условии ее пребывания в состояниях £0о и £0\, а второй поток — при условии пребывания системы в состояниях £0о и £\о. Из этого следует, что

данная модель не корректна, так как подаваемый на ее вход поток случайных событий не стационарный, а хорошо известный из теории телетрафика [5], альтернирующий.

Альтернирующий поток характеризуется тем, что его интенсивность — это кусочно-постоянный стационарный случайный процесс Х(^ с двумя состояниями Х1 = X и Х2 = 0, переходы между которыми осуществляются с соответствующими интенсивностями аг- (рис. 2).

Замечание. В рассматриваемом случае переходы процесса между состояниями также осуществляются под воздействием пуассоновских потоков с интенсивностями аг-.

В течение временного интервала, когда процесс Х(^ находится в первом состоянии, поток событий представляет собой пуассоновский поток с интенсивностью X. Во втором состоянии процесса поток событий отсутствует (см. рис. 2).

Моменты перехода процесса из состояния в состояние не связаны с моментами наступления событий в соответствующем пуассоновском потоке Х1 = X, поэтому, во-первых, поток называется асинхронным потоком событий и, во-вторых, так как Х2 = 0, — альтернирующим.

1 _ _ _, ____

Г а1

а2

а1

а2

а1

а2

—о-о—

ь t2

tз t4 t5

t6

Процесс Х^)

t^ tg tg

¿10

t

Рис. 2

Вывод: представленная на рис. 1 конечная марковская модель без потерь не корректна, поскольку на ее вход подается нестационарный входной поток случайных событий.

Рассмотрим, каким образом построить корректную модель и каковы требования к ее построению.

Несложно показать, что корректная марковская модель без потерь — это счетная модель, в которой корректно разрежаются потоки входных случайных событий (переход под их воздействием будет из каждого возможного состояния в последующее, как следствие, входной поток случайных событий будет стационарным).

Возможность преобразования счетной марковской модели системы без потерь в корректную конечную модель проиллюстрируем применительно к модели, приведенной на рис. 1.

Предложенный подход к преобразованию моделей без потерь представлен на рис. 3 — на модели с одним потоком входных случайных событий и одним обслуживающим прибором.

а)

2

X Р1Х

Рис. 3

Преобразование счетной модели в конечную состоит в том, что состояния 51, ¿2,53 и т.д. (рис. 3, а), объединяются в одно состояние 51 (рис. 3, б); в результате соответствующих преобразований (с учетом вероятностного разрежения входного потока случайных событий — рис. 3, в) получаем модель, приведенную на рис. 3, г. Объединенное состояние ¿1 будет иметь уже совсем иной физический смысл — состояние присутствия и обслуживания в системе, по крайней мере, одной заявки на обслуживание, при этом очевидно, что интенсивность перехода из этого состояния будет меньше, чем ц, поскольку в этом состоянии могут одновременно обслуживаться несколько заявок, что учтено в модели (см. рис. 3, г).

Замечание. Модель вероятностного разрежения входных потоков случайных событий [4] (см., например, рис. 3, в) отличается тем, что соответствующие дуги „взвешиваются" не интенсивностями возникновения случайных событий, а интенсивностями переходов между состояниями системы с учетом того, что стационарная вероятность состояния в данном случае интепретируется как доля времени пребывания системы в этом состоянии.

Для обоснования корректности преобразования, представленного на рис. 3, построим дифференциальное уравнение для рассматриваемого случая — с объединением состояний, по аналогии с построением соответствующего дифференциального уравнения Колмогорова [\].

Исходное положение при построении дифференциального уравнения Колмогорова следующее — система может находиться в состоянии £\ в двух случаях:

— в момент I система была в состоянии £о, а за время At перешла из него в состояние £\;

— в момент t система находилась в состоянии £\ и за время At не вышла из этого состояния.

Вероятность первого случая определяется как произведение вероятности Ро (t) того, что в момент t система была в состоянии £о, на условную вероятность того, что за время At система перейдет в состояние £\, определяемую как XAt. Вероятность второго случая находится как произведение вероятности Р\ (t) того, что в момент t система была в состоянии £\, на условную вероятность того, что за время At система не покинет этого состояния, которая определяется как

Применительно к модели с объединенными состояниями (см. рис. 3, б) интерпретация второго случая нахождения системы в состоянии £\ иная: это обусловливается тем, что система будет находиться в состоянии £\ до тех пор, пока в ней обслуживаются все одновременно присутствующие в системе заявки, так как для данной модели предполагается, что при нахождении системы в состоянии £\ могут поступать и накапливаться заявки на обслуживание,

при этом переход в состояние £о будет осуществлен только после того, как все они будут обслужены.

Таким образом, второй случай нахождения системы в состоянии £\ для рассматриваемых моделей должен быть уточнен следующим образом:

— в момент t система находилась в состоянии £\, и за время At, в течение которого будут обслуживаться поступающие заявки, система не вышла из состояния £\.

Соответственно изменяется при этом и принцип определения вероятности для второго случая — вероятность определяется как произведение вероятности р (t) того, что в момент t

система была в состоянии £\, на условную вероятность того, что за время At система не по-

(* \ * \ -р )At, где р - это интенсивность обслуживания всех заявок во время нахождения системы в состоянии £\.

С учетом изложенного для данной модели можем записать:

Р\ ( + At) = Ро (t) Ш + Р\ ^)(\ - р*) At.

Определим условную вероятность того, что за время At система не покинет этого состояния: (\ -р ))

*

Условная вероятность р At того, что система покинет это состояние, с учетом того, что входной поток случайных событий поступает в систему при ее нахождении и в состоянии £о, и в состоянии £\, может быть определена из следующих соображений. Вероятность Р\ ( )р*At того, что система перейдет из состояния £\, определяется вероятностью того, что в системе будут обслужены все заявки, первая из которых переводит систему из состояния £о в состояние £\ с вероятностью Ро () XAt, последующие заявки поступают во время нахождения системы в состоянии £\ с вероятностью Р\ (t)XAt. Тогда можно записать:

Р\ ^) р*At = (Ро ^) + Р\ (t)) XAt

или

р'* =(+Р£!)) = Ром X* +

Р\ () Р ()

Необходимо получить соответствующее дифференциальное уравнение для конечной модели без потерь, т.е. преобразованной соответствующим способом исходной счетной модели, для которой уравнение Колмогорова имеет вид

^ = Ро ()Х-Р\ (t )и, -Р\ и)

т.е. в предположении о том, что-— = о (начальные условия t = о, Ро = \, Р\ = о) :

Ро () . Ро (t)

и = X или и At = -Ш- XAt. Р\ (t) Р\ (t)

Тогда получаем

*

р At = и At+XAt, соответственно искомая условная вероятность

(\-р* )At = (\ - и-Х^.

Таким образом, для корректной модели можем записать:

Р\ (t + At) = Ро (t) XAt + Р\ (t) (\ - р- X) At.

Соответственно, опуская промежуточные выкладки, получаем искомое дифференциальное уравнение корректной конечной модели без потерь

-Р

-Р = РоХ-Р\( и - X) ш

и соответствующее линейное алгебраическое уравнение для стационарного режима

Г -Р = о 1:

I Л )

Ро X = Р\( и - X).

Данный результат отражен в модели, приведенной на рис. 3, г.

Используя рассмотренный подход к преобразованию моделей, получаем из некорректной конечной модели, приведенной на рис. \, корректную модель, представленную на рис. 4.

Рис. 4

Как было отмечено, в результате проведенного преобразования — объединения состояний — в модели меняется их физический смысл. Состоянием в модели, приведенной на рис. 4, характеризуется присутствие и обслуживание в системе, по крайней мере, одной заявки первого типа, состоянием — присутствие и обслуживание в системе, по крайней мере,

одной заявки второго типа, состоянием 5ц — присутствие и обслуживание в системе, по

крайней мере, по одной заявке обоих типов.

Замечание. Естественно, что при построении конечной корректной модели, посредством объединения состояний, необходимо учитывать число обслуживающих приборов в системе, что проиллюстрировано на рис. 5, где а — модель вероятностного разрежения потоков, б — корректная конечная модель.

Р2Х

а)

Рис. 5

Построение корректных марковских моделей с потерями. Система с потерями (с отказами) априори конечна вследствие моделирования системы с ограниченными ресурсами. Она характеризуется тем, что поступающая заявка на обслуживание, при отсутствии возможности сохранения ее в накопителе (ограничена очередь обслуживаемых заявок), теряется. Рассмотрим, как корректно построить подобную модель с потерями.

Например, в работе [2] показано, что заявки на обслуживание, которые не могут быть сохранены в очереди, должны отбрасываться посредством простого исключения соответствующих состояний из счетной (априори корректной) марковской модели. Реализуя данный подход к моделированию, на основе представленной на рис. 3, а модели, в предположении, что очередь заявок на обслуживание в системе отсутствует (может обрабатываться только одна заявка, остальные поступающие в это время заявки на обслуживание теряются, один обслуживающий прибор), получаем модель, приведенную на рис. 6.

Рис. 6

Однако, как показано ранее, модель с потерями — это некорректная модель без потерь, на вход которой подается альтернирующий поток входных случайных событий. В подобной модели отсутствуют потери заявок на обслуживание, они просто не подаются на вход модели во время нахождения ее в состоянии 51. Как следствие, вероятностное разрежение входного потока входных случайных событий для такой модели не корректно и определяется следующим условием:

X = Р0Х.

Вывод: представленная на рис. 6 конечная марковская модель с потерями не корректна, поскольку на ее вход подается нестационарный входной поток случайных событий.

Если обратиться к модели, приведенной на рис. 6, то потерянные заявки на обслуживание можно определить как заявки, не выводящие систему из состояния , так как они поступают в систему во время ее нахождения в состоянии (в результате чего теряются). Это позволяет утверждать, что интенсивность перехода из этого состояния будет меньше, чем X, поскольку будет потерян ряд заявок, под воздействием которых данный переход не осуществляется.

Предложенный подход к преобразованию моделей с потерями проиллюстрирован на рис. 7 — на модели с одним потоком входных случайных событий и одним обслуживающим прибором (здесь а — исходная преобразованная модель, б — корректная конечная модель с потерями).

а)

X

V/

б) (1-Р:/Ро)Х

¿1

¿о -г»

Рис. 7

После исключения из счетной модели, приведенной на рис. 3, а, соответствующих состояний получаем модель, представленную на рис. 7, а. При этом при нахождении системы в состоянии ¿1 в систему продолжают поступать заявки на обслуживание, которые в данном случае теряются, образуя поток потерь, имеющий интенсивность Д[Х, что учтено в модели, приведенной на рис. 7, б.

Для обоснования корректности преобразования, представленного на рис. 7, построим соответствующие дифференциальные уравнения.

Напомним, что при построении уравнения Колмогорова рассматривались два случая нахождения системы в состоянии ¿1. Применительно же к данным моделям первый случай нахождения системы в состоянии ¿1 имеет совсем иную интерпретацию.

Первый случай нахождения системы в состоянии ¿1 при построении уравнений должен быть уточнен следующим образом:

— в момент I система была в состоянии ¿о, а за время Дt перешла из него в состояние

¿1 под воздействием входного потока случайных событий, не образующих потока потерь, т.е. только тех событий, которые поступают в систему во время ее нахождения в состоянии ¿о.

Вероятность первого случая определяется как произведение вероятности Д ^) того, что в момент t система была в состоянии ¿о, на условную вероятность того, что за время Дt система перейдет в состояние ¿1, определяемую в данном случае долей входного потока случайных событий (вероятностно разреженным потоком), переводящих систему из состояния ¿о в состояние ¿1, так как часть входного потока случайных событий, поступающих в систему во время нахождения ее в состоянии ¿1, теряется, образуя поток потерь. Если обозначить интенсивность потока событий, поступающих в систему во время ее нахождения в со*

стоянии ¿о (доли входного потока, не образующего потока потерь), как X , то вероятность

/ \ * * первого случая определяется следующим образом: До у) X Д^ Определим интенсивность X .

Исходя из того, что из потока Д^ случайных событий, поступающих в систему во время ее нахождения в состоянии ¿о, требуется исключить поток Д}X случайных событий, поступающих в систему во время ее нахождения в состоянии ¿1, после чего в системе останется

X

о

только поток событий, поступающих во время ее нахождения в состоянии 50, т.е. вероятно*

стно разреженный поток случайных событий, интенсивность которого X , определяемый как

Pq X , можем записать:

откуда

и соответственно

Pq X = Pqx- P{k, X* = (1 - Pi/ Pq ) X

Х*Дг = (1 - Р1 (г) / Р0 (г)) ХДг. С учетом изложенного ранее для этой модели имеем

Р1 (г+Дг) = Р0 (г) (1 - Р1 (г) / Р0 (г)) ХДг+Р1 (г) (1 - ц) Дг.

Раскрываем скобки в правой части равенства, переносим р (г) в левую часть и делим обе части равенства на Дг, тогда получим

р (г + Дг )-Р1 (г)

M

Pq (t)(1 - Pi (t) / Pq (t))) - Pi (t)

откуда соответствующим образом получаем искомое дифференциальное уравнение:

% ~(pq -pi)x-pi.-

Замечание. Естественно исходим из того, что моделируемая система имеет стационарное состояние.

В результате данного утверждения из модели, представленной на рис. 7, а, получаем модель с потерями, представленную на рис. 7, б. Для этой модели как при определении стационарной вероятности Pi нахождения системы в состоянии 5i, так и при определении стационарной вероятности Pq нахождения системы в состоянии 5q получаем одно и то же уравнение

p^ = (pq - pi )x,

что подтверждает корректность проведенного преобразования модели (см. рис. 7, б).

Соответствующим образом можно преобразовать некорректную модель, представленную на рис.1, в корректную конечную модель с потерями (рис. 8). Для этой модели в состояниях 5qi, 5iq, 5ц образуются потоки потерь.

Рис. 8

Отметим, что событие потери заявки на обслуживание может быть интерпретировано и следующим образом: событие могло бы произойти, если бы уже не произошло. Иными

словами, например, применительно к теории надежности можно при таком подходе особенность объекта моделирования — не может отказать уже отказавший элемент — учитывать следующим образом: элемент мог бы отказать, если бы уже не отказал. Случайное событие такого возможного отказа можно рассматривать в качестве потери.

Заключение. Особенностью рассмотренных марковских моделей является корректное вероятностное разрежение ими входных потоков случайных событий между состояниями системы, что позволяет говорить об их корректности и, в свою очередь, обусловливает корректность использования для данных моделей стационарного входного потока случайных событий [4].

СПИСОК ЛИТЕРАТУРЫ

1. Вентцель Е. С. Исследование операций. Задачи, принципы, методология. М.: Высш. школа, 2007.

2. Алиев Т. И. Основы моделирования дискретных систем. СПб: СПбГУ ИТМО, 2009.

3. Половко А. М., Гуров С. В. Основы теории надежности. СПб: БХВ-Петербург, 2006.

4. Щеглов А. Ю., Щеглов К. А. Защита информации: основы теории. М.: Изд-во „Юрайт", 2017.

5. Пшеничников А. П. Теория телетрафика: Учеб. пособие. М: Изд-во „Горячая линия - Телеком", 2017.

Сведения об авторах

Константин Андреевич Щеглов — аспирант; Университет ИТМО; кафедра вычислительной техники;

E-mail: scheglov.konstantin@gmail.com Андрей Юрьевич Щеглов — д-р техн. наук, профессор; Университет ИТМО; кафедра вычисли-

тельной техники; E-mail: info@npp-itb.spb.ru

Поступила в редакцию 12.03.18 г.

Ссылка для цитирования: Щеглов К. А., Щеглов А. Ю. Корректность марковских моделей с дискретными состояниями и непрерывным временем // Изв. вузов. Приборостроение. 2019. Т. 62, № 1. С. 40—49.

CORRECTNESS OF MARKOV MODELS WITH DISCRETE STATES AND CONTINUOUS TIME

K. A. Shcheglov, A- Y"- Shcheglov

ITMO University, 197101, Saint Petersburg, Russia E-mail: scheglov.konstantin@gmail.com

Questions of correctness of Markov models with discrete states and continuous time characterized by independence of input random events are investigated. It is proved that the countable model is correct if it realizes the requirements formulated in the work. Requirements are formulated and approaches to the transformation of the accounting model into a correct final model with and without losses are substantiated.

Keywords: Markov process, model, correctness, requirements, modeling of systems with and without losses, stationary input stream of random events, probabilistic rarefaction of input stream between system states

REFERENCES

1. Venttsel' E.S. Issledovanie operatsiy. Zadachi, printsipy, metodologiya (Operations Research. Objectives, Principles, Methodology), Moscow, 2007. (in Russ.)

2. Aliev T.I. Osnovy modelirovaniya diskretnykh sistem (Bases of Modeling of Discrete Systems), St. Petersburg, 2009.

3. Polovko A.M., Gurov S.V. Osnovy teorii nadezhnosti (Bases of the Theory of Reliability), St. Petersburg, 2006, 704 р. (in Russ.)

4. Shcheglov A.Yu., Shcheglov K.A. Zashchita informatsii: osnovy teorii: uchebnik dlya bakalavriata i magistratury (Information Protection: Fundamentals of Theory: Textbook for Bachelor's and Master's Degrees), Moscow, 2017. (in Russ.)

Корректность марковских моделей 49

5. Pshenichnikov A.P. Teoriya teletrafika: uchebnoye posobiye dlya studentov vuzov (The Theory of Teletraffic: Manual for University Students), Moscow, 2017. (in Russ.)

Konstantin A. Shcheglov — Andrey Yu. Shcheglov —

For citation: Shcheglov K. A., Shcheglov A. Yu. Correctness of Markov models with discrete states and continuous time. Journal of Instrument Engineering. 2019. Vol. 62, N 1. P. 40—49 (in Russian).

DOI: 10.17586/0021-3454-2019-62-1-40-49

Data on authors

Post-Graduate Student; ITMO University; Department of Computer Science, E-mail: scheglov.konstantin@gmail.com

Dr. Sci., Professor; ITMO University; Department of Computer Science, E-mail: info@npp-itb.spb.ru