Некоторые условия эргодичности распределений неоднородных полумарковских систем Текст научной статьи по специальности «Математика»

своей величине электромагнитных полей. При этом составляющие смеси подвергаются перемешиванию. Компоненты смеси, представляющие собой ионизированные массы, несут определённые заряды. В этом случае возникает сложная картина взаимодействия магнитных и гидродинамических явлений [2], которая должна рассматриваться на основе совместной системы уравнений поля и уравнений движения жидкости. Эти рассмотрения позволяют выявить лишь качественную картину взаимодействия указанных полей с жидкой средой.

В жидкой смеси на всех этапах её приготовления, как правило, возникают турбулентные движения. Они чаще всего сопровождаются возникновением в смеси магнитных полей, которые могут наблюдаться даже в слабопроводящей жидкости. Дальнейшее поведение полей — будут ли они в результате турбулентного движения в среднем заметно усиливаться или затухать — зависит от свойств самой жидкости. Как правило, имеет место затухание этих полей и тогда приходится сталкиваться с чисто гидродинамической турбулентностью, создающей фон, на котором развиваются малые магнитные возмущения.

Представляет интерес задача об ускорении процесса разделения смеси на отдельные фракции. Один из способов такого ускорения состоит в том, чтобы коэффициенты Pji системы (1) претерпевали быстрые изменения во времени. Эти изменения следует подобрать так, чтобы инфинитезимальная матрица A(t), отвечающая стохастической матрице

||р(£ь£2,---,£и) (л,п,--,j„)||, претерпевала быстрые осцилляции. Каждая такая осцилляция, действующая на промежутке sk_i < t < sk, должна быть

УДК 519.21 ’

НЕКОТОРЫЕ УСЛОВИЯ ЭРГОДИЧНОСТИ РАСПРЕДЕЛЕНИЙ НЕОДНОРОДНЫХ ПОЛУМАРКОВСКИХ СИСТЕМ

ГЕРАСИН C.H._____________________________

Описываются понятия сильной и слабой эргодичности, которые распространяются на случай неоднородных полумарковских систем. Находятся условия существования предельных вероятностей состояний.

Использование модели неоднородного марковского процесса с непрерывным временем связано с предположением, что время пребывания системы в каждом из состояний распределено по закону, имеющему показательный характер. Так, вероятность того, что система, будучи в момент времени s в состоянии i , будет находиться в нем еще, по крайней мере, в течение промежутка времени t, равна

такой, чтобы момент sk был точкой а -фокусировки для процесса с матрицей A(t). Возможность такого подхода обоснована в [3].

Если каждая осцилляция приводит к тому, что процесс с матрицей A(t) фокусирует на одно и то же распределение, то, повторив их определённое число раз, в результате получим, что вероятности

р"к. из (2) будут мало отличаться от компонент

распределения, на которые фокусируют указанные вариации. Этого можно добиться при соответствующем выборе возмущений матрицы:

||p(k1,k2,-.-,kn) (jbj2, --Jn)|| .

Реализация описанной схемы связана с постановкой многих лабораторных опытов.

Литература: 1. Случайные процессы (краткий курс). Ю.А. Розанов. М.: Наука, 1971. 288 с. 2. Ёандау Ё. Д, Ёифшиц Е. М. Теоретическая физика: Учебное пособие в 10 т., VI. Гидродинамика. М. : Наука, 1988. 320с. 3. Дикарев В.А. Фокусировка распределений марковских процессов // Доповіді НАН України. 1999. №11. C.100-103.

Поступила в редколлегию 25.07.2002

Рецензент:

Дикарев Вадим Анатольевич, д-р физ.-мат. наук, профессор кафедры прикладной математики ХНУРЭ. Научные интересы: теория вероятностей, случайные процессы и их приложения. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 40-94-36.

Мирошниченко Анна Викторовна, аспирант кафедры прикладной математики ХНУРЭ. Научные интересы: теория вероятностей, случайные процессы. Адрес:Ук-раина, 61166, Харьков, пр. Ленина, 14, тел. 40-94-36.

s+t

\Xti(u)du

P{X(s + т) = i,x> t|X(s,) = i} = e s .

Для многих систем предположение о показательном характере распределения времени пребывания в каждом из состояний является оправданным, но также часто приходится иметь дело с системами, для которых это время имеет распределение, отличное от показательного, для всех или хотя бы некоторых состояний (в том числе и одного). Кроме того, во многих приложениях, при сохранении независимости вероятности перехода в какое-либо из состояний от предыстории процесса, нарушается требование о независимости времени пребывания системы в каждом из состояний от того, в какое состояние система перейдет по истечении этого времени (независимость от будущего). Необходимость адекватного математического описания таких систем, поведение которых отличается (хотя и незначительно) от марковского, привела к введению понятия полумарковский процесс.

РИ, 2002, № 4

59

Определение 1. Марковский случайный процесс с вероятностями перехода из одного состояния в другое pij становится полумарковским, если распределение вероятностей времени пребывания в каждом состоянии определяется функцией распределения Fi(t).

Определение 2. Пусть вероятности переходов системы из текущего состояния i в другие возможные состояния определяются элементами pij стохасти-

ческой матрицы P = р;А , а время (случайное) II J »i,j=1

пребывания в состоянии i перед переходом в состояние j зависит от элемента qtj неотрицательной iin

матрицы Q = l^jj'l. . Такие процессы называют

полумарковскими [1].

Из двух приведенных определений полумарковского процесса второе является более общим и, таким образом, охватывает более широкий класс процессов. Также следует отметить, что оба определения описывают процессы, которые можно назвать однородными: как вероятности переходов, так и распределения времени пребывания в конкретных состояниях не зависят от сдвига на временной оси. Из сказанного можно сделать вывод, что для полумарковских процессов неоднородность может проявляться в изменении с течением времени переходных вероятностей, а также в изменении параметров распределения времени пребывания в каждом конкретном состоянии, или же в “совмещении” этих двух видов неоднородности.

Для однородных полумарковских процессов, как и для марковских имеет смысл понятие стационарного распределения . Можно сформулировать условия, при которых будет иметь место сходимость к этому распределению. Более того, и для неоднородных полумарковских процессов возможно ввести понятия, аналогичные понятиям слабой и сильной эргодичности для неоднородных цепей Маркова, и найти условия, при которых полумарковский процесс будет эргодическим в слабом или сильном смысле [2].

Теорема 1. Пусть вероятности переходов между состояниями для полумарковского процесса X(t) задаются элементами стохастической матрицы п

Pij\i . і, а времена пребывания tt в каждом состоянии i распределены по законам

P{Xi > t} = Fi(t) .

Тогда, если однородная цепь Маркова с матрицей переходных вероятностей за единицу времени

P =

эргодична и имеет стационарное рас-

пределение р = (Pi,P2,...,pn):pP = р, то данный полумарковский процесс также будет эргодическим со стационарными вероятностями q^X < i < п , удовлетворяющими системе линейных алгебраических уравнений

q_

m

Е ^Pkl £ i £ п; k-1 mk

п

Ё qi =1

i-1

0 < mi = JFi(t)dt <ro,1 < i < n 0

(1)

(2)

где mt — среднее время пребывания в состоянии i.

Доказательство. Рассмотрим достаточно большое число переходов N. За ^переходов марковская

цепь в среднем Ni = piN раз побывает в состоянии i=1, 2, n. Если среднее время пребывания mt , определяемое по формуле (2), полумарковского процесса в состоянии i известно, то можно найти среднее время Ті пребывания полумарковского процесса в состоянии i за те же N переходов:

Ti = PiNmi. (3)

Среднее время, затраченное полумарковским процессом на Nпереходов, определяется выражением

T = f.Tj = N XPjmj . (4)

j=1 j=1

Но вероятность qj есть вероятность застать полумарковский процесс в состоянии i=1, 2, n.

Значит, за время T среднее время пребывания процесса в состоянии i будет равно:

п

Ti = qiT = qiN XPjmj . (5)

j=1

Приравнивая (3) к (5), находим:

Pi =

qi X Pjmj

j=1

mi

(6)

Подставляя выражение pi в уравнение p = pP для стационарных вероятностей цепи Маркова с матрицей переходных вероятностей за единицу времени

п

Pи сокращая полученный результат на X pimi ^ 0

i=1

(имея в виду, что mi Ф 0,i = 1,2,...,п), приходим к системе (1).

Очевидно, что если полумарковский процесс является неоднородным в том смысле, что с течением времени изменяются только вероятности переходов между состояниями, но не распределения времен пребывания в конкретных состояниях, то будет справедлива следующая модификация теоремы 1.

Теорема 2. Пусть вероятности переходов между состояниями для полумарковского процесса X(t) на k-м скачке (k = 1, 2, ...) задаются элементами

п

, а времена

i,j=1

пребывания tt в каждом состоянии iраспределены по

стохастических матриц Pk =

Xk)

ij

60

РИ, 2002, № 4

законам P{тг- > t} = Fj(t) . Тогда, если неоднородная цепь Маркова с матрицей переходных вероятностей

за k-ю единицу времени Pk -

Jk>

У

t,J =1

эргодичнав

сильном смысле и имеет предельное распределение

П

Р = (P1 ,P2 ,-,Pn>:

PUPk +i = P^k > °’Vn > N0 , (7)

i=1

где N0 — достаточно большое число переходов, обеспечивающее равенство левого собственного вектора, который соответствует единичному собственному значению матрицы

Hk,N о

h(k,N о ) iJ

n

iJ =1

N0

П Pk+і

і=1

вектору распределения p, то данный полумарковский процесс также будет эргодическим (в сильном смысле) с предельными вероятностями qi1 < i < n , удовлетворяющими системе линейных алгебраических уравнений

— = ,1 < i < n;Vk > 0,

mi l =1mi ll

Ум > N о

Z qi =1

i =1

(i’)

Доказательство. Доказательство, в основном, повторяет доказательство теоремы 1, с той разницей, что величины Pi ,1 < i < n, определяются как компоненты вектора предельного распределения неоднородной цепи Маркова (7), а не вектора стационарного распределения однородной цепи.

Случай, когда неоднородность полумарковского процесса связана как с изменением с течением времени переходных вероятностей при скачках, так и с изменением распределений времен пребывания в различных состояниях, является более сложным с точки зрения получения условий “сильной эргодичности” для полумарковского процесса. Однако, если при этом справедливо предположение, что распределения времен пребывания не зависят от состояния, то эта задача значительно упрощается.

Теорема 3. Пусть вероятности переходов между состояниями для полумарковского процесса X(t) на k-м скачке (k = 1, 2, ...) задаются элементами

n

, а времена

i,J =1

пребывания t(s) в каждом состоянии і после перехода в него в момент s распределены по законам

P{^i(s) > t} = F(s,t),

где функция F(s,t) удовлетворяет условию

F(s,u) = F(S’t)F(t’U)’S < t < u . (8)

стохастических матриц Pk =

P(k)

iJ

Тогда, если неоднородная цепь Маркова с матрицей переходных вероятностей за k-ю единицу времени

n

эргодична в сильном смысле и имеет

i,J=1

предельное распределение (7), то данный полумарковский процесс также будет эргодическим (в сильном смысле) с предельными вероятностями

qi1 < i < n , равными предельным вероятностям pt соответствующей неоднородной цепи Маркова.

Pk =

P(k)

iJ

Доказательство. Рассмотрим достаточно большое число переходов N>N0 после момента s, соответствующего достижению к моменту k распределением “сопутствующей” неоднородной цепи Маркова своего предельного значения:

(

s = arg

t

(.

max { F( 0, t1)-Jt-vt > о 0 5t1

l F('h'2 j aty

t1 2

Ґ

d

^tk-1

tk

N

( F<>k-1, >k > ~z~ F( >k ,i)<lik

tk-1 d,k

dt 2 dt _

JJ

= arg<! max

[vk >0

k!

( - ln(F( 0,t>)>kF( 0,t>

Время TN(s), необходимое для этих N переходов, также оценим на основании принципа наибольшего правдоподобия:

Tn(s> = arg< max

[vk >0

N

(- ln(F(s,s + t>}>N F(s,s +1>

Среднее время пребывания после момента s m(s>

для каждого из состояний будет в данном случае равно

s+TN(s>

Ґ О

m( s> =

TN(s>

J J F(u,u + t>dt

0

du

В каждом из состояний за время TN(s) после момента s система в среднем будет находиться в течение времени

1

s

Ті(s> = PiNm(s> . (9)

Таким образом, из (9) для времени, необходимого для Nпереходов после момента s, получаем выражение

Tn(s> =ZTj(s> = Nm(s> YPj = Nm(s> qq) j=1 J=1

Вероятность застать полумарковский процесс в состоянии і после момента s находим из (9) и (10) по формуле

= Tj(s)

1 Tn(s>

= Pi,

что и требовалось доказать.

Полученные результаты являются естественным обобщением результатов, описанных в [3,4] для

РИ, 2002, № 4

61

неоднородных марковских процессов на случай полумарковских процессов.

Литература: 1. Королюк В.С. Стохастичні моделі систем. К.: Либідь, 1993. 135 с. 2. Герасин С.Н. Проблемы стабилизации распределений неоднородных марковских систем. Харьков. Изд-во ХТУРЭ, 1999. 212 с. 3. Герасин С.Н. Условия сходимости к предельному распределению в неоднородных цепях Маркова за конечное время // Вісник Харківського національного університету. 2000. №456. С.256-259. 4. Герасин С.Н, Дикаре в В.А., ЧислинН.И. Существование предельных вероятностей для конечных процессов Маркова с убываю-

УДК 62-50

МЕТОД “ЗАМОРАЖИВАНИЯ”

В СИНТЕЗЕ ТЕРМИНАЛЬНОГО УПРАВЛЕНИЯ МНОГОМЕРНОЙ СИСТЕМОЙ

ДУБОВИК С.А.__________________________

Рассматривается задача приведения с векторным конечным условием для многомерного объекта при действии возмущений. Предлагается приближённый способ последовательного приведения, основанный на процедуре “замораживания” части коэффициентов регулятора, гарантирующей устойчивость и необходимую терминальную точность замкнутой системы.

Типичной для терминального управления является задача приведения в ноль вектора выхода линейной многомерной системы за конечное время. Известное её решение в форме синтеза имеет в конечный

момент tf особенности в коэффициентах обратной связи [1,2]. Это не позволяет реализовать решение для управления вплоть до tf включительно —

всегда существует интервал (tj, tf), где начинают проявляться некоторые ограничения, затрудняющие дальнейшее увеличение коэффициентов терминального регулятора. Эта проблема реализации терминального управления хорошо известна, но она не является единственной, особенно в многомерных задачах. В [1] показано, что в условиях возмущений задача приведения удовлетворительно разрешима только для идеально управляемых систем, что в обозначениях [1] эквивалентно равенству матриц при управлении и шуме: b = g . В задачах для многоканальных процессов возникают схемы различной управляемости. Так, при управлении продольным движением летательного аппарата с вертикальной тягой (ЛАВТ), совершающего посадку на палубу качающегося плавсредства, можно выделить два контура приведения — по дальности и по высоте. Вследствие качки канал высоты сильно зашумлен и не идеально управляем. В таких условиях представляется рациональной следующая схема последовательного управления. Сначала ЛАВТ приводится по дальности в заданную окрестность при одновременной стабилизации в канале высоты, а затем решается задача приведения по высоте, т.е.

щими к нулю временными промежутками перехода / / Доповіді НАН України. 1998. №7. С.15-19.

Поступила в редколлегию 11.06.2002

Рецензент: д-р техн. наук, проф. Шабанов-Кушнаренко С.Ю.

Герасин Сергей Николаевич, канд. техн. наук, доцент кафедры высшей математики ХНУРЭ. Научные интересы: теория вероятностей и ее приложения, теория процессов Маркова. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел: (0572)40-93-72 (раб.), (057)772-12-38 (дом.), e-mail: [email protected].

обеспечивается надлежащий контакт ЛАВТ с посадочной площадкой по вертикальным относительным координате и скорости. Успех применения подобной процедуры зависит от возможности перейти в канале дальности от терминального управления к стабилизации, т.е. “заморозить” управление. Эта ситуация является типичной при управлении многомерными марковскими процессами, в состав управляющих параметров которых входит момент остановки. В общей стохастической постановке такие задачи приводят к теории диффузионных процессов, далёкой от практически приемлемых решений. Предлагаемый метод “замораживания” даёт простой способ отделения задачи выбора момента остановки от процедуры синтеза управлений.

Рассмотрим на конечном промежутке [0, tf ] линейную систему для n-вектора состояния T

X = (xbx2,---,xn) :

dX/dt = AX + bU, X(0) = X0.

Здесь U - скалярное управление; A и b - матрица и вектор (соответственно) с постоянными элементами, составляющие управляемую пару. Управление будем выбирать таким образом, чтобы в момент t = tf обеспечить нулевые значения координаты xj (t) и k её производных (k < n). Переходя к каноническим переменным для состояния и управления [1,3], можно конкретизировать указанную задачу:

на движениях системы

dx/dt = Jnx + bnu, x(0) = x0, (1)

T

для вектора x = (xi,x2,---,xn) и выхода (везде далее нулями обозначены нулевые матрицы подходящих размеров)

II <4-1 'х и и y(tfX (2)

C - (ek1,ek2 >‘”ekk ,

где Jn =( 0,enben2> •” e n(n—1) )> bn =en> eni -

n - вектор, і-й элемент которого 1, а остальные -нули, е n = е nn ,

минимизировать функционал (ц > 0)

62

РИ, 2002, № 4