Управление с прогнозированием системами с Марковскими скачками и мультипликативными шумами при ограничениях Текст научной статьи по специальности «Математика»

2010

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА Управление, вычислительная техника и информатика

№ 3(12)

УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ

УДК 519.865.5

В.В. Домбровский, Т.Ю. Объедко

УПРАВЛЕНИЕ С ПРОГНОЗИРОВАНИЕМ СИСТЕМАМИ С МАРКОВСКИМИ СКАЧКАМИ И МУЛЬТИПЛИКАТИВНЫМИ ШУМАМИ ПРИ ОГРАНИЧЕНИЯХ

Рассматривается задача управления с прогнозирующей моделью для дискретных систем с мультипликативными шумами и скачкообразно меняющимися параметрами. Параметры уравнений меняются в соответствии с эволюцией марковской цепи с конечным пространством состояний и известной матрицей переходных вероятностей. Предполагается, что состояние цепи не наблюдается. Определена стратегия управления с учетом явных ограничений на управляющие переменные.

Ключевые слова: управление с прогнозирующей моделью, ограничения, марковские скачки, мультипликативные шумы.

Эффективным подходом к синтезу систем управления, получившим широкое признание и применение в практике управления сложными технологическими процессами, является метод управления с прогнозирующей моделью (управление с прогнозированием, управление со скользящим горизонтом) [1 - 8].

Преимуществом этого подхода является возможность достаточно просто учитывать явные ограничения на переменные состояния и управления. При этом получается стратегия управления с обратной связью, но удается избежать так называемого «проклятия размерности», которое препятствует синтезу управлений с обратной связью при ограничениях, если применять традиционные подходы с использованием метода динамического программирования. Синтез стратегий управления с прогнозированием сводится к последовательности задач математического программирования, обычно линейного или квадратичного. Обзор работ, посвященных проблеме управления с прогнозирующей моделью, приведен в [1, 2].

В [7] предложен метод синтеза стратегий управления с прогнозирующей моделью для дискретных систем с мультипликативными шумами и случайными параметрами, представляющими собой последовательность независимых случайных величин, для которых известны только первый и второй моменты распределения. В [8] рассматривается задача управления с прогнозирующей моделью для дискретных систем с зависимыми параметрами, динамика которых описывается разностным стохастическим уравнением.

В настоящей статье рассматривается задача управления с прогнозирующей моделью для дискретных систем с мультипликативными шумами и скачкообразно меняющимися параметрами. Параметры уравнений меняются в соответствии с эволюцией марковской цепи с конечным пространством состояний и известной

матрицей переходных вероятностей. Предполагается, что состояние цепи не наблюдается.

Решению различных задач управления и оценивания для систем со случайными скачкообразными параметрами посвящено значительное количество работ [9 -14]. Проблема синтеза регуляторов для систем с мультипликативными шумами и скачкообразными параметрами без учета явных ограничений на управления рассматривалась в [10, 14].

В данной работе для таких систем получены уравнения синтеза оптимальных стратегий управления с прогнозирующей моделью с учетом явных ограничений на управляющие переменные.

1. Постановка задачи

Пусть объект описывается уравнением

x(k +1) = Ax(k) +

BG [a(k + i), k + i] + ^ B} [a(k + i), k + 1]ю j (k + i)

j=i

u (k), (i)

где x(k) - ^-мерный вектор состояния, u(k) - «„-мерный вектор управления, Oj(k)

- независимые между собой дискретные белые шумы с нулевым средним и единичной дисперсией, a(k) (k = 0, 1, 2...) - однородная дискретная марковская цепь с конечным множеством состояний {1,2,.,v}, известной матрицей переходных вероятностей

P = [Pj] ,(i, J е{1,2,...,v}),

Pji = P {a(k+1) = a j la(k) = a}, Z } =1,

J=1

и известным начальным распределением

Pi = P aa(0) = i},(i = 1,2,..., v); Z Pi =1.

1=1

Предполагается, что состояние марковской цепи не наблюдается. Последовательности ffj(k) и cj(k) независимы. A, Bj [a(k),k] (J = 1, ...,n) - матрицы соответствующих размерностей.

На управляющие воздействия накладываются ограничения:

Mmm (k) < S(k)„ (k) < Мтах (k), (2)

где S(k) - матрица соответствующей размерности.

Для управления системой (1) синтезируем стратегии с прогнозирующей моделью по следующему правилу. На каждом шаге k минимизируем критерий со скользящим горизонтом управления

J(k + m/k) =M jzxT (k+i)R1 (k,i)x(k+i)+uT (k+i-1/k)R2(k,i-1)u(k+i-1/k)/x(k)j (3)

на траекториях системы (1) по последовательности прогнозирующих управлений u(k/k), ..., u(k+m-1/k), зависящих от состояния системы в момент времени k, при ограничениях (2), где M{a/b} - оператор условного математического ожидания, Ri(k,i) > 0 и R2(k,i) > 0 - весовые матрицы соответствующих размерностей, m - горизонт прогноза, k - текущий момент времени. В качестве управления в момент

времени к берем и(к)=и(к/к). Тем самым получаем управление и(к) как функцию состояний х(к), т.е. управление с обратной связью. Чтобы получить управление и(к+1) на следующем шаге, процедура повторяется для следующего момента к + 1 и т. д.

2. Синтез стратегий управления с прогнозированием

Цепь Маркова с дискретным временем допускает следующее представление в пространстве состояний [13]:

0(к +1) = Р0(к) + и(к +1), (4)

где 0(к)=[5(а(к),1), ...До^к)^)]7’, 5(а(к)/) - функция Кронекера (/'=1, ...V); и - мар-

тингал с характеристиками

М {и(к +1)} = 0; (5)

С (к +1) = М{ и(к +1) и7 (к +1)} = ШаяСРМ{0(к)}) - Р Шая(М{0(к)}) Р7 . (6)

При этом

11 (к) = М {0(к)} = Ркр(0) = р(к); Ь2 (к) = М{0(к )07 (к)} = diag( р(к)),

(7)

(8)

где р(0) = [р1,р2,...,ру] - начальное распределение состояний цепи Маркова, р(к) = [р1 (к), р2(к),., ру(к)]7 - распределение состояний цепи в момент времени к. С учетом (4) систему (9) можно представить в следующем виде:

х(к +1) = ^4х(к) +

В0 [0(к +1), к +1] + £ В [0(к +1), к + 1]ю; (к +1)

где

В/ [0(к),к] = £ 0,. (к)В/(г)(к),(/ = 0, и).

и(к), (9)

(10)

Здесь 0,(к) (,= 1,2, ...д*) - компоненты вектора 0(к), {В/!)} (/=0, ...,и), (,=1, ...д*) -множество значений матрицы ВД0(к),к].

Теорема. Вектор прогнозирующих управлений и(к)=[ыт(к/к), ...,ит(к+ш-Ик)]т, минимизирующий критерий (3) при ограничениях вида (2), на каждом шаге к определяется из решения задачи квадратичного программирования с критерием вида

У (к + т / к) = 2 х7 (к )0 (к )П (к) + и7 (к) Н (к )и (к) (11)

(12)

при ограничениях

где

итіп (к) < £(к)и(к) < итах (к),

£ (к) = diag(^ (к),..., £ (к + т -1)),

итіп (к) = [итіп (кХ.- итіп (к + т - 1)]7 , итах (к) = [итах (к),...,итах (к + т - 1)]7 ;

Н(к), О(к) - блочные матрицы вида

' Н„(к) Н12(к)

Н (к) =

Н21 (к) Н22 (к)

Нт1 (к) Нт 2 (к)

Н1т (к )'

Н2т (к) Нтт (к).

(13)

О (к) = [^(к) О2(к) ... От (к)], (14)

блоки которых равны

п Г V 1

Н„(к) = Я2(к,Г -1) + Ё1Ё(в}9)(к + Г))Т Q(m - г)в}9)(к + г)рч (к + /) к (15)

*=0 1^=1 )

Н/ (к) = Ё Ё (Во(9) (к+г))Т (А(/-) )Т Q(m - /)Во(г) (к+г)р//)р9 (к+г), г < /; (16)

9=1 г=1

Н/ (к) = и/ (к), г > /; (17)

О (к) = (Аг )^ (т - /)£ Во( 9)(к + /)р9 (к + г); (18)

9=1

Q(t) = А1^ -1) А + ^ (к, т - г),(/ = 1т); (19)

Q(0) = ^(к, т); (20)

Оптимальное управление равно

и(к) = [ 1п, 0пи - 0п, ]и(к), (21)

где I - единичная матрица размерности пи, 0Пи - квадратная нулевая матрица размерности пи.

Оптимальная стратегия прогнозирующего управления системой (9) без учета ограничений определяется уравнением (21), где

и (к) = -Н-1 (к)ОТ (к)х(к). (22)

При этом оптимальное значение критерия (10) определяется выражением

3ор‘ (к + т /к) = хТ (к) [Q(m) -Яг (к, 0) - О(к)Н- (к)ОТ (к)] х(к). (23)

Доказательство. Выражая последовательно все х(к+/) (/=1,2, ... ,т) через х(к) с использованием уравнения системы (1) и подставляя результат в критерий (3), получим

3(к + т /к) = хТ (k)ATQ(m - 1)Ах(к) + (24)

т

+2хТ (к) АТ Ё (Аг-1 )Т Q(m - /)М {В0 [0(к + /), к + /]} и (к + / -1/ к) +

/ =1

т Г 1

ЁиТ (к+/-1/к К ЁМ В [0(к+/),к+/^(т-/) Вх [0(к+/),к+/]}+} (к,/-1) 1и (к+/-1/к)+

+

/=1 1^=0

т-1 т

+2Ё Ё иТ (к+/-1/к)М{В/ [0(к+/),к+/](А;-г )^(т-;)В0[0(к+]),к+;]}и(к+}-1/к).

/=1 у=/+1

Используя (7), (8), (10), определим математические ожидания, входящие в (24): М В [0(к + /), к + /]} = Ё [ (к + /) ]В0(9) (к + /) = Ё В0( 9) (к + 1)рч (к + /); (25)

9=1 9=1

М {В/ [0(к + І), к + /]0(т - І) В:! [0(к + І), к +І]} =

= £ £ (В/9) (к + і))7 [ЕЛ (к + І)Я/ ]0(т - І)В/Г) (к + І) =

9=1 Г=1

= £ (Вх (9) (к + І))7 Є( т - І) Вх (Г) (к + І)рч (к + І); (26)

9=1

М {[0(к + І),к + І]({(/-І))7 0(т - /)В0 [0(к + /), к + /]} =

= ££ (В0(9) (к + І))7 [ЕГМ {(к + /)07 (к + І)}}(т - /)В0(Г) (к + /), (27)

9=1 г=1

где Еч = [0 — 0 1 0 — 0] ,(9 = 1, V), (у = / +1, т).

Далее, определим М{0(к+у)0Т(к+/)} дляу=/+1, ...,т:

М /0(к + у)0Т (к + /)} = М /0(к + / + (у - /))0Т (к + /)} =

= М |Р'-г0(к + у) + ;Ё Р1 и(к + у -1) 0Т (к + /)| =

= Ру-гМ /0(к + /)0Т (к + /)} = Ру-г12 (к + /).

Тогда (27) примет вид

М В [0(к + /), к + /](А( у -г))Т Q(m - у)В0 [0(к + у), к + у]} =

= Ё Ё (В0(9) (к + /))Т [Ер-гЬ2 (к + г)Е7 ](Ау-г )Т Q(m - у)В0(Г) (к + у) =

9=1 Г=1

= ££ (В0( 9) (к + І))7 (л]-І )TQ(m - / )В0( Г) (к + /) Рг9-І рд (к + І), (/ = І +1, т). (28)

9=1 г=1

С учетом (25), (26), (28) критерий (24) перепишем в виде

3 (к + т / к) = х7 (к) А7 Q(m -1) Ах(к) + (29)

т І у І

+2х7 (к)А7 £ (А2-1 )7 Q(m - І) <! £В0(9) (к + І)р9 (к + І) [и(к + і -1/к) +

І=1 19=1 [

т

+£и7 (к +І -1/кн ££( В/ 9) (к+І))7 Q(m-i) В/ Г) (к +І) рд (к+і)+^2 (к ,2-1) ?и (к+І-1/ к)+

І=1 [ї=0 9=1 ]

+2£ £ и7 (к+І-1/к)і££(В0(9) (к+І))7 (А/-І )7 Q(т-/)В0(Г) (к+/)Р/'р, (к+І) [и (к+/-1/к),

І=1 /=І+1 [9=1 Г=1 ]

где р9(к) - 9-й элемент вектора р(к), Р} г - элемент (г,9) матрицы Р~'.

Выражение (29) можно записать в матричном виде:

3 (к + т / к) = хТ (к) АТ Q(m -1) Ах(к) + 2 хТ (к )О(к )и (к) + иТ (к) Н (к )и (к), (30) где матрицы Н(к),О(к) имеют вид (13) - (20).

Таким образом, имеем задачу минимизации критерия (30) при ограничениях (2), которая эквивалентна задаче квадратичного программирования с критерием (11) при ограничениях (12).

Очевидно, что если ограничения на управляющие воздействия отсутствуют, то оптимальный вектор прогнозирующих управлений U(k), минимизирующий критерий (3) на траекториях системы (1), определяется уравнением (22). Нетрудно показать, что при этом оптимальное значение критерия (3) имеет вид (23).

Заключение

Предложен метод синтеза стратегий прогнозирующего управления для систем с марковскими скачками и мультипликативными шумами при условии, что состояние цепи не доступно наблюдению. Данный подход позволяет в явном виде учесть ограничения на управления. Алгоритм синтеза прогнозирующей стратегии включает решение последовательности задач квадратичного программирования.

Отметим, что предложенный подход без принципиальных затруднений может быть обобщен на следующие случаи:

- когда матрица A в уравнении (1) зависит от времени;

- когда уравнение (1) содержит аддитивные шумы с характеристиками, зависящими от состояния цепи Маркова;

- когда матрица A в уравнении (1) зависит от последовательности независимых случайных параметров, не зависящих от состояния цепи;

- когда ограничения на управляющие воздействия задаются нелинейными соотношениями. В этом случае синтез стратегий управления сведется к решению последовательности задач нелинейного программирования.

ЛИТЕРАТУРА

1. Rawlings J. Tutorial: Model Predictive Control Technology // Proc. Amer. Control Conf. San Diego.Califomia. June 1999. P. 662 - 676.

2. Mayne D.Q., Rawlings J.B., Rao C.V, Scokaert P.O.M. Constrained model predictive control: Stability and optimality // Automatica. 2000. V. 36. No. 6. P. 789 - 814.

3. Bemporad A., Borrelli F., Morari M. Model Predictive Control Based on Linear Programming

- The Explicit Solution // IEEE Trans. Automat. Control. 2002. V. 47. No. 12. P. 1974 - 1985.

4. Bemporad A., Morari M., Dua V., Pistikopoulos E.N. The explicit linear quadratic regulator for constrained systems // Automatica. 2002. V. 38. No. 1. P. 3 - 20.

5. Cuzzola A.F., Geromel J.C., Morari M. An impoved approach for constrained robust model predictive control // Automatica. 2002. V. 38. No. 7. P. 1183 - 1189.

6. Seron M.M., De Dona J.A., Goodwin G.C. Global Analitical Model Predictive Control with Input Constraints // 39th IEEE Conf. Decision Control. 2000. Sydnej. Australia, 12 - 15 December. P. 154 - 159.

7. Домбровский В.В., Домбровский Д.В., Ляшенко Е.А. Управление с прогнозированием системами со случайными параметрами и мультипликативными шумами и применение к оптимизации инвестиционного портфеля // АиТ. 2005. № 5. С. 84 - 97.

8. Домбровский В.В., Домбровский Д.В., Ляшенко Е.А. Управление с прогнозирующей моделью системами со случайными зависимыми параметрами при ограничениях и применение к оптимизации инвестиционного портфеля // АиТ. 2006. № 12. С. 71 - 85.

9. Пакшин П.В. Дискретные системы со случайными параметрами и структурой. М: Физ-матлит, 1994.

10. Costa O.L.V., Paulo W.L. Generalized Coupled Algebraic Riccati Equations for Discrete-time Markov Jump with Multiplicative Noise Systems // European J. of Control. 2008. No. 5. P. 391 - 408.

11. Борисов А.В., Стефанович А.И. Оптимальная фильтрация состояний специальных управляемых систем случайной структуры // Изв. РАН. Теория и системы управления. 2007. № 3. С. 16 - 26.

12. Пакшин П.В., Ретинский Д.М. Робастная стабилизация систем случайной структуры с переключаемой статической обратной связью по выходу // АиТ. 2005. № 7.

13. Elliott R.J., Aggoun L., Moore J.B. Hidden Markov Models: Estimation and Control. Berlin: Springer-Verlag, 1995.

14. Dragan V., Morozan T. The Linear Quadratic Optimization Problems for a Class of Linear Stochastic Systems With Multiplicative White Noise and Markovian Jumping // IEEE Transactions on Automatic Control. 2004. V. 49. № 5. P. 665 - 675.

Домбровский Владимир Валентинович

Объедко Татьяна Юрьевна

Томский государственный университет

E-mail: [email protected]; [email protected] Поступила в редакцию 4 мая 2010 г.