Прогнозирующее управление системами с марковскими скачками и авторегрессионным мультипликативным шумом с марковским переключением режимов Текст научной статьи по специальности «Математика»

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

2018 Управление, вычислительная техника и информатика № 44

УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ СИСТЕМАМИ

УДК 519.2

DOI: 10.17223/19988605/44/1

В.В. Домбровский, Т.Ю. Пашинская

ПРОГНОЗИРУЮЩЕЕ УПРАВЛЕНИЕ СИСТЕМАМИ С МАРКОВСКИМИ СКАЧКАМИ И АВТОРЕГРЕССИОННЫМ МУЛЬТИПЛИКАТИВНЫМ ШУМОМ С МАРКОВСКИМ ПЕРЕКЛЮЧЕНИЕМ РЕЖИМОВ

Рассматривается задача управления с прогнозированием по квадратичному критерию для класса дискретных стохастических систем с марковскими скачками и мультипликативным шумом, описываемым векторной авторегрессионной моделью с марковским переключением режимов, при ограничениях на управляющие воздействия. Алгоритм синтеза прогнозирующей стратегии сводится к решению последовательности задач квадратичного программирования.

Ключевые слова: стохастические системы; марковские скачки; авторегрессионый мультипликативный шум; прогнозирующее управление; ограничения.

Системы с марковскими скачкообразными параметрами нашли широкое признание и применение в практике управления многими реальными процессами [1]. Примерами могут служить сложные производственно-технологические, энергетические и технические системы. Эффективным подходом к решению задач управления такими системами при ограничениях на состояния и / или управления является метод управления с прогнозирующей моделью [2]. Прогнозирующее управление дискретными линейными системами с марковскими переключениями режимов рассматривалось в работах [3-8]. Метод управления с прогнозированием нелинейными системами с марковским переключением режимов, основанный на генерации сценариев, рассматривался в [9]. Отметим, что сценарный подход требует значительных вычислительных затрат. В работе [10] рассматривается задача управления с прогнозированием для класса нелинейных систем с марковскими скачками при ограничениях на управления. В [10] предполагается, что нелинейное слагаемое зависит от состояния, управления и последовательности независимых шумов и описывается статистическими характеристиками.

В данной работе рассматривается класс дискретных стохастических систем с марковскими скачками и мультипликативным шумом, описываемым векторной авторегрессионной моделью с марковским переключением режимов (М8УАИ, [11]). Синтезированы стратегии управления с прогнозированием по квадратичному критерию при ограничениях на управляющие переменные. Алгоритм синтеза сводится к решению последовательности задач квадратического программирования.

1. Постановка задачи

Пусть объект управления описывается уравнениями

ч+1 = А№к+1 ]хк + в№к+1 > Ук+1К > (1)

Ук+1 = «1°;-,!Ьк + Р1°,;-И] + Км, (2)

v

= (3)

г=1

v v v

а[е,] = 2еааг,не,] = 2:еарг,а[е,] = 2:еааг;аг,аг еГ, (4)

г=1 г=1 г=1

т+1,Ук+1] = Ым1 {вг[агук] + В1^] + В1[с^кЛв1 G ]Г"ХИ", (5)

i=1 v '

где хк el"1 - вектор состояния, ик el"" - вектор управления, у к ё!1' - последовательность случайных векторов, wk е R? - вектор белых шумов с нулевым средним и единичной матрицей ковариации, Qik+1, i — 1, v - компонента вектора 9k+1, 9k = [5(ik,1), ..., 5(xk,v)]r, где 5(xk,/) - функция Кронекера,

Tk (k = 0, 1, 2, ..., v) - однородная дискретная марковская цепь с конечным множеством состояний {1, 2, ..., v}, известной матрицей переходных вероятностей P = [P/ и известным начальным распределением. Матрица B зависит от yk линейно. Предполагается, что векторы xk, yk, а также состояние марковской цепи в момент времени k доступны наблюдению. Последовательности Wk и 9k независимы.

Дискретная марковская цепь с конечным множеством состояний {1, 2, ..., v} и матрицей переходных вероятностей P допускает следующее представление в пространстве состояний [12]:

0k+1 — P$k + uk+1, (6)

где {uk} - последовательность мартингал-разностей с условными моментами

E{uk+i| 0k } — 0, (7)

E{Uk+iuT+i 19k} — diag{P9k} -Pdiag{9k}. На управляющие воздействия наложены ограничения:

min ^ о ^ max /о\

% ^SkUk^Uk » (8)

где и^.и^еМ^.

Для решения сформулированной задачи используем методологию управления с прогнозирующей моделью. Данный подход позволяет получить стратегии управления с обратной связью с учетом явных ограничений на управляющие воздействия. Стратегии управления с прогнозированием определяются по следующему правилу. На каждом шаге k минимизируем функционал со скользящим горизонтом управления

m гр ^ гр

Jk+m|k — E{ 2 xT+iRk+i xk+i + uk+i-1|kRk+i-1uk+i-1|k 1 xk, 9k, yk } (9)

i—1

на траекториях системы (1)-(6) по последовательности прогнозирующих управлений Uk\k, ..., Uk+m-1\k, зависящих от состояния системы в момент времени k, при ограничениях (8), где m - горизонт прогноза,

k - текущий момент времени, > 0,> 0 - весовые матрицы соответствующих размерностей. В качестве управления в момент времени k берем Uk = Uk\k. Тем самым получаем управление Uk как функцию векторов Xk, yk и состояния марковской цепи 9k, т.е. управление с обратной связью. Чтобы получить управление Uk+1 на следующем шаге, процедура повторяется для следующего момента k + 1 и т.д.

2. Синтез стратегий прогнозирующего управления

Рассмотрим задачу минимизации критерия (9) по последовательности прогнозирующих управлений Uk\k, ..., Uk+m-1\k, при ограничениях (8).

Теорема. Вектор прогнозирующих управлений Uk — [u^,..., uj+m-1|k ]T, минимизирующий критерий (9) при ограничениях вида (8), на каждом шаге k определяется из решения задачи квадратичного программирования с критерием вида:

Yk+mlk — 2xk GkUk + U1HkUk ,

при ограничениях

Umin < SkUk < Umax. (10)

Оптимальное управление равно

Uk — \_hu \ ... 0nu ]Uk ,

где

Як = ^(^к+и_1),

ттшт _

и 1г =

(шт \Т ( шт Щ ) ^ \ик+Ш_\ )

тгшах _ , ик =

(шах \Т ( тах \Т % ) (ик+т_1 )

1„ - единичная матрица размерности Пи, 0П - квадратная нулевая матрица размерности Пи, Ик, Ок -блочные матрицы, блоки которых равны:

Ни,к = К+'_1 + £ ••• £ В1' [а1 ...а^Ук]тек4'-'г') В1' [а'' ...а*Ук] + 2 £ В1' [а'' ...а11^ ]

¿1=1 •' =1

1 =1

+

+ £ £ £ ••• £ В1' [а1 ...а<j+1p<j ]т2(шт(^')'-'4)Вг' [а'' ...а1;+1Р1 ] +

]=11 =1 1шт( ] ,1) =1 1' =1

(11)

' v v

+ £ £

1=1ч

;... £ Е [в1' [а 1 .V1+1 аЧ+} ]Т 01''1) В1' [а * .V1+1 аЧ +]}, v v / \Т / \Т ... ■ \ ( ■ /

/,к = £ ... £ В1 [а1'...а1к]т (А- ) ...А ) бк'1""'/) В''[аг/...а'! + £ В"[а7...а^р1 ] + (12)

7 11 =1 /=1 \ ) \ ) у 1=1 ^

; £ ... £ В 1 [а* ...а11^ ]т (А 1'+1 )Т ...(А17 ^7)В7 [а7 ...а11 Ук] +

11=1 17=1 V / \ /

... £ В 1 [а 1 ...а11+1р 11 ]т ( А1'+1 )Т ...( АХ/ )Т о(тп( 1Л ^1/) ВХ/ [а7 ...а] + 1 / =1 V '

; ... £Е|В * [а* ...а11+1 а 4+; ]Т (А^+1 )Т ...(А1/ )Т ф^ 1)В1 [а7 ...а11+Ч+;]|,

' v v

+ £ £ ... £ В1'

1 =1 1 =1 7 =

' / v + £ £ £

]=11=11'ш1п( 1,1) =1 / =

' v v

+ £ £ 1=10 =1 / -

О.кк = £ ...£(А11) ...(А^) ^k1l, .,1')В1'[а''...а11 ук] +

11 =1 1'=1

' v v / . чт / . \т

+ £ £ ... £(А11) ...(А1') ф-1')В1' [а1 ...а11+1р1'1 ].

1=111 =1 ь =1У ' У '

(13)

Последовательность матриц ,,",'/) (', / = 1,т) определяется рекуррентными уравнениями

\Т

с граничными условиями:

ек', )=0к',...,1/)^1+/ + £ (а </+.) --+1)А'/+1,'=1,т _ 2,/ >',

1 /+1=1

0кк) = ц/0кк1+' +. (л-1 )Т ек*+1)а' 1,'=\mm__i,

1 '+1=1

0кт) = ЦтРтвА+т ,

ок ,...,1т)=©к' ,...,1т) к^+т,'=1т_1,

где

!>к',...,1/) = р , р 1 ...р 1е1(к+'|к),' = 1,т_1,/ >I,

к 1/ ^/_1 1/_1,1 / _2 1»+1,1< Ь ,(к+'|к) ^

(14)

(15)

(16)

(17)

(18)

01, ,(к+1к) - компонента

вектора ©к+'|к = Р'бк, Ц = [0,.-,0,1,0,-..,0]1ху ,1' = 1,у;' = 1,т. Доказательство. Критерий (9) можно записать следующим образом:

^к+т\к = Е{хк:+1К^+1хк+1 + мТ|кКкмк|к + Е{хТ+2 к1+2 хк+2 + мТ+1|кКк+1ик+1|к + +... + Е{хк+тКк+тХк +т + Uk+m_1|kRk+т_1ик+т_1|к | Хк+т_1,ук+т_1, бк+тч)--^ Хк+1,ук+1, бк+1} | Хк,ук,бк

(19)

Выражая Хк+т через Хк+т-1 с использованием (1)-(5), получим:

Хк+т = £ б1т,к+т (А<тхк+т_1 + В'т ^ Ук+т_1]ик+т_1 + В'т [рт ]ик+т_1 + ^ [а1т^к+т ]ик+т_1 )• (20)

Вычисляя последовательно операторы математического ожидания в выражении (19) с использованием уравнений (20) и (6), получим

•4+т|т = $ Ес (А1 )ТТА1хк + 2x1т Е ... Е (А1 )Т...(А' ^к)& [а ...аукк++ (21)

' '=Ц=1 г, =1Ч ' У '

т г v v / . \Т / . \Т

+2хТ ЕЕ

ii v v/ и / \ 1 / ч- ; ,■

к еЕЕ ... Е( А 1) ...(А') [а1' ...а 1+1р 1 ]иш_щ +

т v v.

+ ЕЕ ... Е В' [аг' ...а11 ут]тф'-'1')В' [аг' ...а 1 Н+мт +

г=1 1=1 1,=1

т „ ' ' v v ■ ■

+ тиТ+'_1|т ЕС ЕС ЕС ... ЕС В' [а^ ...а11+1р 11 ]т ОТ )'...' ') В' [аг' ...а г'+1Р" К+^т +

'=1 у =11=1;ш.п( .л) =1 , , =1

т т ? v v „,..,.

+2Е%+'Е... Е В' [а'' ...а'1 ут]тф^')В' [а1' ...а 1+1р 1 ]%+,_цт + г=1 1=1/1=1 1'=1

+ тиТ+' _1|Т Ес Ес ... Ес Е {в1' [а1 ...а^1 С1^. ]Т ф)В' [а'' ...а ^ с^ } ]}ит+' _цт + '=1 1=1Ч =1 ,, =1 >

+2тЕ_1 Е иТ+'_1|т Ес ... Ес В' [а1' ...а!]Т (Аг'+1 )\..(Аг/ )Т )(Т)В> [а7 ...а1 ]ит+/_цт +

'=1 /='+1 г1 =1 г{ =1 \ ) \ )

т _1 т т / v v

т _1 т / v v , чТ I , \ 1 /,■ , ч ,

+2Е_ Е иТ+'_1|т Ес Ее ... Ес В1' [а1' ...а11 ут ]т А1) ...(Аг/ ) В [аг/ ...а^р11 К+^цт +

'=1 /='+1 1=111=1 /=1 у '

т_1 т „ ! v v ■ / . \Т i , \Т .

+2Е_ Е иТ+'_1|т Ес Ес ... Ес В1' [а * ...а^р11 ]Т А1) ...(Аг/ ) 0^.. ^ В [аг/ ...а11 Ут К+/_цт + '=1 /=+1 1=111=1 /=1 у '

т_1 т ! / v v ■ ■ / \Т i , \Т г ■ .

+2Е_ т иТ+'_1|Т Ес Е Ес ... Ес В' [а1' ...а'1+1р11 ]т (А^1) ...(А'7 ) оТ^1,1)В7 [а1/ ...аг']ик+г_цк '=1 /='+1 1=1/=1;. .,,,=1 ¿,=1 \ / \ /

т_1 ^ ' v v ( ■ i . \Т / , \ 1

+2Е_ т иТ+'_1|т Ес Ес ... Ес Е{В1 [а1'...аг1+1аг1^т+;]т(А'^1 ) ...(А7 ) х '=1 /='+1 1=11 (=1 1,=1 1 4 / \ /

хеТ1 '...'г/) В1/ [а1/ ...а11+1 с^^т]}ит+/_цт + Е иТт_цт^т

т + Е и т+'_1|т^т_1ит_1|т. '=1

Последовательности матриц Ок '. " 7), (', / = 1,т) определяются рекуррентными уравнениями (14)

-(18).

Выражение (21) можно записать в матричной форме:

•4+т|т = хТ ЕС (А'1 )Тетг1)Аг'Хт + 2хткОкик + и1якик, (22)

Ч=1

где Gk, Нк имеют вид (11)—(13).

Таким образом, имеем задачу минимизации критерия (22) при ограничениях (10), которая эквивалентна задаче квадратичного программирования с критерием (9) при ограничениях (8).

Заключение

В работе предложен метод синтеза стратегий прогнозирующего управления по квадратичному критерию для класса дискретных систем с марковскими скачками и авторегрессионным мультипликативным шумом с переключающимися режимами. Данный подход позволяет в явном виде учесть ограничения на управления. Алгоритм синтеза прогнозирующей стратегии включает решение последовательности задач квадратичного программирования.

ЛИТЕРАТУРА

1. Costa O.L.V., Fragoso M.D., Marques R.P. Discrete-time Markov jump linear systems. New York : Springer, 2005. 286 p.

2. Mayne D.Q. Model predictive control: Recent developments and future promise // Automatica. 2014. V. 50, No. 12. P. 2967-2986.

3. Henandez-Medjias M.A., Sala A., Querol A., Arino C. Multiple-Horizon predictive control for Markov/switched linear systems //

IFAC-PapersOnLine. 2015. V. 48, No. 23. P. 230-235.

4. Tonne J., Jilg M., Stursberg O. Constrained Model Predictive Control of High Dimensional Jump Markov Linear Systems //

American Control Conference. Palmer House Hilton. July 1-3, Chicago, IL, USA, 2015. P. 2993-2998.

5. Dombrovskii V.V., Obyedko T.Yu. Predictive control of systems with Markovian jumps under constraints and its application to the

investment portfolio optimization // Automation and remote control. 2011. V. 72, No. 5. P. 989-1003.

6. Chitraganti S., Aberkane S., Aubrun C., Valencia-Palomo G., Dragan V. On control of discrete-time state-dependent jump linear

systems with probabilistic constraints: a receding horizon approach // Systems & Control Letters. 2014. V. 74. P. 81-89.

7. Lu J, Xi Y, Li D. Stochastic model predictive control for probabilistically constrained Markovian jump linear systems with additive

disturbance // Int. J Robust Nonlinear Control. 2017. P. 1-15.

8. Sala A., Henandez-Medjias M.A., Arino C. Stable receding-horizon scenario predictive control for Markov-jump linear systems //

Automatica. 2017. V. 86. P. 121-128.

9. Patrinos P., Soparasakis P., Sarimveis H., Bemporad A. Stochastic model predictive control for constrained discrete-time Markovian

switching systems // Automatica. 2014. V. 50, No. 10. P. 2504-2514.

10. Dombrovskii V.V., Obyedko T.Yu., Samorodova M. Model predictive control of constrained Markovian jump nonlinear stochastic systems and portfolio optimization under market frictions // Automatica. 2018. V. 87, No. 1. P. 61-68.

11. Krolzig H.-M. Markov Switching Vector Autoregressions. Modelling, Statistical Inference and Application to Business Cycle Analysis. Berlin : Springer, 1997. 357 p.

12. Elliott R.J., Aggoun L., Moore J.B. Hidden Markov models: Estimation and control. Berlin, Heidelberg, New York : Springer, 1995. 382 p.

Поступила в редакцию 28 января 2018 г.

Dombrovskii V.V., Pashinskaya T.Yu. (2018) PREDICTIVE CONTROL FOR MARKOV JUMP SYSTEMS WITH MARKOV SWITCHING AUTOREGRESSIVE MULTIPLICATIVE NOISE. Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie vychislitelnaja tehnika i informatika [Tomsk State University Journal of Control and Computer Science]. 44. pp. 4-9

DOI: 10.17223/19988605/44/1

Assume that the plant to be controlled can be described by the following model

xk+i = ДемК + я[е*+1> Ук+iH , (1)

Л+1 = a[Sk+i]yk +P[Sk+i] +^[Sk+iK+1> (2)

V

(3)

i=1

V V V

a[0t] = xe,t«m] = xe,,«6*] = e R?X?>P'e (4)

/=1 /=1 /=1

m+i,yk+i] = {в'[а'ук]+в'т + g 1Г"хи", (5)

where xk e M"1 is the vector of states, uk e M"" is the vector of control inputs, yk el' is a sequence of stochastic vectors, wk e R' is a zero mean independent random sequence; 0i,k+1 (i = i,v ) are the components of the vector 0k+1, 0k = [S(ik, 1), ..., S(ik, v)]T, S(ik,j) is a Kronecker function; {ik; k = 0, 1, 2, .} is a finite-state discrete-time homogeneous Markov chain taking values in {1, 2, ., v} with transition probability matrix P = [Pj]. All of the elements of matrix B are assumed to be linear functions of vector y. We impose the following inequality constraints on the control inputs (element-wise inequality):

,.min ^ о „, ^„.max {г\

Uk ^SkUk^Uk = (6)

where Sk e , «Г1."Г" e ■

For control of system (1)-(5) we synthesize the strategies with a predictive control model. At each step k we minimize the quadratic criterion with a receding horizon

Jk+m\k = Xk+iRk+ixk+i + Mk+i-i|kRk+i-iMk+i-i|k I xk,®k,ykЬ

i=i

on trajectories of system (1) over the sequence of predictive controls uk|k, ..., uk+m-1|k dependent on information up to time k, under constraints (6), where Rl+i > 0,Rk + i_i > 0 are given symmetric weight matrices of corresponding dimensions; m is the prediction horizon, k is the current moment. The synthesis of predictive control strategies is reduced to the sequence of quadratic programming tasks.

Keywords: stochastic systems; Markov jumps; autoregressive multiplicative noise; model predictive control; constrains.

DOMBROVSKII Vladimir Valentinovich (Doctor of Technical Sciences, Professor, National Research Tomsk State University, Russian Federation).

E-mail: dombrovs@ef.tsu.ru

PASHINSKAYA Tatiana Yurievna (Candidate of Physical and Mathematical Sciences, National Research Tomsk State University,

Russian Federation).

E-mail: tatyana.obedko@mail.ru

REFERENCES

1. Costa, O.L.V., Fragoso, M.D. & Marques, R.P. (2005) Discrete-time Markov jump linear systems. Springer: New York.

2. Mayne, D.Q. (2014) Model predictive control: Recent developments and future promise. Automatica. 50(12). pp. 2967-2986. DOI:

10.1016/j.automatica.2014.10.128

3. Henandez-Medjias, M.A., Sala, A., Querol, A. & Arino, C. (2015) Multiple-Horizon predictive control for Markov/switched linear

systems. IFAC-PapersOnLine. 48(23). pp. 230-235. DOI: 10.1016/j.ifacol.2015.11.288

4. Tonne, J., Jilg, M. & Stursberg, O. (2015) Constrained Model Predictive Control of High Dimensional Jump Markov Linear Systems.

American Control Conference. Palmer House Hilton. July 1-3, 2015. Chicago, IL, USA. pp. 2993-2998. DOI: 10.1109/ACC.2015.7171190

5. Dombrovskii, V.V. & Obedko, T.Yu. (2011) Predictive control of systems with Markovian jumps under constraints and its applica-

tion to the investment portfolio optimization. Automation and Remote Control. 72(5). pp. 989-1003. DOI: 10.1134/S0005117911050079

6. Chitraganti, S., Aberkane, S., Aubrun, C., Valencia-Palomo, G. & Dragan, V. (2014) On control of discrete-time state-dependent

jump linear systems with probabilistic constraints: A receding horizon approach. Systems & Control Letters. 74. pp. 81-89. DOI: 10.1016/j.sysconle.2014.10.008

7. Lu J, Xi Y & Li D. (2017) Stochastic model predictive control for probabilistically constrained Markovian jump linear systems with

additive disturbance. International Journal of Robust Nonlinear Control. pp. 1-15. DOI: 10.1002/rnc.3971

8. Sala, A., Henandez-Medjias, M.A. & Arino, C. (2017) Stable receding-horizon scenario predictive control for Markov-jump linear

systems. Automatica. 86. pp. 121-128. DOI: 10.1016/j.automatica.2017.07.032

9. Patrinos, P., Soparasakis, P., Sarimveis, H. & Bemporad, A. (2014) Stochastic model predictive control for constrained discrete-

time Markovian switching systems. Automatica. 50(10). pp. 2504-2514. DOI: 10.1016/j.automatica.2014.08.031

10. Dombrovskii, V.V., Obyedko, T.Yu. & Samorodova, M. (2018) Model predictive control of constrained Markovian jump nonlinear stochastic systems and portfolio optimization under market frictions. Automatica. 87(1). pp. 61-68. DOI: 10.1016/j.automatica. 2017.09.018

11. Krolzig, H.-M. (1997) Markov Switching Vector Autoregressions. Modelling, Statistical Inference and Application to Business Cycle Analysis. Berlin: Springer.

12. Elliott, R.J., Aggoun, L. & Moore, J.B. (1995) Hidden Markov models: Estimation and control. Berlin, Heidelberg, New York: Springer.