Управление с прогнозированием нелинейными стохастическими системами с марковскими скачками при ограничениях Текст научной статьи по специальности «Математика»

ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

2015 Управление, вычислительная техника и информатика № 3 (32)

УДК 519.865.5

DOI 10.17223/19988605/32/2

В.В. Домбровский, Т.Ю. Объедко, М.В. Самородова

УПРАВЛЕНИЕ С ПРОГНОЗИРОВАНИЕМ НЕЛИНЕЙНЫМИ СТОХАСТИЧЕСКИМИ СИСТЕМАМИ С МАРКОВСКИМИ СКАЧКАМИ ПРИ ОГРАНИЧЕНИЯХ

Рассматривается задача управления с прогнозированием по квадратичному критерию для нелинейных дискретных систем со скачкообразно меняющимися параметрами. Синтезированы стратегии управления при наличии явных ограничений на управляющие воздействия. Алгоритм синтеза прогнозирующей стратегии сводится к решению последовательности задач квадратичного программирования.

Ключевые слова: нелинейные стохастические системы; прогнозирующее управление; марковские скачки; ограничения.

Моделями с марковскими скачкообразными параметрами описывается широкий класс реальных систем [1]. В этих моделях предполагается, что смена структуры системы осуществляется в соответствии с эволюцией марковской цепи с конечным пространством состояний. Решению различных задач управления и оценивания для таких систем посвящено значительное количество работ [2-10].

Эффективным подходом к синтезу систем управления с ограничениями, получившим широкое признание и применение в практике управления сложными технологическими процессами, является метод управления с прогнозирующей моделью (управление со скользящим горизонтом) [11]. Применению данного метода к управлению дискретными системами с марковскими скачками посвящены работы [3, 5]. В работе [3] рассматривается задача управления по квадратичному критерию линейными дискретными системами при «жестких» ограничениях на управляющие переменные.

Применению метода управления с прогнозирующей моделью к управлению нелинейными стохастическими системами посвящены работы [12-16]. В работах [12, 13] рассматривается задача управления на скользящем горизонте для нелинейных стохастических систем без учета ограничений. В работе

[14] рассматривается задача прогнозирующего управления нелинейными системами, возмущенными белыми шумами, при наличии явных ограничений на управляющие переменные.

В настоящей работе рассматривается задача синтеза стратегий управления с прогнозированием для дискретных нелинейных систем с марковскими скачками. Получены уравнения синтеза оптимальных стратегий управления с учетом «жестких» ограничений на управляющие переменные.

1. Постановка задачи

Пусть объект управления описывается уравнением

x(k +1) = Ax(k) + Б[а(к +1), k + 1]u(k) + f (x(k), u(k), w(k), a(k +1)), (1)

где x(k) - «-мерный вектор состояния, u(k) - «и-мерный вектор управления, w(k) - вектор белых шумов размерности nw с нулевым средним и единичной матрицей ковариации, a(k) (k = 0,1,2,..,v) - однородная дискретная марковская цепь с конечным множеством состояний {1,2,...,v}, известной матрицей переходных вероятностей

P = [р,; ] (ije{1,2,...,v}),= P{a(k+1) = a,|a(k) = a,}, £ j = 1,

j=

и известным начальным распределением

Р, = P{(0) = i} (i = 1,2,...,v), £p, = 1.

i=1

14

Предполагается, что состояние марковской цепи в момент времени k доступно наблюдению. Последовательности w(k) и a(k) независимы. Характер нелинейной зависимости в функции f таков, что

M | f (x(k ),u(k ),w(k ),a(k+1))/ x(k ),a(k )=a j } = 0 (2)

для любых x(k) и

M ff (x(k),u(k), w(k ),a(k+1)) f fx(k),u(k), w(k),a(k+1) )/x(k),a(k)=a j } = T 0[a(k), k ] +

+YT1 (xT(k )W‘x(k)+uT(k )Ml [a(k ),k ]u(k)j (3)

(. \ T T

N1 I Nl (i = 1, r), T0 = ^D0 j D0 - неотрицательно определенные симметричные матрицы.

На управляющие воздействия наложены ограничения вида

Umin (k) < S(k)u (к) < umax (к), (4)

где S(k) - матрица соответствующей размерности.

Необходимо определить закон управления системой (1) при ограничениях (4) из условия минимума критерия со скользящим горизонтом управления:

J(k+p/k) = M j^ xT(k+l)Rl(k,r)x(k+l) +uT(k+l-1/k)R2(k,l-1)u(k+l-1/k)jx(k), a(k)=a j J, (5)

где M{.../...} - оператор условного математического ожидания; p - горизонт прогноза; k - текущий момент времени; Rj(k,l) > 0,R2(k,l) > 0 - весовые матрицы соответствующих размерностей.

2. Синтез стратегий прогнозирующего управления

Для решения сформулированной задачи используем методологию управления с прогнозирующей моделью. Данный подход позволяет получить стратегии управления с обратной связью с учетом явных ограничений на управляющие воздействия.

Стратегии управления с прогнозированием определяются по следующему правилу. На каждом шаге k минимизируем функционал (3) по последовательности прогнозирующих управлений u(k/k),..., u(k+p-1/k), зависящих от состояния системы в момент времени k. В качестве управления в момент времени k берем u(k) = u(k/k). Тем самым получаем управление u(k) как функцию состояний x(k) и a(k) = а;,

т.е. управление с обратной связью. Чтобы получить управление u(k + 1) на следующем шаге, процедура повторяется для следующего момента k + 1 и т.д.

Цепь Маркова с дискретным временем допускает следующее представление в пространстве состояний [9]:

0(k +1) = P0(k) + u(k +1), (6)

где 0(k)=[5(a(k),1),...,5(a(k),v)]T, 5(a(k)j) - функция Кронекера (j = 1,v);u(k +1) - мартингал-разность с характеристиками

M fu(k+1)/0(k )} = 0, (7)

C (k +1) = M f (k+fT(k+1)/0(k )J = diag fP0(k)J-Pdiagf(k)}PT. (8)

С учетом (6) систему(1) можно представить в следующем виде:

x(k +1) = Ax(k) + B[0(k +1), k + 1]u(k) + f (x(k), u(k), w(k), 0(k +1)), (9)

где

B[0(k), k] = ]T0i (k) Bl (k), (10)

i=1

здесь 0l(k) (l = 1,2,...,v) - компоненты вектора 0(k), {Bl(k)} - множество значений матрицы B[0(k),k]. Выражения (2) и (3) можно представить в виде

15

M (f(x(k),u(k),w(k),0(k+1))/x(k),0(k)} = 0 ,

M (f (x(k ),u (k), w(k ),0(k+1)) f T (x(k ),u (k), w(k ),0(k+1) )/x(k ),0(k )} = T o[0(k), k ] +

+£ T1 (xT(kpx(k) + uT(k)M‘[0(k),k]u(k)) ,

где, с учетом (6)-(8),

T T

To[0(k),k] = £ £(№(k)) [0T(k)PTEj][EnP0(k)]D0(k) + £ £(№(k)) [EnPC(k-1)PTEj]D0(k),

s=1n=1V 7 s=1n=1V 7

T T

Mj [0(k), k] = £ £(p (k)) [0T(k)PTEsT][EnP0(k)]Nn (k) + £ £(n/ (k)) )EnPC(k -1) PT Ej ]NП (k),

s=1n=1V ' s=1n=1 '

здесь [d°(k)},fv/ (k)} Dj=1,r,i=1,v) - множество значений матриц D0(k) и NJ(k) соответственно; Ei = [0,...,0,1,0,...,0].

Пусть H(k) и G(k) - блочные матрицы вида

H (k) =

■ H00 (k) H 01(k) . . H0,p-1 (k) '

Hw(k) Hn(k) . . H1, p -1(k) , (11)

_ Hp-1,0 (k) Hp-1,1 (k) . . Hp-1, p-1(k)

G (k) = [G0(k) G1(k) . .. Gp-1(k)], (12)

блоки которых равны

Ht ,t (k) = p(k, t) +ZZ

s=1 n=1

4,tV*S ~ il2

P

D(s)(k+t+1)) [0T(k)(pt+1) EsT]Q(p-t-1)[EnPt+10(k)]B(n)(k+t+1)+ (13)

£ N(s} (k+t+1)) [EnPl-P+tC(k+p-l+1)(pl -p+t ) EsT ]Q(p-t-1)B(n) (k+t+1)+

l=p-t '

£ (p (k+t))T tr ([0T (k)p+1 )T Ej ]E(p-t-1)[EnP+10(k)]Tj} (k+t) +

j =1 p r

+1 I Д(р (k+1)) tr([EnPl-p+tC(k+p-l+1)(Pl-p+t) )T ]Q(p-t-1)Tj } (k+1)

Ht, f (k) = £ £

s=1n=1

N(sPk+1+1)) [0T(k)(Pt+1) E]]Q(p-t-1)At-f[EnPf+10(k)]B(n)(k+f+1)+

+ £ (b(spk+t+1))[EnPl-p+fC(k+p-l+1)(pl“p+t )T EsT]Q(p-t-1)At- fB(n)(k+f+1), t > f,

Ht f (k) = HT,t (k), t < f,

T

Gt (k) = pp+1) Q(p -1 +1) £ [Ep+10(k)]B(s} (k +1 +1),

(14)

(15)

(16)

где

Q(i) = ATQ(i -1)A + £ tr((i-1)Tj }j + ^(k,p -i),

Q (0) = P(k, p ^

C (k + i) = diag (p' 0(k)}- Pdiag{pi-10(k)} PT.

Теорема 1. Вектор прогнозирующих управлений U(k) = [uT(k/k),...,uT(k+p-1/k)]T, минимизирующий критерий (5) при ограничениях вида (4), на каждом шаге k определяется из решения задачи квадратичного программирования с критерием вида

16

при ограничениях

где

Y (к+p/k )=2x T (k )G (k )U (k)+U T (k )H (k )U (k)

Umm(k) < S(k)U(k) < Umax(k), (17)

S(k) = diag(S(k),...,S(k + p -1)),

Г -|T г -iT

Umin (k) = L^^in (k),..,Ulin (k+P-1) J , Umax (k) = [^ax (k),..,U!ax (k+P-1)_ ,

H(k) и G(k) - блочные матрицы, определенные соотношениями (11)-(16).

Оптимальное управление равно

“(k) = [°n. •.• °n. ]U(k)• (18)

где In - единичная матрица размерности n., 0n - квадратная нулевая матрица размерности n..

Оптимальная стратегия прогнозирующего управления системой (1) без учета ограничений определяется уравнением (18), где

U (k) = -H-1(k )G T(k) x (k). (19)

При этом оптимальное значение критерия (5) определяется выражением

J opt(k + p / k) = xT(k)\q( p) - R1(k ,0)-G(k) H-1(k )G T(k )J x(k) + (20)

+Z ]L1 (^0(k+t)) trJ[0T(k)(pp-+1) Ej]Q(i-l)[EnPp-I+1Q(k)]jDn0(k+t) +

+Ъ Ъ H (D0(k+t))([ЕпРг-iC(k+p-l+1)(P1 -i )T )T]Q(z-1)|d0 (k+t).

i=11=is=1 n=1V ; 1 v ; 1

Доказательство. Критерий (5) можно записать следующим образом:

J(k+pjk) = M(xT (k + 1)R1(k,1)x(k +1) + .T(k /k)R2(k,0).(k /k) + M(xT(k+2)R1(k,2)x(k+2)+

+.T (k +1/ k) R2 (k, 1). (k +1/ k) +... + M (xT (k+p) R1 (k, p) x(k+p)+

+.T(k+p-1/k)R2(k,p-1).(k+p-1/k)/x(k+p-1),0(k+p-1)j..yx(k+1),0(k+1)^/x(k),0(k)|.

Введем обозначение

Jk+s = M (xT (k + s + 1)R1(k,s +1)x(k + s +1) + .T(k + s / k)R2(k,s).(k + s / k) +

+M (xT (k+s+2) R1(k, s+2) x(k+s+2)+uT(k + s +1/ k) R2(k, s + 1)u(k + s +1/ k) +...

+M (xT (k+p)R1(k, p) x(k+p)+u T(k+p-1/k )R2 (k, p-1)u(k+p-1/k)/x(k+p-1),0(k+p-1)|...

../x(k+s+1), 0(k+s+1)^x(k+s), 0(k+s)|.

Очевидно, что

Jk+s = M (xT(k+s+1) R1(k, s+1) x(k+s+1)+u T(k+s / k) R2(k, s)u (k+s / k)+Jk+s+^ x(k+s),0(k+s)j (21)

и

J (k+pk) = Jk.

(22)

Рассмотрим

J

k+p-

4 = M (xT (k+p)R1 (k,p)x(k+p)+uT (k+p-1/k)R2(k,p-1)u(k+p-1/k)/x(k+p-1),0(k+p-1)|. (23)

Выражая x(k + p) через x(k + p-1) с учетом (6) и(9), будем иметь

x(k + p) = Ат(k + p -1) + Ъ [EtP0(k+p-1)]5(i)(k+p)u(k+p-1)+

i=1

17

(24)

+ Z [Ep(k+p)\B(i)(k+p)u(k+p-1) + f (x(k + p -1),u(k + p -1), w(k + p -1),Q(k + p)).

i=1

Подставляя (24) в (23) и взяв условное математическое ожидание, получим:

Jk+p-1 = x^(k + p -1)

ATQ(0)A+Z tr(Q(0)Tj )Wj j=1

x(k + p -1) + 2xT (k + p -1)ATQ(0) x

где

xZ [EsP9(k+p-1)\B(x)(k + p)u(k+p-1/k) + uT(k+p-1/k)<! Z z(B^(?)(k+p)) x

s=1 [s =1 и=Л !

x[9T (k + p -1)PTEj \Q(0)[EnP9(k + p - 1)\B(n) (k + p) + Z Z (b(s} (k+p)) [EnC(k+p)Ej \Q(0) x

s=1 n=1 v '

xB(n)(k + p) + Z Z Z (( (k+p-1))Ttr{[9T(k+p-1)PTET\Q(0)[EnP9(k+p-1)\TJ } (k+p-1)+

j=1s=1n=1 4

+ Z Z1 ZB (k+p-1)) tr{[E„C(k+p)Ej\Q(0)TJ Ni N+p-1)+^(k,p-1)^|u(k + p -1/ k) -

+ :Z1 Ztr {(^0 (k+p-1) )T [9T (k+p-1) P T Ej \Q (0)[ EnP9(k+p-1)\D„0 (k+p-1)}+

+ Z Z^ tr^^s0 (k+p-1))T [EnC(k+p)ET \Q(0)D0 (k+p-1)},

Q(0) = Rj(k,p), C(k + p) = M {(k+p)uT (k+p)/9(k)} .

Предположим далее, что для некоторого q верно

Jk + p-q = xT(k + p - q)

ATQ(q-1)A+Z tr(Q(q-1)Tj )Wj

j=1

x(k + p - q) + 2xT (k + p - q)AT x

xZ (Aq_i) Q(i-1) Z [EsPq-i+19(k+p-q)\B(s}(k + p - i + 1)u(k+p-i/k) + Z uT (k+p-i/k)x

{v v , j / \T

Z Z(B(s}(k+p-i+1)) [9T(k+p-q)Aq+1) EsT\Q(i-1)[EnPq+19(k+p-q)\B(n)(k+p-i+1) +

s=1 n=1 4

+:Z Zi Z (B(sAk+p-i+1)")[EnPl~lC(k+p-l+1)(рг"г)TEsT\Q(i-1)B(n)(k+p-i+1) +

+ Z: :Z :Z (A (k+p-i))Ttr([9T(k+p-q)(Pq-i+1 )T EsT\Q(i-1)[EnPq-i+19(k+p-q)Fjx

j=1 s=1 n=14 v /

xN (k + p - i) + Z Z Z Z A (k+p-i))tr{[EnPl-iC(k+p-l+1) AlA )T E] \Q(i-1)TJ }x

l=i j=1 s=1 n=14 v /

xN]n(k+p-i) +R2(k,p-i)>u(k+p-i/k) + 2Z Z uT(k+p-^k)J Z Z (B(s)(k+p-i+1)) x

J i=1 m=i+1 |^s=1 n=1

x[9T (k + p - q) (Pq-i+1 )T ETS \Q(i -1)Am- [EnPq-m+19(k + p - q)\B(n) (k + p - m +1) +

+ :Z :Z Z (b(s) (k+p-i+1))T [E„Pl-mC(k+p-l+1) A-i )T \Q(i-1)Am-iB(n) (k+p-m+1) L x

l=ms=1 n=P ' V ’ J

xu(k+p-m/k) +:Z j:Z :Z tr{(D°0(k+p-i))T[9T(k+p-q)Aq-i+1 )T^T\Q(i-1)[E„Pq-i+19(k+p-q)\x

i=1 [s=1 n=1 (v ' v '

xD°n(k+p-i)}+:^ Z Z trAk+p-i) )T[E„Pl-iC (k+p-l+1)pl-i )T EsT\Q(i-1)D0 (k+p-1)Nl,

(25)

18

где Q(i) = ATQ(i -1)A + £ tr(Q(i-1)Tj )Wj + R(k,p - i).

j=1

Покажем, что данная формула верна и для q+1. Действительно, из (21) следует, что

Jk+p-(q+1) = М |xT (к + p - q)R (к, p - q)x(k + p - q) +

+uT (k+p-(q+1)/к)R2 (k,p-(q+1))u(k+p-(q+1)/к) + Jk+p-q/x(k+p-(q+1)), 0(k+p-(q+1))|. (26)

Подставим в (26) вместо Jk+p-q его выражение из (25), вместо x(k+p-q) - его выражение через x(k+p-(q+1)), используя (24), вместо 0(k+p-q) - его выражение через 0(k+p-(q+1)), используя (6); возьмем условное математическое ожидание и, преобразовав выражение, получим, что

Jk+p-(q +1) = xT(k + p - (+ + 1))

, (q+1)

ATQ(q)A+£ tr(Q(q)Tj )Wj

j=1

x(k + p - (q + 1)) + (27)

+2xT(k + p - (q + 1))ATW(A(q+1)_l ) Q(i-1) £ [EsP(q+1)-l+10(k+p-(q+ 1))]B(s}(k + p - i + 1) x

xu(k+p-ilk) + (q£1}uT(k+p-i/k)J £ £ A(s)(k+p-i+1))T[0T(k+p-(q+1))(p(9+1)-!+1 )TT]x i=1 [s=1 я=Л ! !

xQ(i -1)[EnP(q+1)-l+10(k + p - (+ + 1))]B(n)(k + p - i +1) +(+£1} £ £ As) (k+p-i+1))T x

l=i s=1 n=1

x[EnPl-lC(k + p -1 +1) Apl-i )T ET ]Q(i -1)B(n) (k + p - i +1) + £ £ £ ANj (k+p-i))T X

V ’ j=1 s=1 n=1V ’

xtr {[0T (k + p - (+ + 1)) (P(q +1)-l+1 )T E] ]Q(i -1)[EnP(q +1)-i +10(k + p - (q + 1))]Tj }N„j (k + p - i) +

+£ Z £ £ A (k+p-i)) tr J[EnPl-C(k+p-l+1) APlA) E] ]Q(i-1)TJ jN;^ (k + p - i) +

+R2

. (++1)-1 (q+1) T . Jv v / (\T

,(k,p-i)}u(k+p-i/k) + 2 £ £ u1 pk+p-i/k)< £ £ A )(k+p-i+1)) x

i =1 m=i+1 \s=1 n=1

x[0T (k + p - (+ +1)) kP(q+1)"l+1 )T ET ]Q(i -1)Am~l [EnP(q+1)"m+10(k + p - (+ +1))] x

/ s (q+1) v^^^, \T i it-

xB(n)(k + p - m + 1) + £ ££lB(s)(k + p - i +1)) [EnPl-mC(k + p -1 + 1) IPl"1) Ej] x

l=m s=1 n=1

xQ(i - 1)Am-lB(n)(k + p - m + 1)Nu(k+p-m/k) + £ J££ tr{iDj,(k+p-i)) x

’ i=1 [s=1 n=1 l'' !

x[0T (k + p - (+ +1))kP(q+1)"l+1 )T ET ]Q(i -1)[EnP(q+1)"1 +10(k + p - (+ +1))]Dl (k + p - i)} +

+(£ :=1 £ tr {(d^^1 (k + p - i))T [EnPlE(k + p -1 +1) B A )T ]Q(i -1)D0 (k + p -1)}|.

Формула (27) совпадает с (25), если в (25) + заменить на ++1, а значит, согласно принципу математической индукции формула (25) верна для всех + = 1,p .

Из (25) и (22) следует, что

x(k) + 2xT (k)AT £ Dp-l) Q(i-1) x (28)

Jk = x (k)

AT Q(p-1)A+ £ tr(Q(p-1)Tj )Wj

j=1

i=1

x £ [EsPp-i+10(k)]B(s\k + p - i + 1)u(k+p-ilk) + £ uT (k+p-i/k) J £ £ AB(s}(k+p-i+1)) x

s=1 i=1 I s n=11 1

19

X

X[0T (k) (Pp~l +1 )T ET ]Q(i -1)[EnPp- +10(k)]B(n)(k + p - i +1) + —] — — B(s) (k+p-i+1))T x[EnPl-lC (к + p -1 +1) (Pl~l )T E]]Q(i -1) B( n) (k + p - i +1) + — SEP (к+p-i))

v ' j—1s—1n—1 ' )

xtr {[0T (к)(pp-i+1 )T Ej ]Q(i -1)[EnPp-i+10(k)]Tj } (k + p - i) +

+E — —1 — (B (k+p-i))T tr{[EnP1 -C(k+p-l+1)(pl-i )T ) ]Q(i-1)Tj } (k + p - i) +

+R2(k,p-i)}u(k+p-i/k) + 2 — — uT(k+p-i/k) — — (B(s)(k+p-i+1)) x

i—1 m—i+1 I s—1 n—1

+ —— — — p (s pk+p - i +1) )T[ e)-mc (k + p -1 +1) pl p )T e) x

l—m s—1 n—1

xQ(i -1)Am-iB(n)(k + p -m +1)}u (k+p-m/k)}+ — ] — — tr{fD0(k+p-i)) x

’ ) i—1 [s—1 n—1 l'' !

x[0T(k)pp- +1 )T eT]Q(i -1)[EnPp~l +10(k)]D0(k + p -i)} +(— —1 n—.tr{(B(k + p - i))T x

x[EnPl-iC(k + p -1 +1)(Pl- )T eT ]Q(i -1)D°n (k + p -1)}j.

Выражение (28) можно записать в матричном виде

J(k + p/k) — xT (k)AT Q(p -1)Ax(k) + 2xT (k)G(k)U (k) + UT (k)H(k)U (k), (29)

где матрицы H(k), G(k) имеют вид (11)-(16).

Таким образом, имеем задачу минимизации критерия (29) при ограничениях (17), которая эквивалентна задаче квадратичного программирования с критерием (5) при ограничениях (4).

Очевидно, что если ограничения на управляющие воздействия отсутствуют, то оптимальный вектор прогнозирующих управлений U(k), минимизирующий критерий (29) на траекториях системы (1), определяется уравнением (19). Нетрудно показать, что при этом оптимальное значение критерия (29) имеет вид (20).

Заключение

В данной работе предложен метод синтеза стратегий прогнозирующего управления по квадратичному критерию для нелинейных дискретных систем со скачкообразно меняющимися параметрами. Данный подход позволяет в явном виде учесть ограничения на управления. Алгоритм синтеза прогнозирующей стратегии включает решение последовательности задач квадратичного программирования. Синтезированы стратегии управления с учетом явных ограничений на управляющие воздействия.

ЛИТЕРАТУРА

1. Пакшин П.В. Дискретные системы со случайными параметрами и структурой. М. : Физматлит, 1994.

2. Пакшин П.В., Ретинский Д.М. Робастная стабилизация систем случайной структуры с переключаемой статической обратной

связью по выходу // Автоматика и телемеханика. 2005. № 7. C. 135-147.

3. Домбровский В.В., Объедко Т.Ю. Управление с прогнозированием системами с марковскими скачками при ограничениях и

применение к оптимизации инвестиционного портфеля // Автоматика и телемеханика. 2011. № 5. С. 96-112.

4. Смагин В.И., Поползухина Е.В. Синтез следящих систем управления для объектов со случайными скачкообразными параметрами и

мультипликативными возмущениями // Вестник Томского государственного университета. 2000. № 271. С. 171-175.

5. Blackmore L., Bektassov A., Ono M., Williams B.C. Robust optimal predictive control of jump Markov linear systems using particles

// Lecture Notes in Computer Science. 2007. V. 4416. P. 104-117.

6. Costa O.L.V., Okimura R.T. Discrete-time mean-variance optimal control of linear systems with Markovian jumps and multiplicative

noise // International Journal of Control. 2009. V. 82, No. 2. P. 256-267.

20

7. Costa O.L. V., Oliveira A. Optimal mean-variance control for discrete-time linear systems with Markovian jumps and multiplicative

noises // Automatica. 2012. V. 48, No. 2. P. 304-315.

8. Dragan V., Morozan T. The Linear Quadratic Optimization Problems for a Class of Linear Stochastic Systems With Multiplicative

White Noise and Markovian Jumping // IEEE Transactions on Automatic Control. 2004. V. 49, No. 5. P. 665-675.

9. ElliottR.J., Aggoun L., Moore J.B. Hidden Markov Models: Estimation and Control. Berlin : Springer-Verlag, 1995.

10. Li X., Zhou X. Y. Indefinite stochastic LQ control with Markovian jumps in a finite time horizon // Communications in Information and Systems. 2002. No. 2. P. 265-282.

11. Rawlings J. Tutorial: Model Predictive Control Technology // Proc. Amer. Control Conf. San Diego. California. June 1999. P. 662676.

12. Yaz E. A control scheme for a class of discrete nonlinear stochastic systems // IEEE Transactions on Automatic Control. 1987. V. AC-32, No. 1. P. 77-80.

13. Yaz E. Robust design of Stochastic controllers for nonlinear systems // IEEE Transactions on Automatic Control. 1989. V. AC-34, No. 3. P. 349-353.

14. Домбровский В.В., Домбровский Д.В., Ляшенко Е.А. Управление с прогнозированием нелинейными стохастическими системами при ограничениях // Вестник Томского государственного университета. 2006. № 18. С. 320-323.

15. Novara C., FagianoL., MilaneseM. Direct feedback control design for nonlinear systems // Automatica. 2013. V. 49. P. 849-860.

16. Mhaskar P., Nael H. El-Farra, Panagiotis D.C. Robust hybrid predictive control of nonlinear systems // Automatica. 2005. V. 41.

P. 209-217.

Домбровский Владимир Валентинович, д-р техн. наук, профессор. E-mail: [email protected] Объедко Татьяна Юрьевна, канд. физ.-мат. наук. E-mail: [email protected] Самородова Мария Владимировна. E-mail: [email protected] Томский государственный университет

Поступила в редакцию 15 мая 2015 г.

Dombrovskii Vladimir V., Obyedko Tatyana Y., Samorodova Mariya V. (Tomsk State University, Russian Federation).

Model Predictive Control for Nonlinear Stochastic Systems with Markovian Jumps under Constraints.

Keywords: stochastic nonlinear systems; model predictive control; Markovian jumps, constrains.

DOI 10.17223/19988605/32/2

Let the control object is described by the equation

x(k +1) = Ax(k) + B[a(k +1),k + 1]u(k) + f (x(k), u(k), w(k), a(k +1)), (1)

where x(k) is the nx - dimensional vector of state, u(k) is the nu - dimensional vector of control; w(k) is the nw - dimensional vector of white noses with zero-mean and identity covariance matrix; a(k) (k = 0,1,2...) denotes a time-invariant Markov chain taking values in a finite set of

observable states {1,2,.,v} with the known transition probability matrixP = P j J {i, je{i,2,...,vJ), P} t = P |a(k+1)=a j |a(k)=at J ,

V v

2 Pji = 1, and the initial distributionpt = P{a(0) = iJ {i = 1,2,..., v) , 2 Pi = 1.

j=1 i =1

It is assumed that the state of Markov chain is observable at time instant k, and w(k) is independent of the Markov chain a(k) (k = 0,1,2.). The function f is defined by its statistical properties as follows:

M { f (x(k),u(k), w(k),a(k+1))/x(k),a(k)=a j J = 0 ,

M { f (x(k),u(k),w(k),a(k+1)) f T (x(k),u(k), w(k),a(k+1))x(k),a(k)=a j J = T0 [a(k), k] +

+2 Tl {xT (k)Wx(k)+uT (k)M1 [a(k),k]u(k)),

i=1

for all x(k), where r=n(n+1)/2; T1 , ж1 , and Ml = {c1 ) с1 (i = 1, r) , T0 = {d0 ) D0 are positive semidefinite and symmetric

matrices.

The following constraints are imposed on the control variables

«min (k) < S(k)u(k) < Hmax (k), (2)

where S(k) is a matrix of corresponding dimension.

For control of system (1) we synthesize the strategies with a predictive control model. At each step k we minimize the quadratic criterion with a receding horizon

J (k+p/k) = M jx xT (k+i) Rj (k ,i) x(k+i) +uT (k+i-1/k )R2 (k,i-1)u(k+i-1/ k)j x(k ),a(k)=aJ,

on trajectories of system (1) over the sequence of predictive controls u(k/k),...,u(k+p-1/k), which depend on system’s state and on the state of Markov chain at moment k, under constraints (2), where R@k, i) > 0, R2(k, i) > 0are weigh matrices of corresponding dimen-

21

sions; p is a prediction horizon, k is a current moment. The synthesis of predictive control strategies is reduced to the sequence of quadratic programming tasks.

REFERENCES

1. Pakshin, P.V. (1994) Diskretnye sistemy so sluchaynymi parametrami i strukturoy [Discrete-systems with stochastic parameters and

structure]. Moscow: Fizmatlit.

2. Pakshin, P.V. & Retinskii, D.M. (2005) Robust Stabilization of Random-Structure Systems via Switchable Static Output Feedback.

Automation and Remote Control. 66 (7). pp. 1153-1161. DOI: 10.1007/s10513-005-0155-5

3. Dombrovskii, V.V. & Obedko, T.Yu. (2011) Predictive control of systems with Markovian jumps under constraints and its applica-

tion to the investment portfolio optimization. Automation and Remote Control. 72 (5). pp. 989-1003. DOI: 10.1134/S0005117911050079

4. Smagin, V.I. & Popolzuhina, E.V. (2000) Sintez sledyashchikh sistem upravleniya dlya ob"ektov so sluchaynymi skachkoobraznymi

para-metrami i mul'tiplikativnymi vozmushcheniyami [The synthesis of tracking control systems for objects with random switching parameters and multiplicative noises]. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal. 271. pp. 171-175.

5. Blackmore, L., Bektassov, A., Ono, M. & Williams, B.C. (2007) Robust optimal predictive control of jump Markov linear systems

using particles. Lecture Notes in Computer Science. 4416. pp. 104-117. DOI: 10.1007/978-3-540-71493-4_11

6. Costa, O.L.V. & Okimura, R.T. (2009) Discrete-time mean-variance optimal control of linear systems with Markovian jumps and

multiplicative noise. International Journal of Control. 82 (2). pp. 256-267. DOI: 10.1080/00207170802050825

7. Costa, O.L.V. & Oliveira, A. (2012) Optimal mean-variance control for discrete-time linear systems with Markovian jumps and mul-

tiplicative noises. Automatica. 48 (2). pp. 304-315. DOI: 10.1080/00207170802050825

8. Dragan, V. & Morozan, T. (2004) The Linear Quadratic Optimization Problems for a Class of Linear Stochastic Systems With Multi-

plicative White Noise and Markovian Jumping. IEEE Transactions on Automatic Control. 49 (5). pp. 665-675.

9. Elliott, R.J., Aggoun, L. & Moore, J.B. (1995) Hidden Markov Models: Estimation and Control. Berlin: Springer-Verlag.

10. Li, X. & Zhou, X.Y. (2002) Indefinite stochastic LQ control with Markovian jumps in a finite time horizon. Communications in Information and Systems. 2. pp. 265-282.

11. Rawlings, J. (1999) Tutorial: Model Predictive Control Technology. Proceedings American Control Conference. San Diego. California. pp. 662-676. DOI: 10.1109/ACC.1999.782911

12. Yaz, E.A (1987) Control scheme for a class of discrete nonlinear stochastic systems. IEEE Transactions on Automatic Control. AC-3 (1). pp. 77-80. DOI: 10.1109/TAC.1987.1104428

13. Yaz, E. (1989) Robust design of Stochastic controllers for nonlinear systems. IEEE Transactions on Automatic Control. AC-34 (3). pp. 349-353. DOI: 10.1109/9.16432

14. Dombrovskii, V.V., Dombrovskii, D.V. & Lyashenko, E.A. (2006) Upravlenie s prognozirovaniem nelineynymi stokhasticheskimi siste-mami pri ogranicheniyakh [Model predictive control for nonlinear stochastic systems under constraints]. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal. 18. pp. 320-323.

15. Novara, C., Fagiano, L. & Milanese, M. (2013) Direct feedback control design for nonlinear systems. Automatica. 49. pp. 849-860. DOI: 10.1016/j. automatica.2013.01.002

16. Mhaskar, P., Nael, H. El-Farra & Panagiotis, D.C. (2005) Robust hybrid predictive control of nonlinear systems. Automatica. 41. pp. 209-217. DOI: 10.1016/j.automatica.2004.08.020

22