О методе динамического программирования для линейных управляемых систем с запаздыванием Текст научной статьи по специальности «Математика»

УДК 517.977, 517.929 И.В. Востриков1

О МЕТОДЕ ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ

ДЛЯ ЛИНЕЙНЫХ УПРАВЛЯЕМЫХ СИСТЕМ С ЗАПАЗДЫВАНИЕМ*

В статье рассматривается линейная управляемая система с постоянным запаздыванием. Применяется метод динамического программирования для построения множеств достижимости и разрешимости задачи целевого управления для этой системы. Получены выражения для функционалов цены, описываемых решениями соответствующего уравнения типа Гамильтона-Якоби-Беллмана. Доказано, что эти функционалы цены, вычисленные методами выпуклого анализа, удовлетворяют указанным уравнениям. Приведены стратегии синтезированных управлений для задачи попадания на целевое множество.

Ключевые слова: система с запаздыванием, функционал цены, гамильтонов формализм, синтез стратегий управления.

1. Введение. Данная статья посвящена применению метода динамического программирования для задач, описываемых линейными дифференциальными уравнениями с запаздыванием. Подобные уравнения были изучены в работах [1-4]. Задачи управления в традиционных и игровых постановках рассматривались в работах [5, 6]. Уравнения с запаздыванием также изучались в [7, 8]. Особенности применения метода динамического программирования для рассматриваемых задач порождены, как известно, функциональной природой решений систем с запаздыванием. Поэтому, следуя [2], в качестве текущего фазового состояния рассматривается пара — вектор значения решения в текущий момент времени и функция, описывающая предысторию решения на интервале, зависящем от величины запаздывания. Соответственно определяется и функциональное пространство, на котором рассматриваются задачи оптимизации некоторых функционалов цены за счет выбора соответствующих управлений.

В данной работе рассмотрены задачи построения прямых и попятных областей достижимости для систем с запаздыванием, а также указаны пути построения стратегий синтеза целевых управлений, подверженных априорным геометрическим ограничениям. Вследствие этого приведены постановки задач как в прямом, так и в попятном времени. Получены выражения для функционалов цены, используемых для решения упомянутых задач. На основе приведенных вариантов принципа оптимальности выведены соответствующие уравнения типа Гамильтона Якоби Воллмана. используя которые оказывается возможным найти позиционные стратегии синтезированных целевых управлений.

Определение 1. Под пространством Н будем понимать прямое произведение пространств Ь2{[-к, 0),ЖП) и Жп:

Я = 13Н0),Г)хГ, где число к > 0.

Элементом пространства Н является пара {а°,а°(-)} (а0 € Кп, а°(-) € 1*2([—/г, 0), Жп)), которую можно понимать как функцию а(-), определенную на отрезке [—/г, 0]:

о(0) = о°, а(т) = а°(т), т € [-к, 0). (1)

1 Факультет ВМК МГУ, асс., е-таП: ivan_vostrikovQcs.msu.su

* Работа выполнена при финансовой поддержке РФФИ (грант 09-01-00589-а), гранта Президента РФ для поддержки молодых ученых — кандидатов наук (МК-1111.2011.1).

8 ВМУ, вычислительная математика и кибернетика, № 2

Пространство Н является гильбертовым со скалярным произведением

(а(-), b(-))H = (а(-), Ь(0>М-м) + (а(0), Ъ(0)). Обозначим через ft(-) функцию, определенную на отрезке [—/г, 0], такую, что

Mr) = f(t + r) при Т€[-М]. (2)

Под Ьа(-) для а(-) € Н будем понимать выражение

о

La(-) = о(0) + J o(r)dr, (3)

-h

и под А' — транспонированную матрицу А € Жпхп.

2. Управляемая система. Рассмотрим линейную управляемую систему с запаздыванием: х(т) = А0(т)х(т) + Ai(t)x(t - h) + В(т)и(т), т € [tQ,ti],

®(r)G IT, h> 0, е и(-) £ L^dtoM^1)- (4)

Здесь и(-) есть управление, удовлетворяющее априорному ограничению:

и(т) G Р(т) при г G [to, ti], (5)

где Р(т) — непрерывная по метрике Хаусдорфа функция, значениями которой являются выпуклые компакты в пространстве Шп.

Определение 2. Классом U[ti,t2] допустимых программных управлений назовем множество функций из пространства ¿^([ri,г2],Кп), удовлетворяющих на этом отрезке ограничению (5).

Решение системы (4) будем понимать в смысле Каратеодори и рассматривать в виде функции жт(-), принимающей значения в Н и определяемой выражением (2) [4].

Зафиксируем начальную позицию {t, ж(-)} (t G [io,ii], х(-) G Н), а именно

®t(r) = ®(r), г €[-/1,0]. (6)

Под xT(-,t,x(-),u(-)) (при т > t) будем понимать решение хт(-) системы (4), (6) в момент г при соответствующей начальной позиции {t, ж(-)} и управлении и(-).

Такое решение существует, единственно и выписывается в следующем виде [3, с. 333; 4, с. 51; 6, с. 1400]:

ti t xtl(.) = Х*{-) + Stl(-,t)x(0) + J Stl(-,T)B(T)u(r) dr + J Stl(-,r + fyA^r + h)xt(r - t) dr, (7)

t t-h где функция x*(-) G H при t\ < t + h задается следующим выражением:

х*(т) =x(T + tl -i), r G [—h, t — ti), х*(т) = 0, r G [i — ¿1,0].

В случае t\ ^ t + h функция х*(т) = 0 при r G [—h, 0].

Здесь S(-, •) — решение сопряженной системы с опережением:

= —S(t, t)Aq(t) — S(t,r + h)Ai(r + h),

S(t, r) = I, S(t, r) = 0 при t < т.

Функция 5tl(-,r) определяется согласно (2).

В случае, когда начальное значение х(-) является абсолютно непрерывной функцией, выражение (4) можно рассматривать как эволюционное уравнение в пространстве Н функции хт(-), а именно

dxr{') _ л (\ dr

где Лт — неограниченный линейный оператор в пространстве Н [2, с. 162]:

(Лтжт(-))(0) = А0(т)хт( 0) + A^xA-h) + В(т)и(т),

(Лтхт(т) = ^^ для п. в. t€[-h, 0). (8)

Заметим, что при т > t + h решение хт(-) задачи Коши (4)-(6) будет абсолютно непрерывно при любом допустимом начальном условии, что следует непосредственно из определения решения.

3. Функционал цены для задачи разрешимости и принцип оптимальности. Пусть М. с Н — целевое множество:

(9)

Определение 3. Множеством разрешимости Wt[-\ = Wt(-,ti,M) в момент t системы (4), (6) при ограничениях (5), (9) будем называть объединение

Wt[-} = и{ж(-) € Н| Зи(-) € : xtl(-,t,x(-),u(-)) € М},

где d2(•, •) — квадрат расстояния, порожденного скалярным произведением в пространстве II.

Пусть заданы позиция {t, ж(-)} (t G [io,ii], х(-) G Н), момент г G [t, t\] и сильно непрерывный функционал ср(-) : Д" —> Ж1. Введем отображение V(t,x(-) | т,<р(-)):

V(t,x(-)\ т,<р(-))= min {<p(xT(-, t,x(-), и(-))) | xt(-) = ж(-)},

u(-)eu[t,r]

где xT(-,t,x(-),u(-)) — решение системы (4), (6) в момент г при соответствующей начальной позиции {t, ж(-)} и управлении и(-). Операция минимизации в данном случае корректна, так как множество всевозможных состояний xtl (•, t, xt(-),u(-)) системы (4), (6) в момент t\ ^ t + h является сильным компактом в пространстве C[—h, 0] в силу теоремы А [¡цела Асколи и слабой компактности в пространстве L2[t,ti] множества допустимых управлений [6; 9, с. 110].

Определение 4. Функционал цены V(t,x(-)) есть решение следующей задачи:

V(t,x(-)) = V(t,x(-)\tuV(tu-))

с краевым условием

V{tux{-)) = d2(x(-),M), х(-)€Н.

Заметим, что, хотя изначально задача ставится для программных управлений, искомое управление, которое минимизирует функционал, можно искать и в виде синтеза, ибо для задач без неопределенности использование обоих классов приводит к одинаковому результату. Непосредственно из определения вытекают следующие утверждения.

Теорема 1. Множество разрешимости можно представить в виде множества уровня функционала цены

Wt[-} = и{ж(-) G Н | V(t,x(-)) < 0}. Теорема 2. Отображение V(t,x(-)) удовлетворяет полугрупповому свойству:

V(t,x(-))= min {V(t, xt(-, t, x(-), «(•)))} при to ^ t ^ r ^ t\. (10)

u(-)eu[t,T]

Полученное свойство можно записать в виде

V{t, х(-) I tu V(tu •)) = V{t, х(-) I т, V(t , • | tu V{tu •))) при t0^t^T^tu

4. Вычисление функционала цены методами выпуклого анализа. Непосредственно из определения функционала цены, выражения (7) и формулы для вычисления (¿2(-, •) следует [10, с. 33]

и(-)еи[г,г!] 1(-)ен

= п + [ 8г1(;т)В(т)и(т)ёт) +

1(-)ЕН J

г

г

т, I Stl(-,T + h)Ai{r + К)х{т - t) dr) - р(*(.)| М) - 1/4 <*(•),*(•)>}•

t-h

Ввиду того что выражение под минимаксом вогнуто по /(•) и выпукло по и(-), операции максимума и минимума можно поменять местами [11, с. 130]. Также можно поменять местами операцию минимума по и(-) и интегрирования, причем минимум достигается [12, с. 384; 13; 14, с. 654, 677]. Таким образом, получаем следующее выражение для функционала цены:

V(t,x(-)) = тах <p(t,x(-),!(•)). (11)

1(-)ен

Здесь

ф,х(-и(-)) = {1(-),хЦ-)) + {Ь811(-,Щ-),Ф))- /р{-ЬВ'(т)811(;т)1(-)\Р(т))йт+

г

г

+ I (LAl1(т + h)Sltl(■,т + h)l(■),x(т^t))dт^p(l(■)\M)^l/4{l(■),l(■)), (12) г-п

где оператор Ь определяется выражением (3).

5. Уравнение типа Гамильтона^Якоби^Беллмана.

Замечание. Известно [15], что для дифференцируемого (по Фреше или по Гато) функционала Ф(ж), определенного на гильбертовом пространстве X, производная \7;(Ф(ж)) по направлению I € X выражается через скалярное произведение соответствующей производной и направления:

В дальнейшем под выражением ^ ^эаГ^' ^) будем понимать производную \7;(Ф(ж)) по направлению I

и в том случае, когда функионал Ф(х) не является дифференцируемым (по Фреше и по Гато) и соответствующая производная в скалярном произведении не определена.

Рассмотрим начальную позицию {t, ж(-)}, где х(-) G Н — абсолютно непрерывная функция на отрезке [—/г, 0].

Перенося все члены выражения (10) в правую часть, разделив их на (т—t) и устремляя переменную г к переменной i, формально получаем уравнение типа Гамильтона Якоби Воллмана:

dV(t,x(-)) . /dV(t,x(-)) t .А п

-min ( ^ fy',Atx • ) =0, t€[t0,ii . 13

dt ueP(t) \ ox(-) /

Учитывая вид (8) оператора At и то, что х(-) представляет собой пару {ж°,ж°(-)} (см. (1)), получаем

/dV(t,x(-)) . , Д /dV(t,x(-)) dx°(-)\ /dV(t,x(-)) . ,, ,А, . ,, , ,,

\-feo ''Atx{'4 = ("¿чо ' + Ao(iMO) + Mf)x^h) + B{t)u{t)

Взяв минимум по и в выражении (13), получаем следующее выражение для уравнения Гамильтона-Якоби-Беллмана:

dV(t,x(-)) /dV(t,x(-)) dxQ(-)\ /dV(t,x(-))

p(-B\t)

dV(t,x('))

дх°

с ограничением в момент tl

У(Ь,х(-)) = <Р(х(-),М).

Покажем, что функционал цены удовлетворяет этому уравнению.

P{t) =0, i€[i0,ii), (14)

Заметим, что при фиксированных /(•) слагаемые выражения (12), в которые входит функция ж(-), являются линейными функционалами. Следовательно, функционал х(-),/(•)), заданный формулой (12), является дифференцируемым по Фреше по элементу х(-). Так как функция х(-) полагается абсолютно непрерывной, то х(-), !(•)) дифференцируемо по 1 Стандартными преобразованиями получаем выражения для соответствующих производных:

дх

о

= LS'(;t)l(-), (15)

dp(t,x(-),l(-)) f LA[(т + h + + h + *)*(.), r E l-h,t*),

dxo(-) ( ) [lir + t-h+h), т E [r*, 0), (±0)

где т* = mm{-h + ti - i, 0},

f/l{T+t-h+hhd4ii\dT-

dt \ dr

- (LA'a(t)S'tl (•, Щ-) + LA[(t + h)S'tl (•, t + h)l{-),x{0)> + p (-LB'(t)S'tl (•, t)l(-) | P(t)) + (ЬА[(t + h)S'tl (-, t + h)l(-),x(0)> - (ЬА[(t)^ (•, t)l(-),x(-h)) -

t + T*

I (lA', (r + h)S'tl (•, r + h)l(-), Мтф~ f) ^ dr. (17)

t-h

Стандартным образом можно проверить, что если сходимость по переменной х(-) рассматривать в сильной топологии, а по !(■) — в слабой, то производная буДет непрерывна по сово-

купности переменных /(•) при фиксированном х(-), производные и будут не-

прерывны по совокупности переменных х(-), /(•), а функционал <р(1, х(-), !(■)) будет полунепрерывным сверху.

Так как функционал <р(1, х(-), !(■)) строго выпуклый по /(•), то максимизатор ¿о(-) в (11) при фиксированной позиции ж(-)} единственный.

В силу непрерывности ¥(1,х(-)) норма максимизатора ¿о(-) будет ограничена некоторой константой, если начальную позицию ж(-)} рассматривать в фиксированной окрестности. А следовательно, максимум по /(•) можно рассматривать не по всему пространству, а по шару в пространстве //. который будет являться слабокомпактным множеством в силу рефлексивности пространства.

В этих условиях функция ¥(1,х(-)) будет дифференцируемой по Фреше по переменным £ и х(-), что можно проверить, повторив схему доказательства из [16, с. 35] для гильбертова пространства. Кроме того, справедливы следующие соотношения:

д¥(1,х(-)) дф„х{-)М-)) дУ&х(-)) дф„х{-)М-)) дУ&х(-)) д<р&х(-),10(-))

dt dt ' дха дха ' дхо(-) дхо(-)

(18)

Подставив функционал V(t,x(-)) в левую часть уравнения (14), учитывая (15)—(17) и (18), убеждаемся в справедливости уравнения (14).

6. Синтез управлений. Уравнение (13) позволяет построить синтез управлений

U(t,xt(-)) = Arg min (B'(t)dV^X*^\u

иерщ \ 9х°

Заметим, что стратегия управления [/(!, я^(-)) является многозначным отображением, поэтому уравнение (4) превращается в дифференциальное включение

х(т) Е Ао(т)х(т) + А\(т)х(т + В(т)и(г,х^-)), т Е [¿о, ¿х],

решением которого является совокупность всех абсолютно непрерывных функций, удовлетворяющих ему почти всюду. Отображение 11(1, я^(-)) является полунепрерывным сверху, принимающим выпуклые компактные значения. Следовательно, решение дифференциального включения существует [17].

Непосредственно подставляя любую реализацию дифференциального включения в функционал цены и интегрируя по времени, можно проверить, что функционал цены будет сохранять свое значение.

7. Случай конечномерного целевого множества. Зададим целевое множество М в пространстве Шп:

xtl (0) G М.

В этом случае выражение для функционала цены упрощается:

ti

V{t, х(-)) = max {S(tut)l, ж(0)) - J р{-B'(T)S'(tUT)l\ Р(т)) dr+

t

t

+ J <Ai(r + /i)5'(ii,r + /i)/,a;(T-i)>dT-p(/|M)-l/4</,0.

t-h

Уравнение типа Гамильтона-Якоби-Беллмана для функционала цены здесь сохраняет свой вид (13), (14). При этом граничное условие становится следующим:

У(Ь,х(-)) = ё2(х(0 ),М).

Выражение для синтеза управлений сохраняется.

8. Функционал цены для задачи достижимости. Наложим на начальное значение ограничения

xt0(-)£XQ, XQC Н. (19)

Определение 5. Множеством достижимости Xt[-) = Xt(-, ¿о, Х°(-)) в момент t системы (4), (6) при ограничениях (5), (19) будем называть объединение

X[t}= X(t,to,XQ) = U{xt(;tQ,xt0(-),u(-))}

всевозможных состояний системы (4), (6) в момент времени t при ограничениях (5), (19).

Пусть заданы t G [io,ii], xt{-) G //. ztl{-) G H, т G [t, t\] и сильнонепрерывный функционал (p(-, ■) : H x H ^Ш1. Введем отображение V(t, Xt(-), ztl (•) | т, (p(-, ■)):

V(t,xt(-),ztl(-) | т,<р(-,-)) = min {<p(xT(-,t,xt(-),u(-)),ztl (■))}■

u(-)eu[t,r]

Определение 6. Функционал цены V(t, xt(-), ztl (•)) есть решение следующей задачи:

V(t, Xt(-), ztl (•)) = V(t, Xt(-), ztl (•) | tu V(h, ; •))

с краевым условием

v(h,x(-),z(-)) = d2(x(-),z(-)), x(-)€H, z(-)€H.

Рассуждая аналогично случаю разрешимости и учитывая то, что элемент xt{-) представляет собой пару (см. (1)), получаем следующие утверждения.

Теорема 3. Область достижимости можно представить в виде множества уровня функционала цены

xtQ(-)ex0(-)

Теорема 4. Отображение V(t, xt(-), ztl (•)) удовлетворяет полугрупповому свойству V(t,xt(-),ztl(-)) = min {V(T,xT(-,t,xt(-),u(-))ztl(-))} пРи to^t^r^h.

u(-)£U[t,T\

Данное свойство можно записать в следующем виде: V(t, xt(-), ztl (•) | tu V(h, ; ztl (•))) = V(t, xt(-), ztl (•) I r, V(t, ztl (•) I tu V(tu ; Ztl (•)))), t^T^tu Уравнение Гамильтона Якоби Воллмана будет выглядеть следующим образом:

dV{t^Ztl{.)) + m.n / 9V(t, Xt(.) ztl (■)) + Ai(t)xt(_h) + B(t)u

at uep(t) \ дщ

/ dV(t,xt(-),ztl(-)) dxt(r)\

с краевым условием

V(tl,Xtl (•); Ztl (•)) = d (xtl (•), ztl (•))•

При этом, как и в п. 4, соответствующий функционал цены можно выписать при помощи методов выпуклого анализа. Получаем

ti

V(t,xt(-)lZtl(-))= max{{LS'tl(;t)l(-),xt(0))- [ р {^LB'{r)S'ti{;T)l{-)\P{r)) dr+

t

t

+ J {LA[ (r + h)S'ti (-, r + h)l(-),xt(-))dr - {!(•), (•)) - l/4<i(-), *(•)>},

t-h

где оператор L определяется выражением (3).

Дальнейшие рассуждения и проверки проводятся аналогично пп. 5, 6.

9. Заключение. В данной статье приведены соотношения метода динамического программирования, позволяющие решать задачи разрешимости и достижимости для линейных управляемых систем с запаздыванием. Соответствующие численные вычисления планируется производить с помощью методов эллипсоидального оценивания [10, 18], которым будет посвящена дополнительная работа.

СПИСОК ЛИТЕРАТУРЫ

1. М ы ш к и с А. Д. Линейные дифференциальные уравнения с запаздывающим аргументом. М.: Гостехиздат, 1951.

2. Красовский H.H. Некоторые задачи теории устойчивости движения. М.: Физматгиз, 1959.

3. Беллман Р., Кук К. J1. Дифференциально-разностные уравнения. М.: Мир, 1967.

4. Хейл Дж. Теория функционально-дифференциальных уравнений. М.: Мир, 1984.

5. Красовский H.H., Осипов Ю. С. Линейные дифференциально-разностные игры //ДАН СССР. 1971. 197. № 4. С. 777-780.

6. Куржанский А. Б. Дифференциальные игры сближения в системах с запаздыванием // Дифференц. уравн. 1971. VII. № 8. С. 1398-1409.

7. Брыкалов С. А. Задачи для функционально-дифференциальных уравнений с монотонными краевыми условиями // Дифференц. уравн. 1996. 32. № 6. С. 731-738.

8. Лукоянов Н. Ю. О вязкостном решении функциональных уравнений типа Гамильтона-Якоби для наследственных систем // Тр. Ин-та матем. и мех. УрО РАН. 2007. 13. № 2. С. 135-144.

9. Колмогоров А.Н., Фомин С. В. Элементы теории функций и функционального анализа. М.: Наука, 1976.

10. Kurzhanski A.B., Valyi I. Ellipsoidal Calculus for Estimation and Control. Boston: Birkhauser, 1997.

11. Пшеничный Б.Н. Выпуклый анализ и экстремальные задачи. М.: Наука, 1980.

12. Иоффе А. Д., Тихомиров В.М. Теория экстремальных задач. М.: Наука, 1974.

13. Rockafellar R. Т. Integral functionals, normal integrands and measurable selections // Nonlinear Operators and the Calculus of Variations. Lecture Notes in Mathematics. 543. Berlin: Springer, 1976. P. 157-207.

14. Rockafellar R.T., Wets R. J.-B. Variational Analysis. Berlin: Springer, 1997.

15. Демьянов В.Ф. Условия экстремума и вариационное исчисление. М.: Высшая школа, 2005.

16. Демьянов В.Ф. Минимакс: дифференцируемость по направлениям. Л.: Изд-во ЛГУ, 1974.

17. К у рж ан с к ий А. Б. О существовании решений уравнений с последействием // Дифференц. уравн. 1970. 6. № 10. С. 1800-1809.

18. В ос три ко в И. В. Внутреннее эллипсоидальное оценивание множеств достижимости для линейных управляемых систем с запаздыванием // Дифференц. уравн. 2003. 39. № 8. С. 1030-1037.

Поступила в редакцию 31.10.11

ON DYNAMIC PROGRAMMING METHOD FOR LINEAR CONTROL SYSTEMS WITH DELAY

Vostrikov I. V.

The paper deals with linear control system with constant delay. Here the dynamic programming method is applied for construction of reachability and solvability sets for the problem of target control. The value functionals described by the solutions of the respective Hamilton-Jacobi-Bellman type equation are expressed explicitly. It is proven that these value functionals calculated by the convex analysis methods satisfy the mentioned equations. The strategies of synthesized controls for the problem of target control are written out.

Keywords: system with delay, value functional, Hamilton formalism, synthesis of control strategies.