Позиционный принцип минимума для задач дискретного оптимального управления Текст научной статьи по специальности «Математика»

Мокрый Игорь Владимирович, Институт систем энергетики им. Л.А. Мелентьева СО РАН, г. Иркутск, Российская Федерация, кандидат технических наук, старший научный сотрудник, e-mail: ygr@isem.sei.irk.ru

Mokry Igor Vladimirovich, Melentiev Energy Systems Institute of SB RAS, Irkutsk, the Russian Federation, Candidate of Techniques, Senior Researcher, e-mail: ygr@isem.sei.irk.ru

УДК 517.977.52

ПОЗИЦИОННЫЙ ПРИНЦИП МИНИМУМА ДЛЯ ЗАДАЧ ДИСКРЕТНОГО

ОПТИМАЛЬНОГО УПРАВЛЕНИЯ

© С.П. Сорокин

Ключевые слова: дискретное оптимальное управление; необходимые условия; принцип максимума; позиционные управления; итерационные методы.

Получены необходимые условия глобальной оптимальности для трех классов задач дискретного оптимального управления. Условия используют позиционные управления, формулируются в конструкциях дискретного принципа максимума и не предполагают выпуклости входных данных.

1. Введение и постановка задачи

Работа посвящена развитию позиционного принципа минимума [1-3] — необходимого условия глобальной оптимальности — для нелинейных задач дискретного оптимального управления, формулируемого в терминах соответствующего принципа максимума (ПМ) [4, 5] и, что примечательно, не предполагающего никаких условий выпуклости входных данных. Особенностью полученных условий оптимальности является оперирование вспомогательными позиционными управлениями (управлениями с обратной связью), потенциально обеспечивающими улучшение «опорного» (текущего) управления по целевому функционалу. Этот подход близок к проблеме оценки качества синтезирующего управления в дифференциальных играх [6] и имеет своим прототипом недавние результаты по условиям оптимальности для классических задач оптимального управления [1-3].

В работе рассматривается следующая нелинейная задача (P) дискретного оптимального управления:

J[u] = 1(xN) ^ min;

Xk+1 = fk(xk,uk), uk € Uk, k = 0, N - 1, xo = x0, (1)

и её частные варианты — (обобщенно-) линейная (Pl) и линейно-квадратичная (Plq) по состоянию задачи, которым посвящены разделы 3 и 4 соответственно.

Относительно задачи (P) и её подклассов предполагается, что правые части систем (функции fk(x,u)) непрерывны по u и дифференцируемы по х , целевые функции l дифференцируемы, множества Uk компактны, начальные состояния хо = х0 и натуральные числа N заданы.

Здесь и далее через u = {uk}^-о1, uk € Rm, обозначается управление, а через х = = x(u) = {xk}N=0 , xk € Rn, — соответствующая траектория системы (1). Через u = {uk} и X = x(u) = {Xk} обозначается допустимое управление и соответствующая траектория, исследуемые на оптимальность.

2. Позиционный принцип минимума для задачи (Р)

Введем функцию Понтрягина И(х,ф,и) = ф'Д(х,и) (здесь и далее «штрих» обозначает транспонирование) и сопряженную систему с условием трансверсальности

д д Фк = Ик(Хк,Фк+1,«к), фм = дХ^ 1(Хм) (2)

(заметим, что условие трансверсальности определяется с противоположным традициям знаком, что соответствует условию минимума функции Понтрягина в ПМ).

Пусть 1р = } — котраектория, то есть решение сопряженной системы (2), соответствующая управлению и. Введем следующее экстремальное многозначное отображение:

ик(х; Х,^)=А^тт| ^к+1 - дХг(Хк+1)) ¡к(х,и)+ I (¡к(х,и))| (3)

и обозначим через V множество всех его селекторов (позиционных управлений), то есть

I N-1

' к=0

последовательностей функций v = {vk(x)}N=01 :

vk(х) € ик(х; Х,^) V к = 0, N - 1.

Ясно, что каждое позиционное управление V порождает единственную траекторию х = = х^) (в отличие от непрерывных динамических систем, где разрывность управления играет существенную роль и требует определения понятия решения).

Теорема1 (позиционный принцип минимума). Если управление и глобально оптимально в задаче (Р), то выполнено неравенство

1(Хм) < 1(хм(V)) VV € V.

Это утверждение очевидно, однако, обсуждения требует способ построения используемых позиционных управлений «сравнения», определяющий специфику и новизну подхода. Легко видеть, что задача (P) эквивалентна следующей задаче (P*) :

I[u] = ум ^ min;

Xk+1 = fk (Xk ,Uk), xo = x0, Ук+1 = Ук + l (fk(xk, Uk)) - l(xk), yo = 0, uk € Uk, k = 0, N - 1

(эквивалентность понимается в смысле совпадения значений задач и минимизирующих управлений).

Для задачи (P*) применимо общее позиционное условие оптимальности [1, 7] с линейной опорной мажорантой целевого функционала — слабо убывающей функцией ^ :

^k(xk, yk) = Pk+i(xk - Xk) + yk - yk + rk,

порождающей по правилу экстремального прицеливания многозначное отображение (3). Конкретизация этого утверждения приводит к необходимому условию глобальной оптимальности (теореме 1).

Заметим, что позиционный принцип минимума весьма конструктивен (если использовать его в контрпозитивной форме — как условие неоптимальности): в случае невыполнения условия теоремы 1 для исследуемого управления определен способ построения нового управления, лучшего по значению целевого функционала. Теоретическая «конструктивность» дополняется возможностью практической реализации вычисления потенциально улучшающего управления, по крайней мере, в случае линейной и линейно-квадратичной зависимости задачи (а следовательно, функции Понтрягина) от управления.

При решении задач с помощью позиционного условия возможно отступление от использования селекторов отображения (3) в пользу е -экстремальных позиционных управлений и даже управлений, порожденных Н -экстремальным отображением

(ж; V) = Ащшш Н (ж^+ъи).

При такой замене теорема 1 остается справедливой, а улучшение и может обеспечиваться за счет использования именно позиционных, а не программных управлений.

Позиционный принцип минимума не требует никаких предположений выпуклости задачи в отличие от дискретного принципа максимума (для исходной (Р) и преобразованной (Р*) задач). С учетом предыдущего замечания, позиционный принцип минимума влечет дискретный принцип максимума (гарантированно бракует неэкстремальные управления), когда последний справедлив, и потенциально позволяет улучшать неоптимальные экстремали.

3. Позиционный принцип минимума для обобщенно-линейной задачи

Для полноты изложения приведем следствия теоремы 1 [7, 8] для следующей задачи (Pl) минимизации линейного целевого функционала в линейной по состоянию системе (включающей билинейные):

J[u] = d'xN ^ min;

Xk+i = Ak(uk)xk + bk(uk), uk € Uk, k = 0, N - 1, xo = x0,

где матрично-векторные функции A , b непрерывны, а вектор d € Rn . Конкретизируем функцию Понтрягина

Hk (x,^,u) = Ak (u)x + bk (u))

и сопряженную систему

д

^k = dxk Hk (Xk ,^k+1,uk) = Ak (uk) Vk+1, = d. Для многозначного H -экстремального отображения

U^ (х,^) = Argmin Hk (x,^,u) «eufc

обозначим через V = V^ и W = Wx множества всех его селекторов (позиционных и копозиционных управлений) при фиксированных ^ и X соответственно, то есть последовательностей функций v(x) = {vk(Xk)}£=) и w(0) = {wk(^k+1)}^-)1 :

(жк) € (жк), ОД(^+1) € ^(жк,^+1), к = 0, N - 1.

Следует отметить, что построение траектории ж = ж(г) , порожденной позиционным управлением г , пояснено выше, а нахождение траектории ж = ж(-ш) требует поиска решения сопряженной системы, замкнутой копозиционным управлением и>, — то есть ко-траектории V = , — вычисления и = ад(^) и последующего решения исходной

фазовой системы с этим программным управлением. Ввиду последующего утверждения можно отослать читателя к [7, 8], где вводится задача, двойственная к (Pl) , с целевым функционалом, совпадающим с J на управлениях u, и определенная исключительно на решениях сопряженной системы.

Теорема2 (прямой и двойственный позиционные принципы минимума). Пусть U — глобально оптимальное управление в задаче (Pl) • Тогда

а) d'xN ^ d'xN (v) V v € V^;

б) d'xN ^ d'xN(w) Vw € Wx.

Каждое из позиционных условий теоремы 2 влечет дискретный принцип максимума (справедливый в задаче (Pl) даже без условий выпуклости [4]), при этом они независимы друг от друга и могут комбинироваться в единой схеме решения линейных по состоянию задач [8].

4. Позиционные принципы минимума для линейно-квадратичной задачи

Конкретизируем теорему 1 для линейно-квадратичной по состоянию задачи (Plq)

1 N —1

J[u] = d'xN + 2xNDxn + Lk(xk, Uk) ^ min; (4)

k=0

xk+1 = Ak(Uk)xk + bk(Uk), Uk € Uk, k = 0, N - 1, xo = x0, (5)

где Lk(x, u) = ak(u)'x + bk(u) + 1 x'Pk(u)x , все функции непрерывны, а симметричные матрицы D , Pk , вообще говоря, знаконеопределены. Функция Понтрягина имеет вид

Hk (x,^,u) = Ak (u)x + bk (u)) + Lk (x,u),

а сопряженная система d

^k = dxk Hk (xk ,^k+1,Uk) = Ak (Uk) ^k+1 + ak (Uk) + Pk(Uk )xk, ^N = d + Dxn . Многозначное отображение (3) принимает вид

Uk(x; ^,x) = Argmin { (^+1 - Dxk+1)' (Ak(u)x + bk(u)) +

ueUfc 1 , . (6) +Lk(x,u) + 2 (Ak(u)x + bk(u)) D(Ak(u)x + bk(u)) j.

Как и ранее, через V обозначается множество всех селекторов v отображения (6); доопределение целевого функционала (4) на позиционные управления v , используемое ниже, очевидно.

Теорема 3. Если управление U глобально оптимально в задаче (Plq) , то выполнено неравенство

J [u] < J [v] V v € V.

Это условие, как предыдущие, не требует выпуклости входных данных задачи. Если матрицы и векторы Ak , Pk , ak не зависят от u , а матрица D = 0 , то селекторы многозначного отображения (6) не зависят от x и являются программными управлениями (не позиционными), а условие оптимальности теоремы 3 фактически совпадает с дискретным принципом максимума, обосновывая его для указанного частного варианта задачи

(Plq) • Чтобы использовать эффект позиционных управлений, проведем следующую модификацию целевого функционала.

Рассмотрим матричную рекуррентную систему с граничным условием

Sfc = Afc(ufc)'Sfc+1Afc(ufc) - Pfc(ufc), k = N - 1,0, Sn = -D.

Обозначим через S = S(u) = }^=0 решение системы, отвечающее управлению u, и преобразуем целевой функционал (4) следующим образом:

1 N—1 1 N—1

J [u] = d'xN + 2xN DXn + ^ Lfc (xfc ,ufc) = d'xN - 2 xNSnXn + ^ Lfc (xfc ,ufc) =

fc=0 fc=0 1 N —1 1 N—1

= d'XN - 2 [x'fc+1'5fc+1Xfc+1 - x'fcSfcxfc] - 2xOSoXo + ^ L (xfc ,ufc) = (7)

fc=0 fc=0 1 _ N—1

= d'XN - 2X0S0X0 + Lfc(Xfc,Ufc), fc=0

Lfc(x, u) = afc(u)'x + bk(u) - x'Afc(u)'Sfc+1bfc(u) - 1 bfc(u)'Sfc+1bfc(u)-

1 _ _ _

-2x' [Afc(u)'S_fc+1Afc(u) - Pfc(u) - Afc(ufc)'S_fc+1Afc(ufc) + Pfc(ufc)] x.

К задаче минимизации функционала (7) на траекториях системы (5) применима теорема 3, при этом экстремальное многозначное отображение, порождающее позиционные управления спуска, примет следующий вид:

Ufc(x; x) = Argmin { (t_fc+1 + Sfc+1xfc+1)' (Afc(u)x + bfc(u)) + Lfc(x, u) 1.

«eufc L J

Заметим, что селекторы этого отображения в действительности являются позиционными управлениями, если только Sfc = 0 Vk .

5. Заключение

В работе получен позиционный принцип минимума для невыпуклой задачи дискретного оптимального управления без ограничений на траекторию и её подклассов — линейных и линейно-квадратичных по состоянию задач. Эти необходимые условия глобальной оптимальности используют в качестве вспомогательных позиционные управления и позволяют строить на их основе итерационные методы решения задач дискретной оптимизации (допускающие численную реализацию). Практическая значимость, особенно для прикладных задач большой размерности, конечно, требует дополнительных исследований, однако, на уровне «академических» примеров условия зарекомендовали себя перспективными.

ЛИТЕРАТУРА

1. Дыхта В.А. Слабо монотонные решения неравенства Гамильтона-Якоби и условия оптимальности с позиционными управлениями // Автоматика и телемеханика. 2014. № 5. С. 31-49.

2. Дыхта В.А. Вариационные условия оптимальности с позиционными управлениями спуска, усиливающие принцип максимума // Изв. Иркутского гос. ун-та. Сер. Математика. 2014. Т. 8. С. 86-103.

3. Дыхта В.А. Вариационные необходимые условия оптимальности с позиционными управлениям спуска в задачах оптимального управления // Доклады Академии Наук. 2015. Т. 462. № 6. С. 653-656.

4. Пропой А.И. Элементы теории оптимальных дискретных процессов. М.: Наука, 1973.

5. Иоффе А.Д., Тихомиров В.М. Теория экстремальных задач. М.: Наука, 1974.

6. Красовский Н.Н. Управление динамической системой. М.: Наука, 1985.

7. Сорокин С.П. Позиционные необходимые условия оптимальности и нестандартная двойственность в задачах оптимизации дискретных систем // Автоматика и телемеханика. 2014. № 9. С. 21-30.

8. Сорокин С.П. Позиционные необходимые условия оптимальности и метод решения задач оптимального управления в дискретной системе, линейной по фазовой переменной // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 5. С. 2685-2687.

БЛАГОДАРНОСТИ: Работа частично поддержана РФФИ (проект № 14-01-00699-а), Программой государственной поддержки ведущих научных школ (НШ-5007.2014.9) и Программой фундаментальных исследований Президиума РАН (проект 17.1).

Поступила в редакцию 10 мая 2015 г.

Sorokin S.P. FEEDBACK MINIMUM PRINCIPLE FOR DISCRETE OPTIMAL CONTROL PROBLEMS

Necessary global optimality conditions for three classes of discrete optimal control problems are obtained. The conditions use feedback controls and employ just Discrete Maximum Principle objects. The results are true without any convexity assumptions.

Key words: discrete optimal control; necessary conditions; Maximum Principle; feedback controls; iterative methods.

Сорокин Степан Павлович, Институт динамики систем и теории управления им. В.М. Матросо-ва СО РАН, г. Иркутск, Российская Федерация, кандидат физико-математических наук, научный сотрудник, e-mail: sorsp@mail.ru

Sorokin Stepan Pavlovich, Matrosov Institute for System Dynamics and Control Theory of SB RAS, Irkutsk, the Russian Federation, Candidate of Physics and Mathematics, Researcher, e-mail: sorsp@mail.ru

УДК 517.95

СИЛЬНОЕ ВЫРОЖДЕНИЕ ОСОБЫХ УПРАВЛЕНИЙ ПРИНЦИПА МАКСИМУМА В РАСПРЕДЕЛЕННЫХ ЗАДАЧАХ ОПТИМИЗАЦИИ

© В.И. Сумин

Ключевые слова: распределенные задачи оптимизации; управляемые вольтерровы функционально-операторные уравнения; поточечный принцип максимума; особые управления.

Показывается, что для широкого класса распределенных оптимизационных задач характерно сильное вырождение особых управлений поточечного принципа максимума, когда вместе с принципом максимума, который можно рассматривать как необходимое условие оптимальности первого порядка при игольчатом варьировании управлений, вырождаются и необходимые условия второго порядка. Описан способ получения содержательных необходимых условий оптимальности сильно вырожденных особых управлений.

Изучение особых управлений (ОУ) поточечного принципа максимума (ППМ), на которых он вырождается, важно как для приложений, так и для собственно теории оптимизации (см., например, [1-4]). Однако, до сих пор для распределенных управляемых систем ОУ ППМ изучены относительно слабо: начиная с первых работ [5, 6] на эту тему, в основном рассматривались управляемые системы Гурса-Дарбу и близкие им (см., например,