CC BY
37
Серия «Математика»
2014. Т. 8. С. 141—163
Онлайн-доступ к журналу: http://isu.ru/izvestia
УДК 517.977+519.626
Современные методы решения невыпуклых задач оптимального управления *
А. С. Стрекаловский
Институт динамики систем и теории управления СО РАН
Аннотация. Работа представляет некоторые заметки по эволюции иркутской школы О.В. Васильева по методам оптимального управления, основанным на принципе максимума (минимума) Л. С. Понтрягина. При этом исследуются некоторые особенности самого принципа Понтрягина, в частности, его достаточность и конструктивное свойство для линейных систем управления и выпуклых (по состоянию) функционалов. Приведены исторические замечания по разработке методов оптимального управления, базирующихся на принципе Понтрягина. При этом особое внимание уделено вкладу иркутской школы О. В. Васильева по теории и методам оптимального управления, а также вкладу любимого ученика О. В. Васильева профессора В. А. Срочко. Математическая презентация сконцентрирована на истории создания и исследованиям по сходимости и обоснованию метода последовательных приближений, основанного на принципе Понтрягина. Далее рассматриваются новые условия глобальной оптимальности в общей невыпуклой задаче оптимального управления с целевым функционалом Больца. При этом наряду с доказательством необходимости условий глобальной оптимальности исследуются их взаимосвязи с принципом Понтрягина. Устанавливается также конструктивное (алгоритмическое) свойство новых условий глобальной оптимальности. Кроме того, приводится пример решения невыпуклой задачи оптимального управления посредством условий глобальной оптимальности, когда происходит улучшение управления, удовлетворяющего принципу Понтрягина, с непременным улучшением значения целевого функционала. В заключение демонстрируется также возможность построения численных методов, использующих принцип Понтрягина и новые условия глобальной оптимальности, и приводятся результаты по сходимости.
Ключевые слова: принцип Понтрягина, методы оптимального управления, условия глобальной оптимальности.
* Исследование выполнено при частичной финансовой поддержке РФФИ (грант 13-01-92201-Монг_а), а также Совета по грантам Президента Российской Федерации для государственной поддержки ведущих научных школ (НШ-5007.2014.9).
1. Введение
Около 35 лет назад, вернувшись с факультета вычислительной математики и кибернетики (ФВМК) МГУ им. М. В. Ломоносова на кафедру методов оптимизации математического факультета ИГУ, я застал молодую и достаточно энергичную команду исследователей (В. А. Срочко, Л. Т. Ащепков, А. И. Тятюшкин, Н. В. Тарасенко и др.), созданную О. В. Васильевым, удивительным образом угадавшим научное направление исследований, остающееся актуальным и по сей день. Это — численные методы решения задач оптимального управления (ОУ). Не обошлось, конечно, без влияния выдающегося советского математика Р. Ф. Габасова и его Минской школы оптимизации. Однако нужно иметь в виду, что О. В. Васильеву удалось не только организовать новую кафедру на факультете, который не был широко известен в РСФСР и тем более в СССР, но и создать новый факультет, включающий такую популярную в течение десятилетий специальность, как «прикладная математика».
Этот факультет был создан фактически сразу же после создания ФВМК МГУ академиком А. Н. Тихоновым. При этом кафедра методов оптимизации была широко известна в Советском Союзе, сотрудничала и конкурировала с коллективами под руководством академиков АН СССР Ф. Л. Черноусько (ИПМ РАН, г. Москва) и В. И. Зубова (факультет ПМ-ПУ, Ленинградский университет) и др. И это происходило во многом благодаря направлению исследований — методам решения задач оптимального управления, которое к настоящему моменту не только не теряет своей актуальности, но и приобретает новые области приложений от космических проблем защиты от метеоритов до управления процессом лечения различных заболеваний человека и контроля эпидемий в различных популяциях.
Поэтому после разгрома советской науки как одной из стержневых и базовых блоков цивилизации СССР нужно, с одной стороны, отдать дань и вспомнить достижения иркутской школы ОУ, созданной О. В. Васильевым, школы, достижения которой были развиты, в частности, в работах В. А. Срочко. С другой стороны, возможно обозначить некоторые перспективы и направления, которые выглядят с современной точки зрения достаточно актуальными и продолжающими достижения иркутской школы ОУ в нелегкое для науки время. Этим вопросам и посвящены настоящие заметки.
СОВРЕМЕННЫЕ МЕТОДЫ РЕШЕНИЯ НЕВЫПУКЛЫХ ЗАДАЧ ОУ 2. Постановка задачи
Рассмотрим базовую систему управления
х(г) = /(х(г),и(г),г) Vг е т, \ (21)
т =]гоМ,х(го) = хо е Жп; / (.)
и(-) еЫ = {и(-) е Ь^(т) | и(г) е и Vг е т}, (2.2)
о
(где символ V обозначает «для почти всех» в смысле меры Лебега) при стандартных предположениях [1; 4; 5; 6; 7; 40], когда, в частности, функция /(х,и,г) непрерывна по всем переменным (х,и,г): х е Шп, и е Жг, г е [г0,г^, и, кроме того,
\\/(х,и,г) - /(у,и,г)\\<ь(г)\\х - у\\
для всех (х,у) е Жп+п и (и, г) е Жг х [го,г1], где Ь(г) > 0 и Ь(-) е Ь1(т).
Тогда, как известно, (§§5.1-5.2, [31]; §6.1, [4]) для любого допустимого управления и(-) ей и для любой стартовой точки хо е Жп существует единственное абсолютно непрерывное решение х(г) = х(г, и) системы
(2.1), определенное на отрезке [г0,г1 ].
Как обычно [1; 4; 5; 6; 7; 40], предположим, что и компактно в Жг и
д/(х,и,г) о
существуют непрерывные производные --—-- У{х,и,ъ) € И, где И
— достаточно большая (открытая) выпуклая область из Ш,п+Г+1.
Теперь сформулируем основную для рассмотрения задачу ОУ. Она заключается в минимизации функционала Больца
(V): 1 (и) := Р1 (х(г1)) + !Р(х(г),и(г),г)йг 4.шт, и ей (2.3)
т
над системой управления (2.1)-(2.2) (х(г) = х(г,и), г е т, и е Ы).
Далее будем предполагать, что функция х ^ Р1(х) : Шп ^ Ж является ё.с. функцией, представимой в виде разности двух выпуклых функций:
Р1(х) = д1(х) - Н1(х), х е Жп,
где д1(х), Н1 (х) — выпуклые функции на достаточно большой (открытой) выпуклой области е Жп, содержащей множество достижимости /Я,(г1) системы (2.1)-(2.2) в момент г1, г0 < г1 <
С другой стороны, предположим, что функция г ^ Р(х, и, г) является непрерывной V(x,u) е &(г) х и, где &(г) — открытая выпуклая область, содержащая множество достижимости *Я*(г) системы (2.1)-
(2.2) в момент г е т. Кроме того, предположим, что функция х ^ Р(х, и, г) (г е т, и е и) представима в следующем виде
р(х,и,г) = д(х,и,г) - Н(х,г), г е т, (2.4)
где функция х ^ Н(х, Ь) выпукла на О € Шп, Ь0 < Ь < Ь1 < Функция же х ^ д(х, и, Ь) также является выпуклой У(и, Ь) € и х Т (по переменной х) на множестве О(Ь) (см. выше). В дальнейшем будут рассмотрены и другие постановки задач.
Таким образом, в силу невыпуклости по состоянию терминальной части F1(■) и интегранта F(х,и,Ь) (см. (2.4)) задача (V) (2.1)-(2.3) оказывается невыпуклой, и, как показывают примеры [1; 4; 5; 6; 7; 18; 19; 20; 26; 27; 28; 29; 30; 31; 37; 38; 39; 40], может обладать множеством локально оптимальных и стационарных (в смысле ПМП) процессов (х*(^),и*(■)), х* = х(Ь,и*), Ь € Т, и*(^) € и, которые могут быть достаточно далеки (скажем, по значению целевого функционала (2.3)) от некоторого глобального решения (г(^),'(^)).
В дальнейшем будем обозначать через д[ (х), Н[ (х), д'(х,и,Ь) и Ъ!(х,Ь) субградиенты (в смысле выпуклого анализа [31; 32]) по переменной х € Мп от функций д1 (х), Н1(х), д(х,и,Ь) и Н(х,Ь) соответственно в точке х € О Э Ш О(т)}, так что д[(х) € дд1(х), Ы1(х) € дк1 (х), Т ет
д'(х,и,Ь) € дд(х,и,Ь) := дхд(х,и,Ь), и € и, и Ь!(х,Ь) € дН(х,Ь) := дхН(х,Ь), Ь € Т.
Поскольку основным объектом исследования в данной работе является принцип максимума (минимума) Л. С. Понтрягина (ПМП), то обратимся теперь к некоторым его свойствам и особенностям.
3. Конструктивное свойство и достаточность принципа
Понтрягина
Прежде всего напомним формулировку принципа минимума для задачи (V) (2.1)-(2.3) с гладкими данными.
Определение 1. Управление '(■) € и называется глобально оптимальным в задаче (V), если ,1 (') < ,1 (и) Уи € и.
Как обычно [1; 4; 5; 6; 7; 15; 40], введем гамильтониан
Н(х, и, ф, Ь) = {ф, /(х, и, Ь)) + F(х, и, Ь). (3.1)
Для фиксированного процесса управления (х*(^),и*(■)), х*(Ь) = х(Ь,и*), Ь € Т, и*(■) € и, введем сопряженную систему ОДУ:
ф(Ь) = -ф(Ь)Ф*(Ь) - VF(х*(Ь),и*(Ь),Ь) УЬ € тД (3 2) ф(Ь1) = VFl(x*(tl)), /
д/■
где Ф,(*) = Фф) = ^ (ж* (*),«»(*),*), г,] = 1,...,п,и У^(-),
'VFl(■) — это градиенты функций по переменной х.
Определение 2. Скажем, что управление u*(-) € U (процесс (x*(■),u*(■)) ) удовлетворяет принципу минимума Понтрягина (ПМП), если выполнено условие минимума
н (x* (t),u*(t),^* (t),t) =
= min{H(x*(t),v,ф*(t),t) | v € U} Vt € T, (3.3)
v
где функция ф*(t) является единственным абсолютно непрерывным решением системы (3.2), соответствующим управлению u*(-) €U.
Следующий результат является основополагающим в теории ОУ, а также является фундаментом построения численных методов ОУ, которые, на наш взгляд, имеют значительные преимущества перед другими подходами в методах ОУ, в первую очередь, в смысле вычислительной эффективности [1; 4; 5; 6; 7; 13; 15; 40].
Теорема 1. Если управление u*(-) является глобально оптимальным в задаче (P) (2.1)-(2.3), то оно удовлетворяет условию минимума (3.3) с гамильтонианом (3.1).
Замечание 1. Необходимо отметить, что ПМП не является, вообще говоря, достаточным условием глобальной оптимальности для задач ОУ общего вида, скажем, (2.1)-(2.3). Поэтому возникает естественный вопрос о том, для каких задач ОУ ПМП будет и достаточным для глобальной оптимальности. Рассмотрим линейную по состоянию систему управления [1; 5; 6; 15; 40]
X(t) = A(t)x(t) + b(u(t),t) yt € T, x(t0) = x0, u(-) € U,
и задачу ОУ с терминальным целевым функционалом
(То)'- J0(u) = g1(x(t1)) l min, u €U, (3.5)
u
где функция x ^ gi (x), как и раньше, выпукла. Нетрудно видеть, что задача (Т0) (3.4)-(3.5) является частным случаем задачи (Т) (2.1)-(2.3).
Далее, хорошо известно [1; 5; 15; 40], что множество достижимости R(t) линейной системы (3.4) в момент t € ]to, 11] является выпуклым. С другой стороны, сопряженная система (3.2) в этом случае также имеет специальный вид:
ip*(t) = -ф*(t)A(t) yt € T, ф*(ti)= Vgi(x*(ti)). (3.6) Поэтому и гамильтониан оказывается частного вида
H(x, u, ф, t) = (ф, A(t)x + b(u, t)), (3.7)
(3.4)
и условие минимума сводится к весьма специальному соотношению
(ф*(г),ь(и* (г),г)) = шт{(ф* (г),Ь(у,г))\у е и} ш е т. (3.8)
V
В свою очередь условие (3.8) в силу поточечного ограничения
о
и(Ь) е и Ш е Т по лемме Лузина-Лионса [7; 9] эквивалентно интегральному условию минимума
J(ф*(г),ь(и*(г),г))сг = шш^(ф*(г),ь(и(г),г))сг \ и(-) ей}. (3.8)
т т
Теперь нетрудно показать следующий результат.
Лемма 1. Интегральное условие минимума (3.8') (как и поточечное условие минимума (3.8)) для задачи (То) (3.4)-(3.5) эквивалентно следующему вариационному неравенству
(Удх(х* (Ь)),х(г1 ,и) - х*(Ь))>0 и еЫ. (3.9)
Доказательство. Используя системы (3.4) и (3.6), легко видеть [1; 5; 6; 40], что (и(-) ей, г е Т)
с
Тогда известная формула интегрирования по частям приводит к равенству (Уи(-) е Ы)
(Удг (х*(Ь)),х(г1 ,и)) = (ф*(гх),х(гх ,и)) =
= (ф*(Ьо),х(Ьо,и)) + !(ф*(г),ь(и(г),г))м, (3.10)
т
которое справедливо и при и*(г) е Ы.
Теперь, записав интегральное условие минимума (3.8') в виде неравенства с учетом начального условия х(г0,и) = х0 Ши еЫ, с помощью (3.10) получаем равносильность условия (3.8) (или (3.8')) и вариационного неравенства (3.9). □
Предложение 1. Для того, чтобы управление и*(-) е Ы было глобально оптимальным в задаче (То) (3.4)-(3.5), необходимо и достаточно выполнения условия минимума Л.С. Понтрягина (3.6)-(3.8).
Доказательство. Поскольку множество достижимости ~Я-(Ь) линейной системы (3.4) выпукло Ш е]г0, гх], то неравенство (3.9) представляет
собой необходимое и достаточное условие минимума выпуклой дифференцируемой функции gi(x) на множестве R(t\), т.е. в следующей конечномерной задаче (x G lRn)
gi(x) i min, x G R(ti). (3.11)
x
Эта задача является эквивалентной формулировкой задачи ОУ (Po) (3.4)-(3.5). Поэтому ПМП (3.6)-(3.8) (эквивалентный неравенству (3.9)) является необходимым и достаточным условием глобальной оптимальности управления -u*(-) G U в задаче ОУ (Vq) (3.4)-(3.5). □
Пусть теперь для допустимого управления u(-) G U принцип Понт-рягина (3.6)-(3.8) нарушен. Это означает, что при сопряженном состоянии, являющемся решением ОДУ
m = -mm, ф(Ь) = vgi(x(h)), (36)
где x(t) = x(t,u), для управления u(-) G U нарушено условие (3.8).
Другими словами, это означает, что существует число а > 0 и измеримое множество Q С T, mes Q > 0, такие что
а °
min(ip(t),b(v, t)) +-- < (ip(t),b(u(t),t)) Vi G П. (3.12)
v£U mes Q
Обозначим через u(t) функцию, определенную равенством (ф(t), B(u(t),t)) = min^(t), B(v, t)) Vt G Q
vÇU
и предположим, что она измерима. Теперь введем следующую функцию
u(t) = H G U■ t G Q; (3.13)
v 7 \u(t) G U, t G Q, У J
так что u(-) оказывается допустимым управлением u(-) G U. Обозначим через x(t) соответствующее ему состояние: x(t) = x(t,u). В новых обозначениях неравенство (3.12) с учетом (3.10) и (3.13) может быть переписано следующим образом:
(Vgi(x(h)),x(h) - x(ti)) = j(ф(>t),b(u(t),t) - b(u(t),t))dt =
T
= J (ip(t), b(u(t),t) - b(u(t),t))dt <~j
mes Q
n
dt = - а < 0.
Это означает, что направление й = х(г1) - х(г1) оказывается направлением убывания для функции д1(-) в точке х(г1) [1; 4; 36; 40] в конечномерной задаче (3.11).
А тогда, как известно, найдется а е]0,1[, при котором для ха = х(гх) + а[х(Ьх) — х(гх)] выполнены следующие условия:
a) ха е Т-(Ьх) — множеству достижимости в момент в силу линейности системы управления (3.4) по состоянию;
b) д1 (ха) < дх(х(гх)).
С другой стороны, поскольку ха е /Я.(гх), то найдется допустимое управление иа( ) е Ы, такое что х(гх,иа) = ха. Поэтому неравенство Ь) равносильно неравенству ,1(иа) < ,1 (и), которое и означает, что ПМП, как условие оптимальности (УО) обладает «конструктивным» (алгоритмическим) свойством, т.е. если УО нарушено, то непременно имеется «возможность» (сначала теоретическая) улучшить исследуемое управление (процесс) с точки зрения целевого функционала.
4. Несколько замечаний о методах, основанных на принципе Понтрягина
Продемонстрированная выше (теоретическая) возможность существования улучшающего управления и(-) в случае нарушения ПМП совсем не означает возможность конструктивного построения такого управления и(-). Более того, с современной точки зрения теории методов оптимизации эта теоретическая возможность не влечет, вообще говоря, конструктивных правил построения последовательности управлений {ик(■) е Ы}, а также какой-либо сходимости этой последовательности, если удалось изобрести некое правило генерации управлений.
Такова была ситуация в конце 50-х годов XX века. Вместе с гага-ринским полетом, вместе с прогрессивным движением всего общества в СССР по всем другим направлениям произошел прорыв и в методах оптимального управления. И что было совершенно неожиданно, его осуществили советские ученые (метод Крылова - Черноусько, 1962) [8]. Неожиданно потому, что фактически почти все методы конечномерной оптимизации были изобретены учеными США (за исключением, в частности, метода наискорейшего спуска Коши). С другой стороны, после опубликования работ Л. С. Понтрягина и его учеников [13] математическое сообщество было «беременно» методами ввиду серьезной прикладной направленности исследований, скажем, в космической промышленности.
Общая схема первого и простейшего метода последовательных приближений (МПП) может быть записана в упрощенной форме [1; 10; 11; 12; 15]:
ик+х(-)= ик (■). (4.1)
Сразу же выяснилось, что метод сходится в весьма редких случаях, к тому же использование критериев останова типа
max \\uk+1(t) - uk(t)\\ <e ter
также не добавляло ему преимуществ.
Сразу же возникли вопросы о сходимости МПП и о модификациях этого метода с целью получения сходимости в некотором смысле. И здесь вновь группа Ф. Л. Черноусько, и неожиданно для многих составившая ей конкуренцию группа из г. Иркутска (о котором многие москвичи и не слышали) под руководством канд. физ.-мат. наук О. В. Васильева (В. А. Срочко, Л. Т. Ащепков, А. И. Тятюшкин, Н. В. Тара-сенко и др.) оказались на переднем крае битвы за мировое первенство на этом, тогда (в конце 60-х, 70-е, начало 80-х годов XX века) важнейшем участке развития методов оптимального управления.
Участники обеих групп лучше меня помнят детали и перипетии тогдашних соревнований и коопераций. Поэтому напомним лишь основную математическую канву результатов этих исследований.
Обозначим в случае системы управления (2.1) и терминального функционала
AkH[t] = (фк(t),f(xk(t),uk(t),t) - f (xk(t),uk(t),t)). (4.2)
о
Нетрудно видеть, что AkH[t] > 0 yt £ T. Введем также новый параметр метода
f(uk) = fk = j AkH[t]dt. (4.3)
т
Очевидно, что Цк > 0. При этом, если Цк = 0, то АкН[г] = 0
о
Шг е Т, так что ик (г) удовлетворяет принципу минимума Понтрягина (3.1)-(3.3) (где Г(х,и,г) = 0). Поэтому величину /л(ик) = ¡лк обычно рассматривают [1; 10; 11; 12; 15; 25; 26; 27; 28; 29; 30; 40] как невязку в удовлетворении ПМП.
Далее, вариации же управления осуществлялись по формуле
,к+хил- и (г), г е т \ Тк; ик(г), г е Тк;
или, что то же самое,
ик+х(г) = ик (г) + Хк (г)[ик (г) — ик(г)], (4.4')
где Тк С Т некий интервал варьирования, а Хк (г) — его характеристическая функция
ХкМ = {° 'е Т ^ (4-5)
\ 1, г е Тк.
vk+1(t) = { 1 (4.4)
При этом каждый участник гонки предлагал свой неординарный способ построения интервала Tk.
Важно, что общими усилиями была доказана сходимость целого семейства алгоритмов, которые с современной точки зрения можно рассматривать как фактически один алгоритм вида (4.4).
Так при фактически стандартных [1; 10; 11; 12; 15; 25; 26; 27; 28; 29; 30; 40] предположениях на функции f (x,u,t) и F\(x) и их производные о непрерывной дифференцируемости по (x, u) и непрерывности по t, а также об удовлетворении условия Липшица по (x,u) и некоторых других общих предположениях было показано, что
lim ßk = 0, ßk = ß(uk), k = 0,1,.... (4.6)
k^x
В случае линейной системы и выпуклой функции F\(x) = gi(x) (h1 (x) = 0) была получена следующая замечательная оценка
C
0 < J(uk) - J* < —, J* :=inf{J(u) \ueU} = V(P). (4.7) K u
К тому же последовательность управлений {uk} оказывается в выпуклом случае минимизирующей, что видно из (4.7). Для выпуклой задачи установлена также оценка скорости сходимости по функционалу [2; 12; 15; 40]
Отметим, что насколько можно судить по современным публикациям, а также по докладам и мнениям зарубежных участников международных конференций, математическое сообщество за пределами России не всегда и не везде информировано о создании в СССР, а потом и в России целого семейства методов, основанных на принципе Понтрягина, в частности, о вкладе Иркутской школы оптимального управления О.В. Васильева в это новое направление, несмотря на то, что монография О.В. Васильева переведена и опубликована в США [40].
Представляется, что в настоящее время западное сообщество ОУ увлечено применением так называемого «прямого подхода» (direct approach) к решению задач ОУ, заключающегося в реализации принципа «first discretize, after optimize», когда задача ОУ сначала полностью дискретизуется, а затем решается мощными пакетами прикладных программ, основанных на методах математического программирования. Это означает полный отказ от принципа Понтрягина, всех его преимуществ, а главное, от методов последовательных приближений, созданных на основе ПМП.
И тем более, западные специалисты не обратили внимание на то, что за последние 15-20 лет профессором В. А. Срочко было создано фактически новое семейство методов ОУ (методов фазовой линеаризации), основанных на нестандартных формулах приращения с измененными (возмущенными) сопряженными системами [14; 15; 16; 17].
Насколько известно, в настоящий момент наша группа в ИДСТУ СО РАН является едва ли не единственной (в мире!) из тех, кто использует методы В. А. Срочко при решении невыпуклых задач ОУ. На основании достаточно широкого поля сравнительных численных экспериментов мы можем утверждать, что новые методы В. А. Срочко являются наиболее эффективными в смысле поиска приближенных экстремалей Понтрягина (см.(4.6)) [14; 15; 16; 17].
Следующий раздел посвящен нашим результатам по методике глобального поиска в невыпуклых задачах ОУ.
5. Условия глобальной оптимальности для невыпуклых задач оптимального управления и их следствия
Вернемся к рассмотрению задачи (V) (2.1)-(2.3) и введем следующие обозначения: х(1) = х(Ь,н), £ € [^^Ь н(-) €и,
С := J(н) = дМЬ)) - Н1 (г(Ь)) + ![д(г(1),н(1),1) - Ь(г(Ь),Ь)] й1. (5.1)
т
Теорема 2. [37] Предположим, что управление н(-) € и является глобально оптимальным в задаче (V) (2.1)-(2.3) (ю(-) € Зо\(Р)). Тогда для любой пары (у(),в), где в € Ж, а у(-): Т ^ Жп кусочно-непрерывная вектор-функция (у( ) € РС(Т)), удовлетворяющей равенству
ЬЫЬ)) +1н(у(г),г)м = в - ( = в - з(н) (5.2)
т
выполнено следующее вариационное неравенство (VI):
дЛх(ь,")) - {Ь,'1(у(г1)),х(г1 ,")) +
Чш^"т, ° -("'ш, °,х(' ,"т -
т
- в-(К(у(Ь)),у(Ь))-I(Н'(у(1),1),у(1))й1 У" € и (5.3)
т
для любых Н[(у(£1)) € дН1(у(11)) и Ь!(у(1),1) € дН(у(1),1).
Доказательство. Поскольку ,1) := ( < 1 (и) Уи € и, то для любой пары (у(),в), удовлетворяющей (5.2), мы имеем ,что Уи() €и
ши^п/шмьы > с+ьш,и))+/т^т =
Т т
в + Н\(х(1\, и)) - Нг(у(£г)) + ),х(11,и) - у(Ь)) + !(Н'(у(1),1),х(1, и) - у(£)).
т
Последнее неравенство справедливо в силу выпуклости функций х ^ Н\(х) и х ^ Н(х,1), £ € Т. Сравнивая начало и конец вышеприведенной цепочки соотношений, приходим к заключению о справедливости вариационного неравенства (5.3). □
Замечание 2. Анализируя вариационное неравенство (5.3), видим, что следующая (частично) линеаризованная задача
(РС(у)): 1у(и) := дг(х(г1,и)) -(К(у(и)),х(и,и)) +
+ / [д(х{Ь,и),и(1),1) - (Н'(у(1),1),хи,и))Щ I шт, и €и (5.4) } и
т
реально присутствует в левой части неравенства (5.3). Отметим, что линеаризация выполнена по отношению к базовой невыпуклости задачи (V) (2.1)—(2.3), порожденной минимизацией вогнутого функционала Больца:
,1мс(и) = -Н\(х(11 ,и)) - J Н(х(1,и),1)й1. (5.5)
т
Поэтому нетрудно видеть, что вариационное неравенство (5.3) может быть переписано в следующем виде:
V(РС(у)) > N(у(),в), (5.3')
где V(РС(у)) — это (оптимальное) значение линеаризованной задачи (Р£(у))-(5.4), а число N(у(),в) зависит лишь от параметров (у(-),в):
N(у(),в) .= в -Н(у(ь)),у(ь)) -1(Н'ш,г),у(г))м. (5.6)
т
Итак, вариационное неравенство (5.3) подсказывает процесс проверки условия оптимальности (5.2)-(5.3) посредством решения линеаризованных задач (РС(у))-(5.4) с изменением пар (у( ),в), удовлетворяющих
(5.2). Ниже будет показано, что, если при указанном процессе удалось нарушить неравенство (5.3), то удается и улучшить текущее управление и(-). Таким образом, можно сказать, что в некотором смысле значение теоремы 2 заключено в редукции задачи (V) (2.1)—(2.3) к семейству (частично) линеаризованных задач (Р£(у))—(5.4) с выпуклым (по состоянию х(-)) целевым функционалом 1У(и). Понятно, что задача (РС(у)) оказывается легче для решения, нежели (V).
Замечание 3. Предположим, что нашлись пара (у(-),в), удовлетворяющая (5.2), и управление и(-) € и, нарушающие вариационное неравенств (5.3) при и(-) = и(-) и Х(Ь) = х(г,и), так что
0 > 91 (х(и)) - Ь(у(Ь1)),х(Ь1) - у(Ь)) -в +
+1[д(х(ь),и(ь),ь) - (Ь'(у(г),г),х(г) - у(г))]м.
т
Отсюда в силу выпуклости Ь1() и Ь(-,г), г € Т, вытекает 0 > д1 (х(Ь)) - Ь1(х(и)) + ¡ц(у(11)) - в +
+ ![дш,иШ) - ьтл+ыт,т.
т
Наконец, с помощью (5.2), получаем
о >Р1(х(г1))^ ^(х(г),и(г),г)м - ( = 1(и) - 1 (■), т
так что 1 (и) < 1 (■).
Это означает, что условие (5.2)—(5.3) обладает конструктивным (алгоритмическим) свойством, которое обеспечивает улучшение целевого функционала в случае нарушения условий оптимальности.
Пример 1. Рассмотрим систему управления
х(г) = и(г), г € [о, 2], х(о) = о € т,
u(t) е [-2,1], t е [0,2], f (5'7)
со следующим целевым функционалом
2
1 1 С
J(u) = 77; ~ 2}2 - - / x2(t)dt i min . (5.8)
12 2 J u
0
Во-первых, ясно, что с точки зрения задачи (P) (2.1)—(2.3), имеем
hi(x) = 0, gi(x) = ^-[х - 2]2, хеШ,
1\ } (5.9)
g{x,t)= 0, h{x,t) = -x2, i е Т = [0,2].
Основные конструкции ОУ для этой задачи имеют вид
Н(х,и,ф,£) = {ф,и}--х2,
дн 2 1 > (5Л0)
№)= = ф{2) = Уд1{х{2)) = -[х{и)-2].^
(а) Рассмотрим управление ио(г) = 1 и соответствующее состояние
хо(г) = х(г,ио) = г, г € [о,2], хо(2) = 2.
Сопряженная система имеет вид (см. (5.10))
Фо(г) = УНхо(г)) = хо(г) = г, г € [о, 2], фо(2) = о. г2
Откуда получаем фо^) = ——2, ^о(О) = —2, так что ^о(^) < 0, 0 < £ < 2.
Поэтому из условия минимума (3.3) и (3.8)
/ г2 \
{фо^),у} = (--2]Пгшп, [-2,1]
2
заключаем, что управление ио(г) = 1 удовлетворяет принципу Понтря-гина. При этом значение целевого функционала нетрудно подсчитать
2 2 11' „2^- 1+3 4
= -тт=:ео.
о 3
11 Пио) = ~2] = "б*3
о
(Ь) Введем функцию у0(г) = -2г, г € [0, 2], так что равенство (5.2)
2
1 Г 16
- J у2(1)<И = — = 13о - Со
выполнено при во = 4, поскольку Нг(х) = 0.
(с) Рассмотрим теперь управление и*(г) = -2 с соответствующим состоянием
х* (г) = -2г, г € [о, 2], х* (2) = -4,
и проверим вариационное неравенство (5.3), которое для задачи (5.7)-(5.8) имеет вид
дг (х(гг,и)) - в + ^ (^Чу(г)), у (г) - х(г,и))йг > о, т
при у(•) = уо(•) = х*( • ), в = во = 4 и и(•) = и*(•). С учетом (5.10) получаем
дг(х*(гг)) - во +1(УЬ(уо(г)), уо(г) - х*(г))йг = з - 4 < о. т
Итак, вариационное неравенство (5.3) нарушено, и по Теореме 2 управление ио(г) = 1 не является глобально оптимальным. Кроме того,
1 1С 16 7 4
¿Ы = —[х*(и)-2]2-- у = — =--<--= (о.
т
Значит, управление и* (•), которое нарушило условие (5.2)-(5.3) Теоремы 2, оказалось лучше чем исходное управление ио(г) = 1.
Замечание 4. Положим у(г) := х(Ь), г € Т, в (5.3)
в := д(г(гг)) + ]д(г(г)Мг),г)М.
т
При этом очевидно (5.2) выполнено, а из вариационного неравенства (5.3) следует: Уи(•) € и
(и) := дг(х(ь,и)) - ((('г(г(гг)),х(гг,и)) +
+/-((Нт,г)миит >
т
> Iг(н) := дг(г(гг)) - (Н^^^^г))+
J [g(z(t),w(t),t) - (h'(z(t),t), z(t)}] dt. (5.11)
+ T
Это означает, что процесс (z(■ ),w(■)), w(■ ) £ U, z(t) = x(t,w), является решением следующей линеризованной задачи:
(VCZ): Iz(u) ^ min, u £U. (5.12)
u
А тогда, согласно (3.1)-(3.3), а также негладкому варианту ПМП Кларка (F. Clarke [31]), и поскольку в силу выпуклости функций g\(■ ) и g( ■ ,u,t), u £ U, t £ T, имеем dci g\(x) = dg\(x) и dcig(x, u, t) = dg(x, u, t), и поэтому процесс (z(■ ),w(■ )) удовлетворяет условию минимума
0 = min Д^H(z(t),w(t),^z(t),t) Vt £ T, (5.13)
где абсолютно непрерывная функция t ^ фz (t) является единственным решением следующей сопряженной системы
т = (t) - g'(z(t),w(t),t) + h'(z(t),t) Vt £ T 1 (5 14)
ф(Ь) = gl(z(ti)) - h'1(z(ti)), j
Qf. _
где Щ1) = ^(z(t),w(t),t), i,j = l,n,g'(z(t),w(t),t) £ rjg(z(t),w(t),t), h'(z(t),t) £ dh(z(t),t), t £ T, g[(z(h)) £ dg^h)), h'1(z(t1)) £dhi(z(ti)).
Итак, доказан следующий результат
Предложение 2. Пусть все предположения Теоремы 2 выполнены, а управление ■ (■) € и является глобально оптимальным в задаче (V). Тогда имеет место принцип Понтрягина (5.13)-(5.14).
Более того, из предложения 2 немедленно следует, что если данные задачи (V) (2.1)-(2.3) достаточно гладкие, то из (5.13)-(5.14) вытекает принцип минимума Понтрягина (3.2)-(3.3).
Следовательно, условия оптимальности (5.2)-(5.3) теоремы 2 связаны с классической теорией ОУ [1; 4; 5; 6; 7; 13; 15; 27; 31; 40].
Замечание 5. Предположим, что для каждой пары (у(^),в), удовлетворяющей равенству (5.2) существует оптимальное решение (х(г; у,в),и(г; у, в)) линеризованной задачи (РС(у)). Далее, обозначим для простоты это решение через (х(г; у),и(г; у)), где х(г; у) = х(г; и(г, у)), г € Т, и(^,у) € и. Теперь введем Гамильтониан для задачи (РС(у))
Ну(х,у,ф,г) = (ф,/(х,и,г)) + д(х,и,г) - (Ь'(у(г),г),х).
Поскольку управление и( ,у) является глобальным решением задачи (РС(у))-(5.4) с выпуклым (по состоянию) функционалом 1У(и), то, как и выше, получаем соответствующий принцип Понтрягина:
Ну (х(г; у),и(г; у),ф(г; у),г) =
= шт{Ну(х(г,у),у,ф(г,у),г)\у € и} \/г € т (5.15)
V 1. I >
с решением ф(Ь; у) сопряженной системы
Ф(г;у) = -ф(г)Фу(г) + д'(х(г;у),и(г;у),г) - Ь'(у(г),г)
Ф(Ь; у)= д'Мт - Н'Ми)), < (5Л6)
дI ■
где Ф«(*)) = [$.(*)], ФЩ = /.., 1.....//.
Таким образом, доказано следующее утверждение.
Предложение 3. Пусть для каждой пары (у( ),в), удовлетворяющей равенству (5.2), существует решение (х(Ь; у),и(г; у)) задачи (РС(у))-(5.4). Тогда имеет место принцип Понтрягина (5.15)-(5.16)
Нетрудно видеть, что сопряженная система (5.16) зависит от параметра (вектор-функции) у (г), г € Т, который находится в слагаемых Ь( ) и Ь1( ), порождающих невыпуклость в исходной задаче (V) (2.1)-(2.3). Кроме того, система (5.16) зависит и от состояния х(Ь; у) решения задачи ^£^^-(5.4). Поэтому, можно сказать, что исходя из условий
оптимальности (5.2)—(5.3), мы получили целое семейство ПМП (5.15)-(5.16), зависящих от «параметров возмущения» (y(-),ß), удовлетворяющих (5.2).
Другими словами, если управление w(-) E U глобально оптимально в задаче ('P) (2.1)—(2.3), то выполнено семейство принципов Понт-рягина (5.15)—(5.16), зависящих от y(-), вместо только одного ПМП (5.13)-(5.14), зависящего от (z(-),w(-)), z(t) = x(t,w).
Теперь продемонстрируем, как с помощью казалось бы полностью теоретического результата, с использованием Теоремы 2 можно построить метод, который будет использовать также и принцип Понтрягина (также теоретический результат).
Пусть известно некоторое текущее управление us(-) E U, xs(t) = x(t,us), s = 0,1,2,____Текущий процесс (xs(-),us(•)) согласно неравенству (5.3) в силу замечания 2 порождает следующую линеаризованную задачу (см. (PL(y))-(5.4)) при y(-) = xs(-)
(PLS): Is(u)= gi(x(ti,u)) — {h[(xs(ti)),x(ti,u)) +
+ [g(x(t,u),u(t),t) -{h'(xs (t),t),x(t,u))]dt l min, u EU. (5.17)
J u
T
Тогда в качестве следующего управления us+1 (■) EU (xs+l(t)=x(t, us+1), t E T) будем выбирать управление, удовлетворяющее принципу максимума Понтрягина (5.13)-(5.14) (при w(t) = us+1(t), z(t) = xs+1(t), t E T), но с определенной точностью, т.е.
г
H(x8+\t),u8+1(f)Mt),t) - —<
t1 — t0
< minH(xs+1(t),v,^s(t),t), (5.18) где фs(t) — решение сопряженной системы (см. (5.14))
ijjs(t)= —фs№s+1 [t] — g'(xs+1 (t),us+1 (t),t)+h'(xs(t),t) Vt E T, \ (5 19) фs(tl)= g[ (xs+1(t1)) — h1(xs(t1)), I
где Щ = ——(£),£), г,] = 1 ,п. Обратим внимание, что ■ дх■
в условиях (5.18) и (5.19) присутствуют как индексы в, так и в + 1 (см. задачу ^£^-(5.17)).
Тогда справедливы следующие результаты (см. [22; 23; 24]).
Теорема 3. а) последовательность управлений {и5(-)} С и, сгенерированная правилом (5.18)-(5.19) с дополнительным условием
<х
■J.s
Ss > 0, s = 0,1, 2,..., Ss < удовлетворяет следующему условию
s=0
lim min AvHs[t] = 0 Vt E T, (5.20)
sveu
то есть удовлетворяет в пределе принципу Понтрягина.
б) Числовые последовательности {J(us)} и {Is(us)} сходятся.
в) Если функции x ^ h\(x), x ^ h(x,t), t £ T сильно выпуклы, то последовательность состояний {xs(t) = x(t,us)}, t £ T, сходится в следующем смысле
xs(ti) ^ x\ £ Rn, (5.21)
xs(■) ^ x*(■) в L2(T). (5.22)
Замечание 6. Нетрудно видеть, что сходимость в смысле (5.20) фактически равносильна сходимости в смысле невязки ПМП
ß(us) = ßs = Hs[t] dt, lim ßs = 0. (5.23)
J s^x
T
В то же время, сходимость в смысле (5.21) и (5.22) является оригинальной и более сильной и точной с точки зрения оценок поведения системы управления (2.1)—(2.2) во время применения метода локального поиска (5.18)-(5.19). Применение Теоремы 2 для построения методов глобального поиска рассмотрены в работах [22; 23; 24], а также в последующих публикациях.
Думается, что эти новые подходы открывают широкие перспективы построения новых методов оптимального управления, использующих принцип Понтрягина и развивающих идеи школы О.В. Васильева.
Список литературы
1. Васильев О. В. Лекции по методам оптимизации / О. В. Васильев. - Иркутск : Изд-во Иркут. ун-та, 1994. - 344 с.
2. Васильев О. В. Об одном методе решения задач оптимального управления, основанном на принципе максимума / О. В. Васильев, А. И. Тятюшкин // Журн. вычисл. математики и мат. физики. - 1981. - Т. 21, № 6. - С. 1376-1384.
3. Методы решения задач математического программирования и оптимального управления / Л. Т. Ащепков, Б. И. Белов, В. П. Булатов, О. В. Васильев, В.
A. Срочко, Н. В. Тарасенко. - Новосибирск : Наука, 1984.
4. Васильев Ф. П. Методы оптимизации / Ф. П. Васильев. - М. : Факториал Пресс, 2002. - 824 с.
5. Габасов Р. Ф. Оптимизация линейных систем / Р. Ф. Габасов, Ф. М. Кириллова. - Минск : Изд-во Белорус. ун-та, 1973. - 246 с.
6. Габасов Р. Принцип максимума в теории оптимального управления / Р. Габасов, Ф. М. Кириллова. - Минск : Изд-во Белорус. ун-та, 1974. - 271 с.
7. Гирсанов И. В. Лекции по математической теории экстремальных задач / И.
B. Гирсанов. - М. : Изд-во Моск. ун-та, 1970. - 116 с.
8. Крылов И. А. Алгоритм метода последовательных приближений для задач оптимального управления / И. А. Крылов, Ф. Л. Черноусько // Журн. вычисл. математики и мат. физики. - 1972. - Т. 12, №1. - С. 14-34.
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
Лионс Ж.-Л. Оптимальное управление системами, описываемыми уравнениями с частными производными / Ж.-Л. Лионс. - М. : Мир, 1972. - 416 с.
Любушин А. А. Модификация и исследование сходимости метода последовательных приближений для задач оптимального управления / А. А. Любушин // Журн. вычисл. математики и мат. физики. - 1979. - Т. 19, №6. - С. 1414-1421.
Любушин А. А. О применении модификаций метода последовательных приближений для решения задач оптимального управления / А. А. Любушин // Журн. вычисл. математики и мат. физики. - 1982. - Т. 22, №1. - С. 30-35. Любушин А. А. Метод последовательных приближений для расчета оптимального управления / А. А. Любушин, Ф. Л. Черноусько // Изв. АН СССР. Техн. кибернетика. - 1983. - №2. - С. 147-159.
Математическая теория оптимальных процессов / Л. С. Понтрягин, В. Г. Болтянский, Р. В. Гамкрелидзе, Е. Ф. Мищенко. -3-е изд. - М. : Наука, 1976. -392 с.
Срочко В. А. Вариационный принцип максимума и методы линеаризации в задачах оптимального управления / В. А. Срочко. - Иркутск : Изд-во Иркут. ун-та, 1989. - 160 с.
Срочко В. А. Итерационные методы решения задач оптимального управления / В. А. Срочко. - М. : Физматлит, 2000. - 160 с.
Срочко В. А. Линейно-квадратичная задача оптимального управления: обоснование и сходимость нелокальных методов решения / В. А. Срочко, Е. В. Аксенюшкина // Изв. Иркут. гос. ун-та. Сер. Математика. - 2013. - Т. 6, № 1. - С. 89-100.
Срочко В. А. Улучшение экстремальных управлений и метод скорейшего подъема в задаче максимизации нормы на множестве достижимости / В. А. Срочко, С. Н. Ушакова // Журн. вычисл. математики и мат. физики. - 2010. -Т. 50, №5. - С. 848-859.
Стрекаловский А. С. Элементы невыпуклой оптимизации / А. С. Стрекалов-ский. - Новосибирск : Наука, 2003. - 356 с.
Стрекаловский А. С. Максимизация выпуклого по состоянию функционала Лагранжа в оптимальном управлении / А. С. Стрекаловский // Автоматика и телемеханика. - 2012. - № 6. - С. 18-33.
Стрекаловский А. С. Задачи оптимального управления с терминальными функционалами, представимыми в виде разности двух выпуклых функций / А. С. Стрекаловский // Журн. вычисл. математики и мат. физики. - 2007. -Т. 47, № 11. - С. 1865-1879.
Стрекаловский А. С. Биматричные игры и билинейное программирование /
A. С. Стрекаловский, А. В. Орлов. - М. : Физматлит, 2007. - 224 с. Стрекаловский А. С. Глобальный поиск в одной невыпуклой задаче оптимального управления / А. С. Стрекаловский, М. В. Янулевич // Изв. РАН. Теория и системы управления. - 2013. - Т. 52, № 6. - С. 52-67.
Стрекаловский А. С. К решению невыпуклых задач оптимального управления с терминальным целевым функционалом / А. С. Стрекаловский, М.
B. Янулевич // Вычисл. методы и программирование. - 2010. - Т. 11. -
C. 269-280.
Стрекаловский А. С. Глобальный поиск в задаче оптимального управления с целевым терминальным функционалом, представленным разностью двух выпуклых функций / А. С. Стрекаловский, М. В. Янулевич // Журн. вычисл. математики и мат. физики. - 2008. - Т. 48, № 7. - С. 1187-1201.
25. Тятюшкин А. И. Многометодная технология оптимизации управляемых систем / А. И. Тятюшкин. - Новосибирск : Наука, 2006. - 343 с.
26. Черноусько Ф. Л. Оценивание фазового состояния динамических систем / Ф. Л. Черноусько. - М. : Наука, 1988. - 320 с.
27. Черноусько Ф. Л. Методы управления нелинейными механическими системами / Ф. Л. Черноусько, И. М. Ананьевский, С. А. Решмин. - М. : Физматлит, 2006. - 328 с.
28. Черноусько Ф. Л. Вариационные задачи механики и управления. Численные методы / Ф. Л. Черноусько, Н. В. Баничук. - М. : Наука, 1973. - 240 с.
29. Черноусько Ф. Л. Игровые задачи управления и поиска / Ф. Л. Черноусько, А. А. Меликян. - М. : Наука, 1978. - 270 с.
30. Chernousko F. L. Method of successive approximations for optimal control problems / F. L. Chernousko, A. A. Lyubushin // Optimal Control Applications and Methods. - 1982. - Vol. 3, N 2. - P. 101-114.
31. Clarke F. Optimization and Nonsmooth Analysis / F. Clarke. - 2nd ed. -Philadelphia : SIAM, 1990.
32. Hiriart-Urruty J.-B. Convex Analysis and Minimization Algorithms / J.-B. Hiriart-Urruty, C. Lemarechal. - Berlin, N. Y. : Springer-Verlag, 1993.
33. Hiriart-Urruty J.-B. Generalized differentiability, duality and optimization for problem dealing with difference of convex functions / J.-B. Hiriart-Urruty // Convexity and Duality in Optimization / J. Ponstein (ed.). - Berlin : SpringerVerlag, 1985. - Vol. 256. - P. 37-69.
34. Kelley H. J. Successive approximation techniques for trajectory optimization / H. J. Kelley, R. E. Kopp, H. G. Moyer // Proc. of Symp. on Vehicle System Optimization. - N. Y., 1961.
35. Mordukhovich B. S. Variational Analysis and Generalized Differentiation. I: Basic Theory. II: Applications / B. S. Mordukhovich. - Berlin : Springer, 2006.
36. Nocedal J. Numerical Optimization / J. Nocedal, St. Wright. - 2nd edn. - N. Y. : Springer, 2006.
37. Strekalovsky A. S. Global Optimality Conditions for Optimal Control Problems with Functions of A. D. Alexandrov / A. S. Strekalovsky // Journal of Optimization Theory and Applications. - 2013. - Vol. 159, N 6. - P. 297-321.
38. Strekalovsky A. S. On Global Maximum of a Convex Terminal Functional in Optimal Control Problems / A. S. Strekalovsky // J. Global Optimization. -1995. - Vol 7, № 1. - P. 75-91.
39. Strekalovsky A. S. On Computational Search for Optimistic Solution in Bilevel Problems / A. S. Strekalovsky, A. V. Orlov, A. V. Malyshev // J. Global Optimization. - 2010. - Vol. 48, N 1. - P. 159-172.
40. Vasiliev O. V. Optimization Methods / O. V. Vasiliev. - Atlanta : World Federation Publishers Company Inc., 1996.
Стрекаловский Александр Сергеевич, доктор физико-математических наук, профессор, заслуженный деятель науки РФ, Институт динамики систем и теории управления СО РАН, 664033, Иркутск, ул. Лермонтова, 134 тел.: (3952)453031 (e-mail: [email protected])
A. S. Strekalovsky
Modern Methods for Solving Nonconvex Optimal Control Problems
Abstract. The paper presents a few remarks on the evolution of Irkutsk's school of O. V. Vasiliev on optimal control methods based on Pontryagin principle. Besides, one reviews some features of Pontryagin principle, in particular, its sufficiency and constructive property for linear (on the state) control systems and convex cost functionals. Further, some historical notes on the development of optimal control methods based on Pontryagin principle are considered. In particular, a separated attention has been paid to the impact of Irkutsk school of O. V. Vasiliev in the theory and method of optimal control, and the achievements of the former postgraduate student of O. V. Vasiliev professor V. A. Srochko. The mathematical presentation is concentrated on the story of the invention and investigations of the convergence and substantiation of the consecutive approximate's method based on Pontryagin principle. In addition, one considers new Global Optimality Conditions in a general nonconvex optimal control problem with Bolza goal functionals. Moreover, together with the necessity proof of global optimality conditions we investigate its relations to Pontryagin principle. Besides, the constructive (algorithmic) property of new optimality conditions is also demonstrated, and an example of nonconvex optimal control problems has been solved by means of global optimality conditions. In this example, we performed an improvement of a feasible control satisfying Pontryagin principle with a corresponding improvement of the cost functional. Finally, employing Pontryagin principle and new Global Optimality Conditions we give a demonstration of construction of a optimal control method and provide for new result on its convergence.
Keywords: Pontryagin principle, optimal control methods, global optimality conditions.
References
1. Vasiliev O. V. Lections on Optimization Methods (in Russian). Irkutsk, ISU Publ., 1994.
2. Vasiliev O.V., Tyatyushkin A.I. A method for solving optimal control problems based on the maximum principle. USSR Computational Mathematics and Mathematical Physics, 1981, vol. 21, no 6, pp. 14-22.
3. Ashchepkov L.T., Belov B.I, Bulatov V.P., Vasiliev O.V., Srochko V.A., Tarasenko N.V. Method for solving problems of mathematical programming and optimal control (in Russian). Novosibirsk, Nauka, 1984.
4. Vasiliev F.P. Optimization methods (in Russian). Moscow, Factorial Press, 2002.
5. Gabasov R.F., Kirillova F.M. Linear system optimization (in Russian). Minsk, Belorussian University, 1973.
6. Gabasov R., Kirillova F.M. Maximum principle in optimal control theory (in Russian). Minsk, Belorussian University, 1974.
7. Girsanov I.V. Lectures on mathematical theory of extremal problems (in Russian). Moscow, MSU Publ., 1970.
8. Krylov I.A., Chernous'ko F.L. An algorithm for the method of successive approximations in optimal control problems. USSR Computational Mathematics and Mathematical Physics, 1972, vol. 12, no. 1, pp. 14-34.
9. Lions J.-L. Optimal control of systems described by partial differential equations. Heidelberg, Springer, 1971.
10. Lyubushin A.A. Modifications and convergence of successive approximations for optimal control problems. USSR Computational Mathematics and Mathematical Physics, 1979, vol. 19, no. 6, pp. 53-61.
162
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Lyubushin A.A. Modifications of the method of successive approximations for solving optimal control problems USSR Computational Mathematics and Mathematical Physics, 1982, vol. 22, no. 1, pp. 29-34.
Lyubushin A.A. and Chernous'ko F.L. Method of successive approximations for calculating optimal control (in Russian). Izv. Akad. Nauk SSSR, Tekh. Kibern., 1983, no. 2, 147-159.
Pontryagin L.S., Boltyanskij V.G., Gamkrelidze R.V., Mishchenko E.F. Mathematical theory of optimal processes. New York, Interscience Publishers, John Wiley and Sons, 1962.
Srochko V.A. Variational maximum principle and linearization methods for optimal control problems (in Russian). Irkutsk, ISU Publ., 1989. Srochko V.A. Iterative methods for solving optimal control problems (in Russain). Moscow, Fizmatlit, 2000.
Srochko V.A., Aksenyushkina E.V. Linear-quadratic problem of optimal control: justification and convergence of nonlocal methods (in Russian). Izvestia IGU, Ser. Matematika, 2013, vol. 6, no. 1, pp. 89-100.
Srochko V.A., Ushakova S.N. Improvement of extreme controls and the steepest ascent method in the norm maximization problem on the reachable set. Computational Mathematics and Mathematical Physics, 2010, vol. 50, no. 5, pp. 848-859
Strekalovsky A.S. Elements of nonconvex optimization (in Russian). Novosibirsk, Nauka, 2003.
Strekalovsky A.S. Maximizing a state convex lagrange functional in optimal control. Automation and Remote Control, 2012, vol. 73, no. 6, pp. 949-961. Strekalovsky A.S. Optimal control problems with terminal functionals represented as the difference of two convex functions. Computational Mathematics and Mathematical Physics, 2007, vol. 47, no. 11, pp. 1788-1801.
Strekalovsky A.S. Bimatrix games and bilinear programming (in Russian). Moscow, Fizmatlit, 2007.
Strekalovsky A.S., Yanulevich M.V. Global search in a noncovex optimal control problem. Journal of Computer and Systems Sciences International, 2013, vol. 52, no. 6, pp. 893-908.
Strekalovsky A.S., Yanulevich M.V. On solving nonconvex optimal control problems with terminal objective functional (in Russian). Numerical methods and programming, 2010, vol. 11, pp. 269-280.
Strekalovsky A.S., Yanulevich M.V. Global search in the optimal control problem with a terminal objective functional represented as the difference of two convex functions. Computational Mathematics and Mathematical Physics, 2008, vol. 48, no. 7, pp. 1119-1132.
Tyatyushkin A.I. Multitechnique Technology for optimization of control systems (in Russian). Novosibirsk, Nauka, 2006.
Chernous'ko F.L. State estimation for dynamic systems, Florida, Boca Raton, CRC Press, 1994.
Chernous'ko F.L., Ananievski I.M., Reshmin S.A. Control of nonlinear dynamical systems: methods and applications. New York, Springer, 2008. Chernous'ko F.L., Banuchuk N.V. Variational problems of mechanics and control (in Russian). Moscow, Nauka, 1973.
Chernous'ko F.L., Melikyan A.A. Game problems of search and control (in Russian). Moscow, Nauka, 1978.
Chernousko F.L., Lyubushin A.A. Method of successive approximations for optimal control problems. Optimal Control Applications and Methods, 1982, vol. 3, no. 2, pp. 101-114.
31. Clarke F. Optimization and nonsmooth analysis. 2nd edn. Philadelphia, SIAM, 1990.
32. Hiriart-Urruty J.-B., Lemarechal C. Convex analysis and minimization algorithms. Berlin, New York, Springer-Verlag, 1993.
33. Hiriart-Urruty J.-B. Generalized differentiability, duality and optimization for problem dealing with difference of convex functions. In: Ponstein J. (ed.) Convexity and Duality in Optimization, vol. 256. Berlin, Springer-Verlag, 1985, pp. 37-69.
34. Kelley H.J., Kopp R.E., Moyer H.G. Successive approximation techniques for trajectory optimization. Proc. of Symp. on Vehicle System Optimization, New York, 1961.
35. Mordukhovich B.S. Variational analysis and generalized differentiation. I: Basic Theory. II: Applications. Berlin, Springer, 2006.
36. Nocedal J., Wright St. Numerical optimization. 2nd edn. New York, Springer, 2006.
37. Strekalovsky A.S. Global optimality conditions for optimal control problems with functions of A.D.Alexandrov. Journal of Optimization Theory and Applications, 2013, vol. 159, no. 6, pp. 297-321.
38. Strekalovsky A.S. On global maximum of a convex terminal functional in optimal control problems. J. Global Optimization, 1995, vol. 7, no. 1, pp. 75-91.
39. Strekalovsky A.S., Orlov A.V., Malyshev A.V. On Computational Search for optimistic solution in bilevel problems. J. Global Optimization, 2010, vol. 48, no. 1, pp. 159-172.
40. Vasiliev O.V. Optimization methods. Atlanta, World Federation Publishers Company Inc., 1996.
Strekalovsky Alexander Sergeevich, Doctor of Sciences (Physics and Mathematics), Professor, Honored Scientist of Russian Federation, Institute for System Dynamics and Control Theory of the Siberian Branch of Russian Academy of Sciences, 134, Lermontov st., Irkutsk, 664033 tel.: (3952)453031 (e-mail: [email protected])
