CC BY
432
ISS.NI 1810-0198 Вестинк I ГУ. т. I !■>, вып. "2, 201 1
УДК Г) 17.Г,
ОСНОВНЫЕ ПРИНЦИПЫ ТЕОРИИ ЭКСТРЕМУМА
© В. М. Тихомиров
Ключевые слова.: гладкость; выпуклость; принцип Лагранжа; выпуклая двойственность; компактное!!..
Статья посвящена некоторым принципам теории экстремума: Ферма и Лагранжа в необходимых условиях. Гамилт.тотта в достаточных условиях, двойственности в теории выпуклости, а также некоторым общим идеям и теории существования и конструировании алгоритмов оптимизации.
В статье приводятся осиоииые положения моего доклада на заседании международной конференции «Колмоюровские чтения. 011У-2013». посвященном памяти А.И. Булгакова.
В этом докладе мне хотелось бы подвести некоторые итоги моей деятельности в теории экстремума.
Основные разделы теории:
- теория глад к их задач;
- вариационное исчисление;
- теория выпуклых и ляпуновекпх задач:
- теория оптимального управления.
Роль теории экстремума и математике и ее приложениях
вариационное исчисление лежит в основании математического естествознания, теория оптимального управления в основании управлен ия динамическими системами, а теория выпуклости в основании математической экономики.
Структура теории
Основными главами теории экстремума являются:
- база теории, состоящая из исчислений (дифференциальною и выпуклого исчисления, а также исчисления дифференциальных уравнений)
- необходимые, условия экстремума
-устойчивость решений и достаточные условия экстремума
- теория существован ия, релисн и й
-алгоритмы оптимизации.
Зародыши основных идей доклада содержались 15 нашей совместной с А.Д. Иоффе монографии [I]. написанной сорок лет тому назад. В этой монографии была сделана попытка осмыслить всю историю экстремума с неких обптих позиций.
Необходимые условия экстремума. Принцип Лагранжа
Когда величина, является максимальном или минимальном, и этот момент она не течет ни назад яп вперед. И. Ньютон
Эта идея была аналитически оформлена Ферма. Ньютоном и Лейбницем. Назовем ее принципом Ферма.
/д ли ищется максимум или минимум некоторой функции многих переменных при условии, что между этими переменными имеется связь, задаваемая одним или несколькими уравнениями, нужно прибавить к функции, о которой говорилось, функлии. задающие уравнения связи.
умноженные на неопределенные множители, и искать зачем максимум и минимум построенной суммы, как если бы переменные были независимы. Полученные уравнения, присоединенные к уравнениям связи, послужат для определения всех неизвестных. Ж.-Л. Лагранж
Необходимые условия экстремума (т. е. минимума иди максимума) со времен Ферма и Лаграпжа и до наших дней в задачах, где воедино слиты гладкая и выпуклая структуры и присутствует некая «невырожденность», соответствуют одному общему принципу принципу Лаграпжа снятия ограничений.
Принцип Лаграпжа заключается в том, что и задачах с ограничениями с гладкой и/или выпуклой (мруктурои для выписывания необходимого условия экстремума, следует составить т. и. функцию Лагщнжи, включающую н себя ограничения, и применить к ней принцип. Ферма необходимые условиям экстремума в более простои задаче в задаче на экстремум функции Лагранжа, «как если бы переменные были независимы».
Роль выпуклости в теории экстремума во многом связана с феноменом выпуклости, вызванной интегрированием. В конечномерном случае знаменательным подтверждением этого феномена может служить георема А. А. Ляпунова |2|. Нот ее формулировка.
Пусть д это сегмент на прямой Ш , «(•) (í<i(-)?-■-За ( )) интегрируемая вектор-функция, А а -алгебра измеримых по Лебегу множеств. Тогда образ отобраэюеиия A i—> iJ'4ñ(t)dt (т. с. mh.onicc.cmoo А/ {.т€М"' | J'4ñ(t)dt. AsA} ) выпуюмй компакт в Ел' .
Это лишь один из фактов, подтверждающих феномен выпуклости,., который несколько вольно можно выразить так: интегральные операторы, определенные па пространствах е непрерывной мерой, имеют выпуклые ила «'почти выпуклые» образы ( такой «почти выпуклостью» обладают отображения классического вариационного исчисления и оптимального управления).
В конце тридцатых и в сороковые годы началось интенсивное развитие ветви, занимающей промежуточное положение между математическим апатизом и геометрией, получившей название выпуклого анализа. Это развитие было во многом стимулировано рождением линейного программирования, возникшего в трудах Канторовича Л.Н. по математической экономике, начавшихся с работы Канторович . I.H. Математические методы организации и планирования производства. -I: Изд-во ЛГУ. 1939. Возрождение выпуклого анализа (некоторые начальные разделы его возникли еще в XIX веке), во многом связано с появлением работы В. Фенхеля 1951 г. |3].
Придадим высказанной выше эвристической идее, названной принципом Лаграпжа, форму математического результата.
Принцип Лаграпжа для гладко-выпуклых задач
Требования гладкости в формулируемой далее теореме выражаются через два понятия дифференциального исчисления (относящегося к базе теории).
Пусть X и Y нормированные пространства, V С Л' окрестность точки $ € А' и Г :V —*Y . Говорят, что отображение /'' дифференцируемо (по Фреше) 11] о точке х (и пишут /''€ 1У{х)). если существует линейный непрерывный оператор А : А' —*■ Y такой, что для любого г > 0 найдется число ó > 0. для которого
\\x-x\lx < л =ф ii/<-(*) - 1<(х) - л(.т -x)\\y < е||;г-.г||х.
Оператор Л , входящий в эту формулу, называется производной отобрпмслпня /•' в нючке х. К го обозначают F'{x).
Говорят, что отображешк; F строго дифференцируемо в точке х (и пишут F е SD1 (х) ), если /*'€ О'(?) и для любого с >0 иайдегем число д*>0, для которого из — <6 и ||л* — Х\\х < $ следует неравенство Ц/'XO — 1' {х) — А(£ — a:)||v < — а;||л (эччэ определение принадлежит К. . 1нчу: Leach К. Г гос. Л .VIS. V. 12 (1961). Г. 691-697).
ISSN 1810-0198 Всгтник I ГУ. т. I 9, вып. "2, 201 1
Теперь можно переходить к формулировке теоремы.
Теория необходимых условий опирается далее у нас на два результата: теорему. 1юстерника fr»J (т. е. в конечном счете теорему о неявной функции) из дифференциального исчисления и теорему отделимости из теории выпуклости. Теорема отделимости порождает принцип двойственности выпуклых объектов, согласно которому выпуклые множества функции и задачи допускают двойное описание (в основном и двойственном пространстве).
Пусть X и Y нормированные пространства, U. некоторое множество, V с Л' окрестность точки х, /о : W —► R и F\Vx.U—>Y . Рассмотрим задачу:
/о(аг) mili; F{x, и) = 0. (Р)
Далее па /о и F накладываются требования гладкости по х и выпуклости по и, и пегому задачу (/') с такими условиями мы называем гладко-выпуклой.
Необходимое условие экстремума в задаче без ограничений
Если ограничение! F = 0 в задаче; отсутствует, задача (Р) называется задачей без ограничений. Имеет место следующее предложение
Если в задаче (Р) без ограничений точка х доставляет локальный экстремум и в этой точке /о дифференцируема, то /('(;г) 0.
Этот результат часто называют теоремой Ферма.
Первое общее правило исследования задач на экстремум содержится в письме Форма Декарту (1638) [0]. Оно было переведено на язык математического анализа Ньютоном и Леибни-
('уть дела замечательно выразили Кеплер, Ферма и Ньютон.
Кеплер (вычислитель): Вблизи максимума и минимума изменения несущественны [7J.
Ферма (аналитик): В точке экстремума линейная аппроксимация нулевая [б|.
Ньютон (остоствоисиытатсль): Когда величина является максимальной или минимальной, в этот момент она не чечет ни назад пи вперед. (Ныотон И. Метод флюксий и бесконечных рядов. Ньютон И. Математические работы. М.: УРСС, 2012. С. 73.).
Необходимое условие в задачах с ограничениями
Пара (:?, «•) называется (сильным) локальным минимумом в задаче (Р), если существует такое число í>(). что /о(.т) >/о(-7') Л'141 всякой нары (лун), для которой F(x,u) = 0 и
Функцию Лагранжа задачи (Р) определим равенством
£((.г.м), А) До/о (.г) I (A. F(x. и)),
где А = (А(ь A)eRx Y* (Y* — пространство, сопряженное к Y ) — набор мноз/ситпелей Лагранжа. Имеет место следующий результат:
Принцип Лагранжа для гладко-выпуклых задач |1]. Пусть выполнены следующие условия: а) X и Y банаховы щюстртства (условие полноты). Ь) /о€ Dl{x) , а отображения ;Г1—* F{x.u) принадлежат SI)1 (if) V« ЕU. (условия гладкости), с) множества F(x.U) выпуклы в Y V.r € V (условие выпуклости), d) подпространство Fx('x, и)Х замкнуто a Y и имеет конечную коразмерность (условие слабой регулярности). Тогда, если пара (IF. и) доставляет локальный минимум в задаче (Р) , то существует такой ненулевой набор множителей Лагршжа A (Aq.A) , что для задачи (/') выполнены условие стационарности:
С.Л(х, и). А) = 0 A„/¿(.t) I F:r(x, и))*у* = 0, (1)
и принцип, минимума
mili £((.?. и), А) £((.г\ и). А) тт(у*. F{x. и)} 0.
(2)
Соотношения (I) и (2) находятся в соответствии с принципом . 1агранжа, о котором говорилось выше: условие стационарности это не что иное, как применение теоремы Форма к задаче С((х, и)Х) —> min. а принцип минимума есть просто тавтологическое условие минимальности у I—s- (Л, у —► при у € F(x, и), и € U.
Доказательство fis ел у чае. когда: /•',(.)•. »)Л* Y ). I |усть и € 14 и £ таковы, что
/•:,(.r. «)* | /••(?,«) о. (/)
Положим Ф(.г, а) ( I — n)F(x | .г,«) | «/•'(•? I х,н). Дифференцируя (с использован нем условия гладкости). иолучаем:
Ф'(0.0)[.т. «1 = Fr{x, S).t I n/"(ir. u). (•//)
Из (г) и (ii) следуег, что (£,!)€ КсгФ'(0.0). и тогда, применив теорему Люстсрника, получаем, что
<m + r(t)J + p(t)) О, /| < У. ||r(0|Lv oil), 1/9(01 0(1). Это соотношение можно переписать так:
(I -<>.(/))/••(.? I ,Г(/). й) I о(/)/'';.г I .?-(/(/) 0. (ш)
где «(/■)=/ I /;(/,), x(l) =х I I r(i). Используя условие выпуклости. найдем такой элсмсит
«•(/■) , ДЛЯ КОТОрОГО
F(x(l),u(l)) (\-a(l))F(x(l),ii) + a(l)r(x(l),u) 0. |/| <(ге)
Это означает, ч то (х(1), «(/•)) допустимый элемен т, и значит,
f(x(t)) fix I I /-(/)) > f(x) (f'(:?).' 0. (Г)
Пусть теперь € Ker/''„(.?,«). Тогда, положив в (г) и и. получим, что (/) выполнено, и значит, в силу (с), (f'(x)..Ç—>>0. IIo — £ также принадлежит Kerf]* (а?, 2), откуда {/'(.?),£—><() и значит, (f'(x),Ç —»= 0, т. e. f'(x) е (КогРг(:?.S))1-. По следствию теоремы отделимости (о ядре регулярного оператора), существует -гакой элемент À€ У*, что f'(x) + + F*(x,u)X 0, а это не что иное, как условие стационарности для функции JI а гран жа. 11усть теперь v€U и £(t?) таковы, что /'*(а\ «)£(»?) I F(x,v) 0. Действуя линейным функционалом /'(.г) | F*(xJi)X на £(?0 и используя (г) и условие стационарности, приходим к условию минимума:
(Л,F{x, v) -►= ~{X.Fx(%mv) -»= ~(F*{x,Û)A,Ç(i') ->= <№),£(*) 0,
т. e. /($) + (Л, /•'(?, t?) -»>/(?), и значит, в силу того, что F(x, и) 0, получаем, что £(х, г, А) > > £(х,и,Х). □
Принцип Лаграпжа для конкретных классов задач
Следствие 1 (принцип Лагранжа для гладких задач). Если о задаче
Jo(x) -> min. Мх) < 0. 1 < i < m, f(x) = 0 (P, )
функции и отображение определены в окрестности некоторой точки х банахова пространства X , являются строго дифференцируемыми в этой точке, и 'при этом отображение Т определено в той же. окрестности, тпобрпжлст ее. в банахово пространство У и при этом
ISSN 1810-0198 Всгтник IГУ. т. 19, вып. "2, 201 1
T'(x)X является замкнутым подпространством в Y , тогда, если в точке х достигается локальный ,минимум, то найдется набор .множителей Лагранжа А (Ао,..., Ат. А) G К'" х
_ т
х У* . такой, что для функции Лагранжа, С(х, А) Xifi{x) I (А. Т(х)—► выполнены условия
_ г 0
стационарности: Сх(х. Л) 0, неотрицательности: Л, > 0, г > О и дополняющей иежсстко-сти: АifiXx) = 0. г > 1.
Для доказательства следует применить гладко-выиукльш принцип к задаче (Р), и которой Г(х, и) (Д (х) + «ь..., /,„ (а?) + «,„: Л а')), U Rf*.
При этом сам результат можно сформулпро ват ь так: необходимое условие минимума в задач,с (1'\) находится в соответствии с принципом Лагранжа.
Отметим, что для доказательства следствия 1 достаточно использовать лишь доказанный ослабленный вариант гладко-выпуклого принципа: если f*(x)X, то надо применить теорему отделимости, а в регулярном случае надо последовательно присоединят]» к Т (применяя теорему о неявной функции) или отбрасывать функции /¿, г > 1 .
Следствие 2 (принцип Лагранжа для выпуклых задам). Если в зада.ч.е
/о(х) > НИН. /,(.г) < 0, 1 < i < ш', fi(x) = 0, г > m' (Р2)
функции fi при г < m выпуклы, и их значения точке х конечны, а функции г > т' аффин-ны., и при, зтом в х достигается, абсолютных), минимум в задаче (¡'¿), то найдется набор множителей Лагранжа А = (Ао,.... Хт) £ Rm . такой, что для функции Лагранжа С(х, А) =
т. _ _
= Xifi(x) выполнены условия минимума: iniiiL(.T. А) = Ь(х. А), неотрицательности: А»>
¿-О
> 0, 0 < г < т' и дополняющей псжесткости: \if%(x) = 0, 1 < г < т'.
Для доказательства следует применить гладко-выпуклый принцип к задаче (Р), в которой Г(х,и) (Л (я) + «i,..., ¡,п И + и,п, Г{х)), U Rfl х ,4 .
При этом сам резулыаг можно сформулировать так: необходимое условие минимума в задаче (/'2) находится в соответствии с принципом, Лагранжа.
Принцип исследования гладких конечномерных задач с равенствами был впервые высказан Лагранжем (в приводившейся выше; цитате) в 1797 г. |8], и получил название пришла множителей Лагранжа. Правило множителей .Лагранжа и банаховом случае для задач с равенствами было доказано . I.A. Дюстерником в 1934 г. |5|, а общий результат (следствие 1) был впервые получен А.Я. Дубовипким и Л.Д. .Милютиным в 1905 г. [9].
Следствие 2 было доказано Карутпем в 1939 г. |10], но осталось незамеченным. Оно было передоказапо и вошло в обиход развивавшейся тогда теории выпуклости Куном и Таккером в 1951 г. |11|.
Принцип Лагранжа для задач вариационного исчисления и оптимального управления
Пусть А = [fo, /1 \, -оо < fo < i i < ос , U С Rr , U: А х Rn х Rr —> R , 0 < г < т , Ц: Ru х R" -> R, 0 < г < т , ¿:Ах R" xW -> R" , 5={£ = (.т(-), «(•))} , определим
Ш) j U(t, Hl). U(t)) dt I h(x(t.„).x(u)), 0 < * < m.
Задачу
MO min, fi(0 о, I < i < m. x ¿{l.x.u), u(i) € U. (h't,)
назовем задачей оптимального управления в понтрягинской форме. Задачу
ffo(«(-)) £ h(t,u(t))d.t min, u(t) e V
назовем элементарной задачей оптимального управления (или элементарной ляпуповской задачей).
Задачу оптимального управления в понтрягинекой форме будем рассматривать на множестве Т'С] (Д. М") х РС(А, К") кусеч по- непрерывно дифференцируемых х() и кусочпо-пепрерывпых и(-). Говорят, что пара (£"(•),«(•)) € /-'([''(Д. М") х /-'С* (Д, К") является оптимальным процессом в задаче (А'н) или доставляет задаче (А'з) сильный локальный минимум, если найдется число ~>0 такое, что для любой допустимой пары (•''(•).«(■)), для которой 1И0 -?( )11е:(ДЛ") <г, выполнено неравенство /о(.г(-). «( )) >«(•)) .
Если и = . задачу (Рл) называют задачей Лаграпжа классического вариационного исчисления. Задачу
МО = I Ь0(1.,х(1),и(1))й1 I /(:,И/„)..Г(/,)) > ПНИ д
называют элементарной задачей вариационного исчисления (или задачей Болъца). Сформулируем условия минимума в элементарных задачах.
a) Пусть «(•) кусочно-непрерывная функция на Д со значениями в Мг, а функция })■( ■, ■) непрерывна на Д х V . Тогда для того чтобы функция. «(•) доставляла абсолютный минимум в элементарной задаче оптимального ущшвленим. необходимо и достаточно, чтобы в любой точке / непрерывности ■«(•) выполнялось условие минимума 11(1,, и) >Н(1, и(1,)) Ум€ 17.
b) Пусть в задаче Кольца интегрант Ь является непрерывной функцией по совокупности переменных и непрерывно-дифференцируемой функцией по х и х в окрестности графика {(*,х(*),.г(£), |£€ Д} (где ,т() € С/(Д) ), а функция I непрерывно дифференцируема в окрестности точки (?(*<)), я?(*|)). Тогда сели функция ':?(■) доставляет слабый минимум задаче Вольца, то £.?■(•) £ С] ([/о, Ц]) и выполняется уритение Эйлера
-¿МО I МО о
и условия тщнсверемлытсти
М',0 (-1)^;. г 0,1,
где /:>(/) 1.г,1.х«)ЛУ))- = Х*«) = ^ОВД^СИ)), 1 = 0,1.
Функцию Лаграпжа задачи (Рл) определим равенством
™ I
С((х( ), ■«(■)), А) = ^ А,/г((.т( ), »•(•!!) I / р(1.) ■ (х(1.) - А1. х(1). и(1))д1 =
г 0 '
¿1
I Щ.:г(1)..Ю).и(ПШ | I(.7'(/с;.).х{11)). <0
где /,(/..г. ¡,(1.х.н) I р(1)-(х-^(1.х.и). 1.(1. :г. и) V А,/.,;(/. .г. 7,). а /(.г(/„). ,г(/,})
■г 0
т
А,/?(а'(/(|). х(1\)) (ограничение и(1)€1/ 1$ функцию Лаграпжа не вносится).
<-0
Следствие 3 (принцип Лаграпжа для задачи Лаграпжа и задачи оптимального управления). Если в задаче (/'*) выполнены требования гладкости, то необходимое условие минимума, в них находится в соответствии, с принципом Лаграпжа.
В задаче оптимального управления условии гладкости па и ^ состоят в том, что эти функции должны быть непрерывны но совокупности переменных и непрерывно дифференцируемы по х, а в задаче Лагранжа они должны быть непрерывно-дифференцируемы и по х и
ISSN 1810-0198 Всгтник IVW. т. В), вып. "2, 201 1
по и и окрестности Iрафика {(1,х(1), х(1). \1 € А}. а Ii должны быть непрерывно дифференцируемы в окрестности тонки (x(U)). x(t.\)).
Теперь остается лини» расшифровать формулировку следствия 3. Согласно принципу Лагранжа, надо рассмотреть две задачи:
£((а'( ). «(•). Л) —min и £((3?(-). и(-), А) —► min и ианисать для них необходимые условия минимума, «как если бы переменные были независимы».
Таким образом, если в точке (:?(•), й{ )) достигается соотвсмствующии локальный минимум в задаче (Из), то найдется отличный от нуля набор множителей Лаграпжа А (Ао,... ... .А т,р(-)), такой, что удовлетворяются условия неотрицательности ( А» > 0. ()<?'< т'), дополняющей неж<х:ткоети ( А¿/¿(4) 0. I <i<m') и. в соответствии с необходимыми условиями для задачи Больца, уравнения Эйлера-Лаграпжа по х():
/.,(/) I /,,(/) 0 > -р(0 1>Шг(1) - МО 0 (2а)
и условия трансверсальности
¡■Ali) /с- i 0.1 (26)
1 (еобходимое условие во второй задаче о минимизации функции Лаграпжа но «.(•) для задачи оптимального управления, в соответствии с необходимым условием для элементарной задачи оптимального управления, приводит к условию минимума:
min L(l, x(L),;?(/), и) 1(1), (3)
ii &'
а в задач«; Лагранжа задача о минимизации функции Лагранжа по «.(•) является задачей Вольпа и. в соответствии с необходимым условием для нее. приходим к уравнению Эйлера ио и:
L(t) о. {#)
.Аналог теоремы Ферма в вариационном исчислении (уравнение Эйлера) впервые получил Эйлер [121. Правило множителей Лаграпжа к задачам вариационного исчисления Лаграиж применял с самого начала своего творчества (см. например. [13]). Так возникли в вариационном исчислении уравнения Эйлера Лаграпжа (2а) и (3'). Условии трансверсальности (26) возникли с появлением других видов формализации задач вариационною исчисления (задач Майера, Во.ттьца и др.). Все это нашло отражение в первом фундаментальном учебнике по вариационному исчислению [11]. Бурное развитие вариационного исчисления в течение двух веков, начиная с работы Эйлера [12| до середины XX века, во многом было стимулировано тем, что многие законы природы являются следствием вариационных принципов. В середине XX века появилось оптимальное управление, включающее в себя вариационное исчисление, как часть. Родоначальником новой теории был 11онтряптн Л.С, который со своими учениками Болтянским В.Г., Гямкрелидзе Р.В. и Мищенко К.Ф. в 1901 г. выпустил монографию [15]. В ней уравнения Эйлера-Лаграпжа были доно шены условием (3)« получившим, совместно с (2а), название принципа максимума Понтрятиа.
Некоторые комментарии
1. О доказательствах. Вывод уравнений Эйлера Лагранжа для задачи Лягранжа вариационного исчисления но требует новых идей и методов: при достаточной гладкости условий в задаче Лаграпжа она становится гладкой задачей и справедливость принципа Лаграпжа вытекает из следствия 1. Задачи оптимального управления «линейные но фазе» редуцируются к л я и у и о вс к и м (т. е.. но сути дела, к выпуклым задачам) и принцип Лагранжа для них вытекает из следствия 2. Для вывода принципа максимума Понтрягина нужно чуть модифицировать
доказанный выше гладко-выпуклый принцип, в котором уел о line регулярности сочетается не с выпуклостью, а с «почти выпуклостью».
2. О конкретных задачах. Начиная с классической изо периметрической задачи, обсуждавшейся еще Аристотелем в V веке до п. э. но наши дни, было исследовано огромней; количество конкретных экстремальных задач (бездна геометрических задач на экстремум, аэродинамическая задача Ньютона, задача Керпулли о брахистохроне, задачи о неравенствах (которым посвящена монография Харди Литтлвуда Пойа, экстремальные задачи теории аппроксимации и т. д., и т. п.). Ьезуеловным мотивом создания теории экстремума является разработка средств для решения конкретных задач. По мнению докладчика (который демонстрировал это во многих своих книгах), подавляющее число «явно» решенных (без помощи компьютеров) конкретных задач решаемы методом Лаграпжа, который (при удачной формализации) приводит к разрешимым уравнениям. А если уравнения не решаются, то методы оптимизации при современной компьютерной технике позволят для почти всех задач получить (хотя бьт приближенный) ответ.
Устойчивость решений и достаточные условия экстремума
1 (еобходимое условие «первого порядка» дли минимума в точке х в гладкой задаче f(x) —*■ —»•min , состоящее и условии стационарности /'($') 0. было дополнено Ньютоном и J(ейбпицем условием «второго порядка» /»(,r)>0. 11ри этом условие />>(;?)>() является достаточным условием минимума и гарантирует устойчивость этого минимума при малых возмущени-
Пачальпые необходимые условия второго порядка в задачах вариационного исчисления были получены Лежацдром (условия Лежапдра) [I6J, по путь к достаточным условиям оказался достаточно далек. Для простейшей задачи вариационного исчисления этот вопрос был решен усилиями Гамильтона [17], Якобп [18] и Вейерпттраееа [19]. Фундаментальную роль в этом круп; вопросов играет следующая идея Гамильтона о том. что следует включать отдельную экстремаль в семейство (стали говорить — поле) экстремалей.
Посмотрим па эту идею с «общих позиций», рассмотрен задачу
f(x) —» min, F(x) 0, (1)
где / функция на гильбертовом пространстве Н\ , а /'' отображение из H \ в гильбертово пространство H 2 . Пусть £(,r, г/) f(x) I (г/, F(x) —» функция Лаграпжа задачи (1) (с Ао = 1 ). Рассмотрим «стандартное возмущение» задачи (1) :
/(*)-* min, F(x) = y. (2)
Теорема о поло экстремалей. Пусть производная F в точке х сюръектиьпа, существует множитель Лагра-нжа fj такой, что £., (:?, 'rj) 0 и при этом
£„,.(.?. ;'/.)|.г. .Г > n||.r||2 Vх е KerF'(x).
Тогда существуют окрестность WС.Щ точки Oe/Jj и отображение у^(х{у),у(у)), определенное па W , такие, что СТ(х\у). у(у)) = 0, я:(0) = г/(0) = ij и F(x(y)) = у.
Принцип компактности в теории существования
Одним из основных принципов доказательства теорем существования решения задач па экстремум является принпип компактности, когда, при выборе этого пространства функционал, (или его расширение) полунепрерывен снизу, а ограничение, компактно. При этом, существует убеждение, что почти каждая естественным образом поставленная задача имеет решение, возможно, в некоем естественном же обобщенном толковании этого ионячия.
Вторая часть нашего тезиса фактически является пересказом мысли Гильберта, высказанной им при формулировке его 22 проблемы, в которой обсуждались задачи вариационного
ISSN 1810-0198 Вестник I ГУ. т. 19, вып. "2, 2011
исчисления. «Я убежден, писал Гильберт, что доказательства существовании можно будет провести с помощью некоего основного положения, на которое указывает принцип Дирихле и который, вероятно, приблизит нас к вопросу о том, не допускает ли всякая регулярная вариационная задача решение, если в случае необходимости самому понятию решения придать расширенное толкование» |'20|.
«Основное положение», о котором говорит Гильберт, по-видимому, принцип компактности, согласно ко торому полунепрерывная на компакте функция достигает своего минимума, с которым естественно связать имена Вейерштрасса. Лебега и Ьэра.
Концепция Гильберта получила свое воплощение сначала в теории Топелли для одномерных задач вариационного исчисления, а затем в концепции Соболева СЛ., который начал создавать шкалу пространств специально приспособленных к задачам вариационного исчисления многомерных задач.
Некоторые принципы оптимизационных алгоритмов
Ввиду нехватки места лить перечисление некоторых методов численного решения задач на экстремум:
- методы «рационального» спуска решения гладких задач (например, метод градиента)
- прямые методы решения задач вариационного исчисления (например, методы Бубнова и Iалеркина)
- методы «отсечения» решения выпуклых задач (например, методы Л. Левина, эллипсоидов, Немпровекого Неетерава)
Заключение. В докладе я постарался представить то. что отношу к основным идеям и принципам теории экстремума (которые полезно знать всем). Их так немного, что я могу их здесь всех назвать. Это:
- принцип Ферма для задач без ограничений;
- принцип Лаграпжа для задач с ограничениями;
- идея Гамильтона о нолях экстремалей:
- принцип двойственности в выпуклом анализе;
- принцип компактности в теории существования;
- идеи рационального спуска, отсечений и штрафов в методах оптимизации.
Все это (в принципе) было известно и сорок лет тому назад. О принципах и идеях родившихся в последние годы (о которых полезно знать всем), должны рассказывать другие.
ЛИТЕРАТУРА
I. Иоффе А.Д., Тихомиров В.М. Теория экстремальных задач. М.: Паука. 1974.
'2. Ляпунов Л.Л. О вполис аддитивных функциях // Изв. АН СССР. Сор. матсм. 1910. Т. 1. X" 0. С. •!05-178.
3. b'cnchid W. Coiivcx Cônes, Sols anil l'uTiclioiis. Princeton luiv. Press. 1951.
4. Frèchet V. Sur la notion de dillereutielle Nouvelle annale de mathématique. 1912. Ser. 4. V. 12. P. 845.
5. Люстерник Л.Л. Об условтшх экстремумах фупкпиопаггов // Матсм. сб. 1031. Т. П. .»3. С 300-101.
6. P. de Fermât Oeuvres de Fermât. V. 1. P. Gauthier-Villars. 1891. Рус. пер. Ферма 11. Метод отыскания наибольших и наименьших значений. Декарт Р. Геометрия. Москва; Ленинград: Техтеорлит. 1938.
7. Кеплер И. Новая стороомотрия виппых бочок. Москва; Лотпптград: ГТТТТ, 1935. 300 с.
8. Lagrange J.L. Théorie des fonctions analytiques. P. 1797.
9. Дубооицкий Л.Я.. МилютинЛ.Л. Задачи па экстремум при паличии ограпичепий / ЖВМ и МФ. 1905. Т. 5. » 3. С. 395-153
10. Karush W.E. Miniina of functions oi several variables witli inequalitiea as side conditions. Univ. of Chicago Press, 1939.
II. Kuhn H.W., Tunke.r A.W. Nonlinoar programming // Bcrklcy. Univ. of California Press. 1051. P. 181-182.
12. tiultir Ij. Ylelliodus invcniondi lineas curvas niaxiini Tiiinirnivc propriolalo gaudcTilcs sive solulio problemalis isopormiclrici hilssimo soncu accopli. I.iViisnTiin1, 1711. I've. nop. Эй-Кф ..'I. Метод нахождения кривых линий... Москва: Ленинград: Гостехтеориздат, 1934.
1¡лиритр: J. Ij. Essai d'une nouvolle inelliodo pour determiner lc;s maxima i:l. los minima pcriales // Pclropolilanae, 1766. V. 10. P. 51-9-3.
I I. Kru'-кт. A. Lolirlmcli dor Variiilioiisnirlmiing. Horliri, 1900.
15. Пттрмгии Л.С.. Болтянский В.Г., Гшкрелидяе P.R.. Мищенко Е.Ф. Математическая теория оптимальных ноцессов. VI.: Фичмат.чит, 1961.
I (>. f.tigmdrt- A.M. Mdmoire siir la maniere do distingue los maxima des minima dans le ealeul do variations. Histoiro <1«: rAcadomie Royallle dos Sciences. I'. 1788. I>. 7-37.
17. Hamilton WJL Second Essay on a General Method in Dynamics. Philos. Trans., 1835.
18. .Iambi. (7.(7. .7. Zur I lieorie der Variat.ions-Roclinung und dor Different ial-Cleiclmngon // Krelle's Journall. 1837. Bd. 1 7.
19. Weierstrass K. Matheinatisclie Werke. lid. 7. Vorlesimgemn uber V'ariationsreliluiig. Berlin: Leipzig: Akad. Verlag.. 1927.
20. Гильберт Д Избрашше груды. О вариационном исчислении. 1906. Т. 2. с. 351-370. Анализ. Физика. Проблемы. Personalia. М.: И й-по «Факториал», 1998.
Поступила и редакцию 21 ноября 2013 г.
Tikhomirlov V.M.
CHXKKAL PR1NC4PLKS OF 4HKORY OF HX'I RHMFM
The article is devoted to general principles of (he theory of extremum: l ennat and Lagrange piincipes in necessary conditions. Ilamil Ionian principles in sufficient conditions, duality principles in convexity and some general ideas in the theory of existence and algorithms of optimization.
Key words: smoothness; convexity; Lagrange's principle: convex duality; compactness.
Тихомиров Владимир Михаилович, Московский государственный университет, г. Москва, Российская Федерация, доктор физико-матсматичсских наук, профессор, e-mail: f ikhomiriimccmc,гu
Tikhoinirov Vladimir Mikhavlovich, Moscow State University, Moscow, Russian Federation, Doctor of Physics and Mathematics, Professor, e-mail: t ikliomirii nice me, ru
