Об устойчивом принципе Лагранжа в итерационной форме в выпуклом программировании и его применении при решении неустойчивых операторных уравнений первого рода Текст научной статьи по специальности «Математика»

9. Elaydi S.N. Periodicity and stability of linear Volterra difference systems // J. Math. Anal. Appl. 1994. №181. P. 483-492.

10. Berezansky L., Braverman E. On existence of positive solutions for linear difference equations wits several delays // Adv. Dynam. Systems Appl. 2006. V. 1. №1. P. 29-47.

11. Куликов А.Ю., Малыгина В.В. Устойчивость линейного разностного уравнения и оценки его фундаментального решения // Известия вузов. Математика. 2011. №12. С. 30—41.

БЛАГОДАРНОСТИ: Работа поддержана Российским Фондом Фундаментальных Исследований (проект №13-01-96050).

Поступила в редакцию 20 мая 2015 г.

Kulikov A.Yu. STABILITY CONDITIONS OF NONAUTONOMOUS DIFFERENCE EQUATION WITH BOUNDED DELAYS

For the difference equation with bounded delays, new effective sufficient stability conditions expressed in terms of its Cauchy function are obtained.

Key words: difference equations; stability; stability conditions; the Cauchy function.

Куликов Андрей Юрьевич, Пермский государственный национальный исследовательский университет, Пермь, Российская Федерация, кандидат физико-математических наук, старший преподаватель кафедры информационных систем и математических методов в экономике, e-mail: [email protected].

Kulikov Andrey Yurevich, Perm State National Research University, Perm, the Russian Federation, Candidate of Physics and Mathematics, Senior Lecturer of the Department of Information Systems and Mathematical Methods in Economics, e-mail: [email protected]

УДК 519.853.3+517.983.54

ОБ УСТОЙЧИВОМ ПРИНЦИПЕ ЛАГРАНЖА В ИТЕРАЦИОННОЙ ФОРМЕ В ВЫПУКЛОМ ПРОГРАММИРОВАНИИ И ЕГО ПРИМЕНЕНИИ ПРИ РЕШЕНИИ НЕУСТОЙЧИВЫХ ОПЕРАТОРНЫХ УРАВНЕНИЙ

ПЕРВОГО РОДА

© Ф.А. Кутерин

Ключевые слова: принцип Лагранжа; неустойчивость; секвенциальная оптимизация; двойственная регуляризация; итерационный алгоритм.

Обсуждается устойчивый принцип Лагранжа в итерационной форме в задаче выпуклого программирования и его приложение к решению неустойчивых операторных уравнений 1-рода. Приводятся результаты непосредственного численного решения на его основе классической неустойчивой задачи решения интегрального уравнения Фредгольма 1-го рода.

Введение. Принцип Лагранжа представляет собою классическое условие оптимальности и является центральным результатом оптимизационной теории в целом и, в частности, теории выпуклого программирования. Его формулировка и доказательство предполагают, прежде всего, что оптимизационная задача рассматривается в идеальной ситуации точного задания исходных данных. Вместе с тем, в громадном числе практически важных задач

оптимизации, а также многочисленных задач, сводящихся к задачам оптимизации, требование точного задания исходных данных является весьма неестественным, а во многих представляющих несомненный интерес ситуациях и просто невыполнимым. Одним из важнейших классов таких задач является класс задач по нахождению нормальных решений операторных уравнений 1-го рода [1]. С формальной точки зрения эти задачи являются обычными задачами выпуклого программирования с операторными ограничениями типа равенства. Одновременно, они представляют собою, как хорошо известно (см., например,

[1]), типичные неустойчивые к ошибкам исходных данных оптимизационные задачи. Формальное применение принципа Лагранжа в подобных задачах связано, во-первых, с его возможной невыполнимостью (в зависимости от свойств исходных данных) и, во-вторых, с его неустойчивостью, понимаемой в том смысле, что выделяемые им формально оптимальные элементы ведут себя неустойчиво по отношению к ошибкам исходных данных (подробности и примеры можно найти в [2, 3]). В работах [3-5] в качестве инструментов непосредственного решения неустойчивых задач выпуклого программирования на основе классической конструкции функции Лагранжа было предложено рассматривать так называемые устойчивые секвенциальные или, другими словами, регуляризованные теорему Куна-Таккера и принцип Лагранжа, основанные на методе двойственной регуляризации

[2]. В данной работе обсуждается возможность непосредственного применения устойчивого секвенциального принципа Лагранжа в итерационной форме работы [5] для решения неустойчивых операторных уравнений 1-го рода. Благодаря использованию в своей формулировке лишь конструкции регулярной функции Лагранжа он может быть назван также устойчивой секвенциальной теоремой Куна-Таккера (именно такая терминология и используется в [5]). Эффективность применения регуляризованного принципа Лагранжа в итерационной форме для численного решения неустойчивых задач иллюстрируется на примере решения классической некорректной задачи поиска нормального решения интегрального уравнения Фредгольма 1-го рода. Процесс такого устойчивого приближенного решения не зависит от того разрешима или нет задача, двойственная к исходной задаче выпуклого программирования. Другими словами, регуляризованный принцип Лагранжа, использующий лишь классическую конструкцию функции Лагранжа, всегда обеспечивает устойчивое приближение к решению исходной неустойчивой задачи, в т. ч. и тогда, когда классический принцип Лагранжа в ней вовсе не выполняется.

Обсуждаемый в работе итерационный алгоритм устойчивого принципа Лагранжа, по сути дела, представляет собою регуляризованную версию хорошо известного алгоритма Удза-вы [6, 7] и принципиально отличается от него именно свойством устойчивости по отношению к ошибкам исходных данных. Возможности и особенности работы сформулированного итерационного алгоритма иллюстрируется на примере численного решения классической некорректной задачи поиска нормального решения интегрального уравнения Фредгольма 1-го рода. С целью более компактного изложения результатов рассматриваемая в работе задача условной выпуклой оптимизации содержит лишь операторное ограничение-равенство. Однако все полученные в ней результаты безусловно обобщаются на случай, когда в задаче имеются и ограничения-неравенства [3-5].

Постановка задачи. Рассматривается задача выпуклого программирования с ограничением-равенством

fs (z) ^ min, Аг z = hs, z eDc Z. (P&)

Здесь: fг : D ^ R1 — сильно выпуклый непрерывный функционал, h € H — заданный элемент, Aг : Z ^ H — линейный ограниченный оператор, D — выпуклое замкнутое множество, Z, H — гильбертовы пространства. Верхний индекс 5 в исходных данных задачи (Pг ) означает, что эти данные соответствуют либо ситуации их точного задания ( 5 = 0 ), либо являются возмущенными ( 5 > 0 ).

Введем функционал Лагранжа

L5(z, Л) = /5(z) + (Л, A5z - h5), z eD, Л € H, и соответствующую двойственную задачу

V5( Л) = inf L5(z, Л) — sup, Л € H. (1)

zeD

Точку в H , на которой достигается минимум функционала L5(■, Л ) при заданном Л , будем

обозначать z5 [ Л ] = argmin L5(z, Л ).

zeD

Метод двойственной регуляризации. Обозначим через Л5'а единственную в H точку, дающую на этом множестве максимум в задаче

л) = V5( Л) - а||Л||2 - max, Л€ H. (2)

Алгоритм двойственной регуляризации [2] для решения задачи выпуклого программирования ( P° ) с сильно выпуклым функционалом цели заключается в аппроксимации при ö — 0 точного решения z0 , регуляризованными элементами z5 [ Л5>а(5)] при условии согласования ö/a(ö) — 0, a(ö) — 0, ö — 0. Подчеркнем при этом, что с формальной точки зрения точки Л5'а(5) конструируются в соответствии с методом стабилизации А.Н. Тихонова, примененным к задаче (1) при ö = 0, являющейся двойственной по отношению к исходной задаче (P0 ).

Метод итеративной двойственной регуляризации с правилом останова.

Для практического решения задач оказывается, что удобнее применять процедуру итеративной двойственной регуляризации [2], представляющую собой по сути итеративную регуляризацию метода градиентного подъема в задаче (2), которая снабжается правилом останова в случае задания фиксированного конечного уровня ошибки исходных данных.

Пусть ök, k = 1, 2,... , — произвольная сходящаяся к нулю последовательность положительных чисел. Предположим, что последовательность Ak, k = 1, 2,... конструируется в соответствии с итерационным правилом

Äk+1 = Äk + dV( Äk) - 2вкак Äk, k = 0,1,2,..., (3)

где Ä° € H, а последовательности ök, ак, вк , k = 0,1, 2,... , удовлетворяют условиям согласования

ök ^ 0, ак > 0, > 0, lim (ök + ак + вк) = 0, (4)

а

к jafc+1 — ак | ök

oo

< (ак)3вк ' - 0, 70^ - 0, 70kv6 - ^ E«kek = +-•

^ (ак)3вк (ак)3 ' (ак)6

Теорема1. Пусть выполняются условия согласования (4) . Тогда вне зависимости от того, разрешима или нет двойственная к (Р°) задача ( существует вектор Куна-Таккера в ней или нет), выполняются предельные соотношения

/[ Лк]) ^ /V), ¿к ^ 0, к ^ те,

А0?5"[ Лк] - ^ 0, (Лк[ Лк] - ^0, ¿к ^ 0, к ^те.

Одновременно с указанными предельными соотношениями выполняются и предельные соотношения

/°(?°[Лк]) ^ /°(?°), ( Лк, А°?°[ Лк] - Ь°) ^ 0, ¿к ^ 0, к ^ те

и, как следствие, предельное соотношение

lim V0( Äk) = sup V0( Л).

fc^^ лея

Если двойственная к (P0) задача разрешима, то Äk ^ Л0, k ^ ж, где Л0 € H есть ее решение с минимальной нормой. Если сильно выпуклый функционал f0 является субдиф-ференцируемым в смысле выпуклого анализа на D, то справедливо и предельное соотношение ||z5k [ Äk] — z0|| ^ 0, k ^ ж.

Замечание! Доказательство теоремы 1 не требует в отличие от [2] ограниченности допустимого множества D.

Как правило, при решении практических задач может быть оценен реальный уровень ошибки задания или измерения исходных данных 5 > 0 .В этом случае следует применять итерационную процедуру

Äk+i = Äk + dV5 ( Äk) — 2вk ak Äk, k = 0,1, 2,..., (5)

отличающуюся от (3) тем, что элементы dV( Äk) заменены на dV5 ( Äk) , с условием останова: при каждом 5 > 0,5 ^ 51 итерации продолжаются до такого наибольшего номера k = k(5), при котором выполняется неравенство 5k ^ 5, k = 1,2,..., k(5).

Теорема 2. Вне зависимости от того, разрешима или нет двойственная к (P0) задача ( существует вектор Куна-Таккера в ней или нет), справедливы предельные соотношения

f0(z5[ Äk(5)]) ^ f0(z0), A0z5[ Äk(5)] — h0 ^ 0, 5 ^ 0, а также, в случае субдифференцируемости f0 , и предельное соотношение

||z5[Äk(5)] — z0|| ^ 0, 5 ^ 0,

где z5 [ Äk(5)] — результат k(5) итераций итерационного процесса (5) .

Другими словами, указанное правило останова порождает устойчивый по отношению к ошибкам исходных данных алгоритм построения минимизирующего приближенного решения в смысле Дж. Варги в задаче (P0) .

Устойчивый принцип Лагранжа в итерационной форме. Формулируемая ниже в терминах точек минимума классической функции Лагранжа теорема, являющаяся по сути дела непосредственным следствием теоремы 1, представляет собой необходимые и достаточные условия на элементы минимизирующего приближенного решения в смысле Дж. Варги в задаче (P0).

Теорема 3. Пусть 5k, k = 1, 2,... , — произвольная сходящаяся к нулю последовательность положительных чисел. Тогда, для того чтобы в задаче (P0) существовало минимизирующее приближенное 'решение необходимо и достаточно, чтобы для последовательности двойственной переменной

Äk

€ H, k = 1, 2,... , порождаемой итерационным процессом (3) с Ä0 € H и с условиями согласованиями (4), выполнялись соотношения

z5k [ Äk] — || < ek, ek ^ 0, (Äkz5k [Äk] — 0, k ^ж,

а последовательность z5k [ Äk], k = 1, 2,... была ограниченной. В этом случае последовательность z5k [ Äk], k = 1, 2,... , является искомым минимизирующим приближенным решением в задаче (P0), а в случае субдифференцируемости функционала f0 на D имеет место и сходимость z5 [ Äk] ^ z0, k ^ ж . Одновременно является справедливым и

предельное соотношение V0( Äk) ^ sup V0( Л ) .

лея

Замечание2. Доказательство теоремы 3 не требует в отличие от [5] ограниченности допустимого множества D.

Замечание 3. Данная теорема так же, как и теорема 1, может быть снабжена правилом останова, совпадающим по форме с правилом останова теоремы 2.

Приложение устойчивого принципа Лагранжа в итерационной форме к решению интегрального уравнения Фредгольма 1-го рода. В качестве конкретной задачи (P5) возьмем классическую некорректную задачу поиска нормального решения линейного интегрального уравнения Фредгольма первого рода

||z||2 ^ min, A5z(x) = [ K(x,s)z(s)ds = h5(x), 0 ^ x ^ 1, z € ¿2(0,1) = Z = D, (Pj,)

Jo

в котором в качестве ядра использовалась определенная и непрерывная на квадрате [1,1] x [1,1] функция K(x,s) = {(1 — x)s, 0 ^ s ^ x; x(1 — s), x ^ s ^ 1} , а в качестве пространств Z, H взято пространство ¿2(0,1) . На ее примере демонстрируется возможность устойчивого приближенного решения неустойчивых оптимизационных задач на основе алгоритма устойчивого принципа Лагранжа в итерационной форме теоремы 3 без каких-либо априорных предположений о существовании решения двойственной задачи. Также данный пример позволяет продемонстрировать неустойчивость указанного итерационного алгоритма в отсутствие регуляризурующего «рычага» в виде стабилизирующего слагаемого в двойственной задаче.

Численные эксперименты проводились по так называемой замкнутой схеме, то есть решение z восстанавливалась по известной правой части уравнения h5 , являющейся результатом действия интегрального оператора на заданную функцию z0 и возмущения модельной ошибкой. Будем обозначать результат N итераций итерационного процесса (3) в численном эксперименте по замкнутой схеме с точным решением z0 как AN {z0} .

С целью демонстрации неустойчивости итерационного принципа Лагранжа в отсутствие регуляризирующего слагаемого параллельно проводились вычисления по формуле (3) , где все элементы последовательности , k = 1, 2,... , формально были положены равными нулю. Результат N итераций итерационного процесса (3) в этом случае при точном решении z0 будем обозначать XN {z0} .

В первой серии численных экспериментов в качестве точного решения была взята функция z°(s) = 66s5(1 — s)/55 . Ошибка правой части задавалась следующим образом: бралась функция t0(x) = sin(42nx)z 0(x) , вычислялась ее норма ||t0|| , а также собственно погрешность по формуле t5 = 5 (i0/||i0||) . Далее решалась задача восстановления функции z 0 по рассчитанной правой части h5 = Az 0 +t5 и оценивались нормы невязок ДN = ||z[AN] — z 0|| и ДN = ||z[AN] — z 01 в пространствах L2(a,b) , C[a, b] , W2(a, b) . Результаты расчетов представлены в таблице ниже и на рисунке 1.

№ 50 N A N2 Д n2 A N Д N A N A N

1 10- 1 102 0,178785 0,243305 0,548767 0,818742 6,35508 27,0871

2 10-2 104 0,121181 0,38794 0,344316 1,11743 1,9528 46,3255

3 10-3 106 0,0833522 0,486841 0,240292 1,40439 1,32595 58,332

¿■[л999999!^}]

1.2 1

0. 0.6 0.4 0.2 0 -0.2

а)

б)

Рис. 1: «Регуляризованное» численное решение ,г[Л№{г0}] а) и результат формального применения итерационного алгоритма при ак = 0 , к = 1, 2,... , {г0}] б) при ¿0 = 10-3 , N = 106

Для демонстрации работы алгоритма в отсутствие решения двойственной задачи использовалась разрывная функция ¿0^) = {1, 0,3 ^ 8 ^ 0,7; 0, 8 < 0,3, 8 > 0,7} , а правая часть уравнения не возмущалась ошибкой. В этом случае, как показано в [8], двойственный функционал не достигает максимума, но тем не менее элементы г[Лк] образуют минимизирующее приближенное решение в задаче (Рр ).

В таблице ниже и на рисунке 2 можно видеть, что с увеличением числа итераций норма

„ „ ЛМ

двойственной переменной Л монотонно возрастает, что «подтверждает» отсутствие решения двойственной задачи. Тем не менее видно, что решение г[ ЛМ] «тяготеет» к точному решению г0 .

№ ¿0 N Л У ю УЛМ Ус 11ЛМ И**

1 10-2 102 30,3301 50,0298 282,223

2 10-3 103 47,8665 66,296 491,822

3 10-4 104 56,8409 83,9415 750,832

4 10-5 105 74,231 126,938 1401,93

5 10-6 106 112,968 211,285 2679,9

6 10-7 107 162,106 334,83 4700,03

z[A10000000{z°}] дюоооооо^о}

а) б)

Рис. 2: Численное решение ,г[Л№{г0}] а) и соответствующая двойственная переменная Л№{г0} б) при ¿0 = 10-7, N = 107

ЛИТЕРАТУРА

1. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1986.

2. Сумин М.И. Регуляризация в линейно выпуклой задаче математического программирования на основе теории двойственности // Журн. вычисл. матем. и матем. физ. 2007. Т. 47. № 4. С. 602-625.

3. Сумин М.И. Устойчивое секвенциальное выпуклое программирование в гильбертовом пространстве и его приложение к решению неустойчивых задач // Журн. вычисл. матем. и матем. физ. 2014. Т. 54. № 1. С. 25-49.

4. Сумин М.И. Регуляризованная параметрическая теорема Куна-Таккера в гильбертовом пространстве // Журн. вычисл. матем. и матем. физ. 2011. Т. 51. № 9. С. 1594-1615.

5. Sumin M.I. On the Stable Sequential Kuhn-Tucker Theorem and its Applications // Applied Mathematics. 2012. V. 3. No. 10A (Special issue "Optimization"). P. 1334-1350.

6. Эрроу К.Дж., Гурвиц Л., Удзава Х. Исследования по линейному и нелинейному программированию. М.: ИЛ, 1962.

7. Мину М. Математическое программирование. Теория и алгоритмы. М.: Наука, 1990.

8. Сумин М.И. Итеративная регуляризация градиентного двойственного метода для решения уравнения Фредгольма первого рода // Вестник Нижегородского университета. Серия Математика. Вып. 2. 2004. С. 193-209.

БЛАГОДАРНОСТИ: Работа выполнена при финансовой поддержке РФФИ (коды проектов 13-02-12155-офи_м и 15-47-02294-р_поволжье_а).

Поступила в редакцию 24 апреля 2015 г.

Kuterin F.A. ON STABLE LAGRANGE PRINCIPLE IN ITERATIVE FORM IN CONVEX PROGRAMMING AND ITS APPLICATION FOR SOLVING UNSTABLE OPERATOR EQUATIONS OF THE FIRST KIND

The stable Lagrange principle in iterative form for the convex optimization problem and its application for solving unstable equations of the first kind are discussed. The results of numerical solving of Fredholm integral equation based on it are provided.

Key words: Lagrange principle; instability; sequential optimization; dual regularization; iterative algorithm.

Кутерин Фёдор Алексеевич, Нижегородский государственный университет им. Н.И. Лобачевского, г. Нижний Новгород, Российская Федерация, ассистент, e-mail: [email protected]

Kuterin Fedor Alekseevich, Nizhny Novgorod State University named after N.I. Lobachevskiy, Nizhny Novgorod, the Russian Federation, Assistant, e-mail: [email protected]

УДК 517.929.7

О ПОЛОЖИТЕЛЬНОСТИ ФУНКЦИЙ ГРИНА ФУНКЦИОНАЛЬНО-ДИФФЕРЕНЦИАЛЬНОГО УРАВНЕНИЯ

© С.М. Лабовский

Ключевые слова: функция Грина; функционально-дифференциальное уравнение. Рассматривается двухточечная краевая задача для функционально-дифференциального уравнения. Получено необходимое и достаточное условие отрицательности функции Грина в терминах собственных чисел двух вспомогательных краевых задач.

Задача

Результат данной работы обобщает результаты, полученные в [1] в случае п = 3 . Рассматривается задача об условиях отрицательности функции Грина двухточечной краевой задачи

I

£и(ж) := и(п)(ж) - У и(в)йвг(ж, в) = /(ж), ж € [0, 1], (п ^ 3) (1)

0

В(и) := (и(0),и'(0),...,и(п-2)(0),и(1)) = 0, (2)

(символ := означает равно по определению) в предположениях, приведенных ниже. Отметим, в частности, предположение неубывания функции г(ж, 8) по второму аргументу, что для случая сосредоточенных отклонений

1 т

/ «($)^г(ж,5) = Рг(ж)и(Л-г(ж)), (3)

0

означает неотрицательность коэффициентов р ^ 0 .

Аналог задачи в случае п = 2 рассматривался в [2], а также в случае запаздывания в [3-5].

Основной результат - необходимые и достаточные условия отрицательности в терминах наименьших собственных чисел для вспомогательных краевых задач. Эти числа могут быть эффективно оценены, и получены эффективные условия отрицательности. Для уравнения с запаздывающим аргументом задача рассматривалась в [6]. Помимо основной задачи, которую можно записать в виде

= /, В(и) = 0

будем рассматривать и неоднородную задачу

= /, В (и) = а. (4)