CC BY
14
Том 27, № 137
© Сумин М.И., 2022
DOI 10.20310/2686-9667-2022-27-137-58-79
УДК 517.9
2022
м9
OPEN fil ACCESS
О некорректных задачах, экстремалях функционала Тихонова и регуляризованных принципах Лагранжа
Михаил Иосифович СУМИН
ФГБОУ ВО «Тамбовский государственный университет им. Г.Р. Державина» 392000, Российская Федерация, г. Тамбов, ул. Интернациональная, 33 ФГАОУ ВО «Нижегородский государственный университет им. Н.И. Лобачевского» 603950, Российская Федерация, г. Нижний Новгород, пр-т Гагарина, 23
Аннотация. Задача поиска нормального решения операторного уравнения первого рода на паре гильбертовых пространств является классической в теории некорректных задач. В соответствии с теорией регуляризации ее решения аппроксимируются экстремалями функционала Тихонова. С точки зрения теории задач на условный экстремум эквивалентной классической некорректной задаче является задача минимизации функционала, равного квадрату нормы элемента, с операторным (т. е. задаваемым оператором с бесконечномерным образом) ограничением-равенством. В статье обсуждается возможность регуляризации принципа Лагранжа (ПЛ) в указанной задаче на условный экстремум. Эта регуляризация представляет собою такую трансформацию ПЛ, которая превращает его в универсальное средство устойчивого решения некорректных задач в терминах обобщенных минимизирующих последовательностей (ОМП) и сохраняет основанное на конструкциях классической функции Лагранжа его «общее структурное устройство». Трансформированный ПЛ «содержит» классический аналог в качестве своего предельного варианта при стремлении номеров элементов ОМП к бесконечности. Обсуждаются как неитеративный, так и итеративный варианты регуляризации ПЛ. Каждый из них приводит к устойчивому генерированию ОМП в исходной задаче на условный экстремум из экстремалей регулярного функционала Лагранжа, взятого при значениях двойственной переменной, вырабатываемой соответствующей процедурой регуляризации двойственной задачи. В заключение статьи обсуждается взаимосвязь экстремалей функционалов Тихонова и Лагранжа в рассматриваемой классической некорректной задаче.
Ключевые слова: некорректная задача, линейное операторное уравнение, регуляризи-рующий алгоритм, метод регуляризации Тихонова, условная минимизация, операторное ограничение-равенство, правило множителей Лагранжа, обобщенная минимизирующая последовательность, итеративная регуляризация, двойственная регуляризация, регуляри-зованный принцип Лагранжа
Благодарности: Работа выполнена при поддержке РФФИ (проект № 20-01-00199_а).
Для цитирования: Сумин М.И. О некорректных задачах, экстремалях функционала Тихонова и регуляризованных принципах Лагранжа // Вестник российских университетов. Математика. 2022. Т. 27. № 137. С. 58-79. БО! 10.20310/2686-9667-2022-27-137-58-79.
© M. I. Sumin, 2022
DOI 10.20310/2686-9667-2022-27-137-58-79
On ill-posed problems, extremals of the Tikhonov functional and the regularized Lagrange principles
Mikhail I. SUMIN
Derzhavin Tambov State University 33 Internatsionalnaya St., Tambov 392000, Russian Federation
Nizhnii Novgorod State University 23 Gagarin Ave., Nizhnii Novgorod 603950, Russian Federation
Abstract. The problem of finding a normal solution to an operator equation of the first kind on a pair of Hilbert spaces is classical in the theory of ill-posed problems. In accordance with the theory of regularization, its solutions are approximated by the extremals of the Tikhonov functional. From the point of view of the theory of problems for constrained extremum, the problem of minimizing a functional, equal to the square of the norm of an element, with an operator equality constraint (that is, given by an operator with an infinite-dimensional image) is equivalent to the classical ill-posed problem. The paper discusses the possibility of regularizing the Lagrange principle (LP) in the specified constrained extremum problem. This regularization is a transformation of the LP that turns it into a universal tool of stable solving ill-posed problems in terms of generalized minimizing sequences (GMS) and preserves its "general structural arrangement" based on the constructions of the classical Lagrange function. The transformed LP "contains" the classical analogue as its limiting variant when the numbers of the GMS elements tend to infinity. Both non-iterative and iterative variants of the regularization of the LP are discussed. Each of them leads to stable generation of the GMS in the original constrained extremum problem from the extremals of the regular Lagrange functional taken at the values of the dual variable generated by the corresponding procedure for the regularization of the dual problem. In conclusion, the article discusses the relationship between the extremals of the Tikhonov and Lagrange functionals in the considered classical ill-posed problem.
Keywords: ill-posed problem, linear operator equation, Tikhonov's regularization method, constrained minimization, operator equality constraint, Lagrange multiplier rule, generalized minimizing sequence, regularizing algorithm, iterative regularization, dual regularization, regularized Lagrange principle
Acknowledgements: The work is partially supported by the Russian Foundation for Basic Research (project no. 20-01-00199).
Mathematics Subject Classification: 47A52 49K27 90C25 90C46.
For citation: Sumin M.I. O nekorrektnykh zadachakh, ekstremalyakh funktsionala Tikhonova i regulyarizovannykh printsipakh Lagranzha [On ill-posed problems, extremals of the Tikhonov functional and the regularized Lagrange principles]. Vestnik rossiyskikh universitetov. Matema-tika - Russian Universities Reports. Mathematics, 2022, vol. 27, no. 137, pp. 58-79. DOI 10.20310/2686-9667-2022-27-137-58-79. (In Russian, Abstr. in Engl.)
Введение
Основную цель данной статьи автор видит в ответе на вопрос, как, опираясь на классическое правило множителей Лагранжа или, другими словами, принцип Лагранжа (ПЛ), можно решать некорректные задачи. Как известно, некорректные задачи составляют в совокупности огромный класс математических задач, порожденный запросами современных естественнонаучных приложений. Существует несколько подходов к решению таких задач. Среди них наибольшую известность получил подход, за которым закрепилось название метода регуляризации Тихонова [1-4]. Метод регуляризации Тихонова был предложен для приближенного нахождения нормального (минимального по норме) решения операторного уравнения первого рода
(IP) Az = h, z eDC Z,
где А : Z ^ H — линейный ограниченный оператор, h E H — заданный элемент, D — выпуклое замкнутое множество, Z, H — гильбертовы пространства. При этом в самых первых работах [1] некорректная задача (IP) рассматривалась для случая D = Z при условии, что оператор A является интегральным оператором Фредгольма, а в качестве Z, H используются пространства суммируемых с квадратом функций.
Основным в теории некорректных задач является понятие регуляризирующего алгоритма (оператора) по Тихонову [1-4]. Напомним его. С этой целью введем «приближенную» задачу (IP)
(IP*) А*z = h*, z EDC Z,
c линейным ограниченным оператором А* : Z ^ H и заданным элементом h* E H такими, что ||А* - А01| < 8, ||h* - h0|| < 8, А = А0, h = h0. Здесь 8 E (0,80), 80 > 0 — числовой параметр, характеризующий степень отклонения исходных данных приближенной задачи (IP* ) от исходных данных точной задачи (IP) = (IP0). Предположим, наконец, что задача (IP) = (IP0) имеет точное нормальное решение z0 E D.
Определение 0.1. Регуляризирующим для задачи (IP0 ) называется зависящий от 8 и действующий во множество D алгоритм (оператор) Д(А*, h* ,8), ставящий в соответствие любой паре исходных данных {А*, h*}, удовлетворяющей оценкам ||А* - А01| < 8, ||h* - h0|| < 8, элемент z* такой, что ||z* - z0|| ^ 0, 8 ^ 0.
Сам же метод регуляризации (стабилизации) Тихонова указывает конкретный способ построения регуляризирующего алгоритма, обеспечивающий устойчивое приближенное решение некорректной задачи — операторного уравнения первого рода. Он предполагает разрешимость задачи (IP) = (IP0) и заключается [2-4] в отыскании решений z*•-(*) задачи минимизации сглаживающего функционала — функционала Тихонова M*,a(*)(z) = ||А*z - h*||2 + a(8)||z||2 ^ min, z E D при условии согласования
82/а(8) ^ 0, а(8) ^ 0, 8 ^ 0, что сводится к решению вариационного неравенства
(А**А*z + a(8)z - А**Л*,y - z) > 0 Vy E D.
(0.1)
В этом случае для экстремалей функционала Тихонова — приближенных решений
задачи (1Р) = (1Р°), как известно [2-4], имеет место при указанных условиях предельное соотношение — z0|| ^ 0, 8 ^ 0.
Изначально некорректные задачи ставились как задачи отыскания (нормальных) решений абстрактных операторных уравнений первого рода вида (1Р) [2]. Такие задачи, будучи формально эквивалентными задачам минимизации функционала, равного квадрату нормы элемента, с операторным (т. е. задаваемым оператором с бесконечномерным образом) ограничением-равенством, решались тем не менее в классической теории некорректных задач не с помощью правила множителей Лагранжа, хотя при обосновании содержательного смысла метода регуляризации и применялись связанные с этим классическим правилом соображения эвристического характера [2, гл. 2, § 2, с. 56]. Это обстоятельство имеет простое объяснение и связано, во-первых, с недостаточной развитостью в шестидесятые годы прошлого века классического правила множителей для задач оптимизации с операторными ограничениями-равенствами и, во-вторых, со свойствами некорректности этого классического правила.
В данной работе показывается, что правило множителей Лагранжа как нельзя лучше подходит для решения задач отыскания (нормальных) решений абстрактных операторных уравнений первого рода вида (1Р) [2-4], как, впрочем, и многих других некорректных задач, однако, прежде всего, оно само должно быть регуляризовано. Главная роль в такой регуляризации принадлежит конструкции классической функции Лагранжа. В работе: 1) обсуждаются проблемы, связанные с формулированием ПЛ в задаче отыскания нормальных решений абстрактных операторных уравнений первого рода; 2) обсуждаются два основанных на двойственности варианта регуляризации (внутренней, скрытой), т. е. регуляризации за счет подходящего выбора двойственной переменной в классической некорректной задаче, рассматриваемой как задачи условной минимизации с операторным ограничением-равенством; 3) показывается, что классический ПЛ является предельным вариантом своих регуляризованных аналогов.
Основное назначение обоих рассматриваемых в статье вариантов (неитеративного и итеративного) регуляризованного ПЛ — устойчивое генерирование обобщенных минимизирующих последовательностей (ОМП) в задаче условной минимизации, эквивалентной исходной некорректной задаче, из экстремалей (минималей) регулярного функционала Лагранжа, взятого при значениях двойственной переменной, вырабатываемых соответствующими вариантами регуляризации двойственной задачи (неитеративной и итеративной). В теории математического программирования применяемые в работе ОМП (см. ниже определение 2.1) известны под названием обобщенных оптимальных планов [5], в свою очередь, в теории оптимального управления они получили название минимизирующих приближенных решений [6, гл. III]. Благодаря сильной выпуклости целевого функционала (см. лемму 2.1 ниже) оба варианта регуляризованного ПЛ можно трактовать одновременно как выражаемые в секвенциальной форме необходимые и достаточные условия обычной оптимальности в этой задаче условной оптимизации. Применяемое в статье понятие ОМП-образующего (регуляризирующего) алгоритма в этой задаче условной минимизации (см. ниже определения 2.2, 2.3), подразумевающее сходимость приближенных решений как «по функции», так и «по ограничениям», можно охарактеризовать как совпадающее с введенным А. Н. Тихоновым [1,2] классическим понятием регуляризирующего алгоритма определения 0.1. Последнее объясняется тем фактом, что за счет частного вида задачи
условной минимизации указанная сходимость «по функции» и «по ограничениям» влечет и сильную сходимость конструируемой ОМП к точному решению. В заключение статьи обсуждается взаимосвязь экстремалей функционалов Тихонова и Лагранжа в рассматриваемой классической некорректной задаче (1Р).
1. ПЛ в задаче решения операторного уравнения как задачи условной минимизации с ограничением-равенством
Задача нахождения нормального решения операторного уравнения (1Р) может быть формально записана как эквивалентная задача выпуклого программирования с операторным ограничением-равенством
(Р) |И|2 ^ Ы, Az = К, z еРС X.
В этой связи естественно задаться вопросом: нельзя ли применить для решения некорректной задачи конструкции метода множителей Лагранжа или, другими словами, ПЛ? Здесь необходимо сразу отметить: а) сами задачи условной оптимизации — это типичные некорректные задачи [7]; б) свойства некорректности в полной мере присущи и ПЛ [8,9]. Возникающие на данном пути принципиальные трудности начинаются при попытке формально записать ПЛ в задаче условной оптимизации ( Р ), представляющей собою эквивалентную запись задачи поиска нормального решения уравнения первого рода (1Р). При формальной записи ПЛ можно опереться на два подхода, один из которых имеет дело с «индивидуальным» ПЛ, т. е. с ПЛ в индивидуальной (не зависящей от параметров) задаче (см., например, [10, 11]), а другой — с «параметрическим», т. е. с ПЛ в параметрической (зависящей от параметра) задаче условной минимизации (см., например, [8,12]). Охарактеризуем коротко по отдельности каждый из двух указанных выше подходов в теории ПЛ.
1.1. «Индивидуальный» ПЛ. В этом случае основным объектом исследования является обычная или, как можно еще сказать, индивидуальная (не зависящая от параметров) задача условной оптимизации ( Р). Основное предположение индивидуального ПЛ [10,11] связано с требованием замкнутости образа оператора, задающего равенство.
Применительно к задаче (Р) в случае Р = X классический ПЛ для гладких задач с равенствами из книги [10, с. 253, 254], см. также [11, с. 12, следствие 1], при условии X, Н — гильбертовы пространства, формулируется следующим образом.
Предложение 1.1. Если точка z0 есть решение задачи (Р) и Я(А) = Я(А), то найдется невырожденный набор (у0,А) Е х Н такой, что 2^0z0 + А*А = 0, если же при этом Я(А) = Н, то в последнем равенстве можно считать ^0 > 0. Так как задача (Р) выпуклая, то в этом случае равенство 2^0z0 + А*А = 0 эквивалентно неравенству
Ь^0,^0, А) < Ь0^,^0,А) Vz Е X, А) = ^0Ы2 + (А^ — К).
К сожалению, основное требование Я(А) = Я(А) этого предложения является достаточно жестким, причем, как отмечено в [10, п. 3.2.4, с. 260], невыполнение этого условия замкнутости может приводить к тому, что ПЛ вовсе не выполняется. Выполнение условия замкнутости невозможно, например, для вполне непрерывных операторов А [13, с. 225, теорема 1], «наиболее часто» встречающихся при рассмотрении различных содержательных некорректных задач [2-4]. В частности, к таким операторам, прежде всего, относятся различные интегральные операторы. Таким образом, применение индивидуального
ПЛ [10, 11] в задаче минимизации (P) встречается с трудностями принципиального характера уже при его формальном выписывании.
1.2. «Параметрический» ПЛ. «Параметрический» ПЛ основан на применении метода возмущений (см., например, [10, п. 3.3.2]). Он предполагает жесткую связь выполнимости всех участвующих в его формулировке соотношений с субдифференциальными свойствами функции значений задачи условной оптимизации. В нем не нужно знание, связанное с замкнутостью образа оператора, задающего равенство. Чтобы сформулировать указанный ПЛ, включим задачу ( P ) в семейство аналогичных задач, зависящих от параметра p E H в ограничении-равенстве
(Pp) ||z||2 ^ inf, Az = h + p, z eDC Z.
Задача (P) включена в это семейство при p = 0, т. е. (P) = (P0). Решения задачи (Pp) в случае их существования будем обозначать через z^.
Обозначим: Dp = {z E D : ||Az - h - p|| < e}, e > 0. Определим классическую функцию значений задачи (Pp) формулой ß0(p) = inf ||z||2 Vp E H. Определим также
обобщенную функцию значений ß : H ^ R1 U{+^} посредством соотношений ß(p) = ß+0(p) = lim ße(p), ße(p) = inf ||z|2, ße(p) = если Dp = 0. Так как || ■ ||2 — сильно
e^+0 zeDp p
выпуклый функционал, то справедливо следующее утверждение (см. леммы 1.1, 1.2, 1.3
в [12]).
Лемма 1.1. Функции значений ß0, ß : H ^ R1 U {+<^} совпадают, являясь полунепрерывными снизу и выпуклыми. При этом для любого p E H выполнено ß(p) = {||z01|2, если zj0 существует; в ином случае}.
Справедливо также следующее важное, в контексте настоящей статьи, утверждение о плотности субдифференцируемости (см., например, [14, теорема 4.3]).
Лемма 1.2. Субдифференциал собственной выпуклой полунепрерывной снизу функции f : H ^ R1 U {+<^}, где H — гильбертово пространство, не пуст в точках плотного в dom f множества.
Введем функцию Лагранжа
Lp(z,^0,A) = ^0||z||2 + (A, Az - h - p), Lp(z, 1,A) = Lp(z, A), z E D, > 0, A E H.
Напомним, что вектором Куна-Таккера задачи (Pp) называется элемент A* E H, для которого ||zp||2 < Lp(z,A*) Vz E D. С учетом леммы 1.1 справедливо [8, теорема 2.1], [12, теорема 1.1] следующее утверждение (см. также замечания 1.1, 1.2 к теореме 1.1 в [12]).
Предложение 1.2. [ Параметрический недифференциальный ПЛ ] Если p E H такая точка, что ß(p) < то:
1. Если zp E Dp = {z E D : Az - h - p = 0} — оптимальный элемент в задаче (Pp), т. е. ||zp||2 = ß(p), и Z E dß(p), где öß(p) — субдифференциал в смысле выпуклого анализа, то для множителя Лагранжа A E H, A = -Z, при = 1 выполняется соотношение
Lp(zp,^0,A) < Lp(z,^0,A) Vz ED (1.1)
и при этом —( = А — вектор Куна-Таккера задачи (Рр).
И, наоборот, если 5 Е Р такой элемент, что при некоторых ^0 > 0, А Е Н выполняется соотношение (1.1) с заменой z<0 на 5, то этот элемент оптимален в задаче (РР), т. е. Z = zp, элемент А/^0 является вектором Куна-Таккера для нее и одновременно — А/^0 Е дв (р).
2. Если z<0 Е р — оптимальный элемент в задаче (РР), р Е д йатв и ( Е дв(р), ( = 0, где д^в(р) — сингулярный (асимптотический) субдифференциал (см., например, [15]), определяемый формулой д^в(р) = {А Е Н : (А, 0) Е Nр^(р,в(р))}, то для множителя Лагранжа А Е Н, А = —(, соотношение (1.1) выполняются при ^0 = 0.
И, наоборот, если 5 Е Р — такой элемент, что при ^0 = 0 и некотором А Е Н, А = 0, выполняется соотношение (1.1) с заменой zР на 5, то р Е дйатв и одновременно — А Е д^в(р).
З а м е ч а н и е 1.1. Одним из следствий предложения 1.2 является совпадение субдифференциала дв(р) с множеством всех векторов Куна-Таккера задачи (РР) или, что то же самое, с множеством всех решений двойственной к ней задачи, см. лемму 1.8 в [12].
В отличие от индивидуального ПЛ предложения 1.1 параметрический невырожденный (регулярный или нерегулярный) ПЛ предложения 1.2 может быть формально записан в задаче (Р) = (Р0) тогда и только тогда, когда имеет место хотя бы одно из двух соотношений дв(0) = 0, д^в(0) = {0}. Однако, к сожалению, проверка выполнимости нужных субдифференциальных свойств функции значений представляет собою трудную самостоятельную математическую задачу.
В данном контексте представляет интерес также сравнение двух ПЛ предложений 1.1, 1.2. Для упрощения ситуации рассматриваем задачу (Р) при условии Р = X. Можно заметить, что условие Я(А) = Я(А), Я(А) = Н предложения 1.1 влечет наличие ненулевого элемента в сингулярном субдифференциале д^в(0), что в соответствии с первым утверждением второй части предложения 1.2 обеспечивает выполнимость нерегулярного (= 0) ПЛ (1.1) при Р = X. В то же время условие Я(А) = Я(А) = Н, как можно заметить, обеспечивает непустоту субдифференциала дв(0) и, как следствие первого утверждения первой части предложения 1.2, выполнимость регулярного (> 0) ПЛ (1.1) при Р = X. Таким образом, условия Я(А) = Я(А), Я(А) = Н и Я(А) = Я(А) = Н предложения 1.1 (классического ПЛ для гладких задач с равенствами [10, с. 253, 254]) являются достаточными и для применимости соответствующих необходимых условий экстремума предложения 1.2. В то же время можно утверждать, что существует такой обширный класс задач, например вида ( Р ), для которого может быть записан невырожденный классический параметрический ПЛ предложения 1.2 (т. е. в (1.1) набор (^0,А) = 0), но, одновременно, не может быть применен ПЛ предложения 1.1 (для гладких задач с равенствами [10, с. 253,254]). В случае Р = X к таким задачам относятся, например, задачи, в которых Я(А) = Я(А), но, одновременно, либо в(0) = {0}, либо дв(0) = 0, либо и то и другое выполняется совместно. Прежде всего, к таким задачам можно отнести задачи с интегральными операторами А, для которых в большом числе важнейших с точки зрения различных естественнонаучных приложений случаев неравенство Я(А) = Я(А) выполняется.
Итак, подводя итог сказанному выше в данном разделе, уже при выписывании формального ПЛ как в «индивидуальном», так и в «параметрическом» вариантах в задаче
поиска нормального решения операторного уравнения первого рода (/Р), мы встречаемся с трудностями принципиального характера.
1.3. ПЛ как утверждение о существовании оптимального элемента. Представляется важным заметить далее, что второе утверждение первой части ПЛ предложения 1.2 можно переписать в форме теоремы существования оптимального элемента с одновременным представлением последнего.
Предложение 1.3. [ Теорема Куна-Таккера в форме теоремы существования оптимального элемента ] Если 5 е® — такой элемент,, что при некотором А е Н выполняются соотношения
5 Ьр(5,А) < Ьр(5,А) V 5 е®, £р(г,А) = И2 + (А,Аг - К — р), (1.2)
то этот элемент оптимален в задаче (Рр), т.. е. 5 = элемент А является вектором Куна-Таккера для нее и одновременно —А е дв(р).
Последнее предложение сформулировано как достаточное условие существования оптимального элемента. Оно не требует существования вектора Куна-Таккера в задаче или, другими словами, не требует непустоты субдифференциала дв(р). В то же время, как хорошо известно, нельзя утверждать, что если 5 е ® — оптимальный элемент в задаче (Рр), то он с необходимостью удовлетворяет при некотором А неравенству в (1.2). Таким образом, в этом случае выполнимость двух условий (1.2) при некотором А е Н является лишь достаточным для существования оптимального элемента, но, вообще говоря, не необходимым. Чтобы они, в совокупности, стали и необходимым условием, надо потребовать существования вектора Куна-Таккера в задаче (Рр). Важность предложения 1.3 состоит в том, что оно помогает понять, что регуляризованный ПЛ естественно и целесообразно формулировать как утверждение о существовании ОМП.
1.4. Некорректность ПЛ. Наряду с трудностями формальной записи ПЛ в обоих его отмеченных выше вариантах нас ждет здесь еще одна «неприятность», связанная со свойствами некорректности задач условной оптимизации, следствием которой является и некорректность соответствующего ПЛ. Здесь о некорректности ПЛ мы говорим, когда имеем в виду его возможные неустойчивость и невыполнимость. Мы говорим о неустойчивости ПЛ, если выделяемые им в задачах, «близких» к исходной (невозмущенной) задаче элементы, формально ему удовлетворяющие в этих возмущенных задачах, фактически не являются реальными приближениями к точному решению исходной задачи. Другими словами, при сколь угодно малых возмущениях оптимизационных задач эти удовлетворяющие «возмущенным» ПЛ элементы могут сколь угодно сильно отличаться как по аргументу, так и по функции от оптимальных элементов невозмущенных задач (см., например, [8,9]). В свою очередь, невыполнимость ПЛ в той или иной конкретной задаче условной оптимизации мы понимаем как принципиальную невозможность записать их для этой задачи в той привычной (классической) форме, в которой принято записывать условия оптимальности в других задачах данного класса. Простейший пример невыполнимости ПЛ в задаче выпуклого, а точнее говоря, линейного программирования с ограничением-равенством в бесконечномерном пространстве, можно найти в [10, с. 260], другие содержательные примеры см. в [8,9]. Отметим, что в некотором смысле родственной случаю невыполнимости ПЛ является ситуация, когда мы просто не можем сказать выполняется ПЛ или нет. В частности, это может быть тогда, когда мы затрудняемся с проверкой условий предложений 1.1, 1.2.
2. Регуляризация ПЛ, понятие регуляризирующего алгоритма в задаче условной минимизации, экстремали функционала Лагранжа
Оказывается, что внутренний потенциал классического правила множителей Лагран-жа таков, что при соответствующей конструктивной коррекции-регуляризации оно эффективно трансформируется в универсальное средство практического решения некорректных задач. Центральную роль ниже при рассмотрении задач ( Р), ( Рр ) будет играть понятие обобщенной минимизирующей последовательности (ОМП). Напомним его.
Определение 2.1. ОМП в задаче ( Рр ) называется последовательность элемен-
тов zk ЕР, к = 1, 2,..., такая, что выполняются соотношения ||2 ^ в (р), zk Е Рр
л
к ||2 ^ в (р), zk Е Р
к ^ то, для некоторой сходящейся к нулю последовательности ек, к = 1, 2,... , неотрицательных чисел.
В силу дифференцируемости по Фреше функционала || • ||2 справедлива следующая лемма, доказательство которой проходит по стандартной схеме, основанной на слабой компактности ограниченного замкнутого выпуклого множества и слабой полунепрерывности снизу непрерывного выпуклого функционала в гильбертовом пространстве.
Лемма 2.1. Пусть в(р) < +то. Тогда для любой ОМП zk, к =1, 2,..., в разрешимой единственным образом в этом случае задаче (Рр) справедливо предельное соотношение zk ^ zp, к ^ то.
Далее в данном разделе мы получим так называемые регуляризованные ПЛ, которые: а) сохраняют структурное устройство классического аналога; б) формулируются в терминах ОМП, т. е. носят секвенциальный характер; в) представляют собою регуляризирующие алгоритмы. Здесь понятие регуляризирущего алгоритма в задаче условной оптимизации определяется следующим образом [16]. Для формулировки и доказательства регуляри-зованных ПЛ опять воспользуемся методом возмущений и перейдем к параметрической задаче минимизации. Рассматриваем наряду с задачей (Рр) и задачу
(Рр) ||2 ^ 1п£, А6z = к6 + р, z ЕР С X,
где А6 : X ^ Н — линейный ограниченный оператор, норма ||А61| которого ограничена сверху некоторым не зависящим от 5 Е [0, 50] числом, к6 Е Н — заданный элемент, 50 > 0 — некоторое фиксированное число, Р — выпуклое замкнутое множество, X, Н — гильбертовы пространства. Полагаем, как и выше, (Рр) = (Рр), А0 = А, к0 = к. Верхний индекс 5 в исходных данных задачи (Р^ ) означает, что эти данные являются точными (5 = 0) или возмущенными (5 > 0), т. е. задаются с определяемой оценками
||(А6 — А0^|| < С5(1 + И) Vz Е X, ||к6 — к0|| < С5, (2.1)
где С > 0 не зависит от 5, ошибкой, величину которой и характеризует число 5 Е [0,50]. Соответственно, задачу (Р^ ) называем точной, задачу (Р^ ) при 5 > 0 — возмущенной. Как и ранее, обозначим единственное решение задачи ( Р 0 ), в случае его существования, через zp.
Определение 2.2. Зависящий от параметра 5 Е (0, 50) оператор Я(-, •, 5), ставящий в соответствие каждой паре исходных данных А6, к6, удовлетворяющих оценкам (2.1), элемент Я(А6, к6,5) = z6 ЕР такой, что |^61|2 ^ в (р), ЦА^6 — к0 — р|| ^ 0, 5 ^ 0, называется регуляризирующим в задаче (Р 0) = (Р ).
Замечание 2.1. Определения регуляризирующих алгоритмов для задач математического программирования с конечным числом функциональных ограничений типа равенства и неравенства можно найти, например, в [7, гл. 9]. Эти определения даны в случае задач первого типа (т. е. задач, в которых ищется только нижняя грань, см. [7, гл. 9, с. 802]) и второго типа (т. е. задач, в которых ищется и нижняя грань и оптимальный элемент, см. [7, гл. 9, с. 837]). С формальной точки зрения данное выше определение 2.2 занимает промежуточное положение между двумя указанными выше определениями [7, гл. 9]. В отличие от определения [7, гл. 9, с. 802] в определении 2.2 речь идет не только о приближении к нижней грани задачи, но и, параллельно, о выполнении «в пределе» ее ограничений с одновременным представлением «сходящихся» при 8 — 0 как по функции, так и по «ограничениям» элементов Р(А5, К5,8) = 55 е В то же время, в отличие от определения [7, гл. 9, с. 837], в определении 2.2 не идет речь о какой либо сходимости (сильной, слабой) при 8 — 0 самих элементов семейства Р(А5, К5,8) = 55 е® к какому-либо конкретному элементу, например, к точному решению задачи (Рр1) в случае существования последнего. Такая сходимость (сильная, слабая) является уже следствием как того факта, что элементы Р(А5, К5,8) = 55 е Р при 8 — 0 сходятся одновременно и по функции и по «ограничениям», так и дополнительных свойств исходных данных задачи.
Так как основной нашей целью является построение ОМП в задаче (Р^ ), а семейство {55 е Р : 8 е (0, 80]} из определения 2.2 не является последовательностью, то помимо введенного выше определения регуляризирующего оператора в задаче (Р^ ) введем его «след» — определение ОМП-образующего оператора в задаче (Р° ).
Определение 2.3. Пусть 8к е (0,80), к = 1, 2,... , — сходящаяся к нулю последовательность положительных чисел. Зависящий от 8к, к = 1, 2,..., оператор Р(-, •, 8к), ставящий в соответствие каждому набору исходных данных (А5 , К5 ), удовлетворяющих оценкам (2.1) при 8 = 8к, элемент 55 к е Р, называется ОМП-образующим в задаче (Рр),
Т—г
если последовательность 5 , к =1, 2,..., есть ОМП в этой задаче.
Автор придерживается точки зрения, в соответствии с которой задачи условной оптимизации занимают свое особое место в общей теории некорректных задач, и по этой причине для них естественно введение соответствующего специфического понятия регу-ляризирующего алгоритма.
Здесь представляется уместным сравнить на примере двух простейших и эквивалентных задач (/Р) и (Р) = (Р0) = (Рд) два определения 0.1 и 2.2 регуляризирующего алгоритма. Прежде всего заметим, что в соответствии с определением 0.1 строится семейство элементов 55 е Р, 8 е (0,80), такое, что ||55 — 50|| — 0, 8 — 0. В то же время, в соответствии с определением 2.2 мы имеем дело с семейством г5 е Р, 8 е (0,80), таким, что ||г51|2 — в = ||5012, ||А0г5 — К01| —У 0, 8 — 0. Но, как легко заметить в силу леммы 2.1, для семейства г5 е Р, 8 е (0,80) выполняется и предельное соотношение ||г5 — 50|| — 0, 8 — 0. Это означает, что любое такое семейство элементов, удовлетворяющее всем соотношениям определения 0.1, удовлетворяет и всем соотношениям определения 2.2. С другой стороны, рассуждая в обратную сторону, очевидно, что любое семейство элементов, удовлетворяющее всем соотношениям определения 2.2, удовлетворяет и всем соотношениям определения 0.1. Таким образом, применительно к двум простейшим эквивалентным задачам ( /Р ) и ( Р ) эти определения можно считать эквивалентными.
В то же время, сравнивая два определения 0.1 и 2.2, необходимо сказать следующее. Когда доказывается сходимость алгоритма регуляризации по Тихонову [3, гл. 1, теорема 1], [4, теорема 3.1], то прежде всего конструируется семейство элементов z5 Е D, 5 Е (0,5°), такое, что ||zf||2 < ||z°||2+^(5), ||A°zf— h°|| < ф(5), ^(5) ^ 0, ф(5) ^ 0, 5 ^ 0, а затем из этих двух соотношений на основе классических теорем о слабой компактности замкнутого шара и полунепрерывности снизу непрерывного выпуклого функционала в гильбертовом пространстве выводится слабая сходимость элементов zf к z° при 5 ^ 0 и сходимость норм ||zf|| ^ ||z°||, 5 ^ 0, что, благодаря H-свойству гильбертова пространства, приводит к сильной сходимости zf ^ z°, 5 ^ 0. Другими словами, указанное доказательство, прежде всего, обеспечивает построение ОМП в задаче условной минимизации (P), эквивалентной исходной некорректной задаче (IP). Та же идея построения ОМП лежит и в основе определения регуляризирующего алгоритма 2.2. Как оказывается, регуляризация ПЛ обеспечивает такое построение при минимальных требованиях к исходным данным задач условной минимизации. Последнее объясняется тем, что такая важная трансформация привычного ПЛ оказалась возможной благодаря применению в задаче условной оптимизации основанных на двойственности подходов к регуляризации. Опора на теорию двойственности в совокупности с идеей регуляризации двойственной задачи позволяет при построении ОМП обходиться минимумом условий на задачу.
Введем необходимые обозначения: Dp'e = {z Е D : ||Afz — — p|| < б}, e > 0,
Lp(z, А) = ||z||2 + (A,Afz — — p), Vf (А) = minLp(z, А)
p zEV
и определим экстремаль (минималь)
z5[А] = argmin{Lp(z, A), z Е D} функционала Лагранжа Lp(z, A), z Е D, а также двойственную к ( р° ) задачу
Vp°(A) ^ sup, А Е H, Vp°(А) = minL°(z, А).
Ниже при доказательстве регуляризованных ПЛ нам понадобятся следующие две связанные с двойственной задачей оценки.
Лемма 2.2. Справедлива оценка ||z5[А] — z° [А] || < C>/5(1 + ||А||), где C > 0 — постоянная, не зависящая от 5 и А Е H.
Доказательство. Так как функционал ||z||2 + (А, A5 z), z Е D сильно выпуклый при А Е H и его постоянная сильной выпуклости равна 1, то можно утверждать, что благодаря известной оценке для сильно выпуклых функционалов (см., например, [7, теорема 8.2.10]) выполнено
||z5[А2] — z5[А1 ]||2 < ||z5[А2]||2 + (А1, A5z5[А2]) — (||z5[А1]!2 + (А1^5z5[А1])),
||z5[А1] — z5[А2]||2 < ||z5[А1]|2 + (А2, A5z5[А1]) — (||z5[А2]||2 + (А2,А5z5[А2])).
Складывая эти два неравенства, получаем в силу условий на исходные данные для некоторой постоянной K > 0, которая не зависит от А Е H и 5 Е [0,5°]
2||z5[А2] — z5[А1]||2 < (А1 — А2, A5z5[А2] — A5z5[А1]) < KЦА1 — [А2] — z5[А1]|
или
||55[А1] — 55[А2]|| < (К^)ЦА1 — А2||.
Следствием последней оценки является оценка
К
|55[А]|| < |55[А] — 55[0]|| + |55[0]|| < ^||А|| + |55[0]|| < КК(1 + ||А||), (2.2)
где 55[0] = а^тт{||5||2, 5 е Р} и К > 0 не зависит от А е Н.
Далее, благодаря опять же сильной выпуклости с постоянной 1 функционала || • ||2 и, как следствие, функционала Ь5, можем записать две оценки (см. [7, теорема 8.2.10])
||55[А] — 50[А]||2 < ||50[А]|2 + (А, А550[А] — К5) — (||55[А]||2 + (А, А555[А] — К5)),
||55[А] — 50[А]||2 < |55[А]||2 + (А, А055[А] — К0) — (||50[А]||2 + (А, А050[А] — К0)).
Складывая эти два неравенства и пользуясь оценками (2.1), получаем неравенство
2||55[А] — 50[А]||2 < (А, А550[А] — А050[А]) + (А, А055[А] — А555[А]) <
С8||А||(1 + ||50[А]||) + С8||А||(1 + ||55 [А]||). (2.3)
Из оценок (2.3) и (2.2) получаем неравенство 2||55[А] — 50[А]||2 < С18(1 + ||А||)2, где С > 0 — некоторая не зависящая от 8 постоянная, следствием которого и является оценка из утверждения леммы. □
Лемма 2.3. Пусть ||55[А]|| < М и ||50[А] | < М и М не зависит от 8. Тогда V5(А) — Ур°(А)| < С8||А||, где постоянная С > 0 зависит от М, но не зависит от р и 8, а также от А € Н таких, что II55[А] II < М и 1150[А]|| < М.
Доказательство. Предположим без ограничения общности рассуждений, что Vp (A) — Vp°(A). Тогда можем записать следующую цепочку равенств и неравенств с Sm = {z е Z : ||z|| < M}
| Vf (A) - Vp°(A)| = (A) - V°(A) = (A) - inf (Lj(z, A) - Lp(z, A) + Lp(z, A)) <
ztDnSM
Vf (A) - Vf (A) - inf (Lj(z, A) - Lp(z, A)) = - inf (Lj(z, A) - Lp(z,A)) < p p zeDnsM p p zeDnsM p p
sup |Lp(z, A) - LP(z, A)|,
zGDOsm
очевидным следствием которой, с учетом оценок (2.1), и является доказываемая оценка.
□
2.1. Двойственная регуляризация и итеративная двойственная регуляризация, экстремали функционала Лагранжа. Опишем методы двойственной регуляризации и итеративной двойственной регуляризации [17,18] устойчивого построения в задаче ( р° ) ОМП из экстремалей функционала Лагранжа и сформулируем соответствующие теоремы сходимости для них, доказательство которых можно найти в указанных работах [17,18], а также в [8].
Метод двойственной регуляризации. Обозначим через Afa единственную в H точку, дающую максимум функционалу Тихонова Rf'a(A) = V^(A) - a||A||2, A е H, т. е. его экстремаль. Пусть выполняется условие согласования
г
^ 0, а(5) ^ 0, 5 ^ 0. (2.4)
а(5)
Справедлива следующая теорема.
Теорема 2.1. Пусть задача (Pp0) разрешима. Тогда вне зависимости от того, разрешима или нет двойственная к (P°) задача, при условии согласования (2.4) выполняются соотношения
a(5)||Ap'a(<5)||2 ^ 0, [Ap'a(<5)]||2 ^ llzjH2, AV[Ар'а(г)] - h0 -p ^ 0, (Ар'а(г), A/[Ар'а(г)] - h - p) ^ 0, 5 ^ 0,
и, как следствие (благодаря дифференцируемости по Фреше функционала || ■ ||2), предельное соотношение (см. лемму 2.1)
[Ap'a(<5)] - z£|| ^ 0, 5 ^ 0. (2.5)
Другими словами, вне зависимости от того, разрешима или нет двойственная задача, алгоритм двойственной регуляризации является регуляризирующим в смысле определения 2.2 и, более того, справедливо предельное соотношение (2.5). Одновременно справедливо и предельное соотношение Vp)(ApP'a(5)) ^ sup Vp0(A) = ||zp||2, 5 ^ 0. Если же
лея
двойственная к (P°) задача разрешима, то имеет место сходимость Ap'a(ö) ^ Ap при 5 ^ 0, где Ap Е H есть ее нормальное решение.
Замечание 2.2. Можно показать, что в качестве регуляризованной возмущенной двойственной задачи в методе двойственной регуляризации может быть взята задача Vpf (A) - a(5)||A - A||2 ^ sup, A Е H, где А Е H — произвольный фиксированный элемент. Тогда, в соответствии с классической теорией тихоновской стабилизации (см., например, [7, гл. 9, § 4]), в этом случае в качестве предельной точки A0 предельного соотношения Ap,«(<s) ^ Ap при 5 ^ 0 выступает элемент, доставляющий минимальное значение функционалу ||A - А||2, A Е H среди всех решений двойственной к (Pp0) задачи. При этом все полученные выше результаты, связанные с процедурой двойственной регуляризации, сохраняют силу.
Метод итеративной двойственной регуляризации. Введем в рассмотрение итерационный процесс
Äk+1 = Ak + (A'fcz^ [Ak] - h^ - p) - 2вк, k = 1, 2,..., Ap Е H (2.6) с условиями согласования: ak > 0, ßk > 0, lim (5k + ak + ßk) = 0,
fc^-x
Hi+T < Co, 1 , k-Qk 1 ^ 0, -в- ^ 0, —— ^ ek = +^. (2.7)
k+1 0' (afc )3ek ' (afc )3 ' (afc )6 ' ^ v '
а^1 - и' (ак )3вк ' (ак )3 ' (ак)
Замечание 2.3. Последовательности а'к и вк, к = 1, 2,... , удовлетворяющие соотношениям (2.7), существуют. Например, в этом качестве можно использовать последовательности ак = к-1/6, вк = к-1/(5/3), к =1, 2,....
Справедлива следующая теорема.
Теорема 2.2. Пусть задача (Pp) разрешима и выполняются условия согласования
(2.7). Тогда вне зависимости от того, разрешима или нет двойственная к (Pp) задача,
_k
для генерируемой итерационным процессом (2.6) последовательности A , k = 1, 2,... выполняются предельные соотношения
akllÄpH ^ 0, Ц/1 Й||2 ^ ||zp°||2, A°/k[А^] - h° - p ^ 0,
(ä£, A5 kz5 k [Ap] - h5 k - p) ^ 0, 5k ^ 0, k ^ ro.
Как следствие, справедливо и предельное соотношение
||/k А] - z°|| ^ 0, k ^ro. (2.8)
Другими словами, вне зависимости от того, разрешима или нет двойственная задача, алгоритм итеративной двойственной регуляризации является ОМП-образующим
и, более того, справедливо предельное соотношение (2.8). Одновременно с указанными
_k
предельными соотношениями выполняется и предельное соотношение lim VP0 (Ap) =
sup Vp°(A) = ||Z°||2. Если двойственная к (р°) задача разрешима, то имеет место схо-лея
_k
димость Ap ^ Ap, k ^ ro, где Ap G H есть ее решение с минимальной нормой.
Эта теорема снабжается регуляризирующим правилом останова итерационного процесса (2.6) в случае, когда исходные данные оптимизационной задачи задаются с определенной фиксированной (конечной) погрешностью 5 > 0. Пусть числовые последовательности 5k, ak, ßk, k = 0,1, 2,... , удовлетворяют условиям (2.7). Зафиксируем следующее правило останова итерационного процесса (2.6)
Ak+1 = Ak + ßk (A5 z5 [Ak ] - h5 - p) - 2ßk akAk, k = 1, 2,...; Ap G H, (2.9)
при фиксированном конечном уровне погрешности 5 > 0 : при каждом 5 > 0, 5 < 51, итерации продолжаются до такого наибольшего номера k = k(5), при котором выполняются неравенства
5k > 5, k = 1, 2,..., k(5). (2.10)
Справедлива следующая теорема.
Теорема 2.3. Вне зависимости от того, разрешима или нет двойственная к (Pp) задача, справедливы предельные соотношения
||z5[Ap(5)]||2 ^ ||z°|2, A°z5[Äpk(5)] - h° -p ^ 0
и, как следствие, предельное соотношение ||z5[Ap(5)]-^ 0, 5 ^ 0, где Ap(5) —результат k(5) итераций итерационного процесса (2.9) с правилом останова (2.10). Другими словами, указанное правило останова порождает регуляризирующий алгоритм в смысле определения 2.2 в задаче (р°).
Замечание 2.4. В итерационных процедурах (2.6), (2.9) регуляризирующий добавок -2ßkakAk можно заменить на -2ßkak(Ak - А), где A G H — произвольный фиксированный элемент. При этом все утверждения, связанные с методом итеративной двойственной регуляризации, останутся в силе. В то же время, как и в случае метода двойственной регуляризации, в этой ситуации, если двойственная к ( P°) задача разрешима,
то в качестве предела последовательности Л£;, к =1, 2,... в предельном соотношении Ар — АР, к — то также выступает точка Ар Е Н, доставляющая минимальное значение функционалу || А — Л||2, А Е Н среди всех решений двойственной к ( ) задачи.
2.2. Регуляризованные ПЛ в «простейшей» задаче выпуклого программирования. Сформулируем и докажем в данном разделе регуляризованные ПЛ для задачи (р°). Приводимые ниже доказательства основаны на сформулированных в предыдущем разделе теоремах сходимости 2.1, 2.2, 2.3 методов двойственной регуляризации и итеративной двойственной регуляризации с правилом останова итерационного процесса [17,18].
Формулируемые ниже регуляризованные ПЛ, которые можно также именовать регуля-ризованными теоремами Куна-Таккера (используемая функция Лагранжа регулярна) для задачи ( Рр° ), имеют вид утверждений о необходимых и достаточных условиях существования ограниченной ОМП в задаче и о возможности аппроксимации решения гр точками минимума ее регулярной функции Лагранжа. Учитывая лемму 2.1, их можно трактовать одновременно как необходимые и достаточные условия обычной оптимальности в задаче (р0), выраженные, однако, в секвенциальной форме. Одновременно в формулируемых ниже теоремах конструктивно предъявляются конкретные ОМП, аппроксимирующие решение и состоящие из указанных точек минимума регулярной функции Лагранжа.
Теорема 2.4. [ Регуляризованный ПЛ] Пусть задана произвольная последовательность сходящихся к нулю положительных чисел 6к, к = 1, 2,.... Тогда вне зависимости от того, разрешима или нет двойственная к (р°) задача, для существования ограниченной ОМП в задаче (Рр°) необходимо и достаточно, чтобы существовала последовательность Ак Е Н, к =1, 2,..., такая, что выполняются соотношения
6к||Ак ||2 — 0, г5' [Ак ] , ек — 0, (А^5'/1 [Ак ] — Л5' — р) — 0, к —у то>, (2.11)
а последовательность г5'[Ак], к = 1, 2,... была ограничена. Эта последовательность г5 [Ак], к = 1, 2,..., является искомой ОМП в задаче (Рр°).
Другими словами, зависящий от 6к, к = 1, 2,..., оператор Р(-,-,5к), ставящий в соответствие каждому набору исходных данных (А5 ', Л5'), удовлетворяющих оценкам (2.1) при 6 = 6к, элемент Р(А5 ' ,Л5 ' ,6к) = г5 [Ак] Е "Р, является ОМП-образующим; причем в силу дифференцируемости по Фреше целевого функционала || • ||2 имеет место и сильная сходимость г5 [Ак] — гр, к — то.
Кроме того, выполняется предельное соотношение
Ур°(Ак) — 8пр Ур°(А) = ||г°||2. (2.12)
лея
В случае существования ограниченной ОМП и разрешимости! двойственной к (р°) задачи, т. е. в случае дв(р) = 0 можно без ограничения общности считать, что Ак — Ар , к — то, где Ар Е Н есть любое наперед выбранное фиксированное решение указанной двойственной задачи (в частности, нормальное, т. е. минимальное по норме).
В качестве последовательности Ак Е Н, к =1, 2,..., может быть взята последовательность Ар 'а(5 ), к = 1, 2,..., 6к/а(6к) — 0, к — то, генерируемая алгоритмом двойственной регуляризации теоремы 2.1 с учетом замечания 2.2, в соответствии с которым: Ар,а(5) = ащтах{Ур5(А) — а(6)||А — Л||2, А Е Н}, 6/а(6) — 0, а(6) — 0, 6 — 0, Л Е Н — произвольный фиксированный элемент. В случае разрешимости двойственной
к (P°) задачи Ар'а(й) — А£, 6 — 0, где в качестве А^ G H может быть взято ее любое наперед выбранное и фиксированное решение (такая сходимость достигается за счет, произвола в выборе А G H).
Доказательство. Для доказательства необходимости, прежде всего, заметим, что задача (Pp) разрешима благодаря существованию ограниченной ОМП. Теперь выполнимость соотношений (2.11), (2.12) теоремы вытекает из теоремы 2.1, если в качестве
\к ¿k Г\kl \"k .«(¿k) ¿k Г.«(¿fc)l 1 1 о
точек Ак и z" [АкJ взять соответственно точки Ар и z" [Ар J, k = 1, 2,....
Для доказательства достаточности заметим, прежде всего, что задача (Р0) разрешима ввиду включения z"k[АкJ G D"k'ek, ограниченности последовательности z"k[АкJ, k = 1, 2,... , и условий на исходные данные задачи (). Далее, так как точка z"k [АкJ минимизирует функционал Lpk (',Ак), можем записать
||z"k[АкЛ2 + (Акz"k[АкJ - - p) < ||z||2 + (Акz - h"k - p) Vz G D.
В силу условий теоремы отсюда следует, что
||z"k[АкJ||2 < ||z||2 + (Акz - - p) + Vz gD, — 0, k — ro.
Положим здесь z = z0 и используем условие согласования 6k ||Ак || — 0, k — ro. Тогда получаем ||z"k[АкJ||2 < 11z012 + , A — 0, k — ro. Так как одновременно мы имеем включение z"k [АкJ G D"k'ek, а, следовательно, и z"k [АкJ G D0'ek, ek — 0, k — ro, то можем утверждать, что последовательность z"k[АкJ, k = 1, 2,..., является ОМП в задаче (Pp ) и, более того, z" [АкJ — z0, k — ro. Далее, так как последовательность z"k[АкJ, k = 1, 2,... ограничена, то в силу оценки леммы 2.2 и предельного соотношения 6к ||Ак||2 — 0, k — ro последовательность z0^kJ, k = 1, 2,... также ограничена. Одновременно в силу равномерной по k = 1, 2,... ограниченности элементов z" [АкJ, z0^kJ и оценки леммы 2.3 получаем предельное соотношение Vp" (Ак) - ) — 0, k — ro. Так как при этом в силу доказанной сходимости z" k [АкJ — z0, k — ro и третьего из условий (2.11) имеет место сходимость Vp" k (Ак) —^ |z®|2, k — ro, то получаем окончательно
Ур0(Ак) — sup Vp0 (А) = ||z°||2. □
лея
В отличие от теоремы 2.4, в формулируемой ниже теореме одновременное конструктивное предъявление конкретной ОМП, аппроксимирующей решение z0 и состоящей из точек минимума регулярной функции Лагранжа, основано на итерационной процедуре ре-гуляризованного градиентного подъема в процессе максимизации целевого функционала Vp0 двойственной задачи.
Теорема 2.5. [ Регуляризованный итерационный ПЛJ Для того чтобы в задаче ( P° ) существовала ограниченная ОМП (и, следовательно, сильно сходилась к z0),
—к
необходимо и достаточно, чтобы для последовательности А G H, k = 1, 2,..., порождаемой итерационным процессом
АГ = Ак + ek (A"k z"k А J - h"k - p) - 2вк ak (Ак - A), k = 1, 2,..., А G H, (2.13)
где A G H — произвольный фиксированный элемент, с условиями согласования (2.7) выполнялись соотношения
z¿k [АкJ G D"k'£k, ek — 0, <Ак, A"kz"k [АкJ - h"k - p) — 0, k — ro, (2.14)
а последовательность z5k [Л^], k = 0,1,... была ограниченной. Эта последовательность z"k [Лр], k = 1, 2,..., является искомой ОМП в задаче (р°).
Другими словами, зависящий от 6к, k = 1, 2,..., оператор R(-, ^,6к), ставящий в соответствие каждому набору исходных данных (A5 , h5 ), удовлетворяющих оценкам (2.1) при 6 = 6к, элемент R(A5 k ,h5 k ,6к) = z5 [Лр] G D, является ОМП-образующим, причем в силу дифференцируемости по Фреше целевого функционала || • ||2 имеет место и сильная сходимость z"k [Лр] ^ zp, k ^ то.
Одновременно выполняется и предельное соотношение
Vp°(Ap) ^ sup Ур°(Л) = ||z°||2, k ^ то. (2.15)
лея
_к
В случае разрешимости двойственной к (р°) задачи, т. е. если дв(p) = 0, Лр ^ Л°, k ^ то, где в качестве Л° G H выступает точка, доставляющая минимальное значение функционалу ||Л — Л||2, Л G H, среди всех решений двойственной к (р°) задачи. Таким
образом, в случае разрешимости двойственной к (р°) задачи в качестве точки к кото-
—к — рой сходится последовательность Лр, k = 1, 2,..., за счет произвола в выборе Л G H
может быть взято любое ее наперед выбранное и фиксированное решение.
Доказательство. Для доказательства необходимости заметим, прежде всего, что задача (р°) разрешима в силу существования ограниченной ОМП и условий на ее исходные данные. Поэтому предельные соотношения (2.14), (2.15) доказываемой теоремы являются следствиями теоремы 2.2 при учете замечания 2.4.
Далее, для доказательства достаточности, в первую очередь, заметим, что задача ( р° ) разрешима благодаря включениям z"k [Лр] G D^'^, k = 1, 2,..., ограниченности последовательности z5k [Лк], k = 1, 2,..., и условиям на исходные данные задачи. Тогда в
—к
силу той же теоремы 2.2 последовательность Лр, k = 1, 2,... , порождаемая итерационным процессом (2.13) с условиями согласования (2.7), удовлетворяет помимо предельных соотношений (2.14) и предельному соотношению ||z5kЛ]||2 ^ ||zp||2, k ^ то. По этой причине последовательность z"k [Лр], k = 1, 2,... , является искомой ОМП в задаче ( р° ),
а значит, она и сходится к z°. Далее, так как последовательность z"k Л], k = 1, 2,...,
ограничена, то в силу оценки леммы 2.2 условия согласования 6к/(ак)6 ^ 0, k ^ то, в
_к
(2.7) и предельного соотношения ак ||Лр || ^ 0, k ^ то, теоремы 2.2 последовательность _к
z°[Лр], k = 1, 2,..., также ограничена. Одновременно в силу равномерной по k =1, 2,... ограниченности элементов z"k Л], z°[Лk], и оценки леммы 2.3 получаем предельное соотношение Vf (Лк) — Ур°(Лк) ^ 0, k ^ то. Так как при этом в силу доказанной сходимости z5k [Лк] ^ z°, k ^ то, и второго из условий (2.14) имеет место сходимость VL^ (Лк) ^ 11z° |2,
k ^ то, то получаем окончательно ^°(Лк) ^ sup ^°(Л) = ||z°||2, k ^ то. □
лея
Замечание 2.5. Регуляризованный ПЛ в итерационной форме теоремы 2.5, как и метод итеративной двойственной регуляризации, в случае, когда исходные данные задачи (р°) задаются с фиксированной конечной ошибкой, может быть снабжен и правилом останова итерационного процесса (2.13), подобным правилу теоремы 2.3.
Замечание 2.6. Подчеркнем, что сформулированные регуляризованные ПЛ 2.4, 2.5 принципиально отличаются от своего классического аналога двумя важными обстоятельствами: 1) они справедливы без каких-либо предположений регулярности (существования вектора Куна-Таккера) задачи ( P°° ); 2) они «устойчивы» по отношению к ошибкам исходных данных и могут использоваться, в частности, для решения некорректных задач, если последовательность Ak, k = 1, 2,... выбирается в соответствии с указанными в них алгоритмами регуляризации в двойственной задаче. При этом содержащиеся в них условия обеспечивают одновременно как достаточное, так и необходимое условие существования ОМП в задаче, что, благодаря лемме 2.1, позволяет трактовать их в то же время как выражаемые в секвенциальной форме необходимые и достаточные условия обычной оптимальности в задаче ( P°° ).
3. ПЛ является предельным вариантом своих регуляризованных аналогов
ПЛ является предельным вариантом своих регуляризованных аналогов при стремлении номеров элементов ОМП к бесконечности. В этом смысле можно говорить, что вся информация о классическом параметрическом ПЛ содержится в соответствующем параметрическом регуляризованном ПЛ. Одновременно регуляризованные ПЛ вырождаются в пределе в случае невыполнимости своих классических аналогов. Для пояснения сказанного опять вернемся к «простейшей» задаче (P°° ). Действительно, в случае разрешимости двойственной задачи, т. е. в случае ßß(p) = 0, в соответствии с утверждениями теорем 2.4, 2.5, благодаря сильной сходимости соответствующих ОМП (напомним, что z5[A] = argmin{L°(z,A), z G D}) к оптимальному элементу z0 и последовательности двойственной переменной к нормальному решению двойственной задачи A°, получаем в пределе при k A то неравенство L°(z°°,A0) < L°(z,A0) Vz G D (из (2.11) — в случае теоремы 2.4 и соответственно из (2.14) — в случае теоремы 2.5). Если же öß(p) = 0, но ö^ß(p) = {0}, то для перехода к пределу в соотношениях теорем 2.4, 2.5 поступаем несколько хитрее. Воспользуемся для этого двумя важными фактами, связанными со свойствами субдифференцируемости выпуклой полунепрерывной снизу функции значений ß (см. лемму 1.1). Первый из них заключается в том, что каждая такая функция в гильбертовом пространстве является субдифференцируемой на плотном множестве ее эффективного множества (см. лемму 1.2, а также [14, теорема 4.3]). Второй же связан с известным представлением для асимптотического субдифференциала выпуклого полунепрерывного снизу функционала (см., например, [15, утверждение 4C2])
(p) = lim sup töß(p') = {w - lim tfc(fc : tk | 0, Zk G 3ß(pk), Pk A p},
ß k—TO
p'Ap, 40
где символ p' A p означает, что (p', ß(p')) A (p, ß(p)), а символ t ^ 0 означает сходимость к нулю справа. Тогда возьмем произвольную слабую предельную точку вида
A° = w - lim SkA°fc
ß ° k—^,pfc-ß-p, Sfc40
с A°k G — öß(pk), причем в соответствии с теоремами 2.4 и 2.5 в данном случае в качестве A°k можно взять любой элемент из —öß(pk) (см. замечание 1.1). Так как в задаче с p = pk имеем dß(pk) = 0, то по доказанному выше можем записать
L0k (z°k ,Sk ,SkA°fc) < L°fc (z,Sk ,SkA°fc) V z G D,
где 5, А) = з||г||2 + (А, — Л° — р). Переходя теперь в последнем неравенстве оче-
видным образом к пределу при к — то с учетом предельного соотношения —
к — то (так как ||2 — ||г°||2 в силу предельного соотношения рк —— р и слабо
сходится к при k ^ то ), получаем неравенство L^ (z°, 0, Àp) < L^(z, 0, Àp) Vz G D, означающее выполнимость нерегулярного ПЛ в задаче ||z||2 ^ min, A0z = h0 + p, z G D. Итак, регуляризованные ПЛ теорем 2.4, 2.5 в пределе «приводят» к классическому ПЛ при любом p G dome, для которого либо субдифференциал дв(p) не пуст, либо, в случае его пустоты, асимптотический субдифференциал д^в(р) состоит не из одного нуля. Если же одновременно дв(р) = 0, д^в(р) = {0}, то регуляризованные ПЛ теорем 2.4, 2.5 в пределе вырождаются.
4. О связи экстремалей функционалов Тихонова и Лагранжа
Оказывается, что приближения в соответствии с регуляризованным ПЛ теоремы 2.4 в случае D = Z «являются приближениями» по методу Тихонова. Другими словами, полученные А. Н. Тихоновым в 1963 г. приближения к решению задачи ( IP ) в случае D = Z были, по сути дела, приближениями в соответствии с регуляризованным ПЛ теоремы 2.4 для эквивалентной задачи условной минимизации ( P ). Поясним сказанное. Опять рассматриваем задачу (P0) = (P) как элемент при ö = 0 семейства зависящих от числового параметра ö, ö G [0, ö0), ö0 > 0 — некоторое число, задач (Pô) = (P0) (см. раздел 2.), считая при этом, что ||Ай — A0|| < Cö, ||hô — h0|| < Cö с некоторой постоянной C > 0, которая не зависит от ö.
С одной стороны, метод регуляризации (стабилизации) Тихонова для задачи ( IP0 ) заключается [2-4] в отыскании решений zô'a(ô) задачи минимизации сглаживающего функционала — функционала Тихонова Mô'a(ô)(z) = ||Айz — hô||2 + a(ö)||z||2 ^ min, z G D при условии согласования ö2/a(ö) ^ 0, a(ö) ^ 0, ö ^ 0, что сводится к решению вариационного неравенства (0.1). В этом случае для экстремалей zô'a(ô) функционала Тихонова — приближенных решений задачи ( IP0 ), как известно [2-4], имеет место при указанных условиях предельное соотношение ||zô'a(ô) — z0|| ^ 0, ö ^ 0, где z0 — решение (нормальное) точной задачи ( IP0 ).
В свою очередь, с другой стороны, алгоритм двойственной регуляризации теоремы 2.1 (см. также [17]) для задачи (P0) (тихоновская стабилизация двойственной к ( P0 ) задачи) предполагает решение задачи
Vй (А) — a(ö)||A||2 = min{||z||2 + (A, Ай z — h )} — a(ö)||A||2 ^ max, A G H,
Aô'a(ô) = argmax{Vô(A) — a(ö)||A||2 : A G H},
при условии согласования ö/a(ö) ^ 0, a(ö) ^ 0, ö ^ 0 с последующим нахождением экстремалей функционала Лагранжа zô[Aô'a(ô)] = argmin{||z||2 + (Aô'a(ô), Айz — hô) : z G D}. При этом в соответствии с теоремой 2.1 сходимости метода двойственной регуляризации (см. также [17]) имеет место предельное соотношение ||zô[Aô'a(ô)] — z0|| ^ 0, ö ^ 0.
Элемент Aô'a(ô) есть решение (см. [17]) уравнения
(Vй (A) — a(ö)||A||2)' = 0
(в этом случае функционал Vй(•) непрерывно дифференцируем по Фреше при A G H и, с учетом сильной выпуклости || • ||2, Vй'(A) = Айzô[A] — hô, см., например, [17, лемма 3])
или уравнения
A5z5[Л] - h5 - 2а(£)Л = 0
с z5[Л] = argmin{||z||2 + (Л,А5z - h5) : z G D} = PrD(-2A5*Л). Отсюда выводим, что элемент Л5'а(5) есть решение уравнения
A5Prp(-1 А5*Л) - h5 - 2а(£)Л = 0 (4.1)
или
A5* A5 PrD (-1 А5*Л) + 4а(£)(-1 А5*Л) = A5*h5. (4.2)
Таким образом, элемент -§ Аг*Лг'а(<5) = argmin{||z||2 + (Лг'а(<5), A5z - h5) : z G Z} является решением уравнения
A5*A5PrDz + 4a(£)z = A5*h5, z G Z,
при этом его проекция на D — элемент z5 [Л5'а(г)] = PrD (-1Аг*Л5'а(г)) — приближенное решение исходной задачи (P0), т. е. задачи ||z||2 А min, A0z = h0, z G D, по методу двойственной регуляризации. В частном случае D = Z получаем, что приближенное решение задачи (P0 ), т. е. элемент -1 А5*Лг'а(г) — приближенное решение исходной задачи (P0), т. е. задачи ||z||2 А min, A0z = h0, z G Z, по методу двойственной регуляризации — является одновременно приближенным решением эквивалентной задачи (IP0) по методу Тихонова с заменой а($) на 4а($) в известном [2-4] операторном уравнении для экстремалей функционала Тихонова
A5*A5z + a(£)z = A5*h5, z G Z. (4.3)
Итак, в случае D = Z приближенные решения задачи (IP0) и (P0) являются решениями одного и того же уравнения для экстремалей (4.3), но взятого при разных значениях параметра регуляризации а($). Если же D = Z, то приближенные решения задачи (IP0 ) по методу регуляризации Тихонова и задачи ( P0 ) в соответствии с регуляризацией ПЛ теоремы 2.4 существенно разнятся: в первом случае приближения находятся как решения вариационного неравенства (0.1), во втором же, нахождение приближенного решения заключается в выполнении последовательно трех операций, первая из которых — решение регуляризованной двойственной задачи и нахождение элемента Л5'а(5), например, посредством решения уравнения (4.1) или уравнения (4.2), вторая — вычисление значения сопряженного оператора -(1/2)A5* Л5'а(5), а третья — нахождение проекции полученного элемента на множество .
References
[1] А. Н. Тихонов, "О решении некорректно поставленных задач и методе регуляризации", Доклады АН СССР, 151:3 (1963), 501-504; англ. пер.:А.^ Tikhonov, "Solution of incorrectly formulated problems and the regularization method", Sov. Math., Dokl., 5 (1963), 1035-1038.
[2] А.Н. Тихонов, В. Я. Арсенин, Методы решения некорректных задач, Наука, М., 1974; англ. пер.:А. N. Tikhonov, V. Ya. Arsenin, Solutions of Ill-Posed Problems, Winston; Halsted Press, Washington; New York, 1977.
[3] А. Н. Тихонов, А. В. Гончарский, В. В. Степанов, А. Г. Ягола, Регуляризирующие алгоритмы и априорная информация, Наука, М., 1983. [А. N. Tikhonov, А. V. Goncharskii, V. V. Stepanov, A. G. Yagola, Regularizing Algorithms and A Priori Information, Nauka Publ., Moscow, 1983 (In Russian)].
[4] А. Б. Бакушинский, А. В. Гончарский, Некорректные задачи. Численные методы и приложения, Изд-во Моск. ун-та, М., 1989. [A. B. Bakushinskii, A. V. Goncharskii, Incorrect Problems. Numerical Methods and Applications, Moscow University Publishing House, Moscow, 1989 (In Russian)].
[5] Е. Г. Гольштейн, Теория двойственности в математическом программировании и ее приложения, Наука, М., 1971. [E.G. Golshtein, Duality Theory in Mathematical Programming and its Applications, Nauka Publ., Moscow, 1971 (In Russian)].
[6] J. Warga, Optimal Control of Differential and Functional Equations, Academic Press, New York, 1972.
[7] Ф.П. Васильев, Методы оптимизации: в 2-х кн., МЦНМО, М., 2011. [F. P. Vasil'ev, Optimization methods: in 2 books, MCCME, Moscow, 2011 (In Russian)].
[8] М. И. Сумин, "Регуляризованная параметрическая теорема Куна-Таккера в гильбертовом пространстве", Журн. вычисл. матем. и матем. физ., 51:9 (2011), 1594-1615; англ. пер.^Л. Sumin, "Regularized parametric Kuhn-Tucker theorem in a Hilbert space", Comput. Math. Math. Phys., 51:9 (2011), 1489-1509.
[9] М. И. Сумин, "Регуляризованные принцип Лагранжа и принцип максимума Понтрягина в оптимальном управлении и обратных задачах", Тр. ИММ УрО РАН, 25, 2019, 279-296. [M. I. Sumin, "Regularized Lagrange principle and Pontryagin maximum principle in optimal control and in inverse problems", Trudy Inst. Mat. i Mekh. UrO RAN, 25, 2019, 279-296].
[10] В.М. Алексеев, В.М. Тихомиров, С. В. Фомин, Оптимальное управление, Наука, М., 1979; англ. пер.У. M. Alekseev, V. M. Tikhomirov, S.V. Fomin, Optima,l control, Plenum Press, New York, 1987.
[11] Е. Р. Аваков, Г. Г. Магарил-Ильяев, В.М. Тихомиров, "О принципе Лагранжа в задачах на экстремум при наличии ограничений", Успехи матем. наук, 68:3(411) (2013), 5-38; англ. пер.:Е. R. Avakov, G.G. Magaril-Il'yaev, V. M. Tikhomirov, "Lagrange's principle in extremum problems with constraints", Russian Math. Surveys, 68:3 (2013), 401-433.
[12] М. И. Сумин, "Недифференциальные теоремы Куна-Таккера в задачах на условный экстремум и субдифференциалы негладкого анализа", Вестник российских университетов. Математика, 25:131 (2020), 307-330. [M. I. Sumin, "Nondifferential Kuhn-Tucker theorems in constrained extremum problems via subdifferentials of nonsmooth analysis", Russian Universities Reports. Mathematics, 25:131 (2020), 307-330 (In Russian)].
[13] В.А. Треногин, Функциональный анализ, Наука, М., 1980. [V. A. Trenogin, Functional Analysis, Nauka Publ., Moscow, 1980 (In Russian)].
[14] J.-P. Aubin, L'analyse Non Lineaire Et Ses Motivations Economiques, Masson, Paris-New York, 1984.
[15] P. D. Loewen, Optimal Control via Nonsmooth Analysis. V. 2, CRM Proceedings & Lecture Notes, Amer. Math. Soc., Providence, RI, 1993.
[16] М. И. Сумин, "О регуляризации классических условий оптимальности в выпуклых задачах оптимального управления", Тр. ИММ УрО РАН, 26, 2020, 252-269. [M. I. Sumin, "On the regularization of the classical optimality conditions in convex optimal control problems", Trudy Inst. Mat. i Mekh. UrO RAN, 26, 2020, 252-269 (In Russian)].
[17] М. И. Сумин, "Регуляризация в линейно-выпуклой задаче математического программирования на основе теории двойственности", Журн. вычисл. матем. и матем. физ., 47:4 (2007), 602-625; англ. пер.^Л. Sumin, "Duality-based regularization in a linear convex mathematical programming problem", Comput. Math. Math. Phys., 47:4 (2007), 579-600.
[18] М. И. Сумин, "Регуляризованный градиентный двойственный метод решения обратной задачи финального наблюдения для параболического уравнения", Журн. вычисл. матем. и матем. физ., 44:11 (2004), 2001-2019; англ. пер.^Л. Sumin, "A regularized gradient dual method for the inverse problem of a final observation for a parabolic equation", Comput. Math. Math. Phys., 44:11 (2004), 1903-1921.
Информация об авторе
Сумин Михаил Иосифович, доктор физико-математических наук, главный научный сотрудник, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов; профессор, Нижегородский государственный университет им. Н.И. Лобачевского, г. Нижний Новгород, Российская Федерация. E-mail: m.sumin@mail.ru
Information about the author
Mikhail I. Sumin, Doctor of Physics and Mathematics, Chief Researcher, Derzhavin Tambov State University, Tambov; Professor, Nizhnii Novgorod State University, Nizhnii Novgorod, Russian Federation. E-mail: m.sumin@mail.ru
Поступила в редакцию 15.12.2021 г. Поступила после рецензирования 17.02.2022 г. Принята к публикации 10.03.2022 г.
Received 15.12.2021 Reviewed 17.02.2022 Accepted for press 10.03.2022
