CC BY
10
ISSN 1810-0198. Вестник Тамбовского университета. Серия: естественные и технические науки
Том 24, № 126 2019
© Журбенко Н.Г., Измаилов А.Ф., Усков Е.И., 2019 DOI 10.20310/1810-0198-2019-24-126-150-165 УДК 519
Гибридная глобализация сходимости метода последовательного квадратичного программирования, стабилизированного вдоль подпространства
Николай Георгиевич ЖУРБЕНКО1 , Алексей Феридович ИЗМАИЛОВ2 ,
Евгений Иванович УСКОВ3
1) Институт кибернетики им. В. М. Глушкова НАН Украины 03187, Украина, г. Киев, проспект Академика Глушкова, 40 ORCID: https://orcid.org/0000-0001-5123-8607, e-mail: zhurbnick@gmail.com 2) ФГБОУ ВО «Московский государственный университет им. М. В. Ломоносова» 119992, ГСП-2, Российская Федерация, г. Москва, Ленинские горы, факультет ВМК ORCID: https://orcid.org/0000-0001-9851-0524, e-mail: izmaf@ccas.ru 3) ФГБОУ ВО «Тамбовский государственный университет им. Г.Р. Державина» 392000, Российская Федерация, г. Тамбов, ул. Интернациональная, 33 ORCID: https://orcid.org/0000-0002-3639-0317, e-mail: euskov@cs.msu.ru
Hybrid globalization of convergence of subspace-stabilized sequential quadratic programming method
Nikolay G. ZHURBENKO1 , Alexey F. IZMAILOV2 , Evgeniy I. USKOV3
1) V. M. Glushkov Institute of Cybernetics of NAS of Ukraine 40 Akademika Glushkova Ave., Kiev 03187, Ukraine ORCID: https://orcid.org/0000-0001-5123-8607, e-mail: zhurbnick@gmail.com
2) Lomonosov Moscow State University
VMK Faculty, Leninskiye Gory, Moscow 119991, Russian Federation ORCID: https://orcid.org/0000-0001-9851-0524, e-mail: izmaf@ccas.ru
3) Derzhavin Tambov State University
33 Internatsionalnaya St., Tambov 392000, Russian Federation ORCID: https://orcid.org/0000-0002-3639-0317, e-mail: euskov@cs.msu.ru
Аннотация. Локальная сверхлинейная сходимость стабилизированного метода последовательного квадратичного программирования устанавливается при очень слабых предположениях, не включающих в себя никакие условия регулярности ограничений. Однако, все попытки глобализации сходимости этого метода неминуемо сталкиваются с принципиальными трудностями, связанными с поведением этого метода при относительной удаленности текущей итерации от решений. А именно, стабилизированный
метод последовательного квадратичного программирования имеет тенденцию генерировать длинные последовательности коротких шагов перед тем, как проявляется его сверхлинейная сходимость. В связи с этим был предложен метод последовательного квадратичного программирования, стабилизированный вдоль подпространства, обладающий лучшим «полулокальным» поведением, а значит, лучше приспособленный для разработки на его основе практических алгоритмов. В данной работе предлагаются два способа гибридной глобализации сходимости этого метода: алгоритм с возвратами и алгоритм с рекордами. Приводятся теоретические результаты о глобальной сходимости и скорости сходимости данных алгоритмов, а также результаты сравнительного численного тестирования.
Ключевые слова: последовательное квадратичное программирование; вырожденные решения; некритический множитель Лагранжа; двойственная стабилизация; глобализация сходимости
Благодарности: Работа выполнена при поддержке РФФИ (проекты № 17-01-00125_а и № 19-51-12003 ННИО_а) и фонда Volkswagen (грант 90306).
Авторы выражают признательность Дарию Панкову за помощь в проведении численного тестирования.
Для цитирования: Журбенко Н.Г., Измаилов А.Ф., Усков Е.И. Гибридная глобализация сходимости метода последовательного квадратичного программирования, стабилизированного вдоль подпространства // Вестник Тамбовского университета. Серия: естественные и технические науки. Тамбов, 2019. Т. 24. № 126. С. 150-165. DOI 10.20310/1810-0198-2019-24-126-150-165.
Abstract. Local superlinear convergence of the stabilized sequential quadratic programming method is established under very weak assumptions not involving any constraint qualification conditions. However, all attempts to globalize convergence of this method inevitably face principal difficulties related to the behavior of this method when the iterates are still relatively far from solutions. Specifically, the stabilized sequential quadratic programming method has a tendency to generate long sequences of short steps before its superlinear convergence shows up. To that end, the so-called subspace-stabilized sequential quadratic programming method has been proposed, demonstrating better "semi-local" behavior, and hence, more suitable for development of practical algorithms on its basis. In this work we propose two techniques for hybrid globalization of convergence of this method: algorithm with backups, and algorithm with records. We provide theoretical results on convergence and rate of convergence of these algorithms, as well as some results of their numerical testing. Keywords: sequential quadratic programming; degenerate solutions; noncritical Lagrange multiplier; dual stabilization; globalization of convergence
Acknowledgements: The work is partially supported by the Russian Foundation for Basic Research (projects no. 17-01-00125_a and 19-51-12003 ННИО_а) and by the Volkswagen Foundation (grant 90306).
The authors are grateful to Dariy Pankov for assistance in conducting numerical testing. For citation: Zhurbenko N.G., Izmailov A.F., Uskov E.I. Gibridnaya globalizatsiya skhodimosti metoda posledovatel'nogo kvadratichnogo programmirovaniya, stabilizirovannogo vdol' podprostranstva [Hybrid globalization of convergence of subspace-stabilized sequential quadratic programming method]. Vestnik Tambovskogo universiteta. Seriya: estestvennye i tekhnicheskie nauki - Tambov University Reports. Series: Natural and Technical Sciences, 2019, vol. 24, no. 126, pp. 150-165. DOI 10.20310/1810-0198-201924-126-150-165. (In Russian, Abstr. in Engl.)
Введение
Рассматривается задача оптимизации с ограничениями-равенствами
f (x) ^ min, h(x) = 0, (1)
где целевая функция f : R ^ R и отображение h : Rn ^ R1 по крайней мере дважды дифференцируемы.
Стационарные точки данной задачи и соответствующие им множители Лагранжа задаются системой оптимальности Лагранжа
dL
— (x, A) = 0, h(x) = 0, (2)
dx
где L : Rn x R ^ R,
L(x, A) = f(x) + (A, h(x)>,
есть функция Лагранжа задачи (1). А именно, обозначим через M(x) множество множителей Лагранжа, отвечающих допустимой точке x Е Rn задачи (1), то есть множество таких A Е R1, для которых пара (x, A) удовлетворяет системе (2). Тогда говорят, что x является стационарной точкой данной задачи, если M(x) = 0 .
Как хорошо известно, стационарность является необходимым условием локальной оптимальности точки x в задаче (1) при выполнении условия регулярности ограничений
rank h'(x) = /, (3)
которое к тому же является необходимым и достаточным условием единственности множителя Лагранжа, отвечающего стационарной точке x .
В терминологии [1, разд. 1.3.3], множитель Лагранжа А Е M(x) называется критическим, если существует такой вектор £ Е ker h'(x)\{0} , что
ö2L
dx^(x, А)£ Е im(h'(x))T,
и некритическим иначе. Будем говорить, что в стационарной точке А задачи (1) для отвечающего ей множителя Лагранжа А Е M(x) выполнено достаточное условие второго порядка оптимальности, если
' д 2 L
dx2
(А, А)£,£^> 0 V£ Е ker h'(x) \{0}.
При выполнении этого условия множитель А всегда является некритическим.
Как показано в [1, предложение 1.43], некритичность А Е М(х) равносильна следующему свойству: существует константа Ь > 0 такая, что для всех (х, А) Е х К1, достаточно близких к (х, А) , выполняется неравенство
||х - х|| + ^(А, М(х)) < Ь||Ф(х, А)||, (4)
где Ф : Rn х Rl ^ Rn х Rl,
Ф(х, Л) = ^dX(x, Л), h(x)^ ,
есть оператор системы Лагранжа (2).
Одним из наиболее эффективных методов общего назначения для задач условной оптимизации является метод последовательного квадратичного программирования (SQP, от «sequential quadratic programming») [1, разд. 4.2], [2, разд. 4.4], который для задачи (1) есть ни что иное, как метод Ньютона для системы уравнений Лагранжа (2). Локальная сверхлинейная сходимость метода SQP к решению (X, А) этой системы устанавливается при выполнении условия регулярности ограничений (3) и некритичности множителя А . О различных способах глобализации сходимости метода SQP см. [1, разд. 6.2], [2, разд. 5.4], а также разд. 1 ниже.
Стабилизированный метод последовательного квадратичного программирования (sSQP, от «stabilized SQP») был предложен в [3] для задачи оптимизации с ограничениями-неравенствами как средство восстановления сверхлинейной скорости сходимости метода SQP, которая обычно теряется при нарушении условий регулярности ограничений. Впоследствии метод был распространен и на задачи, в которых присутствуют и ограничения-равенства. В частности, в [4] (см. также разд. 2 ниже) для задачи (1) было показано, что при выполнении одного лишь условия некритичности А метод sSQP локально сверхлинейно сходится к (X, Л*) с некоторым Л* Е M(X), близким к А.
В работах [5]- [12] предпринимались различные попытки глобализации сходимости метода sSQP. В частности, в [5] были предложены два алгоритма гибридной глобализации данного метода, где в качестве алгоритма внешней фазы использовался гло-бализованный посредством одномерного поиска метод SQP. Однако, все эти попытки сталкиваются с принципиальными трудностями, связанными с поведением метода sSQP при относительной удаленности текущей итерации от решений. А именно, метод имеет тенденцию генерировать длинные последовательности коротких шагов перед тем, как проявляется его сверхлинейная сходимость. Подчеркнем, что это дефект самого метода sSQP, и он неминуемо будет проявляться при любых способах глобализации его сходимости. На сегодняшний день однозначно успешные способы такой глобализации авторам неизвестны.
В связи со сказанным в [13] было сделано предположение, что в модификации нуждаются не способы глобализации сходимости, а сам метод sSQP. Там же был разработан метод последовательного квадратичного программирования, стабилизированный вдоль подпространства (s-sSQP, от «subspace-stabilized SQP»), обладающий лучшим «полулокальным» поведением, а значит, лучше приспособленный для глобализации. Основные ингредиенты этой конструкции обсуждаются ниже в разд. 2, а в разд. 3 предлагаются два способа такой глобализации: алгоритм с возвратами и алгоритм с рекордами, а также соответствующие теоретические результаты о глобальной сходимости и скорости сходимости данных алгоритмов. Наконец, разд. 4 содержит некоторые результаты численного тестирования.
1. Глобализованный метод последовательного квадратичного
программирования
Метод SQP состоит в следующем. Для текущего прямо-двойственного приближения (xk, Ak) Е IRn х IR1 вычисляется направление (£fc, ) как решение системы линейных уравнений
dL
HfcC + (h'(xfc))Tn = -^(xk, Ak), h'(xfc)f = -h(xk), (6)
с базовым выбором
d2 L
Я = ^(^ Ak). (7)
Следующее приближение определяется как (xfc+1, Afc+1) = (xk + £fc, Ak + ).
В разд. 3 в качестве метода внешней фазы для гибридного алгоритма будет использоваться следующий вариант метода SQP, глобализованный одномерным поиском для негладкой точной штрафной функции : Rn ^ R,
^c(x) = f (x) + c||F (x)||b (8)
при соответствующем выборе значений параметра штрафа c > 0 ; см. [1, разд. 6.2.1], [2, разд. 5.4.1]. Приводимый алгоритм снабжен так называемыми поправками второго порядка, позволяющими подавлять известный эффект Маратоса, замедляющий сходимость [1, разд. 6.2.2], [2, разд. 5.4.2].
Алгоритм 1. Выбираем параметры с > 0 , е, в Е (0, 1). Выбираем начальное приближение (x0, A0) Е Rn х R и полагаем k = 0 .
1. Выбираем симметричную матрицу Яд Е IRnxn и вычисляем (£fc, ) как решение системы (6). Полагаем Afc+1 = Ak + .
2. Если £fc = 0 , стоп.
3. Выбираем
Cfc > ||Afc+1|TO + с,
и вычисляем
Ад = (f'(**),£k>- cfc|F(xk)|1.
4. Если выполняется неравенство
(xk + £fc) < (xk)+ eAfc,
где функция вводится согласно (8), то полагаем xk+1 = xk + , и переходим к п. 7.
5. Вычисляем ^ как решение задачи оптимизации
||£|| ^ min, h(xfc + £fc) + h'(xfc)£ = 0.
6. Полагаем а =1. Если выполняется неравенство
^ (хк + а£к + а2?) < ^ (хк) + еаДк, (9)
то полагаем ак = а .В противном случае заменяем а на 0а и проверяем (9), до тех пор, пока оно не будет выполнено. Полагаем хк+1 = хк + ак¿к + а|.
7. Увеличиваем к на 1 и переходим к п. 1.
Анализ свойств глобальной сходимости и скорости сходимости данного алгоритма приводится в [1, разд. 6.2], [2, разд. 5.4].
2. Стабилизированные методы последовательного квадратичного
программирования
Метод sSQP получается заменой итерационной системы (6) на следующую:
дЬ
НкС + (^(хк))тп = -д-(хк, Ак), й'(хк)£ - а(хк, Ак)п = -й(хк), (10)
дх
с Нк выбираемым согласно (7), и с функцией а : х К1 ^ К+ , задающей параметр стабилизации и традиционно определяемой как невязка системы Лагранжа (2):
а(х, А) = ||Ф(х, А)||,
где Ф введено в (5).
Нарушение условия регулярности ограничений в точке х означает, что
(1ш й'(х))х = кег(й'(х))т
является нетривиальным линейным подпространством в К1, которое в дальнейшем будем называть подпространством вырожденности. Когда подпространство вырожденности совпадает со всем пространством К1, т. е. когда Л/(х) = 0, метод sSQP и его упоминавшиеся выше глобализации обычно вполне успешны. Однако, при неполном вырождении, т. е. в тех случаях, когда подпространство вырожденности является нетривиальным, но собственным подпространством в К1 , данный метод имеет тенденцию генерировать длинные последовательности коротких шагов. Такое поведение наблюдалось уже в некоторых примерах в [14]. Необходимость подавления этого эффекта является мотивировкой введения в [13] следующего класса методов.
Пусть задано отображение Р : хК1 ^ К1х1 и функция а : хК1 ^ К. Предполагается, что линейный оператор Р (х, А) аппроксимирует проектор на подпространство вырожденности при (х, А) ^ (х, А). Итерационная система метода s-sSQP имеет вид
Нк£ + (й'(хк))тп = -д-(хк, Ак), й'(хк)£ - а(хк, Ак)Р(хк, Ак)п = -й(хк), (11)
т. е. отличается от итерационной системы (10) метода sSQP только присутствием линейного оператора Р(хк, Ак) во втором уравнении, а также, возможно, другим выбором функции а .
В [13] были введены две группы методов s-sSQP. Методы s-sSQP с исчезающей стабилизацией характеризуются следующими требованиями на Р и а :
- отображение Р непрерывно в точке (х, А) , и (1ш ^'(х))^ является инвариантным подпространством Р(х, А) , т. е.
Р(х, А)п = П ^П ^ (^ш Л/(х))х;
- функция а непрерывна в каждой точке множества {х} х М(х) из некоторой окрестности (х, А) , а(х, А) = 0 для всех А € М(х) достаточно близких к А, а(х, А) = 0 для всех (х, А) € (Н" х ¡И) \ ({х} х М(х)) из некоторой окрестности (х, А), и
||х - х|| = 0(|а(х, А)|)
при (х, А) ^ (х, А).
Заметим, что эти предположения позволяют взять, например, Р(•) = I, тем самым покрывая метод sSQP. О других способах выбора Р см. ниже. Кроме того, если А — некритический множитель Лагранжа, то, согласно эквивалентности этого условия оценке (4), всем требованиям удовлетворяет выбор
а(х, А) = ||Ф(х, А)||в
с любым фиксированным показателем в € (0, 1] , где Ф введен в (5).
Методы s-sSQP с неисчезающей стабилизацией предполагают следующие требования на Р и а :
- отображение Р непрерывно в каждой точке множества {х}хМ(х) из некоторой окрестности (х, А) , т Р(х, А) П т Л,'(х) = {0} для всех А € М(х) из некоторой окрестности А , и кег Р(х, А) П (1ш ^'(х))х = {0} .
- функция а непрерывна в точке (х, А) , и а(х, А) = 0.
Идея методов такого рода восходит к [15].
Как показано в [13], локальные свойства свойства указанных двух вариантов методов s-sSQP аналогичны соответствующим свойствам sSQP: локальная сверхлинейная сходимость гарантирована при одном лишь предположении некритичности множителя Лагранжа А . Там же предложены и практические способы задания подходящего отображения Р , аппроксимирующего проектор на подпространство вырожденности.
3. Гибридная глобализация сходимости
В этом разделе будут описаны два способа гибридной глобализации метода s-sSQP: алгоритм с возвратами и алгоритм с рекордами. Общая идея этих техник глобализации изложена в [1, разд. 5.3].
Суть алгоритма с возвратами состоит в следующем. На каждой итерации из текущего приближения (жк, Ак) делается шаг метода внутренней фазы (в данном случае s-sSQP), который принимается, если он приводит к линейному убыванию невязки системы Лагранжа, т. е. к ее уменьшению по крайней мере в заданное число раз, определяемое в алгоритме ниже параметром д . Если на какой-либо из последующих итераций шаг метода внутренней фазы не принимается, то происходит возврат к тому приближению, откуда был сделан первый в данной серии шагов метода внутренней фазы, и из этой точки делается шаг метода внешней фазы (в данном случае глобализованного метода SQP, т. е. алгоритма 1).
Алгоритм 2. Выбираем параметр д Е (0, 1), а также параметры алгоритма 1. Выбираем начальное приближение (ж0, А0) Е М х М1 и полагаем к = 0.
1. Полагаем к = к и (ж, А) = (жк, Ак).
2. Определяем согласно (7). Определяем Р(жк, Ак) и а(жк, Ак) согласно выбранному варианту метода s-sSQP. Вычисляем , ) как решение системы (11). Если решение найти не удается, то переходим к п. 4. В противном случае полагаем (жк+1, Ак+1) = (жк + ^, Ак + ).
3. Если
||Ф(жк+1, Ак+1)|| < д||Ф(жк, Ак)||, (12)
то увеличиваем к на 1 и переходим к п. 2. (Шаг метода внутренней фазы.)
4. Если к > к, полагаем к = к и (жк, Ак) = (к, к). Вычисляем (жк+1, Ак+1) с помощью итерации алгоритма 1, увеличиваем к на 1 и переходим к п. 1. (Шаг метода внешней фазы.)
Что касается свойств глобальной сходимости приведенного алгоритма, то возможны только два сценария: либо все итерации, начиная с некоторой, являются шагами метода внутренней фазы, либо все итерации являются шагами метода внешней фазы. В последнем случае алгоритм 2 наследует свойства глобальной сходимости алгоритма 1. В первом же случае из условия (12) вытекает следующее утверждение.
Теорема 1. Пусть функция f и отображение Л дважды непрерывно дифференцируемы на Ега . Пусть последовательность {(жк, Ак)} сгенерирована алгоритмом 2, и пусть все члены этой последовательности, начиная с некоторого, получены шагами метода внутренней фазы.
Тогда
Ф(хк, Ак) ^ 0
при к ^ то, и, в частности, если (х, А) является предельной точкой последовательности {(хк, Ак)}, то х — стационарная точка задачи (1), а А — отвечающий ей множитель Лагранжа.
Скорость сходимости алгоритма 2 характеризуется следующим утверждением.
Теорема 2. Пусть функция f и отображение Л дважды непрерывно дифференцируемы в окрестности стационарной точки х задачи (1), и пусть А — отвечающий х некритический! множитель Лагранжа. Пусть точка (х, А) является предельной точкой последовательности {(хк, Ак)}, сгенерированной алгоритмом 2.
Тогда вся последовательность {(хк, Ак)} сходится к (х, А), и скорость сходимости сверхлинейная.
Доказательство. Рассмотрим точку (хк, Ак) , достаточно близкую к (х, А). Пусть точка (хк+1, Ак+1) получена шагом метода внутренней фазы.
Используя локальную липшицевость Ф в сделанных предположениях гладкости, а также (4) и [13, теоремы 1 и 2], получаем
Ф(хк+1, Ак+1) = 0(||хк+1 - х|| + а181(Ак+1, М(х))) =
= о(||хк - х|| + ^(Ак, М(х))) = о(||Ф(хк, Ак)||)
при к ^ то . Из полученной оценки вытекает выполнение (12) для любого фиксированного д € (0, 1) при достаточной близости (хк, Ак) к (х, А). Но тогда точка (хк+1, Ак+1) принимается алгоритмом 2. Отсюда легко следует, что все точки последовательности {(хк, Ак)} сгенерированы шагами метода внутренней фазы, а значит, алгоритм наследует сверхлинейную сходимость метода s-sSQP, установленную в [13, теоремы 1 и 2]. □
Альтернативная стратегия гибридной глобализации, называемая алгоритмом с рекордами, состоит в следующем. Вместо того, чтобы сравнивать невязку системы Ла-гранжа в пробной точке с невязкой, полученной на предыдущей итерации, можно сравнивать ее с наименьшим достигнутым значением невязки по всем предыдущим итерациям (т. е. с рекордом), и принимать шаг метода внутренней фазы только в том случае, если наблюдается линейное убывание рекорда.
Алгоритм 3. Выбираем параметр д € (0, 1), а также параметры алгоритма 1. Выбираем начальное приближение (х0, А0) € К" х К1 и полагаем к = 0. Полагаем Я = ||Ф(х0, А0)||.
1. Определяем Нк согласно (7). Определяем Р(хк, Ак) и а(хк, Ак) согласно выбранному варианту метода s-sSQP. Вычисляем (£к, пк) как решение системы (11). Если решение найти не удается, то переходим к п. 3. В противном случае полагаем (хк+1, Ак+1) = (хк + £к, Ак + пк).
2. Если
||Ф(жк+1, Ак+1)|| < дД, (13)
то полагаем Д = ||Ф(жк+1, Ак+1)| , увеличиваем к на 1 и переходим к п. 1. (Шаг метода внутренней фазы.)
3. Вычисляем (жк+1, Ак+1) с помощью итерации алгоритма 1. Если
||Ф(жк+\ Ак+1)| <Д, (14)
полагаем Д = ||Ф(жк+1, Ак+1)| . Увеличиваем к на 1 и переходим к п. 1. (Шаг метода внешней фазы.)
Как и в случае алгоритма с возвратами, здесь возможны лишь два (правда, несколько иные) сценария: либо все итерации алгоритма 3, начиная с некоторой, являются шагами метода внешней фазы, либо бесконечное число итераций являются итерациями метода внутренней фазы. В первом случае свойства глобальной сходимости алгоритма 3 будут теми же, что и у метода внешней фазы. Во втором случае из условия (13) легко выводится следующий результат.
Теорема 3. Пусть функция f и отображение Л дважды непрерывно дифференцируемы на Ега. Пусть последовательность {(жк, Ак)} сгенерирована алгоритмом 3, и пусть члены (ж^', Ак) этой последовательности получены шагами метода внутренней фазы для бесконечного числа номеров ] .
Тогда
Ф(ж^, Ак) ^ 0
при ] ^ то, и, в частности, если (ж, Л) является предельной точкой последовательности {(жк', А^)} , то ж — стационарная точка задачи (1), а Л — отвечающий ей множитель Лагранжа.
Наконец, сверхлинейная скорость сходимости алгоритма 3 устанавливается в следующей теореме.
Теорема 4. Пусть функция f и отображение Л дважды непрерывно дифференцируемы в окрестности стационарной точки ж задачи (1), и пусть Л — отвечающий ж некритический множитель Лагранжа. Пусть последовательность {(жк, Ак)} , сгенерированная алгоритмом 3, сходится к точке (ж, Л) .
Тогда скорость сходимости сверхлинейная.
Доказательство. Если значение рекорда Д меняется бесконечное число раз, то можно рассмотреть точку (жк, Ак) , сколь угодно близкую к (ж, Л) , и такую, что Д = ||Ф(жк, Ак)|| . Тогда аналогично доказательству теоремы 2 получаем, что точка (жк+1, Ак+1) , полученная шагом метода внутренней фазы, принимается алгоритмом 3, на последующих итерациях алгоритм работает идентично методу s-sSQP, и сверхлинейная скорость сходимости следует из [13, теоремы 1 и 2].
Остается рассмотреть случай, когда рекордное значение R > 0 остается неизменным начиная с некоторой итерации. Это означает, что, начиная с этой итерации, шаги внутренней фазы не принимаются алгоритмом 3. При этом последовательность {Ф(хк, Ак)} сходится к 0 (т. к. {(хк, Ак)} сходится к (х, А)), и поэтому (14) будет выполняться для достаточно большого k. Но тогда на соответствующей итерации рекордной значение R должно измениться, что дает противоречие. Значит, данный случай не может иметь места. □
4. Численные примеры
Численные эксперименты были проведены в среде Python 2.7. При реализации рассматриваемых алгоритмов использовалось расширение NumPy языка Python для поддержки многомерных матриц, а также функций для операций с этими матрицами. Приводимые графические изображения были получены с помощью библиотеки Matplotlib.
1.0
0.8 -
0.6
/ТУ
/ / / /; /У/
/'// /V/ ///
а
#
- Quasi-Newton SQP --sSQP Backup --V s-sSQP Backup ---- NV s-sSQP Backup i
0.4
0.2
0.0
100
101
т
Рис. 1: Результаты для методов с возвратами.
Ниже используются следующие обозначения для тестируемых алгоритмов:
- Quasi-Newton SQP — алгоритм 1 с выбором матрицы Hk по правилу Бройдена-Флетчера-Голдфарба-Шанно с модификацией Пауэлла (см. [16, с. 536, 537]);
- sSQP Backup — алгоритм 1 из [5], т. е. алгоритм 2, в котором в качестве метода внутренней фазы вместо s-sSQP используется sSQP;
- sSQP Record — алгоритм 2 из [5], т. е. алгоритм 3, в котором в качестве метода внутренней фазы вместо s-sSQP используется sSQP;
Рис. 2: Результаты для методов с рекордами.
- V s-sSQP Backup — алгоритм 2, использующий вариант метода s-sSQP с исчезающей стабилизацией;
- V s-sSQP Record — алгоритм 3, использующий вариант метода s-sSQP с исчезающей стабилизацией;
- NV s-sSQP Backup — алгоритм 2, использующий вариант метода s-sSQP с неис-чезающей стабилизацией;
- MV s-sSQP Record — алгоритм 3, использующий вариант метода s-sSQP с неис-чезающей стабилизацией.
Алгоритмы тестировались со следующими значениями параметров: q = 0.9 , с = 1, £ = 0.1 , в = 0.5. Запуск считался успешным, если условие остановки
||Ф(хк, Ak)|| < 10-8
выполнялось на некоторой из первых 500 итераций. В противном случае, а также когда на некоторой итерации не удавалось решить подзадачу метода внешней фазы, запуск прекращался и считался неудачным.
Тестирование проводилось на случайно сгенерированных задачах, для чего использовался генератор, описанный в [17], с параметром диапазона данных равным 1. А именно, для каждой рассматриваемой тройки (n, l, r) натуральных чисел генерировалось по 100 линейно-квадратичных задач вида (1), имеющих 0 своей стационарной точкой с
1.0
0.8 -
0.6
0.4
0.2
0.0
✓ ✓
уГ / /
/7 ./ / / •••' i ' / /V
У/
/ а а //
// // S
- Quasi-Newton SQP --sSQP Backup --V s-sSQP Backup ---- NV s-sSQP Record --■-1---
100
101
Рис. 3: Итоговые результаты.
известным отвечающим ей множителем Лагранжа А , и таких, что ранг матрицы Якоби ограничений в этой точке равен r . Ниже приводятся результаты, полученные с использованием всех троек (n, /, r) , в которых 0 < r < I < n < 5 (случай полного вырождения r = 0 не использовался, так как для этого случая характерно очень специальное поведение метода sSQP), а также троек вида (n, n — 1, n — 2) и (n, |_n/2_|, |_n/2j — 1), для всех n G {10, 15, 20, 25, 35} . Для каждой сгенерированной задачи выполнялось 10 запусков из случайных начальных точек в кубической окрестности (0, А) , размер которой был равен 100 .
Результаты представлены на рис. 1-3 в форме так называемых «performance profiles» [18]. Для каждого из алгоритмов значение функции, график которой изображен на рисунке, в точке т G [1, то) есть доля задач в наборе, на которых результат данного алгоритма был не более чем в т раз хуже наилучшего результата для данной задачи среди всех сравниваемых алгоритмов. При этом считается, что результат неудачного запуска в бесконечное число раз хуже любого другого результата. В частности, значение этой функции при т = 1 соответствует доле запусков, на которых результат данного алгоритма был наилучшим. Значение функции при больших т характеризует робастность алгоритма, т. е. долю его успешных запусков. Под «результатом» в данном случае понимается количество итераций, причем для алгоритмов с возвратами в это количество включаются отброшенные шаги sSQP и s-sSQP.
На рис. 1 и 2 представлены результаты тестирования алгоритмов с возвратами и с рекордами, соответственно. В первом случае результаты различаются мало: все алгоритмы показывают одинаковую робастность, более высокую, чем у Quasi-Newton SQP,
и мало различаются по эффективности, существенно уступая Quasi-Newton SQP по этому показателю. Тем не менее, в качестве «победителей» были отобраны алгоритмы V s-sSQP Backup и sSQP Backup. Во втором же случае очевидным победителем является NV s-sSQP Record. Эта картина подтверждается и сравнительным тестированием отобранных алгоритмов, результаты которого приведены на рис. 3: NV s-sSQP Record демонстрирует ту же робастность, что и V s-sSQP Backup и sSQP Backup, и при этом существенно превосходит их по эффективности, хотя и несколько уступает по этому показателю Quasi-Newton SQP.
Таким образом, замена метода sSQP на s-sSQP на внутренней фазе гибридных алгоритмов повышает их эффективность и сохраняет робастность, более высокую, чем для метода SQP без стабилизаций. Вместе с тем, достичь эффективности последнего методам со стабилизацией по-прежнему не удается, а значит, эта проблема требует дальнейшего внимания.
Список литературы
[1] A.F. Izmailov, M.V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Cham: Springer, 2014.
[2] А. Ф. Измаилов, М.В. Солодов, Численные методы оптимизации, 2-е изд., перераб. и доп., Физматлит, М., 2008.
[3] S. J. Wright, "Superlinear convergence of a stabilized SQP method to a degenerate solution", Comput. Optim. Appl., 11 (1998), 253-275.
[4] A.F. Izmailov, M.V. Solodov, "Stabilized SQP revisited", Math. Program., 133 (2012), 93-120.
[5] А. Ф. Измаилов, А. М. Крылова, Е.И. Усков, "Гибридная глобализация стабилизированного метода последовательного квадратичного программирования", Теоретические и прикладные задачи нелинейного анализа, ВЦ РАН, М., 2011, 47-66.
[6] P. E. Gill, D.P. Robinson, "A primal-dual augmented Lagrangian", Comput. Optim. Appl., 51 (2012), 1-25.
[7] P.E. Gill, D.P. Robinson, "A globally convergent stabilized SQP method", SIAM J. Optim. Appl., 23 (2013), 1983-2010.
[8] D. Fernandez, E. A. Pilotta, G. A. Torres, "An inexact restoration strategy for the globalization of the sSQP method", Comput. Optim. Appl., 54 (2013), 595-617.
[9] A.F. Izmailov, M.V. Solodov, E.I. Uskov, "Combining stabilized SQP with the augmented Lagrangian algorithm", Comput. Optim. Appl., 62 (2015), 33-73.
[10] A.F. Izmailov, M.V. Solodov, E.I. Uskov, "Globalizing stabilized sequential quadratic programming method by smooth primal-dual exact penalty function", J. Optim. Theory. Appl., 69 (2016), 148-178.
[11] P.E. Gill, V. Kungurtsev, D.P. Robinson, "A stabilized SQP method: global convergence", IMA Journal of Numerical Analysis, 37 (2017), 407-443.
[12] P. E. Gill, V. Kungurtsev, D. P. Robinson, "A stabilized SQP method: superlinear convergence", Math. Program, 163 (2017), 369-410.
[13] A.F. Izmailov, E.I. Uskov, "Subspace-stabilized sequential quadratic programming", Comput. Optim. Appl., 67 (2017), 129-154.
[14] E. M. E. Mostafa, L. N. Vicente, S. J. Wright, "Numerical behavior of a stabilized SQP method for degenerate NLP problems", Global Optimization and Constraint Satisfaction., Lecture Notes in Computer Science 2861., Springer, Berlin, 2003, 123-141.
[15] A.F. Izmailov, M.V. Solodov, "Newton-type methods for optimization problems without constraint qualifications", SIAM J. Optim., 15 (2004), 210-228.
[16] J. Nocedal, S.J. Wright, Numerical Optimization, Second ed., Springer, New York, 2006.
[17] A.F. Izmailov, M.V. Solodov, "On attraction of Newton-type iterates to multipliers violating second-order sufficiency conditions", Math. Program., 117 (2009), 271-304.
[18] E. D. Dolan, J. J. More, "Benchmarking optimization software with performance profiles", Math. Program., 91 (2002), 201-213.
References
[1] A.F. Izmailov, M.V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Cham: Springer, 2014.
[2] A.F. Izmailov, M.V. Solodov, Numerical Methods of Optimization, Second ed., Fizmatlit, Moscow, 2008 (In Russian).
[3] S.J. Wright, "Superlinear convergence of a stabilized SQP method to a degenerate solution", Comput. Optim. Appl., 11 (1998), 253-275.
[4] A.F. Izmailov, M.V. Solodov, "Stabilized SQP revisited", Math. Program., 133 (2012), 93-120.
[5] A.F. Izmailov, A.M. Krylova, E.I. Uskov, "Hybrid globalization of stabilized sequential quadratic programming method", Theoretical and applied problems of nonlinear analysis, Computing Center RAS, Moscow, 2011, 47-66 (In Russian).
[6] P. E. Gill, D.P. Robinson, "A primal-dual augmented Lagrangian", Comput. Optim. Appl., 51 (2012), 1-25.
[7] P. E. Gill, D. P. Robinson, "A globally convergent stabilized SQP method", SIAM J. Optim. Appl., 23 (2013), 1983-2010.
[8] D. Fernandez, E. A. Pilotta, G. A. Torres, "An inexact restoration strategy for the globalization of the sSQP method", Comput. Optim. Appl., 54 (2013), 595-617.
[9] A.F. Izmailov, M.V. Solodov, E.I. Uskov, "Combining stabilized SQP with the augmented Lagrangian algorithm", Comput. Optim. Appl., 62 (2015), 33-73.
[10] A.F. Izmailov, M.V. Solodov, E.I. Uskov, "Globalizing stabilized sequential quadratic programming method by smooth primal-dual exact penalty function", J. Optim. Theory. Appl., 69 (2016), 148-178.
[11] P.E. Gill, V. Kungurtsev, D.P. Robinson, "A stabilized SQP method: global convergence", IMA Journal of Numerical Analysis, 37 (2017), 407-443.
[12] P. E. Gill, V. Kungurtsev, D. P. Robinson, "A stabilized SQP method: superlinear convergence", Math. Program., 163 (2017), 369-410.
[13] A.F. Izmailov, E.I. Uskov, "Subspace-stabilized sequential quadratic programming", Comput. Optim. Appl., 67 (2017), 129-154.
[14] E. M. E. Mostafa, L. N. Vicente, S. J. Wright, "Numerical behavior of a stabilized SQP method for degenerate NLP problems", Global Optimization and Constraint Satisfaction., Lecture Notes in Computer Science 2861., Springer, Berlin, 2003, 123-141.
[15] A.F. Izmailov, M.V. Solodov, "Newton-type methods for optimization problems without constraint qualifications", SIAM J. Optim., 15 (2004), 210-228.
[16] J. Nocedal, S.J. Wright, Numerical Optimization, Second ed., Springer, New York, 2006.
[17] A.F. Izmailov, M. V. Solodov, "On attraction of Newton-type iterates to multipliers violating second-order sufficiency conditions", Math. Program., 117 (2009), 271-304.
[18] E. D. Dolan, J. J. More, "Benchmarking optimization software with performance profiles", Math. Program., 91 (2002), 201-213.
Информация об авторах
Журбенко Николай Георгиевич, кандидат физико-математических наук, старший научный сотрудник. Институт кибернетики им. В. М. Глушкова НАН Украины, г. Киев, Украина. E-mail: zhurbnick@gmail.com ORCID: https://orcid.org/0000-0001-5123-8607
Измаилов Алексей Феридович, доктор физико-математических наук, профессор кафедры исследования операций. Московский государственный университет им. М.В. Ломоносова, г. Москва, Российская Федерация. E-mail: izmaf@ccas.ru
ORCID: https://orcid.org/0000-0001-9851-0524
Усков Евгений Иванович, кандидат физико-математических наук, научный сотрудник. Тамбовский государственный университет им. Г. Р. Державина, г. Тамбов, Российская Федерация. E-mail: akurennoy@cs.msu.ru ORCID: https://orcid.org/0000-0002-3639-0317
Конфликт интересов отсутствует.
Для контактов:
Измаилов Алексей Феридович
E-mail: izmaf@ccas.ru
Поступила в редакцию 26.01.2019 г.
Поступила после рецензирования 18.03.2019 г.
Принята к публикации 20.05.2019 г.
Information about the authors
Nikolay G. Zhurbenko, Candidate of Physics and Mathematics, Associate Professor of the Functional Analysis Department. V. M. Glushkov Institute of Cybernetics of NAS of Ukraine, Kiev, Ukraine. E-mail: zhurbnick@gmail.com ORCID: https://orcid.org/0000-0001-5123-8607
Alexey F. Izmailov, Doctor of Physics and Mathematics, Professor of the Operations Research Department. Lomonosov Moscow State University, Moscow, the Russian Federation. Email: izmaf@ccas.ru
ORCID: https://orcid.org/0000-0001-9851-0524
Evgeniy I. Uskov, Candidate of Physics and Mathematics, Researcher. Derzhavin Tambov State University, Tambov, the Russian Federation. Email: akurennoy@cs.msu.ru ORCID: https://orcid.org/0000-0002-3639-0317
There is no conflict of interests.
Corresponding author:
Alexey F. Izmailov E-mail: izmaf@ccas.ru
Received 26 January 2019 Reviewed 18 March 2019 Accepted for press 20 May 2019
