CC BY
17
Серия «Математика»
2011. Т. 4, № 2. С. 75-90
Онлайн-доступ к журналу: http://isu.ru/izvestia
УДК 518.517
О сходимости двойственного метода Ньютона для линейной задачи
полуопределенного программирования *
В. Г. Жадан
Вычислительный центр им. А.А.Дородницына РАН А. А. Орлов
Московский физико-технический институт (ГУ)
Аннотация. В статье рассматривается двойственный метод Ньютона для линейной задачи полуопределенного программирования. В предположении о строгой дополнительности решениий прямой и двойственных задач доказывается его локальная сходимость со сверхлинейной скоростью.
Ключевые слова: полуопределенное программирование; двойственная задача; метод Ньютона; локальная сходимость.
Линейные задачи полуопределенного программирования являются оптимизационными задачами, в которых как при постановки задачи, так и в качестве переменных, используются симметричные матрицы [12, 13]. В последнее время для их решения было предложено много численных методов, главным образом, методов внутренней точки [11, 9]. Один из основных подходов к построению таких методов — это перенесение на задачи полуопределенного программирования соответствующих методов внутренней точки, разработанных ранее для задачи линейного программирования. Большой вклад в становление и развитие методов внутренней точки для линейных оптимизационных задач принадлежит иркутстким математикам [2, 5].
* Работа выполнена при поддержке РФФИ, грант 11-01-00786, а также при содействии Программы ведущих научных школ НШ-4096.2010.1 и Программы президиума РАН П-14.
Введение
В настоящей работе рассматривается двойственный метод решения линейной задачи полуопределенного программирования, в котором используется зависимость прямых переменных от двойственных. Данная зависимость аналогична той, которая характерна для двойственных аффинно-масштабирующих методов. Для пересчета внешних двойственных переменных применяются ньютоновские итерации. Метод был предложен в [4] и является обобщением двойственного барьерно-ньютоновского метода [3]. В отличие от [4] здесь приводится несколько иной вывод метода, а также дается обоснование его сходимости при гораздо более слабых предположениях.
Пусть Sn — пространство симметричных вещественных матриц порядка п и пусть S+ С Sn — конус положительно полуопределенных матриц. Размерность Sn равняется числу йд(п) = n(n + 1)/2. Рассмотрим линейную задачу полуопределенного программирования
min C • X, Ai • X = bi, i = 1,..., m, X У 0, (0.1)
где все матрицы C, X и Ai из Sn. Скалярное произведение X • Y
между матрицами X и Y определяется как X • Y = tr XTY. Неравенство X У 0 означает, что матрица X должна быть положительно полуопределенной, т.е. принадлежать конусу S+.
Двойственной к (0.1) является следующая задача
max bTu, V У 0, V = V(u) = C — u1 A1 — ■ ■ ■ — umAm, (0.2)
в которой b = (b1,...,bm)T, V € Sn. Предполагается, что обе задачи имеют решения и что матрицы Ai, 1 < i < m, линейно независимы.
Обозначим допустимые множества в прямой и двойственной задачах соответственно Fp и Fd , т.е.
Fp = {X € S+ : Ai • X = bi, i = 1,...,m} ,
Fd = {[u, V] € Rm x S+ : V = C — ^”=i uMi} .
Через Fd,u и Fd,v обозначим также проекции множества Fd на пространство и конус S+, соответственно:
FD,u = {u € : [u, V] € Fd для некоторого V € S+} ,
Fd,v = {V € S+ : [u, V] € Fd для некоторого u € } .
Если X* и [u*, V*] — оптимальные решения соответственно задач (0.1) и (0.2), то X* • V* =0. Но для симметричных положительно полуопре-деленных матриц X* и V* данное равенство выполняется тогда и только тогда, когда X*V* = V*X* = 0nn, т.е. матрицы X* и V* коммутируют. Поэтому найдется такая ортогональная матрица Q, что
X* = Q Diag(n*)QT, V* = Q Diag(6l*)QT, (0.3)
где п* = [п*, • • •, пП] и 0 1,..., ^П] — собственные значения мат-
риц X* и V* соответственно. Для самих собственных значений п' и 0' выполняется условие дополнительности:
п'0'* = 0, 1 < г < п. (0.4)
Условие строгой дополнительности означает, что п' + 0' > 0 для каждого 1 < г < п. В этом случае решения X* и V* называются строго
комплементарными.
1. Зависимость прямых переменных от двойственных
Так как, по предположению, решения обеих задач (0.1) и (0.2) существуют, то в силу необходимых и достаточных условий система равенств и неравенств
X • V = 0,
А • X = Ьі, 1 < і < т, ( )
V = С -£игАг, (11)
X У 0, V у 0
обязательно имеет решение.
Обозначим через X * V = (XV + VX) /2 симметризованное произведение симметрических матриц X и V. Нетрудно проверить (см.,
например, [4]), что имеет место следующий результат.
Утверждение 1. Для симметричных матриц X У 0 и V У 0 равенство X * V = 0пп возможно в том и только том случае, когда XV = VX = 0пп.
С учетом утверждения 1 система (1.1) может быть переписана как
X * = 0ПП)
А • X = &і, 1 < і < т,
V = С - £™1 игАг,
X у 0, V у 0.
Заменяя в ней первые два равенства на их векторные аналоги, получаем
уес^ * V) 0ПП)
AvecуecX = Ъ, (1 2)
V = С -£т=1 и%, (1.2)
X У 0, V у 0.
Здесь и ниже через уесМ обозначается прямая сумма столбцов матрицы М, через Лес — т х п2 матрица, строками которой являются векторы уесАг, 1 < і < т.
Но в силу известной формулы
уес(АВС) = (СТ 0 А)уесВ (1.3)
справедливой для любых матриц А, В и С, для которых определено произведение АВС, получаем, что
уес^ * V) = ^уес^ (1.4)
где V® = [V 0 1п + 1п 0 V] /2 — кронекеровская сумма матрицы V.
Символ /п обозначает единичную матрицу порядка п, знак 0 — произ-
ведение матриц по Кронекеру.
Таким образом, система условий (1.2) может быть записана как
V ®уecX Лестей
V
X у 0,
Решить систему (1.5) можно многими способами. Здесь мы сведем ее к системе т уравнений, зависящей только от вектора двойственной переменной и Є Кт. С этой целью умножим второе равенство в (1.5) на матрицу и сложим его с первым равенством. В результате получим уравнение относительно vecX:
Ф(V)vecX = АТесЬ, (1.6)
где ) = АТесА^ес + V® — квадратная матрица порядка п2.
Учтем теперь, что как матрица V, так и все матрицы Аг, 1 < і < т, симметричные. Поэтому симметричной можно взять и функцию X(V). Тогда от вектора vecX целесообразно перейти к вектору vechX. Это такой вектор-столбец длины кд(п), в котором также помещаются последовательно сверху вниз столбцы матрицы X, но не целиком, а только их нижние части, начинающиеся с диагонального элемента. Наряду с вектором vechX нам потребуются векторы vecsX той же самой длины кд(п). Строятся они аналогично vechX, но все внедиагональные элементы матрицы X при помещении в vecsX умножаются на два.
Для перехода от вектора уес М к вектору уесИ М и для обратного перехода используются специальные элиминационные и дуплицирующие матрицы [10]. Элиминационная матрица £п для каждой квадратной матрицы М порядка п совершает преобразование £п уес М = уесИ М. Напротив, дуплицирующая матрица Рп для каждой симметричной матрицы М порядка п осуществляет преобразование Рп уесИ М = уес М. Отсюда, в частности, следует справедливость равенства РгуесМ = уесвМ.
0п2 ,
= ь,
= С -£ т=1 иг Аі V у 0.
(1.5)
Матрица £га имеет размер кд(п) х п2, матрица — размер п2 х кд(п). Обе матрицы и являются матрицами полного ранга, равного кд(п). Матрица полуортогональна, т.е. = !&д(п). Кроме
того, = !йд(га). Для любой квадратной матрицы М порядка п
справедливы формулы:
Из симметричности матрицы X следует, что уееХ = РгауееЬХ. Тогда после умножения левой и правой части (1.6) на матрицу приходим к уравнению
Здесь символ Ае<л используется для обозначения т х кд (п) матрицы, строками которой являются векторы уееИА', 1 < г < т, а символ А^ес5
— для обозначения матрицы того же размера, составленной из векторов уеевА', 1 < г < т.
Матрица Ф(У) квадратная порядка кд(п). Если она неособая, то, разрешая уравнение (1.10), получаем
Таким образом, чтобы удовлетворить условию (1.6), в качестве X = X(и) может быть взята такая симметричная матрица, прямая сумма столбцов которой есть вектор (1.12).
Матрица Ф(У) заведомо будет неособой, если матрица V €5+ имеет полный ранг, равный п. Предположим теперь, что ее ранг г меньше п. Тогда V может быть представлена в виде
где Q — ортогональная матрица, > 0, 1 < і < г. В этом случае V принадлежит границе конуса 5+. Касательное пространство к 5+ в этой точке имеет вид (см. [1]):
Рп£п(М 0 М)Рп = (М 0 М)Рп,
Рп£пМ ®Рп = М ®Рп. Более того, если матрица М неособая, то
(1.7)
(1.8)
[£п(М 0 М)Рп]-1 = £п(М-1 0 М-1)Рп.
(1.9)
Ф^ = А^сЛ
(1.10)
где
Ф^) = £пФ^ )Рп = + ^п V ®Рп- (1.11)
уecX = РпФ 1(V (и))АТес^Ь-
(1.12)
V = QDiag (01, ...,0Г, 0,..., 0,) QT,
(1.13)
Здесь Мкх1— пространство (к х 1)- матриц.
Обозначим через подпространство в 5п, порожденное матрицами
Аг, 1 < г < т, через — его ортогональное дополнение. Следуя [8], дадим определения невырожденной точки в прямой и двойственных задачах.
Определение 1. Точка V € ^Ъ,у называется невырожденной, если 5п = Ту + Точка X € ^р называется невырожденной, если 5п = Тх + ^.
Пусть и ^2 — подматрицы матрицы ^ из (1.13), состоящие соответственно из первых г и последующих п — г столбцов. Как показано в [8], необходимым и достаточным условием невырожденности точки V € является требование, чтобы матрицы Вг = Q'^А^2, 1 < г < т, порождали все пространство 5п-г. Аналогично, точка X € вида
X = QDiag (0, • • •, 0, Пг+1, • • •, Пп) QT, (1.14)
где, по-прежнему, Q — ортогональная матрица, п > 0, г < г < п, будет невырожденной тогда и только тогда, когда матрицы Вг = QTА^1, 1 < г < т, порождают все пространство 5г. Используя эти условия, можно обосновать невырожденность матрицы Ф^) [4].
Утверждение 2. Предположим, что в точке V € ^Ь,у выполнено условие невырожденности для двойственной задачи (0.2). Тогда матрица Ф^) неособая.
Отметим также, что условия невырожденности для матрицы V € 5+ ранга г и матрицы X € ^р ранга п — г выполняются только тогда, когда
кд(п — г) < т < кд(п) — кд(г)- (1.15)
При этом левое неравенство следует из невырожденности V, правое — из невырожденности X.
Ниже предполагается, что двойственная задача (0.2) такова, что все точки V € ^о,у невырожденные. Тогда, как следует из утверждения 2, решение системы (1.10) существует и единственно для любых и € ^Ь,«. В силу непрерывности оно будет существовать и в некоторой окрестности множества ^о,«.
2. Итерационный процесс
Возьмем полученную зависимость X (и) и подставим ее во второе равенство в (1.1). Тогда приходим к системе уравнений относительно вектора и €
Аг • X(и) — Ъг = 0, 1 < г < т,
или, с использованием оператора векторизации матриц,
AvecУecX (и) - Ь = 0т.
После подстановки выражения (1.12) для уес^) получаем
А^ес«Ф (и))АуесЛ —т Ь = 0т. (2.1)
Будем решать уравнение (2.1) относительно вектора и Є Кт с помощью метода Ньютона. Тогда соответствующий итерационный процесс запишется в виде
ик+1 = ик + Л (ик) (^-т А^есзф ("^(и))АуесЛ^ Ь, (2.2)
где ио Є Кт, Xk = X(ик), и через Л(и) обозначена матрица
б
Л(и) = би А^Ф-1^ (и))А^ес^Ь.
Уточним вид матрицы Л(и). С этой целью представим ее как
б
Л(и) = Лесз би vechX (и). (2.3)
Таким образом, чтобы определить Л(и) следует найти матрицу Якоби
от вектор-функции vechX(и).
Обратимся к тождеству
Аг)есА^ес + V®(и) уес X(и) = А^Ь, следующему из (1.6). Дифференцирование его по и, дает
АесАес + V®(и) — уес X(и) + ®(и) Уве X = 0п2т, (2.4)
причем во втором слагаемом матрица X считается постоянной. Но, на основании формулы (1.3) и определения матрицы V®,
V® уес X = 2 [1п ® V + V ® 1п] уес X = 2 уес (VX + XV) •
Поэтому согласно правилу определения производной матричной функции [6]
А V®(и) уес X = ^ (1^ + XV) ^•
би 17 2 бV 1 ! би
С помощью соотношения для дифференциалов б (VX + XV) = ^ X + X бV получаем после его векторизации
б уес (VX + XV) = уес ^ X + X бV) =
= [(X ® 1п) + (1п ® X)] уес бК
Отсюда следует, что (VX + XV) = 2X®, где использовано обозначение: X® = [1п ® X + X ® 1п] /2.
Поскольку из представления уес V(и) = уес С — Д^и следует, что ^(и) = —Атес, то равенство (2.4) преобразуется к виду
(дТесАес + V®(и)) б уебиУ(и) — X®(и)АТес = 0п2т^ (2.5)
Производные б уес X (и)/би и бvechX (и)/би связаны между собой соотношением
б vechX (и) б vecX (и)
би п би
и, стало быть,
б уecX (и) б vechX (и)
би. = --------би---- (2'6)
Поэтому после умножения равенства (2.5) на матрицу £п, получаем с учетом (2.6)
(ДелАес* + ^®(и)Рп) б Уe(бhuX(и) — ^®(и)РпЛТе^ = 0
или
Ф(V(и)) б УeCбUX(и) — ^® (и)РпАТес^ = 0Йд(п)т^
Отсюда в тех точках и, в которых матрица Ф^(и)) неособая, имеем
б "У(и) = Ф-1^(и))£пX®(и)РпАТесй-
Подставляя найденное выражение для производной вектор-функции уechX(и) в (2.3), приходим к
-1
Л(и) = Лес* [АесйАес* + LnV®(и)^п LnX®(и)£»пАесЛ> (2.7)
а сам итерационный процесс (2.2) принимает вид
-1
и;+1 = и; + \ Д
— А
•АеслАесв + ГпП® ©п ^п^^Дг А"ес^|
Ат , А + £ V,®©
-1
А^ес^ Ъ)
(2.8)
где V; = V(и;), X; = X (и;). Данный процесс будет корректно определен, если матрица Л(и;) оказывается невырожденной на каждой итерации.
3. Локальная сходимость метода
Покажем, что метод (2.8) обладает локальной сходимостью. При этом предполагаем, что в оптимальных решениях задач (0.1) и (0.2) выполнено условие строгой дополнительности.
Пусть X* и [и *,У*], где V* = V(и *), являются оптимальными решениями соответственно задач (0.1) и (0.2) и для них имеют место разложения (0.3). Как показано в [4], матрица V*® в этом случае может быть записана в виде
V*® = (д ® д)я(0®)(дт ® дт), (3.1)
где 0® — диагональ матрицы ^® (0 *) = [^(0*) ® /га + /га ® ^(0*)] /2.
На основании (3.1) имеем
ф(к) = £„ [^ТесАес + (з ® д)^(0® )(дт ® дт)] х>га. (3.2)
Но для любой квадратной матрицы М справедливо равенство (1.7). Поэтому выражение (3.2) для матрицы Ф(К*) можно переписать следующим образом
ф(к ) = £„ [дТес Лес + (з ® д)^(0®)рга £„(дт ® дт)] х>га. (3.3)
Далее, поскольку матрица з ® з ортогональная, то
Дес = (д Х д)(дт ® дт)Ат"ес = (д Х д)(А?ес)т, (3.4)
где через Д£,с обозначена матрица размера т х п2, строками которой являются векторы уес (дтА^), 1 < і < т.
Все матрицы дтА^д, 1 < і < т симметричные. Следовательно, всем столбцам матрицы (ДЄс)т соответствуют симметричные матрицы. Поэтому наряду с равенством (3.4) справедливо
Дес = (з Х д)(АЄс)т = (з Х до„£га(ДЄс)т. (3.5)
Обозначим через матрицу размера т х &д(п), строками ко-
торой являются соответственно векторы уесИ(дтА^д), 1 < і < т. Тогда £„(А^ес)т = (А^ес^)т и равенство (3.5) принимает вид =
(д Х > откуда Де* = ^«Дес = ^п(д Х .
Кроме того, после транспонирования равенства (3.4), получаем Дтес = А?ес {ят ® Зт). Поэтому А^ес« = ДЄс (Зт ® <3т) или, если воспользоваться формулой (1.7), А^ес« = Аг!ес^га (дт ® Зт) Р„. Данное
равенство перепишем в виде
Здесь через Десбі обозначена матрица, строками которой являются векторы уесв (дтАіЗ), 1 < і < т.
Введем в рассмотрение квадратную матрицу Н порядка йд(п), положив Н = £п(3®3)^п. Согласно формуле (1.9), Н-1 = £га(дт®дт)Рга. Таким образом, для матрицы (3.2) имеет место представление
Ф(К )= НМ (0®)Н-1, (3.7)
где М(0 ®) = (А0Єс^)т+ ^(0®)^.
Обозначим 0® = £га0®. Имеем £(0®) = £га£(0®)Рга и, следовательно, матрица М(0®), фактически зависящая от вектора 0®, может быть записана в виде
м (0'®) = (ДЄс^)т 4?ес* + ^(0®). (3.8)
Пусть Е — квадратная матрица порядка п, в которой диагональные элементы равны единице, а все внедиагональные элементы равны двум. Пусть, кроме того, £2 — диагональная матрица порядка йд(п),
на диагонали которой расположен вектор уееЬ^. Через £2/2 обозначим квадратный корень из матрицы £2. Имеем очевидно А^ес5 = ДЄсЬ^. Кроме того, £(0®) = ^-1/2^(0®)^1/2.
Положим для сокращения записи А^есь2 = А^ь^/2. Тогда матрицу М (0 ®) можно представить в виде
М (0®) = £-1/2М2 (0®)£1/2, (3.9)
где М2(0®) = (А^есЬ2)тА^есЬ2 + £(0®). Матрица М2(0®) является симметричной положительно полуопределенной. Покажем, что на самом деле имеет место более сильное утверждение.
Лемма 1. Пусть точка V Є ^Ъ,у невырожденная. Тогда матрица М2 (0 ®) положительно определена.
Доказательство. Предполагаем, не умаляя общности, что для V* имеет место разложение (1.13). Тогда собственные числа 0 £, ..., 0П таковы, что
0 1 > 0,... ,0Г > 0, 0Г+1 = ••• = 0П = 0. (3.10)
Обозначим п1 = йд(п) — йд(п — г), п2 = йд(п — г), причем в силу невырожденности точки V* согласно (1.15) выполняется неравенство: п2 < т. При сделанном предположении (3.10) у вектора 0® первые п1 компонент строго положительны, а остальные компоненты в количестве П2 штук нулевые, т.е.
®
0 =
а N 0
в
(3.11)
где 0^ > 0га1, ав = 0,
Матрицу Дес^2 разобьем также на две подматрицы в соответствии
~>П2 *
с разбиением (3.11): А^есЬ2 = |(А^есЬ2)М I (А^есЬ2)В| . Переобозначим
дополнительно: N = (А^есЬ2)м
Я
В = . Здесь матрица N имеет
размер т х щ, матрица В — размер т х п2.
Тогда матрица Н2(0 ®) может быть представлена в виде
М2(0®) =
NтN + £(0*) NтВ ВтN ВтВ
(3.12)
Матрица (0®) будет положительно определенной, если линейная
однородная система уравнений
^(0~® )х = 0^) (3.13)
имеет только тривиальное решение X = 0д.д(га). После умножения левой и правой части (3.13) на хт получаем
(х А2^2х) + (х д0*®)х) = °- (3.14)
Так как обе матрицы и .0(0®) положительно полуопре-
деленные, то равенство (3.14) имеет место тогда и только тогда, когда
(х> А^2х) = °> (х> ^(0®)х) = ° (3.15)
Разобьем вектор х, являющийся решением уравнения (3.13), также на две части х = [хм ,хБ] в соответствии с разбиением вектора 0®. На основании второго равенства (3.15) заключаем, что хм = 0га1. Поэтому первое равенство (3.15) сводится к (хБ, BтВхБ) = 0. Отсюда следует, что ВхБ = 0га2. Но в невырожденной точке V* € ^Ь,у, как следует из необходимых условий невырожденности, матрица В имеет полный ранг по столбцам, равный П2, Таким образом, хБ = 0. Мы пришли к выводу, что уравнение (3.13) имеет только тривиальное решение х = 0^д(га). □
Согласно лемме 1, (3.7) и (3.9) матрица Ф(К) неособая и ее обратная представима в виде
Ф-1(К) = Н^-1/2М2-1(0®)^21/2 Н-1. (3.16)
Найдем матрицу М—1(0®), используя блочное представление (3.12). Из полноты ранга матрицы В вытекает, что правая нижняя подматрица ВтВ в (3.12) неособая. Обозначим через 0^ диагональную матрицу 0(0^), через К — неособую матрицу
К = ^N + 0М - NтВ (ВВ) -1 ВтN.
Тогда с помощью формулы Фробениуса получаем
^2-11 ^2-21
где МП1 = К 1 и
М-1 = — (Вт В)-1Вт N К-1, = —К-^т В (Вт В)-1,
М-1 = (Вт В )-1 + (Вт В)-1Вт ^-^т В (Вт В)-1.
Пусть обозначает пространство столбцов матрицы В и пусть
— его ортогональное дополнение. Тогда для матрицы К справедливо представление: К = 0^ + Nт [/т — Р] N = 0^ + NтРх^ где через Р = В(ВтВ)-1Вт и Рх = /т — Р обозначены матрицы ортогонального проектирования на соответственно подпространства и . Матрица Рх является симметричной и идемпотентной, т.е. Рх = Р!. Поэтому К = 0м + NтР!N. Чтобы вычислить обратную матрицу К-1, воспользуемся формулой Шермана-Моррисона-Вудберри. Так как 0^ — положительно определенная матрица, то согласно этой формуле
К-1 = 0^1 — 0^тР± (/ + Р^0-^тР^-1 Р^0-1.
Сформулируем теперь главный результат работы.
Теорема 1. Пусть для прямой и двойственной задач (0.1), (0.2) решения X* и V*, где V* = V(и *), невырожденные и строго комплементарные. Тогда итерационный процесс (2.8) локально сходится к решению двойственной задачи и * со сверхлинейной скоростью.
Доказательство. Считаем для определенности, что ранг V* равен г и для V* имеет место разложение (1.13). Так как при сделанных предположениях X* = X(и *), то для X* имеет место разложение (1.14), причем в силу (0.4) собственные числа п£ таковы, что п£ =0, 1 < * < г и п* > 0, г < з < п. Имеем также X® = (ф ® ф)^(п®)(фт ® фт), где П® — диагональ матрицы ^®(п*) = (^(п*) ® ® ^(п*)) /2.
Вычислим матрицу Л(и*). Согласно (2.7) и (3.16) она имеет вид Л(и *) = С^-1 (0®)С2. Здесь
С1 = Лес*Н£2-1/2, С2 = Д^2 H-1L„XfDraATech•
Так как А-уеСЗ Аес^п и ^п£п(ф ^ ф)^ГО (ф ^ ф)^п, то
АиесзН = А^ес^га£га(ф ® ф)^га = Аг?ес^га = Аг?ес«.
Следовательно, ^1 = Дтес«НД-1/2 = Л$ес8^-1/2 = А^есЛ2.
Далее, проводя последовательно выкладки (см. [4]), можно прийти
к
Отсюда, учитывая перестановочность диагональных матриц, получаем
P!NК 1 = (I + У) 1 P!N0Л?1. Отсюда получаем
Л(и *) = (I + У)-1 Р^ 0^м (п®)Хт+
+ (/ — (I + У)-1 Р^0^т) В(ВтВ)-1£в(п®)Вт.
Здесь (п®) — левая верхняя диагональная подматрица матрицы ^(П®)
порядка П1. Соответственно, ^в (п ®) — правая нижняя диагональная подматрица ^(п®) порядка П2. Все диагональные элементы матрицы Бв(п®) положительные.
Убедимся, что матрица Л(и *) неособая. С этой целью найдем ее собственные числа. Пусть у — собственный вектор и Л — соответствующее ему собственное число. Тогда
Если умножить равенство (3.17) справа на матрицу Р, то посколь-
ку Р = Р(/ + У), получаем В(ВТВ)-1£в(П®)Вту = ЛВ(ВТВ)-1 Вту.
Отсюда видно, что в случае, когда Ру = 0п, для того, чтобы быть собственным, вектор у должен быть ортогональным ко всем столбцам матрицы В, кроме одного. Тогда из (3.18) следует, что Л совпадает с соответствующим диагональным элементом матрицы ^в(г?®), который, как уже отмечалось, положительный. Вектор у может иметь ненулевые проекции и на большее число столбцов матрицы В, только в этом случае всем им должны соответствовать одинаковые диагональные элементы ^в(п®). Итак, мы имеем собственные векторы в количестве П2 штук из £в, всем им отвечают действительные положительные числа.
Н-1£„Х®Р„ = ДП®)£п(дТ ® дТ)Рп,
гДе П® = ^пП®. Но (^Т ® = (^Т ® )АТес = (А?ес)Т.
^і1 щ-2
Если подставить К 1 и обозначить У = P!N0^^тРх, то приходим к
Л(и * )у = Лу
(3.17)
(3.18)
Рассмотрим теперь случай, когда Ру = 0т. Тогда у = Рху и Вту = 0п2. Поэтому равенство (3.17) сводится к следующему:
Ну = Лу, Н = (I + У )-1 Р^ 0^м (п®^т Р±.
Таким образом, у является собственным вектором матрицы Н с тем же самым собственным значением Л.
Но, поскольку симметричная матрица I + У является положительно определенной, то Н = (I + У)-1/2 Н1 (I + У)1/2, где
Н1 = (I + У)-1/2 Р^0^м(п®ЖтР± (I + У)-1/2 .
Отсюда следует, что матрица Н подобна матрице Н1, которая является симметричной и положительно полуопределенной. Ранг матрицы Н1 совпадает с рангом матрицы Н2 = P!N0-1^м(п®ЖтРх, ранг Рх равняется т—П2. Нас будут интересовать те собственные числа Л, которым соответствует собственный вектор из . У диагональной матрицы 0^ все элементы строго положительные. У диагональной матрицы (п ®) имеется кд(г) нулевых диагональных элементов. Это элементы стоящие на следующих парных номерах:
(1,1), (2,1),..., (г, 1), (2, 2),..., (г, 2),..., (г, г). (3.19)
Остальные диагональные элементы в количестве щ—кд(г) штук строго положительны.
Так как, по предположению, точка X* невырожденная, то в силу (1.15) имеет место неравенство: т < щ — кд(г). Кроме того, согласно необходимым и достаточным условиям невырожденности в прямой задаче, ранг матрицы А^ес^2, из которой удалены столбцы с парными номерами из (3.19), равен т. Но тогда среди столбцов матрицы N, из которой удалены те же самые столбцы с парными номерами из (3.19) обязательно найдутся т — щ линейно независимых столбцов, которые принадлежат подпространству £д. Это означает, что ранг матрицы Н2, а стало быть, и всей матрицы Н1 равен т — П2. Собственные числа матрицы Н1 будут положительными.
Мы показали, что матрица Л(и *) неособая. Поэтому согласно общим утверждениям о сходимости метода Ньютона [7] итерационный процесс
(2.8) локально сходится к и * со сверхлинейной скоростью. □
Список литературы
1. Арнольд В. И. О матрицах, зависящих от параметров / В. И. Арнольд // УМН. - 1971. - Т. 26, вып. 2(158). - С. 101-114.
2. Дикин И. И. Метод внутренних точек в линейном и нелинейном программировании / И. И. Дикин. - М. : URSS, 2009. - 120 с.
3. Евтушенко Ю. Г. Двойственные барьерно-проективные и барьерноньютоновские методы для линейного программирования / Ю. Г. Евтушенко, В. Г. Жадан // Журн. вычисл. математики и мат. физики. - 1994. - Т. 36, № 7. - С. 30-45.
4. Жадан В. Г. Двойственный метод Ньютона для линейной задачи полуопре-деленного программирования / В. Г.Жадан, А. А. Орлов // Оптимизация и приложения. - М. : ВЦ РАН, 2010. - С. 87-108.
5. Зоркальцев В. И. Об одном классе алгоритмов внутренних точек / В. И. Зоркальцев // Журн. вычисл. математики и мат. физики. - 2009. - Т. 49, № 12. - С. 2114-2130.
6. Магнус Я. Р. Матричное дифференциальное исчисление с приложениями к статистике и эконометрике / Я. Р. Магнус, Ч. Нейдеккер. - М. : Физматлит, 2002. - 496 с.
7. Ортега Дж. Итерационные методы решения систем нелинейных уравнений со многими неизвестными / Дж. Ортега, В. Рейнболдт. - М. : Мир, 1975. - 558 с.
8. Alizadeh F. Complementarity and nondegeneracy in semidefinite programming / F. Alizadeh, J.-P. F. Haeberly, M. L. Overton // Mathematical Programming. Series B. - 1997. - Vol. 77, N 2. - P. 129-162.
9. De Klerk E. Aspects of Semidefinite Programming. Interior Point Algorithms and Selected Applications / E. de Klerk. - Kluwer Academic Publishers, 2004. - 283 p.
10. Magnus J. R. The elimination matrix: some lemmas and applications / J.R. Magnus, H. Neudecker // SIAM J. Alg. Disc. Meth. - 1980. - Vol. 1, N 4. -P. 422-449.
11. Nesterov Yu. E. Interior Point Polynomial Algorithms in Convex Programming / Yu. E. Nesterov, A. S. Nemirovski. - SIAM Publications, SIAM, Philadelphia, 1994. - 405 p.
12. Vandenberghe L. Semidefinite programming / L. Vandenberghe, S. Boyd // SIAM Rev. - 1996. - Vol. 38. - P. 49-95.
13. Handbook of Semidefinite Programming / eds. H. Wolkowicz, R. Saigal, L. Vandenberghe. - Kluwer Academic Publishers, 2000. - 656 p.
V. G. Zhadan, A. A. Orlov
On convergence of the dual Newton method for linear semidefinite programming problem
Abstract. The dual Newton method for linear semidefinite programming problem is considered. Under assumption that strict complementarity holds for solutions of the primal and dual problems the local convergence with linear rate is proved.
Keywords: semidefinite programming, dual problem, Newton’s method, local convergence
Жадан Виталий Григорьевич, доктор физико-математических наук, профессор, заведующий отделом Прикладных проблем оптимизации Вычислительного центра им. А.А. Дородницына РАН, 119333, Москва, ул. Вавилова, 40 тел.: (499)1352539 (zhadan@ccas.ru)
Орлов Александр Алексеевич, аспирант кафедры Математических основ управления, Московский физико-технический институт (ГУ), 141700, Московская область, г. Долгопрудный, Институтский переулок, 9 тел.: (495)4084554 (sashaorlov@gmail.com)
Zhadan Vitaly, Dorodnicyn Computing Centre of RAS, 40, Vavilov St., Moscow, 199333 professor, Phone: (499)1352539 (zhadan@ccas.ru)
Orlov Aleksandr, Moscow Institute of Physics and Technology (State University), 9, Institutskii per., Dolgoprudny, Moscow Region, 141700 postgraduate student, Phone: (495)4084554 (sashaorlov@gmail.com)
