Линейное решение задачи квадратичного программирования Текст научной статьи по специальности «Математика»

УДК 519.853.3 Дата подачи статьи: 07.05.2014

ЛИНЕЙНОЕ РЕШЕНИЕ ЗАДАЧИ КВАДРАТИЧНОГО ПРОГРАММИРОВАНИЯ

С.И. Татаренко, к.т.н., доцент (Тамбовский государственный технический университет, ул. Советская, 106, г. Тамбов, 392000, Россия, [email protected])

В работе описан метод поиска максимума квадрики на многогранном множестве ограничений, основанный на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Вначале путем ортогональных преобразований и масштабирования матрица квадратичной формы приводится к нормальному виду. Затем с помощью замены переменных исходная задача сводится к задаче поиска минимального расстояния между точкой безусловного экстремума и многогранным множеством ограничений. Для определения расстояния строятся перпендикуляры к граням многогранника различной размерности. Для уменьшения числа исследуемых граней разработан специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.

Ключевые слова: математическое программирование, оптимизация, нелинейное программирование, квадратичная задача.

Received 07.05.2014

LINEAR SOLUTION FOR QUADRATIC PROGRAMMING PROBLEMS Tatarenko S.I., Ph.D. (Engineering), Associate Professor (Tambov State Technical University, Sovetskaya St. 106, Tambov, 392000, Russian Federation, [email protected]) Аbstract. The work describes a quadric maximum search method on a polyhedral restrictions set. It is based on solving linear equations systems when their dimension no higher than a number of objective function variables. In the beginning, a quadric matrix is worked reduced to a normal view using orthogonal transformations and scaling. Then, using variables replacement, the initial problem is reduced to a problem of searching the minimum distance between an unconditional extremum point and a polyhedral restrictions set. Perpendiculars to different dimension polyhedron sides are constructed to measure the distance. The special order of sides search is developed to reduce the number of studied sides. The subject to research includes only the sides containing the top which is the closest to an unconditional extremum point and seen from this point. If there is not only one closest top, then the side containing all these tops and the sides of lower dimension having not less than two shared closest tops with the first side are investigated.

Keywords: mathematical programming, optimization, nonlinear programming, quadratic problem.

Для решения задачи квадратичного программирования разработаны различные приближенные методы и варианты квадратичного симплекс-метода, основанные на методе Лагранжа [1—4]. Но приближенные методы не способны дать точное решение, а симплекс-метод требует введения дополнительных переменных и учета нелинейных условий дополнительной нежесткости, что услож-

няет задачу и увеличивает ее размерность. В [5] описан метод, заключающийся в последовательном решении квадратичной задачи на различных гранях множества ограничений, при этом требуется решать системы линейных уравнений меньшей размерности, чем при использовании симплекс-метода, но большей, чем число переменных целевой функции. В данной работе предложен точный

метод решения квадратичной задачи, основанный на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции.

Суть метода состоит в том, что задача поиска максимума квадрики на многогранном множестве ограничений сводится к задаче поиска минимального расстояния между точкой безусловного максимума и границей многогранной области ограничений. Для определения расстояния строятся перпендикуляры к граням многогранника, а для уменьшения числа исследуемых граней разработан специальный порядок перебора граней.

Пусть имеется задача квадратичного программирования с целевой функцией от n переменных и замкнутой областью ограничений из m линейных неравенств:

z(X) = XTAX + BX ^ max, (1)

CX > D; X > 0, где X = (x, x2, ..., xn)T - вектор переменных; A -матрица квадратичной формы размерности nxn; B = (bb b2, ..., bn) - вектор линейной формы; D = (d1, d2, ..., dm)T - вектор констант ограничений; C - матрица коэффициентов ограничений размерности mxn.

Пусть матрица A невырождена, отрицательно определена и точка решения задачи безусловного максимума X* = - (A+AT)-1BT = -A-1BT /2 находится вне области ограничений. Тогда решение задачи (1) следует искать на границе области ограничений [6].

Первым этапом решения является масштабирование задачи, заключающееся в замене переменных и приведении матрицы квадратичной формы к нормальному виду. Сначала методом ортогональных преобразований [7, 8] приведем матрицу квадратичной формы A к каноническому виду. Обозначим матрицу этого преобразования S, тогда в результате преобразований матрица F = STAS станет диагональной, причем, по закону инерции квадратичной формы, все ее диагональные элементы будут отрицательны и равны собственным числам матрицы A. Затем приведем квадратичную форму к нормальному виду с помощью масштабирующей диагональной матрицы W:

Wij =

|1/ пРи I = л

[0 при / Ф j;

в итоге матрица квадратичной формы превратится в отрицательную единичную матрицу WTSTASW= =-Е, а алгебраическая форма целевой функции после замены переменных X=SWY примет вид z(Y)=:Z(->>I2+ЛyI)^.max, /е[1, п], где P=BSW, Y= =W-1S-1X.

Дополним каждую переменную до полного квадрата, заменим знак целевой функции, исключим из нее постоянные члены и получим задачу поиска минимума:

z(Y) = Z(y, -p^^min, /е [1, n ].

(2)

Поскольку Y* = W-1S-1X*

нальна, то есть S 1 = ST,

и W-1 = (W-1)T,

где G =

V

SW; Q =

матрица S ортого-матрица W-1 диагональная то W-1S-1A-1S-1W-1 = -Е, следовательно, Y* = Рт/2 и полученная целевая функция представляет собой квадрат расстояния между текущей точкой Y и точкой безусловного экстремума Y , а поверхности равного уровня являются концентрическими гиперсферами с центром в точке Y .

Объединим ограничения неравенства с ограничениями неотрицательности переменных и получим систему из 1=п+т ограничений:

GY > Q, (3)

' D

V 0.

Таким образом, задача (1) превратилась в задачу (2), (3), представляющую собой задачу поиска точки границы многогранного множества и, описываемого неравенствами (3), ближайшей к точке безусловного экстремума Y = Рт/2.

Вторым этапом решения является исследование элементов границы области и и отыскание ближайшей точки методами аналитической геометрии. Ограничения (3) образуют в п-мерном пространстве выпуклый многогранник (полиэдр), граница которого состоит из вершин и граней различных размерностей от 1 до п—1 [9]. Разделим ограничения задачи на две группы. В одну группу включим ограничения, которым удовлетворяет точка безусловного экстремума GIY > ц,, грани множества и размерности п-1, расположенные на соответствующих опорных гиперплоскостях, будут невидимыми из точки Y . Здесь GI - строка матрицы G; ц, - элемент вектора констант ограничений Q. В другую группу включим ограничения, которым не удовлетворяет точка Y , то есть для которых GIY < ц,, соответствующие грани будут видимыми из Y .

Найдем все видимые вершины многогранника и как решения всех возможных систем из п уравнений, образованных из ограничений (3) путем замены знака неравенства на равенство. В составе этих систем должно быть на менее одного ограничения из числа видимых п { GIY = ц, ; / е [1,1]; 3/ : GIY < ц,, где GI - строка матрицы G; ц - элемент вектора констант ограничений Q.

Решением такой системы будет вершина, если оно удовлетворяет всем ограничениям (3). Если некоторые из ограничений не выполняются, то найденная точка является пересечением продолжений гиперплоскостей граней и не принадлежит и. Вершина может быть общей точкой и для большего чем п числа гиперплоскостей, но для ее нахождения достаточно решить систему из п уравнений [9].

При формировании систем уравнений для нахождения вершин следует исключать из рассмотрения системы, содержащие параллельные гипер-

плоскости, соответствующие линейно зависимым коэффициентам ограничений GI = aGj■. Если определитель системы равен нулю, это свидетельствует об отсутствии общей точки у гиперплоскостей [10], такие системы также не следует рассматривать. Примером в трехмерном пространстве может служить бесконечно длинная треугольная призма, образованная тремя попарно пересекающимися плоскостями. Поскольку вершина может принадлежать более чем п гиперплоскостям, следует проверить каждую найденную вершину на принадлежность еще не рассмотренным гиперплоскостям ограничений и, если имеются гиперплоскости, содержащие эту вершину, исключить из рассмотрения соответствующие системы уравнений.

После нахождения всех вершин многогранника выберем ту, которая ближе всех к точке безусловного экстремума Y , и обозначим ее V. Найденная вершина является либо решением задачи (2), (3), либо вершиной, ближайшей к искомому решению, и принадлежит грани многогранника и, содержащей точку решения. Поэтому далее надо исследовать грани всех размерностей, содержащие вершину V.

Исследование проводится путем опускания перпендикуляра из точки Y на все грани, содержащие вершину V. Перпендикуляр, опущенный из точки Y на грань размерности £, не может быть длиннее перпендикуляра, опущенного на грань размерности £-1, имеющей с гранью размерности k общие точки, поскольку грань размерности £-1 будет являться границей грани размерности £. Поэтому исследование начинается с граней размерности п—1, а затем исследуются грани меньшей размерности. Как только будет найдена точка, удовлетворяющая всем ограничениям (3) и лежащая на перпендикуляре, опущенном на грань из точки Y , она и будет являться решением задачи. Если после исследования всех граней такая точка не будет найдена, решением является вершина V.

Грань размерности п—1 описывается одним уравнением из ограничений (3). Проверять следует только грани, содержащие вершину V, то есть нужно исследовать только те видимые ограничения (3), которые входили в систему уравнений, используемую для нахождения V, и являются активными для точки V.

Согласно [10], расстояние до грани определяется выражением г=(^У*- д,)/ /е[1, /]: GI■V = =?,-, GIY* < д, .

Если это расстояние больше разности между ближайшей вершиной и точкой безусловного экстремума г > |Y -VI, дальнейшее исследование грани не выполняется. Если г = |Y -VI, решением задачи является вершина V. Если г < |Y -VI, необходимо найти координаты ближайшей к Y точки гиперплоскости, содержащей грань. Они определяются с помощью нормального к гиперплоскости вектора Т = (¿ь ¿2, •••, 4): и = gij /е[1, /];

уе[1, п]; и совместного решения канонического уравнения прямой, проходящей через точку Y , и общего уравнения гиперплоскости ограничения:

(У1-У0 / ¿1 = (У2-У*2) / ¿2 =•••= (у - у„) / 4;

Если решение этой системы удовлетворяет всем оставшимся 1—1 ограничениям, то именно она является решением задачи (2), (3), если нет, то перпендикуляр из точки Y на гиперплоскость не попадает на границу множества и и требуется исследовать другие грани или грани меньшей размерности.

Последними исследуются ребра многогранника и, то есть прямые линии, образованные пересечением п—1 ограничений, причем хотя бы одно из ограничений должно быть видимым. Система уравнений п-1 = д,; /е[1, 1]; 3/ : GIY > д,;

V/ : GI■V = д, является общим уравнением прямой линии в п-мерном пространстве. Направляющий вектор Т=(и1, и2, • .., ип) линии ребра можно найти из условий ортогональности его ко всем нормальным векторам плоскостей ограничений, образующих ребро, то есть равенства нулю п-1 скалярных произведений: п-1 = 0; /е[1, 1].

Для решения этой системы одну из координат вектора Т можно задать произвольно.

Поскольку вершина V=(v1, у2, •.., уп) принадлежит исследуемому ребру, координаты точки пересечения линии ребра и перпендикуляра к ребру, опущенному из точки Y , определяются из системы уравнений, включающей канонические уравнения линии ребра, проходящей через точку V, и уравнения п-1-мерной плоскости с нормальным вектором Т, содержащей точку Y :

(У1 - V!) / ¿1 =(У2 - V2) / ¿2 = ••• = (Уп - Vn) / ¿п;

T(Y-Y*) = 0.

Если решение этой системы удовлетворяет всем ограничениям (3), оно является решением задачи (2), (3); если удовлетворены не все ограничения, перпендикуляр к ребру попадает на продолжение линии ребра и следует исследовать другие ребра.

Грани размерности от k=n-2 до £=2 исследуются с помощью дополнительных ортогональных гиперплоскостей размерности от п-1 до п-£+1.

Гиперплоскость размерности п-£ является совместным решением £ уравнений из системы ограничений (3), причем, как и для грани размерности п-1, ограничения должны быть активными для V и хотя бы одно должно быть из числа видимых из Y*: £ ^У=д,; /е[1, /]; 3/ : GIY *<д,; V/ : GIV=gI.

Точка V принадлежит исследуемой грани, найдем еще п-2 точек, принадлежащих грани Y1, Y2, • , Yn-2, как независимые решения системы, определяющей грань, причем п-£ компонентов решений задаются произвольно.

Найдем нормальный вектор Тп1 некоторой гиперплоскости размерности п-1, содержащей п-1 точек, принадлежащих исследуемой грани V, Y1, Y2, •.., Yn-2, и проходящей через точку Y*:

УТ"-1 =о- Y1Т"-1 = 0' у"-2Т"-1 = 0' У*Т"-1 = 0.

Найдем далее нормальный вектор Т"-2 гиперплоскости размерности п—2, проходящей через п-2 точек, принадлежащих исследуемой грани У, Y1, Y2, ..., У"-3, через точку Y и ортогональный к вектору Т"-1:

УТ"-2 = 0' Y1Т"-2 = 0' У"-^"-2 = 0'

2_0' Т"-2т"-1_0

Аналогично находятся остальные нормальные векторы для гиперплоскостей размерности п-3, п-4, п-к+1' для вектора гиперплоскости размерности п— поручим систему

_0' Yl Т"-_0' Т"—_0'

^^ T^—ï _ Q. T^—i^n—l _ 0 T^—i^n

= Q.

Нормальный вектор Т"- исследуемой грани размерности п—к должен быть ортогонален к пересекающимся прямым, принадлежащим этой грани, и ортогонален всем найденным ранее нормальным векторам гиперплоскостей большей размерности, содержащих исследуемую грань. В качестве пересекающихся прямых возьмем разности (У-У1), (У-У2), ..., (У-Ук) и получим систему

(У-У1)^ _ 0' (У-У2)^ _ 0' .

(У ук)Т"—к_ 0' Т"-к+1Т"-к_ 0' Т"-1Т"-к_ 0

Координаты ближайшей к У точки гиперплоскости размерности п-к определяются из канонического уравнения линии с направляющим вектором Т"-к, проходящей через точку У , и общего уравнения плоскости, проходящей через точку У, с нормальным вектором Т"-к:

(У1-У*1) / ^(у-Л / t2"-k _._(У"-У*") / ^

Т"-к(У-У) _ 0.

Если решение этой системы удовлетворяет всем ограничениям (3), то оно является решением задачи (2), (3), если нет, то требуется исследовать другие грани.

В некоторых случаях может получиться, что ближайших равноудаленных от У вершин несколько, тогда решение задачи (2), (3) является линейной комбинацией таких вершин и принадлежит грани, содержащей все эти вершины, либо границе этой грани, то есть грани меньшей размерности, причем содержащей не менее двух равноудаленных вершин. Пусть имеется к ближайших равноудаленных вершин, обозначим их как У1, У2, ..., Ук, гиперплоскость ограничений с номером I содержит все равноудаленные вершины, если V j _ [1, к] : _ qi.

Пусть таких гиперплоскостей V, тогда размерность грани, содержащей решение, будет п^ и гиперплоскость размерности п^, содержащая ближайшую к У , будет описываться системой из V уравнений. Для нахождения решения следует опустить перпендикуляр на эту грань из точки У*, как описано выше, причем при построении промежуточных ортогональных векторов вместо точек У1, У2, ..., Ук следует использовать вершины У1, У2, ..., Ук. Если точка пересечения перпенди-

куляра и грани удовлетворяет всем ограничениям (3), то она является решением задачи. Если удовлетворены не все ограничения, надо исследовать грани меньшей размерности n—v—1, имеющие с исследуемой гранью не менее двух общих ближайших вершин, затем грани размерности n-v-2 и так до граней размерности 1, то есть ребер. Полученные таким образом ребра обязательно будут содержать две ближайшие вершины, и ближайшей к

Y точкой ребра будет являться среднеарифметическое этих вершин Y = (V1 + Vj) /2.

В отличие от случая с одной ближайшей вершиной, когда исследования прекращают, если точка перпендикуляра, опущенного на грань из

Y , удовлетворяет всем ограничениям (3), при нескольких ближайших вершинах следует продолжать исследование всех граней размерности n—v—1 и меньше и в качестве решения принимать точку грани, ближайшей к Y*.

Предложенный алгоритм реализован в форме программы на языке С++. Вычислительные эксперименты на модельных примерах показали эффективность метода и возможность его применения для решения задач оптимизации. В частности, для решения задачи с целевой функцией от 3 переменных и областью ограничений, имеющей форму восьмигранной пирамиды, образованной пересечением 9 ограничений, для определения вершин потребовалось решить 25 систем из 3 уравнений, а для проведения перпендикуляров к граням и ребрам необходимо решить 12 систем из 3 уравнений и 7 систем из 2 уравнений. При решении этой задачи симплексным методом потребуется неоднократно решать систему из 12 уравнений с 24 неизвестными, чтобы выполнить 12 нелинейных условий дополняющей нежесткости.

Литература

1. Леонов А.А., Жолобов Д.А. Расширение симплекс-метода для решения задач квадратичного программирования // Науч. сессия МИФИ-2004. М.: МИФИ, 2004. Т. 13. С. 82-83.

2. Климова Е.Н., Шур В.Л., Москалец О.В. Математическое моделирование оптимального портфеля ценных бумаг с ограничениями на отдельные активы // Вестн. СамГУ: Естественнонаучная сер. Самара, 2008. № 8/2 (67). С. 263-275.

3. Даугавет В.А. Численные методы квадратичного программирования. СПб: Изд-во СПбГУ, 2004. 127 с.

4. Куцый Н.Н., Осипова Е.А. Проблема начального допустимого базиса при решении задач линейного программирования // Вестн. ТГТУ. Тамбов, 2010. Т. 16. № 4. С. 780-788.

5. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983. 384 с.

6. Сухарев А.Г., Тимохов А.В., Федоров В.В. Курс методов оптимизации. М.: Физматлит, 2011. 384 с.

7. Ильин В.А., Позняк Э.Г. Линейная алгебра: учеб. для вузов. М.: Физматлит, 2010. 277 с.

8. Новиков М.А. О приведении матриц квадратичных форм к взаимно упрощенным // Современные технологии. Системный анализ. Моделирование. 2010. № 2 (26). С. 181187.

9. Циглер Г.М. Теория многогранников. М.: Изд-во МЦНМО, 2014. 568 с.

10. Розендорн Э.Р., Ефимов Н.В. Линейная алгебра и многомерная геометрия: учебник. М.: Физматлит, 2005. 464 с.

References

1. Leonov A.A., Zholobov D.A. Simplex-method extention to solve quadratic programming problems. Nauchnaya sessiya MIFI-2004 [MEPhI-2014 scientific session]. Moscow, National Research Nuclear Univ. "MEPhl" Publ., 2004, vol. 13, pp. 82-83 (in Russ.).

2. Klimova E.N., Shur V.L., Moskalets O.V. Mathematical modeling optimal securities holdings with separate assets restrictions. Vestnik Samarskogo gos. universiteta. Estestvennonauch-naya seriya (Vestnik of Samara State Univ. Natural Science series). Samara, 2008, no. 8/2 (67), pp. 263-275 (in Russ.).

3. Daugavet V.A. Chislennye metody kvadratichnogo pro-grammirovaniya [Numerical methods in quadratic programming]. St. Petersburg, 2004, 127 p.

4. Kutsy N.N., Osipova E.A. Initial admissible basis problem when solving nonlinear programming exercises. Vestnik Tambov-skogo gos. tekhn. universiteta [Herald of Tambov State Technical

University]. Tambov, 2010, vol. 16, no. 4, pp. 780-788 (in Russ.).

5. Polyak B.T. Vvedenie v optimizatsiyu [Introduction to optimization]. Moscow, Nauka Publ., 1983, 384 p.

6. Sukharev A.G., Timokhov A.V., Fedorov V.V. Kurs metodov optimizatsii [Course of optimization methods]. Moscow, Fizmatlit Publ., 2011, 509 p.

7. Ilyin V.A., Poznyak E.G. Lineynaya algebra [Linear algebra]. Moscow, Fizmatlit Publ., 2010, 277 p.

8. Novikov M.A. On quadratic forms matrix reduction to relatively simplified. Sovremennye tekhnologii. Sistemny analiz. Modelirovanie [Modern technologies. System analysis. Modeling]. Irkutsk, 2010, no. 2 (26), pp. 181-187 (in Russ.).

9. Ziegler G.M. Teoriya mnogogrannikov [Polyhedron theory]. Moscow, 2014, 568 p.

10. Rozendorn E.R., Efimov N.V. Lineynaya algebra i mnogo-mernaya geometriya [Linear algebra and multidimensional geometry]. Textbook, Moscow, Fizmatlit Publ., 2005, 464 p.