Наименее удаленные от начала координат решения системы линейных неравенств Текст научной статьи по специальности «Математика»

Серия «Математика»

2011. Т. 4, № 2. С. 102-113

Онлайн-доступ к журналу: http://isu.ru/izvestia

УДК 519.6

Наименее удаленные от начала координат решения системы линейных неравенств *

В. И. Зоркальцев

Иркутский государственный университет

Аннотация. Рассматривается проблема поиска наименее удаленной от начала координат точки полиэдра в нескольких постановках. Полиэдр определяется как множество решений системы линейных неравенств. В том числе рассматриваются результаты решения задач минимизации штрафных функций, включая гельдеровские нормы с различными степенными и весовыми коэффициентами. Рассматривается также многокритериальная задача поиска вектора решения системы линейных неравенств с Парето-минимальными абсолютными значениями всех компонент. Формулируются и доказываются теоремы о соотношениях множеств решений, получаемых при различных постановках изучаемой проблемы.

Ключевые слова: Полиэдр, система линейных неравенств, Гельдеровские нормы, Евклидовы нормы, парето-оптимальные решения.

Одним из основополагающих элементов прикладной математики является метод наименьших квадратов, введенный независимо двумя великими математиками Гауссом и Лежандром. Метод наименьших квадратов активно используется в разных областях вычислительной математики и математического моделирования - при обработке наблюдений, оценках взаимосвязей показателей, прогнозировании, построении и анализе физических, биологических и социальных моделей, в алгоритмах распознавания образов и классификации, в алгоритмах оптимизации.

Хотя изучению этого метода уделено большое внимание (особенно исследованию его свойств в задачах математической статистики, совершенствованию алгоритмов вычислений по нему [3, 4]) нельзя считать, что он исчерпывающе изучен. В частности, до недавнего времени мало изученным было влияние на получаемые решения варьирования весовых коэффициентов при квадратах отклонений.

* Работа выполнена при поддержке РФФИ, проект № 09-01-00306а

1. Введение

В обиход современной прикладной математики прочно вошли и другие, альтернативные методу наименьших квадратов постановки. К ним относится введенный еще ранее Босковичем и Лапласом метод минимизации суммы модулей [1], предложенный Чебышевым метод минимизации максимального отклонения.

Иногда используются обобщения и модификации всех этих подходов в виде задач минимизации различного типа штрафных функций, задач Парето-оптимизации. Теоретический и практический интерес представляет изучение вопросов о взаимосвязях решений получаемых с использованием различных конкурирующих подходов, о свойствах множеств таких решений.

Представленные в данной статье результаты являются развитием ранее выполненных автором исследований свойств и взаимосвязей наименее удаленных от начала координат точек линейных многообразий при различных определениях таких точек. В 1992 году на международной Байкальской школе-семинаре «Методы оптимизации и их приложения» по предложению Валериана Павловича Булатова автор делал специальный доклад по результатам этих исследований. На основе материалов доклада была подготовлена монография [2], научными редакторами которой были Е. Г. Анциферов и В. П. Булатов. Уже тогда была очевидной необходимость развития этих исследований на случай, когда исходным объектом, для которого определяются наименее удаленные от начала координат точки, является не линейное многообразие, а полиэдр.

Как известно, линейное многообразие можно задавать в виде множества решений системы линейных уравнений. Полиэдр можно определить как множество решений системы линейных неравенств. Системы линейных неравенств широко используются в математическом моделировании и в вычислительной математике. При этом они являются «более общим» объектом, чем системы линейных уравнений. Любую систему линейных уравнений можно записать в виде системы линейных неравенств. А обратное не верно - не любую систему линейных неравенств можно записать в виде системы линейных уравнений.

2. Определения

Исходным объектом исследований в данной статье является полиэдр X в пространстве Кп, определимый как множество решений х € Кп системы линейных неравенств

Ах > Ь. (2.1)

Заданными являются матрица А размера т х п, вектор Ь € Кт.

Обозначим аг - векторы, составленные из строк матрицы A с номерами i = 1,..., m. Далее не оговаривая особо считаем: что в каждой строке матрицы A есть ненулевые коэффициенты , аг = 0 для i = 1,..., m; что рассматриваемая система (2.1) совместна, X = 0; начало координат в Rn не является решением системы (2.1), 0 / X.

Обозначим

Jo(x) = {j : Xj = 0}, J+(x) = {j : Xj > 0},

J_(x) = {j : Xj < 0}, J(x) = J+(x) U J-(x)

множества номеров компонент вектора x Є Rn с нулевыми, положительными, отрицательными и ненулевыми значениями. Набор номеров J(x) будем называть носителем вектора x.

Для вектора x Є X определим множества номеров активных и неактивных ограничений системы (2.1):

I0 (x) = J0(Ax — b), I (x) = J (Ax — b).

Для решения x Є X определим конус возможных направлений

Z(x) = {z Є Rn : (аг, z) > 0, i Є I0(x)}.

Он состоит из векторов z таких, что при некотором достаточно малом Л > 0 вектор (x + Az) будет находится в X.

За счет использования символов С и С будем различать ситуации строгого (включено и не совпадает) и нестрогого (включено и возможно совпадает) включения одного множества в другое. Множество векторов Rn со всеми положительными компонентами обозначим R++

Будем рассматривать три постановки проблемы определения наименее удаленных от начала координат точки полиэдра.

1. Поиск Парето-оптимальных решений многокритериальной задачи минимизации абсолютных значений каждой из компонент вектора переменных:

|xj|^ min, j = 1,...,n, x Є X. (2.2)

Парето-оптимальным решением задачи (2.2) является такой вектор x Є X, для которого нельзя уменьшить абсолютное значение любой из компонент не увеличив абсолютное значение какой-либо другой компоненты и не выходя из области X. Обозначим Q - множество Парето-оптимальных решений задачи (2.2).

Непосредственно из определения Парето-оптимальных решений вытекает следующее утверждение.

Лемма 1. Вектор x Є X не будет находиться в Q, если и только если существует z Є Z(x) такой, что

J(z) = 0, J_(z) С J+(x), J+(z) С J_(x). (2.3)

НАИМЕНЕЕ УДАЛЕННЫЕ ОТ НАЧАЛА КООРДИНАТ РЕШЕНИЯ 105

2. Минимизация штрафной функции

f (x) — min, x € X. (2.4)

Будем предполагать, что из функции f в результате возрастающго дифференцируемого преобразования можно получить строго выпуклую функцию, удовлетворяющую условию

sign Vjf(x) = sign(xj), j = l,...,n. (2.5)

для любого x € Rn. То есть значение этой функции возрастает, если возрастает какая-либо положительная компонента вектора переменных или если убывает какая-либо отрицательная компонента вектора переменных. Обозначим F множество функций, обладающих указанными выше свойствами.

Решение задачи (2.2) обозначим

x(f ) = argmin {f (x) : x € X} . (2.6)

Теорема 1. Для любой функции f € F существует и единственно решение задачи (2.2).

Доказательство. Множество F наряду с некоторой функцией f € F содержит и все функции, получаемые в результате применения к f возрастающего дифференцируемого преобразования. Поскольку задача

(2.4) для исходной функции f и для функции l(x) = g(f(x)), полученной из f возрастающим дифференцируемым преобразованием g имеет одно и то же решение (либо для обоих функций не имеется решения), то можем считать исходную функцию f строго выпуклой. Из строгой выпуклости штрафной функции f следует, что если задача (2.4) имеет решение, то единственное.

Докажем, что из условия (2.5) и строгой выпуклости (следовательно непрерывности и дифференцируемости) функции f следует существование решения у задачи (2.4).

Из непрерывности f следует, что эта функция имеет минимум на

любом компакте в Rn. Поэтому задача (2.4) может не иметь решения

k

только в том случае, если существует последовательность векторов xk € X, k = 0, l, 2,... такая, что

f (xk+1) <f (xk), k = 0, l, 2,... (2.7)

и

||xk || —to, k —— to. (2.8)

Итак, предположим, что такая последовательность векторов {xk} существует.

Из этой последовательности можно выбрать бесконечную подпоследовательность с одинаковыми знаками у отдельных компонент векторов

xk. Без потери общности можем считать, что таковой является сама исходная последовательность {xk}. Итак для любых j = 1, ...,n

sign xk = const, k = 0,1,2,... . (2.9)

Введем векторы

yk = xk - x0, zk = ^7yk. (2.10)

l|ykll

В силу (2.8) можем считать, что

||yk|| > 1, k = 1, 2,... . (2.11)

Из ограниченности последовательности векторов {zk} следует существование в ней сходящейся подпоследовательности. Без потери общности можем считать, что таковой является исходная последовательность: при некотором z €

||zk|| ^ z, k ^ то. (2.12)

Из (2.9), (2.10), (2.12) следует, что

J(z) = 0, J+(z) С J+ (x0), J-(z) С J- (x0).

Учитывая (2.5) и строгую выпуклость f, получаем неравенство

f (x0 + z) >f(x0). (2.13)

С другой стороны, в силу (2.10)

xk + zk = Ak xk + (1 — Ak )x0

при Ak = jjykjj. Согласно (2.11), Ak € (0,1). Из (2.7) и строгой выпукло-

сти f следует

f(x0 + zk) <f(x0).

Из (2.12) получаем

f(x0 + z) < f(x0),

что противоречит (2.13).

Полученное противоречие доказывает ошибочность предположения.

□

Приведем формулировку условий оптимальности задачи (2.4) в терминах возможных направлений.

Лемма 2. Пусть f € F. Вектор x € X является решением задачи

(2.4) в том и только в том случае, если и при любом z € Z (x)

(Vf(x),z) > 0. (2.14)

Множества решений задачи (2.4) с различными штрафными функциями из Р обозначим

РР = {х(/): / € Р}.

В частности множеству Р принадлежат гельдеровские нормы

п 1

<^(х) = Е Н'|х'|Р] р ,

^=1

где р > 0 - степенной коэффициент, Н € + - вектор весовых коэф-

фициентов.

Отметим, что в результате дифференцируемого монотонного преобразования - возведения в степень р, получим из гельдеровской нормы строго выпуклую функцию

п

<^(х) = X) н|х'|Р.

.7 = 1

Вектор х(^) будем называть гельдеровской проекцией начала координат на полиэдр X. Введем множество гельдеровских проекций при фиксированном значении степенного коэффициента р

рр = ) : Н € +}

и множество гельдеровских проекций при всех значениях весовых коэффициентов

Р = и Р>-

р>1

Заметим, что при р = 2 функция ^ будет евклидовой нормой. Множество Р2 состоит из евклидовых проекций начала координат на полиэдр X. Использование функций ^ означает, что задача (2.4) решается методом наименьших квадратов.

3. Поиск решений системы линейных неравенств с максимальными наборами нулевых компонент и активных ограничений. Множество В таких решений состоит из векторов х € X таких, что не существует вектора у € X при котором 70 (х) С 70 (у), /0 (х) С /0 (у) и при этом или 70(х) С ^о(у) или /0(х) С /0(у). Векторы из В будем называть особыми решениями системы линейных неравенств (2.1).

Теорема 2. Из условия X = 0 следует, что В = 0 и множество В содержит конечное число векторов, не более чем

СП+т = (п!т!)/(п + т)!.

Доказательство. Пусть х € X. Если х / В, то существует у € X такой, что 3(у) С 3(х),/(у) С /(х) и при этом или 3(у) С 3(х), или /(у) С /(х) или реализуются обе эти возможности. Полагаем х = у и повторяем рассуждения.

Поскольку на каждой итерации таких рассуждений находим новый вектор либо с более узким носителем, либо с более узким набором неактивных ограничений, то через конечное число итераций получим вектор из X, для которого нельзя сузить носитель не расширяя набор неактивных ограничений или сузить набор неактивных ограничений не расширяя носитель. То есть получим вектор из В. Итак доказано, что В = 0.

Рассмотрим систему линейных уравнений и неравенств

Ах - у = Ь, (2.15)

у > 0 (2.16)

относительно переменных, составляющих векторы х € Рп, у € Рп.

Система (2.15), (2.16) является переформулировкой исходной системы (2.1) за счет введения дополнительных переменных. Любому вектору х € X соответствует вектор у(х) = Ах — Ь такой, что пара векторов (х,у(х)) составляет решение системы (2.15), (2.16).

Если х € В, то пара (х,у(х)) будет составлять решение системы

(2.15), (2.16) с минимальным набором ненулевых компонент. Любое

решение системы (2.15) с минимальным носителем должно содержать не более, чем т ненулевых значений переменных. Причем не может быть двух решений с минимальными носителями, у которых носитель совпадает. Следовательно решений системы линейных уравнений (2.15) с минимальным носителем не более, чем СП+т.

Для любого х € В пара (х,у(х)) будет соответствовать одному из решений системы линейных уравнений (2.15) с минимальным носителем. Следовательно, число векторов в В не больше, чем число решений системы (2.15) с минимальным носителем. □

3. Взаимосвязи множеств решений

Теорема 3. Множество РР, Р и Рр при любом р>1 совпадают.

Доказательство. Так как гельдеровские нормы с фиксированным степенным коэффициентом р > 1 являются подмножеством всех гельде-ровских норм, а все гельдеровские нормы являются подмножеством функции Р, то при любом р > 1

Рр С Р С РР.

Необходимо доказать справедливость соотношения при любом заданном p > 0

PF С Рр. (3.1)

Пусть f € F. Причем f - строго выпуклая функция. Если Xj(f) = 0, то полагаем

hj = Р |Vj f (x(f))|/|xj (f )Г‘. (3.2)

p

Если Xj(f) = 0, то в качестве hj можно взять любое положительное число, например, hj = 1.

Из приведенного правила задания весовых коэффициентов и условия

(2.5) следует, что

Wh(x(f)) = Vf (x(f)). (3.3)

Действительно, если Xj (f) = 0, то из определения функции <^h, используя условие (3.2) и затем условие (2.5) имеем

Vj^h(x(f)) = p hj |xj(f)|p-1 xj =

=Pp|xj(f )|p-1 sign xj=|Vjf (x(f ))| sign xj=Vjf (x(f))-

Если Xj(f) = 0, то из (2.5) имеем Vjf(x(f)) = 0, Vj<^h(x(f)) = 0- Из (3.3) и леммы 3 получаем ж(<^) = x(f)- Поскольку ж(^) = ж(<^), то ж(^0 = x(f).

Следовательно, при любом f € F вектор x(f) входит в множество Pp. Соотношение (3.1) установлено. □

Теорема 4. Точки минимума на полиэдре X штрафных функций из F являются Парето-оптимальными решениями многокритериальной задачи (2.2),

PF С Q. (3.4)

Доказательство. Пусть ж = x(f) при некоторой строго выпуклой функции f € F. Согласно лемме 2 для любых z € Z(ж)

П

Ezj Vj f (ж) > 0. (3.5)

j=i

Предположим, что ж € Q. Тогда согласно лемме 1 должен существовать вектор z € Z(ж), при котором выполняются соотношения (2.3). Из этих соотношений и условия (2.5) следует J(z) = 0, J-(z) С J+(Vf (ж)), J+(z) С J-(Vf(ж)). Следовательно для данного z

П

Y, zj Vjf (ж) <0-j=1

Это противоречит (3.5). Предположение не верно. □

Теорема 5. Парето-оптимальные решения многокритериальной проблемы (2.2) находятся в выпуклой оболочке особых векторов полиэдра

д с со в. (3.6)

Доказательство. Докажем, что любой вектор х € д можно представить в виде выпуклой комбинации векторов из В, х € со В.

Пусть Н - некоторый конечный набор векторов из X, содержащий в выпуклой оболочке данный вектор х € д. Причем для каждого вектора у € Н выполняются соотношения

3+(у) С 3+(х) 3-(у) С 3-(х) 1 (у) С 1 (х). (3.7)

Изначально можем считать, что множество Н состоит из одного элемента, рассматриваемого вектора х.

Предположим имеется вектор й € Н, который не является особым вектором X. Следовательно, имеется вектор Ь € X такой, что

3(Ь) С 3(й), /(Ь) С /(й).

Причем хотя бы одно из этих соотношений выполняется в строгой форме: или 3(Ь) С 3(й), или /(Ь) С /(й).

Положим

г = Ь — й.

Так как й = Ь, то Поскольку

то

3(г) = 0, 3(г) С 3(й). (3.8)

/з(х) С /з(й) С /з(Ь),

(агг) =0 V* € /0(х).

Следовательно

г € 2(х), —г € 2(х). (3.9)

Из условия х € д, соотношения (3.7) при у = й, соотношений (3.8), (3.9) и леммы 1 следует, что должны быть непусты оба множества

31 = {; : г' й' < 0}, 32 = {; : г, й' > 0}.

Следовательно существуют положительные числа

а1 = шт —-; а2 = шт —;

7е^1 г' 7^ ^2 27

Положим

71 =ш1п{«1,в1}, 72 = ш1п{а2,^2},

где

в1 = 8ир{в : й + вг € X},

в2 = йир{в : й — вг € X}

При этом не исключается, что величины в1 и в2 могут принимать значения то.

По построению вектор й является выпуклой комбинацией векторов

у1 = й + 71 г, у2 = й — 72^.

Согласно правилам вычислений 71

3+(у1) С 3+ (й), 3-(у1) С 3-(й), /(у1) С /(й).

Причем одно из этих соотношений выполняется в строгой форме. Если 71 = «1, то в строгой форме выполняется одно из первых двух соотношений. Если 71 = въ то в строгой форме выполняется третье соотношение.

Согласно правилам вычислений 72

3+(у2) С 3+ (й), 3-(у2) С 3-(й), /(у2) С /(й).

Причем одно из этих соотношений, в зависимости от того при каком значении а или в2 реализуется величина 72, должно выполняться в строгой форме.

Исключим из набора Н вектор й и включим в него векторы у1 и у2. В силу (3.8), (3.9) для нового набора векторов также будут выполняться соотношения (3.7). Этот набор также будет содержать исходный вектор х в своей выпуклой оболочке.

При этом

3(у1) С 3(й), /(у1) С /(й),

3(у2) С 3(й), /(у2) С /(й).

По крайней мере одно из первых двух соотношений должно выполняться в строгой форме. И хотя бы одно из вторых двух соотношений выполняется в строгой форме. Поэтому через конечное число таких замен получим в Н только особые векторы X. □

4. Заключение

Анонсируем три утверждения. Первые два из них доказываются стандартно на основе леммы 1.

Теорема 6. Р1 с ^.

Теорема 7. Рх С Q.

Теорема 8. cl PF = Q.

Здесь cl PF - замыкание множества PF,

П

P1 = {Arg min^ hj |xj| : h Є R++}, x j=i

Px = {arg lex minmax hj |xj | : h Є R++}

x€X j ++

- множества ортоэдрических и чебышевских проекций начала координат на полиэдр X.

В качестве ортоэдрической проекции для данной ортоэдрической нормы (с весами hj > 0, j = 1,..., n) рассматриваются все точка минимума этой нормы на полиэдре. В качестве чебышевской проекции для конкретной чебышевской нормы с заданными весами hj > 0, j = 1,...,n понимается единственный вектор из X - результат решения следующей задачи лексикографической оптимизации (что выражает символ lex в определении Рх). Сначала решается задача минимизации максимального по всем j = 1,...,n значениям hj |xj| при x Є X. Фиксируются значения переменных Xj, на которых достигается это значение. На втором и последующих этапах решается задача минимизации максимальных значений hj |xj| для оставшихся номеров j при фиксированных значениях переменных Xj с ранее исключенными номерами. При этом естественно сохраняется общее условие x Є X. Фиксируются и исключаются из дальнейшей оптимизации переменные на которых достигаются эти максимальные значения.

Через конечное число таких процедур будет исчерпан весь список номеров компонент вектора x. Полученный на последнем этапе вектор и будет искомой чебышевской проекцией начала координат на полиэдр X, соответствующей чебышевской норме с весами hj.

* * *

Итак, установлено, что все рассматриваемые здесь постановки проблемы поиска наименее удаленной от начала координат точки полиэдра дают решения из одного и того же ограниченного множества - из выпуклой оболочки конечного набора особых решений B.

Из теорем 3-7 вытекают соотношения

= PF, cl Р2 = Q, Pi С cl Р2, Рх С cl Р2.

Эти соотношения означают, что многие из рассматриваемых здесь формулировок задачи определения наименее удаленной от начала координат точки полиэдра могут быть решены методом наименьших квадратов за счет выбора весов. За счет выбора весов в методе наименьших квадратов можно получить решение задачи минимизации штрафной функции из класса F, в том числе минимизации гельдеровских

норм с любыми допустимыми степенными и весовыми коэффициентами. С любой заданной точностью можем получать любое Парето-оптимальное решение многокритериальной задачи минимизации при абсолютных значениях всех компонент вектора из полиэдра. Наконец метод наименьших квадратов позволяет получать с любой точностью любую ортоэдрическую и чебышевскую проекцию начала координат на полиэдр.

Список литературы

1. Багратуни Г. В. Предисловие / Г. В. Багратуни // Избранные геофизические сочинения / К. Ф. Гацес. - М. : Геодезист, 1967.

2. Зоркальцев В. И. Метод наименьших квадратов: геометрические свойства, альтернативные подходы, приложения / В. И. Зоркальцев. - Новосибирск : Наука, 1995. - 270 с.

3. Линник Ю. В. Метод наименьших квадратов и основы математикостатистической теории обработки наблюдений / Ю. В. Линник. - М. : Физматгиз, 1962. - 349 с.

4. Лоусон Ч. Численное решение задач метода наименьших квадратов / Ч. Лоусон, Р. Хенсон. - М. : Наука, 1986. - 232 с.

V. I. Zorkaltsev

Linear inequalities system’s solutions least distant from origin of coordinates

Abstract. The problem of searching the least distant point of polyhedron from origin of coordinates in several statements is considered. A polyhedron is defined as a solution set of system of linear inequalities. Also the results of solving penalty functions minimizations problems including Holder norms with different power and weighting coefficients are considered. The multicriterion problem of searching vector of solutions of system of inequalitues with Pareto-minimal absolute values of all components is discussed. Theorems about relationship of sets of solutions of different statements of problem under consideration are formulated and proved.

Keywords: Polyhedron. System of linear inequalities. Holder norms. Euclidean norms. Pareto-optimal solutions.

Зоркальцев Валерий Иванович, доктор технических наук, профессор, Институт систем энергетики им. Л.А. Мелентьева СО РАН,

664033, г. Иркутск-33, Лермонтова, 130, а/я 1274, тел.: (3952) 428827, ([email protected])

Zorkaltsev Valery, Melentiev Energy System Institute of SB RAS,

130, Lermontov Street, Irkutsk-33, 664033, professor, Phone: (3952) 428827, ([email protected])