Применение методов коррекции по минимуму полиэдральных норм к задачам регрессии Текст научной статьи по специальности «Математика»

ПРИМЕНЕНИЕ МЕТОДОВ КОРРЕКЦИИ ПО МИНИМУМУ ПОЛИЭДРАЛЬНЫХ НОРМ К ЗАДАЧАМ РЕГРЕССИИ

УДК 519.65

Оксана Сергеевна Баркалова,

аспирант кафедры Теоретической информатики и дискретной математики, Московский педагогический государственный университет (МПГУ) Тел.: 8 (985) 241-59-94 Эл. почта: asenka.pavlova@yandex.ru

Рассматривается способ решения задачи регрессии для случая нахождения аффинной функции, аппроксимирующей множество данных точек. Он заключается в применении матричной коррекции исходных данных, критерием оптимальности которой является минимум какой-либо полиэдральной нормы. В качестве вспомогательной сначала подробно изложена задача коррекции несовместных систем линейных уравнений по минимуму различных видов полиэдральных норм. Полученные результаты подтверждены вычислительными примерами. Ключевые слова: матричная коррекция, задача регрессии, минимаксный критерий, полиэдральная норма, несовместные системы линейных алгебраических уравнений.

Oksana S. Barkalova,

Post-graduate student, the Department of Theoretical Informatics and Discrete Mathematics, Moscow State Pedagogical University

Tel.: 8 (985) 241-59-94

E-mail: asenka.pavlova@yandex.ru

APPLICATION OF CORRECTION METHODS BY APPLYING MINIMUM OF POLYHEDRAL NORMS TO REGRESSION PROBLEMS

The method of a solution of a regression problem for a case of determination of the affine function approximating set of given points is considered. It consists in application of matrix correction of the input dates by the polyhedral norm optimality criterion. At first as auxiliary the problem of the correction of inconsistent linear equation systems by applying polyhedral norms minimum is expound. The received results are confirmed by computing experiments. Keywords: matrix correction, regression problem, minimax criterion, polyhedral norm, inconsistent system of linear algebraic equations.

1. Введение

Задачи регрессии обычно возникают при обработке экспериментальных данных, полученных в результате измерений процессов или физических явлений, статистических по своей природе, или при высоком уровне помех (шумов). Задачей регрессионного анализа является подбор математических формул, наилучшим образом описывающих экспериментальные данные. Рассмотрим математическую постановку задачи, а также понятия, необходимые для дальнейшего изложения.

Одной из основных задач вычислительной математики является задача интерполяции. Она заключается в построении функции /: X ^ У из некоторого фиксированного класса функций Ф, такой, что поверхность, ею описываемая, точно проходит через имеющиеся точки данных (х1, у1), ..., (хт, у"), то есть

У = / (х!'), I = 1т, / еФ. (1.1)

Но в связи с тем, что данные зачастую получены экспериментальным путём, задача становится несобственной. В этом случае рассматривается задача оптимальной коррекции (аппроксимации). Необходимо найти функцию, которая вместе с некоторым набором параметров [Хя, У] удовлетворяет условию (1.1), и данный набор параметров является «ближайшим» к [X, у] среди всех допустимых параметров. Под допустимыми понимаются параметры, при которых задача (1.1) является собственной. В качестве критерия «близости» в данной статье будем рассматривать какую-либо полиэдральную матричную норму.

Получаем следующую задачу коррекции (аппроксимации):

inf

f еф, Х„, yh

{||[ Xh , Ун ]-[ X, У : yH =Ф( xH), i = 1, m}. (12)

Определение. ф,^-нормой матрицы А е Ятх" будем называть величину

II ,11 А И Ах)

А , = шах—. . , 11 ^ х*0 ф( х)

где ф(), - некоторые векторные нормы.

В формуле (1.2) ||'|| - матричная ф,^-норма, для которой показатели соответствующих гёльдеровых векторных норм принимают значения из множества {1, «}.

Таким образом, в зависимости от X, У, Ф, а также конкретного вида полиэдральной нормы получаем различные частные постановки задачи (1.2). Для рассматриваемой задачи регрессии и пространство ответов У, и пространство признаков X являются числовыми (X = Я", У = Я), Ф - скалярные аффинные функции нескольких переменных.

В работе [1] ранее были рассмотрены методы коррекции несобственных задач линейного программирования по минимуму произвольной матричной ф,^-норма, а в работе [2] - задача регрессии, критерием оптимальности решения которой выступала евклидова норма матрицы коррекции.

2. Коррекция систем линейных уравнений по минимуму полиэдральных норм

Решение различных частных случаев задачи (1.2), как будет показано далее, тесно связано с решением задач коррекции несовместных систем алгебраических уравнений и неравенств с ограничениями на матрицу коррекции. Поэтому в данном пункте приведём все необходимые обозначения и теоремы.

Пусть дана система линейных алгебраических уравнений

Ах = Ь, (2.1)

где А е Я""" - неизвестная матрица, х е Я" и Ь е Ят - заданные векторы.

Следующая задача объединяет формулировки задач, поставленных для коррекции только матрицы коэффициентов системы (2.1) и коррекции вместе с ней вектора правых частей (см. [3]).

Задача 1. Для заданного вектора х е Я" найти матрицу [к Н] е Ятх"+\ где Н е Ятх", к е Ят, обладающую минимальной ||-|| ^-нормой и такую, что система

(А + = Ь - к (2.2)

становится совместной, причём х е /(А + Н, Ь - И)

Объединим формулировки утверждений, дающих решения для Задачи 1 в случаях коррекции только левой части и обеих частей, введя параметр

10, если корректируется только левая часть,

[1, если корректируются левая и правая части.

Получим следующую лемму.

Лемма. Задача 1 разрешима, и, в частности, имеет решение из класса одноранговых матриц, задаваемое формулой

l =

[И(х) Н(х)] = (Ь - Ах)уТ

где у е Я"+1 - вектор, двойственный к вектору относительно нормы ||-||ф. При этом

у(Ъ - Ах)

(2.3)

и+1

[Ä Я]

с 7" ^

ф

V x У

Рассмотрим следующую задачу коррекции: H(A,b) :||[h И]

^ min (h0 = min ||[h И]||

V x(A+И,Ь-И)Ф0 x,[h и]I|L .

e R

(2.4)

(2.5)

u ^ mm при условиях

(2.6)

I

i=1

di ^ min при условиях

d, z, y

dj > —b(y + az, i = 1, m,

n

ly + ^ zj = 1 j =1 d > 0.

(2.7)

Если существует (С0, 20, у0) - решение (2.7), то решение задачи Н(А,Ь) строим по формулам

■0 0 2 x =

0

0

i=i У

hj = y° (b - a'x°), i = 1, m; j = l, n.

Теорема 3. Задача коррекции Н(А,Ь) по минимуму ||'||» 1-нормы эквивалентна задаче математического программирования

di > Ъ1т - а'д, ' = 1, т,

di > -Ъ1г + а'д,' = 1, т,

0 < д] < 1, ] = 1, п, (2.8)

дк = 1, к е 1, п, d > 0.

¿=1

dj ^ min при условиях

d ,q,r

Если существует (С°, д0, г0) - решение (2.8), то решение задачи Н(А,Ь) строим по формулам

0 х0 = q

i=1

(2.9)

H = (b - Ax0)y0, i = 1, m.

В задаче (2.5) требуется найти минимальную расширенную матрицу коррекции [И Н], где вектор к является нулевым при I = 0.

Теорема 1. Задача коррекции Н(А,Ь) по минимаксному критерию (по минимуму ||'|| 1 »-нормы) эквивалентна задаче линейного программирования

и > Ъгу - а12, 1 = 1, т,

и > -Ъгу + а12, г = 1, т,

п

1у + ^ 2^ = ^ ] =1 и > 0.

Теорема 4. Задача коррекции H(A,b) по минимуму IUI»„-нормы эквивалентна задаче математического программирования

u > bir - a'g, i = 1, m, u > -btr + a'g, i = 1, m, u ^ min при условиях <¡0 < gt < 1, j = 1, n, (2.10)

gk = 1, к e 1, n, u > 0.

Если существует (и0, q0, r0) - решение (2.10), то решение задачи H(A,b) строим по формулам

Пусть существует (и0, 20, у0) - решение ЗЛП (2.6). Если указанное решение существует, то задача Н(А,Ь) имеет решение, которое, в частности, может быть построено по следующим формулам

о

,о оо q

h = u , x =—, r

H = (b - Ax0)y0, i = im.

(2.11)

, 0 0 0 z h = u , x = —-,

hj = y°(bi - a'x°), i = 1,m; j = l,n.

Теорема 2. Задача коррекции Н(А,Ь) по минимуму Ш 1-нормы эквивалентна задаче линейного программирования

di > Ь1у - а12, г = 1, т,

В теоремах 3 и 4 у0 - вектор, двойственный к вектору x° относительно нормы Ц-Ц1.

0

У( =

0, если x0 < max x0

l<i<n

0 в противном случае,

1 I

к max xt

l <i<n

где к - количество максимальных компонент вектора x0.

В задачах (2.8) и (2.10) введён скаляр r =-1-т-,

max { l, х.}

1< j<n 1 J'

но так как заранее неизвестно, какая из компонент вектора x в оптимальном решении будет максимальной, r может

принимать значение одной из дробей —, j = l, n . Однако,

r

1

при каждом г каждая из задач является задачей линейного программирования. Поэтому для решения задачи Н(А,Ь) необходимо решить последовательность " (или п + 1) задач линейного программирования.

На практике среди рассматриваемых задач часто встречаются такие задачи, которые в математической формулировке накладывают различные ограничения на матрицу коррекции. Для случая, описанного в пункте 3, таким ограничением будет являться наличие свободных от коррекции столбцов. Это внесёт некоторые изменения в формулировки теорем 1-4. п

В частности, для ЗЛП (2.6) и (2.7) условие 1у + ^ Zj = 1

примет вид 1у + > Zj = 1 где с - количество корректируе-

]=1

мых столбцов (при этом, не теряя общности, считается, что коррекции подвергаются первые с столбцов).

В задачах математического программирования (2.8) и (2.10) переменная г будет задаваться формулой

г =-1-т-, условие 0 < qJ <1 должно выполняться

тах {I, Xj }

1<!<С

несовместна. Задача коррекции данной системы будет иметь следующий вид:

\\-к Н|ф : [X + Н е]а = у + к] = к0.

(3.2)

для ] = 1, с , а в формулах (2.9) и (2.11) у0 - вектор, двойственный к вектору х0, составленному из с первых компонент вектора х0 относительно нормы |||| г

3. Коррекция несобственной задачи регрессии по минимуму полиэдральной нормы матрицы коррекции исходных параметров

Математическая постановка задачи регрессии заключается в следующем. Зависимость величины (числового значения) определённого свойства некоторого процесса или явления от другого свойства зарегистрирована на множестве точек х' е Я", г = 1, т множеством значений у е Я, I = 1, т. Рассмотрим задачу построения аффинной функции от " переменных /: Я" ^ Я вида

Ах) = ах + а2х2 + ... + ах + а0 = (а, х) + а0 по заданным т точкам (х'ь ... х", у1),..., (х", ... х"", у"), для которой

1) максимальное отклонение по всем координатам всех точек минимально;

2) максимальная сумма отклонений по каждой координате точек минимальна;

3) сумма отклонений по всем координатам всех точек минимальна;

4) максимальная сумма отклонений координат каждой точки минимальна.

То есть в пространстве Я"+1 требуется найти гиперплоскость вида Ь: А(х) = (а, х) + а0 такую, что для неё выполняется одно из четырёх условий, указанных выше.

Сформулируем соответствующую задачу коррекции системы линейных уравнений. Условие принадлежности точек (х1, у1), ..., (х", у") гиперплоскости Ь можно записать как

(а, х') + а0 = у', г = 1, т или в матричной форме

[X, е] • а = у (3.1)

где у = (у1, у2, ..., у")Т, е = (1,1, ..., 1)т е Я" , а = (а, а0)т е Я"+1, X - матрица размера " х ", строками которой являются векторы х'.

Если через заданные точки нельзя провести гиперплоскость, то полученная система линейных уравнений (3.1)

Задача (3.2) представляет собой задачу коррекции несовместной системы линейных уравнений с фиксированным последним столбцом по критерию минимума полиэдральной нормы матрицы коррекции. Причём коррекции подвергается как левая, так и правая части системы. Решение такой задачи описано в пункте 2.

В качестве примера возьмём случай 3) минимизации суммы отклонений по всем координатам всех точек. Ему будет соответствовать задача коррекции по минимуму |||| ^ ¡-нормы. Сформулируем теорему, позволяющую получить решение задачи регрессии такого типа, руководствуясь теоремой 3, учитывая, что количество корректируемых столбцов с = " (при количестве переменных " + 1) и I = 0.

Теорема 5. Пусть в пространстве признаков R" даны " точек (х1, х'2..., х"), ..., (х", х"2 ..., х"), а в пространстве Я множество ответов у1, ..., у", и не существует аффинной функции /: Я" ^ Я такой, что у' = / (х'), ' = 1, т . Тогда задача нахождения минимального изменения матрицы параметров

в смысле

[-У ^] =

минимума ||

~У

-У

1 Л

1-нормы, в результате которого интерполяционная аффинная функция существует, эквивалентна задаче математического программирования

£ Ъ

I=1

^ Ш1П при условиях

di > у1 г - х'д, ' = 1, т, di > - у1 г + х'д,' = 1, т, 0 < д] < 1, ] = ,

дк = 1, к е 1, п, d > 0.

(3.3)

Если существует (а!0, q0, г0) - решение задачи (3.3), то коэффициенты аффинной функции

А(х) = аххх + а2х2 + ... + ах„ + а0 = (а, х) + а0

и скорректированные значения параметров находим по формулам

гп

к*=х л

I=1

-0 а а = —

-0Ч

[-к Н] = (у - Ха )Ъ0, I = 1, т. [-Ун Хн ]=[-У X] + [-к Н],

(3.4)

где Ь0 - вектор, двойственный к вектору [1, а]т относительно нормы |||| 1.

Теоремы, соответствующие случаям (1), (2) и (4), формулируются аналогичным образом, опираясь на теоремы 1, 2, 4 пункта 2 и учитывая запрет на коррекцию последнего столбца матрицы параметров.

X

2

X

X

X

X

г

Рис. 1.

Таблица 1

<Р,¥ норма

IHIu

H

' 0,3 0,3 -0,3 -0,3

0,1 0,1

0,1 0,1

-0,3 -0,3

-0,3 -0,3

-0,1 -0,1

-0,3 -0,3

0,3 0,3

' 0,3529 0,0000

0,3529 0,0000

0,2941 0,2941

-0,0588 -0,5294 0,0000 0,0588 0,0000 0,0000

-0,0588 -0,5294 0,0000 0,0588 0,0000 0,0000

'0 0,5789 Л

0 -0,1053

0 0,5263

0 -0,2105

0 -1,2632

0 -0,0526

0 0,0000

0 0,0000

0 0,0000 ,

0,75 0Л -0,75 0

0,25 0,25 -0,75

-0,75 0

-0,25 0

-0,75 0

0,75 0У

' 0,3 Л -0,3 0,1 0,1 -0,3 -0,3 -0,1 -0,3 . 0,3,

' 0,3529 Л 0,0000 0,2941 -0,0588 -0,5294 0,0000 0,0588 0,0000 ч 0,0000 ,

' 0 > 0 0 0 0 0 0 0 . 0

' 0 > 0 0 0 0 0 0 0 .0

Xn

0,3 1,7

1,3 0,7

1,1 0,1

-0,9 0,1

-1,3 1,7

1,7 -1,3

0,9 0,9

1,7 -1,3

,-1,7 -1,7

f 0,3529 2,0000 1,2941 0,2941

1,3529 1,0000

-1,0588 -0,5294 2,0000 1,0588 2,0000 -2,0000

-0,0588 1,4706 0,0000 1,0588 -1,0000 -2,0000

' 0 1,5789 Л

2 0,8947

1 0,5263 -1 -0,2105 -1 0,7368

2 -0,0526 1 1,0000 2 -1,0000

ч-2 -2,0000,

f 0,75 1,25

1,25 0 -0,75 0

-1,75 1,25

0,75 1 1,25 -1 -1,25 -2

Yn

' 3,7 Л 5,3 2,9 -1,1 1,3 3,3 4,1 1,3 .-6,3,

3,6471 5,0000 2,7059 -0,9412 1,5294 3,0000 3,9412 1,0000 -6,0000

' 4

5 3 -1 1

3

4 1 -6

' 4

5 3 -1 1

3

4 1

.-6

'2,0 ^ 2,0

v

0,5

'1,25^ 2,0 0,5

' 1,2222 ^ 2,1111 0,6667

'2,0 ^ 2,0 0,5

0,3

x7 = (1,1); x8 = (2,-1); x9 = (-2,-2).

Пример 1. Пусть в пространстве R2 заданы девять точек x1 = (0,1); x4 = (-1,0); x2 = (2,1); x5 = (-1,2); x3 = (1,0); x6 = (2,0);

Множество ответов задано вектором y = (4,5,3,-1,1,3,4,1,-6)г.

На рис. 1 отображены результаты коррекции исходных данных по минимуму |||»j-нормы. Знаком «+» отмечены исходные точки, а «*» -точки, соответствующие скорректированным данным. Как видно, по сле коррекции они принадлежат одной плоскости, уравнение которой имеет вид

fx) = 1,2222 • xj + 2,1111 • x2 + 0,6667.

В таблице 1 содержатся сравнительные результаты коррекции данных по всем четырём видам рассматриваемых норм. Выбор нормы зависит от конкретной задачи. Так, если желательно наименьшее значение h0, то следует выбрать »-норму (минимаксный критерий), а если требуется получить как можно больше нулевых компонент в матрице коррекции, то

|Н|«,гн°рму.

Выводы

Таким образом, рассмотренные методы матричной коррекции несовместных систем линейных алгебраических уравнений успешно применены к задаче регрессии. Сформулированы и доказаны соответствующие утверждения и теоремы. Критерии минимума какой-либо полиэдральной нормы целесообразно выбирать при определённых требованиях к матрице коррекции. Так, если, например, желательно большое количество нулевых компонент, то следует выбирать критерий минимальной суммы элементов матрицы коррекции. В математической среде MatLab были написаны соответствующие программы. Вычислительные эксперименты, проведенные с их помощью, полностью подтвердили изложенную теорию.

Литература

1. В. А. Горелик, В. И. Ерохин, Р. В. Печёнкин. Численные методы коррекции несобственных задач линейного программирования и структурных систем уравнений. - М.: ВЦ РАН, 2006. - 150 с.

2. В. А. Горелик, О. В. Муравьёва. Методы коррекции несобственных задач и их применение к проблемам

h

h

a

1»

».1

оптимизации и классификации. - М.: ВЦ РАН, 2012. - 148 с.

3. О.С. Баркалова. Коррекция несобственных задач линейного программирования в канонической форме по минимаксному критерию // Журнал вычислительной математики и математической физики, 2012, т. 52, №12, С. 1624-1634.

References

1. V.A. Gorelik, V.I. Yerokhin, R.V Pechyonkin. Numerical methods for correction of improper linear programming problems and structural systems of equations. - M: Vychisl. Tsentr Ross. Acad. Nauk, 2006. - 150 p.

2. V.A. Gorelik, O.V. Muravyeva. Methods of correction of improper prob-

lems and its application to optimization and classification problems. - M: Vychisl. Tsentr Ross. Acad. Nauk, 2012. - 148 p.

3. O.S. Barkalova. Correction of improper linear programming problems in canonical form by applying the minimax criterion // Computational Mathematics and Mathematical Physics, 2012, t. 52, №12, p. 1624-1634.