К задаче построения кусочно-линейной дискриминантной функции Текст научной статьи по специальности «Математика»

ОБРАЗОВАНИЕ

К ЗАДАЧЕ ПОСТРОЕНИЯ КУСОЧНО-ЛИНЕЙНОЙ ДИСКРИМИНАНТНОЙ ФУНКЦИИ

Плотников С.В.

Рассматривается задача численного нахождения кусочно-линейной функции, разделяющей два конечных множества A и B из Rn, трактуемых как обучающее множество в задаче диск-риминантного анализа. Для целей строгой отделимости множеств подразумевается, что множества A и B не имеют общих точек, но и их наличие не является препятствием для предлагаемого алгоритма. Выпуклость дискриминантной функции или пустота пересечения выпуклых оболочек этих множеств также не предполагается. Естественным ограничением является требование принадлежности распознаваемого элемента аффинной оболочке обучающего множества. Для этих целей обобщается основной результат статьи Benchekroun B., Falk James E. [1], в которой была предложена формализация разбиений Делоне средствами линейного программирования для случая принадлежности элемента выпуклой оболочке исходных точек и при условии телесности этой оболочки. В настоящей заметке показано, что эти ограничения можно снять, сохраняя экстремальные свойства разбиений Делоне.

Ключевые слова: распознавание образов, дискриминантный анализ, кусочно-линейная функция, разбиение Делоне, аффинная оболочка, линейное программирование, симплекс Делоне

THE PROBLEM OF CONSTRUCTION A PIECEWISE LINEAR DISCRIMINANT FUNCTION

Plotnikov S.V.

The problem of numerical finding a piecewise linear function that separate the finite sets A and B is considered. For the purposes of strict separation of sets implies that the sets A and B have no common points, but their presence is not an obstacle for the proposed algorithm. Convexity of the discriminant function or void intersection of convex hulls of these sets is not supposed. Natural limitation is the requirement that the affine hull of the training set A u B include a recognizable element. For these purposes, we extend the main result of Benchekroun B., Falk James E. [1], which was a formalization of partitions Delaunay by means of linear programming. In this note we show that the condition of non-empty interior of convex hull the A u B can be removed while maintaining extreme properties of Delaunay partitions.

Keywords: pattern recognition, discriminant analysis, piecewise linear function, Delaunay partition, affine envelope, linear programming, Delaunay simplex

Рассматривается задача численного нахождения кусочно-линейной функции, разделяющей два конечных множества А и В из Rn, трактуемых как обучающее множество в задаче дискриминантного анализа. Для целей строгой отделимости множеств подразумевается, что множества и не имеют общих точек, но и их наличие не является

препятствием для предлагаемого алгоритма. Выпуклость дискриминантной функции или пустота пересечения выпуклых оболочек этих множеств также не предполагается. Естественным ограничением является требование принадлежности распознаваемого элемента аффинной оболочке обучающего множества. Для этих целей обобщает-

ся основной результат статьи [1]. В этой работе была предложена формализация разбиений Делоне [2] средствами линейного программирования для случая принадлежности элемента выпуклой оболочке исходных точек и при условии телесности этой оболочки. В настоящей заметке показано, что эти ограничения можно снять, сохраняя экстремальные свойства разбиений Делоне в аффинной оболочке обучающего множества.

Обозначим через X = {a1,...,am } обучающее множество точек, часть которых, с индексом I, принадлежит множеству a , а остальные, с индексом 12, множеству в . Требуется определить значение кусочно-линейной дискриминантной функции f (х) для распознаваемого элемента х е Rn из аффинной оболочки обучающего множества M = aff X, в предположении, что значения fj = f (a1), j = 1,...,m на обучающем множестве известны. В рамках рассматриваемой задачи распознавания, пусть f j < 0 (j е I1) и fj > 0 (1 е hl I1 ^12 = fr-m). По знаку f ( х) будем судить о принадлежности элемента х е L одному из множеств, Аз a или В з B, а именно, при f (х) < 0 отнесем элемент х е Rn к множеству д, а в случае противоположного знака будем считать, что х е В.

В статье [1] James E. Falk предложил (по совету Christoph J. Witzgall и для несколько иных целей) оценивать значение f (х) при

х е coX величиной & = Iajfj

i, где

j=1

вектор а = (оо1,...,оот)Т является базисным решением следующей линейной программы:

mm¡ у aj I \сг

j=1

aa

= х, Ig, = 1, все aj > 0 > (1)

j=1

Если при этом m > n и aff X = Rn, то гиперсфера S (a), определяемая n +1 точ-соответствующими базис-

, a

jn+1

ками а

ным компонентам а^,...,а^ вектора а , не содержит других точек а1 в своей внутренности [1, р.80].

Описанная выше конструкция привлека-

тельна тем, что в ней процедуры получения симплициального разбиения со свойствами Делоне и последующего вычисления значения f (х) совмещены и выполняются одновременно. Кроме того, кусочно-линейная дискриминация этим способом позволяет допускать наличие общих точек а' во множествах а и В, в таких случаях можно положить / (а1) = 0.

В целях применения этой конструкции к задачам распознавания образов распространим ее в двух направлениях: во-первых, откажемся от ограничительного требования а// X = Rn; во-вторых, укажем способ применения конструкции в случае х £ со X.

1. Рассмотрим случай а//X Ф Rn, х е соХ. Для этого сохраним общую канву доказательства соответствующей Теоремы [1, р.80], дополняя ее необходимыми замечаниями.

Теорема 1. Пусть размерность аффинной оболочки М = а//X равна г < п и ■ точки, соответствующие базис-

aJ

, a

jr+1

ным компонентам ос ^,..., ос ^ базисного решения задачи (1) при х е CoX . Тогда гиперсфера с центром в м, проходящая через

точки a

,a

jr+1

определяется однозначно

и не содержит других точек а1 в своей внутренности.

Доказательству теоремы предпошлем следующие очевидные (в разной степени) факты.

Лемма 1. Пусть а1,...,ак - произвольные точки из Rn. Тогда

dim aff {a 1 ,... , a k } + 1 = dim {

V 1 y

V 1 y

} (2)

Лемма 2. Пусть точки а1,..., ак находятся в общем положении. Тогда существует единственная гиперсфера с центром в аффинной оболочке этих точек, проходящая через эти точки, а ее центр с определяется системой линейных уравнений

2c T ( aj - a1 ) =

aJ

a

(j = 2, ..., k) (3)

с дополнительным требованием c е aff {a1,..., ak } .

2

2

К ЗАДАЧЕ ПОСТРОЕНИЯ КУСОЧНО-ЛИНЕЙНОЙ ДИСКРИМИНАНТНОЙ ФУНКЦИИ

Плотников С.В.

Лемма 3. Пусть задача линейного про-

граммирования pTx ^ min

Ax = b x > 0

(4)

{ a1Л к 1 J

falr+l ^ к 1 J

Следовательно, точки а л,..., а''+1 находятся в общем положении и гиперсфера с центром в м определяется однозначно (см. Лемму 2) соотношениями:

a

ik

2cT (a1 - a11) = c g aff {a11,...,a1"1} = M

a

(k = 2,..., r +1), (5)

Рассмотрим двойственную к (1) задачу

uTaJ + v < IIa1!! (j = 1,...,m)

T

x u ^ max

112

(6)

Согласно лемме 3, задача (6) имеет оптимальное базисное решение (й, V), удовлет-

такую же, как и в (5). Но элемент й е Rn не обязан принадлежать м. Обозначим через йм ортогональную проекцию элемента й на аффинную оболочку м. Тогда й = йм + йм±,

разрешима и ранг ее матрицы Anxm равен r . Если Bnxr - произвольная базисная матрица, соответствующая оптимальному базисному решению задачи (4), то найдется оптимальное решение y двойственной к ней задачи

bTy ^ max

AT y < p ,

для которого будет выполнено равенство

BTy = p.

Доказательство теоремы 1. Пусть a = (a,..., am)T является оптимальным базисным решением задачи (1). В силу соотношения (2) и условия dim M = r каждый базис, соответствующий этому базисному решению, содержит r + 1 вектор вида

причем uM± (aj - a11) = 0 (k = 2,..., r +1) . Поэтому получаем

У1 k

uM (a1 - a1') =

a

- a11 (k = 2,..., r +1)

что означает йм = 2с. Таким образом, центр гиперсферы совпадает с точкой ^ йм .

Покажем, что для любой другой точки а е X , кроме а' неравенство ||с - а||" > ношений (6) и йт (а - а л) < Ы\2 - ||а л

- 1 r+1

ii2

будет выполнено

c - a л

(7)

. Из соот-получаем

Так как u,,± (a - a11)

Mх v у

= 0 и

2

aJ

um = 2c, то

2cM (a - a11) < ||a|| -

Последнее неравенство эквивалентно

II ||2 II ' 112

соотношению c - a > c - a11 . Теорема доказана.

Рассмотрим следующий пример. Пусть a1 = (-1,0)T, a2 = (0,0)T, a3 = (1,0)T и x = (0,0)T . Здесь dim aff {a1, a2, a3} = 1, а задачи 1 и 6 имеют вид

1aj + 0a2 + 1a3 ^ min - 1a j + 0a2 + 1a3 = 0

L:

L :

0aj + 0a2 + 0a3 = 0

a1 + a2 + a3 = 1 al > 0 a2 > 0 a3 > 0

0u1 + 0u 2 + v ^ max - 1u1 + 0u 2 + v < 1 0u1 + 0u 2 + v < 0

и

1й1 + 0й 2 + V < 1

Оптимальным базисным решением задачи £ является вектор (0,1,0)т, которому соответствуют две разных базисных матрицы:

воряющее равенствам r-1 0 ^ Г 0 1 ^

uTaJk + v = a1 2 (k = 1,. . . , r + 1) (7) B = 0 0 V 1 1 J и B2 = 0 к1 0 1J

Из соотношений (7) получаем систему равенств

u T (a1 - a11) =

a

jk

- a11 (k = 2,..., r +1),

Для первой находим (в согласии с Леммой 3) решение двойственной задачи й1 = -1, й2 = V = 0; для второй - решение

u1 = 1, u2 = v = 0.

2

2

Этим решениям соответствуют окружности радиуса ^ с центрами в точках

c1 = (- l/,0)T и c2 = (1

,0)T

При этом оптимальное множество двойственной задачи составляют векторы вида (и1, и2, 0)Т с условием -1 < и1 < 1. В исходной статье [1] не отмечено, что равенства (7) будут справедливы только для особых (см. Лемму 3) решений двойственной задачи.

2. Рассмотрим случай х £ со X . Покажем один из способов продолжения кусочно-линейной дискриминантной функции, описанной в предыдущем разделе, на область х £ coX. Основой для такого подхода является метод точных штрафных функций, разработанный И.И.Ереминым [3].

Определим следующую кусочно-линейную программу с параметрами

> 0 (1 = 1,..., т) , аппроксимирующую задачу (1):

mi

Н & Ца ||2+(-о )+ : Тоа = х, $Оо =1^ (8)

[1=1 1=1 1=1 1=1 ]

Теорема 2. Пусть х е а// X . Тогда задача (8) разрешима при любых

Х >

a

(j = 1,..., m). Пусть x e co X и

(и, тс) - какое-нибудь решение задачи (6). Тогда при любых Х1 > а" дачи (1) и (8) эквивалентны в смысле со-

- UTaJ - v за-

впадения оптимальных множеств и оптимальных значений.

Доказательство. Разрешимость задачи (8) при х е а// X является следствием ограниченности снизу кусочно-линейной целевой функции на непустом допустимом множестве. При Х1 > ||а;|| (1 = 1,..., т) имеем:

т 2 т т 2 т 2

ЮН +ЕЯ1 (-о)+>Е(о +(-«1)+)а|| =Х«+1М| >о

1=1 1=1 1=1 1=1

Вторая часть Теоремы проверяется прямым применением стандартной техники точных штрафных функций [3, с. 120; 4, с.84]. Теорема доказана.

Важно отметить, что кусочно-линейная программа (8) при > 0 (1 = 1,...,т) эквивалентна следующей задаче линейного программирования (в смысле совпадения оптимальных значений и соответствующих частей оптимальных значений переменных Ос):

min

■n|Z

s

a'

i=l

+Zxti: Zsa =x Z

i=l i=l i=l

^i =

= 1, s} +> 0, t. > 0 (j = 1,...,m) I

Таким образом, задача идентификации элемента х е а// X требует решения единственной задачи линейного программирования. Условие принадлежности распознаваемого элемента аффинной оболочке обучающего множества представляется обязательным с позиций корректности постановки задачи.

2

ЛИТЕРАТУРА

1. Benchekroun В., Falk James E. A nonconvex, piecewise linear optimization problem. Computers Math. Applic. Vol.21, No 6/7, pp.77-85, 1991.

2. Delanue B. Sur la sphere vide. A la memoire de Georges Voronoi // Известия АН СССР, 1934, №6. С. 793-800.

3. Еремин И.И., Астафьев Н.Н. Введение в теорию линейного и выпуклого программирования. M.: Наука, 1976. 192 С.

4. Еремин И.И. Теория линейной оптимизации. Екатеринбург: УрО РАН, 1998. 246 С.