МДМ-методу - 40 лет Текст научной статьи по специальности «Математика»

Вестник Сыктывкарского университета. Сер Л. Вып.15.2012

УДК 519.6 МДМ-МЕТОДУ — 40 ЛЕТ В. Н. Малозёмое

МДМ - метод (метод Малоземова -Демьянова -Митчелла) используется для нахождения точки многогранника, ближайшей к началу координат. Многогранник определяется как выпуклая оболочка данных точек в п -мерном пространстве.

Ключевые слова: точка многогранника, ближайшая к началу координат, итеративный алгоритм, вычисление минимума, квадратичная форма.

1.

Пусть в пространстве Мп заданы т точек,

Н = Ы«.

Обозначим через С выпуклую оболочку множества Н.

Ставится задача: найти точку из С, ближайшую (в евклидовой норме) к началу координат. Задачу можно записать так:

|Ы|2 тт . (1)

Задача (1) имеет решение и оно единственно. Обозначим его г>*.

Вопрос о нахождении г;* возник как вспомогательная задача в оптимальном управлении [1] и негладкой оптимизации [2]. В 1971 году в работе [3] был предложен простой итерационный метод для решения задачи (1), который в дальнейшем получил название “МДМ-метод” (см., например [4,5]). В данной статье я возвращаюсь к анализу МДМ-метода с современных позиций.

© Малозёмов В. Н., 2012.

Отметим прежде всего, что при всех V £ С выполняется неравенство

{V, V*) > (г;*, г;*}. (2)

Действительно, зафиксируем V Е С. В силу выпуклости множества С точка V* + — г>*) при всех £ Е (0,1) принадлежит (7, поэтому

< (г;*+£(г;-г;^,г;* + £(г;-г;*)) = + 2£(г;*, г; —г;*) +£2||г; —г;* ||2.

Отсюда следует, что

(г;*, г; - г;*) + |£||г; - г;*||2 > 0.

В пределе при £ —^ +0 получим неравенство, равносильное (2). Неравенство (2) равносильно также следующему неравенству

\\ъ — ^*||2 < 1М12 — ||^*||2 е (з)

з.

Обозначим через А матрицу со столбцами а1;..., ат. Тогда любой вектор V из выпуклой оболочки С множества Н допускает представление

т

у = Ар, р> О, ^2р[г] = 1. (4)

г=1

Первичным в этой формуле является вектор коэффициентов р. Носитель вектора р обозначим М+(р), так что

М+(р) = {г Е 1 : т \ р[г] > 0}.

Введём величину

Д(р) = тах {а^у) — тт(а^г?);

геМ+(р) г£1:т

где V = Ар. Вектор р удовлетворяет условиям, указанным в формуле (4). Множество таких векторов обозначим Р.

Лемма 1. При любом V = Ар, р Е Р} справедливо неравенство

Доказательство. Согласно (2) имеем

■у||2 - 2(г;,г;*) + ||г;*||2 < ||г;||2 - (г;,г;*)

т

геМ+(р)

1=1

< тах (а*, г;} — тт(аг,г;) = Д(р).

1^М+(р) г£1 :т

Лемма доказана.

□

Из (5) следует, в частности, что

А(р) >0 \/р € Р.

(6)

Лемма 2. Равенство в (6) достигается тогда и только тогда, когда вектор V = Ар является решением задачи (1).

Доказательство. Неравенство (5) гарантирует оптимальность вектора V = Ар в случае Д(р) = 0.

Наоборот, возьмём решение V* = Ар* задачи (1) и покажем, что Д(р*) =0. Пусть

(коэффициент при а# передали вектору а,^). Очевидно, что € С. Имеем

(£*,«*) = (г»*, г»*} -р*[г'](а*/ - = (г;*, г»*} - р*[г']Д(р*).

В силу (2) и положительности получаем Д(р*) < 0. Вместе с неравенством (6) это приводит к равенству Д(р*) = 0.

Лемма доказана. □

Д(р*) = (а# -

где г* Е М+(р*), г" € 1 : т. Введём вектор

Обратимся к МДМ-методу. Возьмём начальное приближение у0 Е С. Пусть уже имеется к-е приближение Ук = Арк, р& Е Р. Опишем построение Ук+1.

Найдём индексы гк Е М+(р&) и гк Е 1 : т, такие, что

тах (сц,ук) = (а,г>,ук),

ъеМ+(рк)

тт (аг, ук) = (а^,ук).

г£1:т й

Для простоты будем использовать обозначения

аг'к = ак1 аг'1 = ак-

В этом случае

^к^{рк) = ~ ак^к)-

Если Д& = 0, то, согласно лемме 2, у^ — решение задачи (1). Процесс закончен.

Пусть Ак > 0. Введём вектор

щ = щ- рк(а'к - а"),

где рк = Рк[^\- Очевидно, что у к Е С. Рассмотрим отрезок

щ{£) =щ + *(«* - ьк) =ьк- 1р'к{а!к - ак), £ € [0,1].

В силу выпуклости множества С все точки Уь{£) этого отрезка принадлежат С. Выберем £*. € [0,1] из условия

КЫ||2= тт К(0||2.

*е[о,1]

Положим У}г+1 = Ук{^к) (см* РИС.).

Рис.

Нетрудно понять, что

{РкЩ, при іфі'к,іфї'к,

(1 - ік)Рк[їк], при і = їк,

Рк К] + і к Рк Ш, при % = %"к.

Укажем явную формулу для і^. Имеем

КО)II2 = \\щ\\2 + 2фк,Щ - Ук) + Ь2\\щ - ук\\2 = = 1Ы12 - 2Ър'к Ак + г2\\щ - Ук\\2.

Абсолютный минимум У}г(і) на № достигается в точке

(7)

7 = Рк^к = р'к&к = &к , .

* "Л -«*Н2 (К)2К-<112 р'кК-<112' и

Ясно, что > 0, поэтому

£ _ [ 4, если 4 < 1,

I 1, если £& > 1.

Описание МДМ-метода завершено.

Построена последовательность ^0,^1,... точек из С. Если она конечна, то последний её элемент является решением задачи (1). Вообще говоря, последовательность {^} бесконечна. Такая ситуация возникает, когда

Д& >0 и, как следствие, ||г;^+1|| < Цг^Ц при всех к = 0,1,....

(9)

Покажем, что в этом случае последовательность {^} сходится к^ — решению задачи (1).

5.

Начнём со вспомогательных утверждений.

Лемма 3. Справедливо предельное соотношение

l\mp'kAk = 0. (10)

к^оо

Доказательство. Допустим противное, то есть что существует бесконечная подпоследовательность {р^Д^}, такая, что

PkAks > £ > 0.

Обозначим через d диаметр множества G,

d = max II и — v\\.

G, v(zG

Согласно (7) имеем

IK(i)||2 < IKf - 2ts + t42 = IK II2 -ts- t(s - td2),

поэтому при t G [0,5/d2] будет

IK(0H2<IK||2-te.

Положим i* = min{l, e/d2}. Тогда

|K+1||2 = min |K(t)||2< |K(i*)||2 <\М2-ие.

te[ 0,1]

Неограниченное число указанных понижений в монотонно убывающей последовательности {||^||2} противоречит неотрицательности её элементов. Лемма доказана. □

Лемма 4. Справедливо предельное соотношение

lim Ak = 0.

к^оо

Доказательство. Допустим противное:

lim Ak = А' > 0.

к^оо

В этом случае для достаточно больших к > к$ будет выполнятся неравенство

д* > Д'/2. (11)

Отсюда и из (10) следует, в частности, что

р'к —)■ 0 при к оо.

Далее, согласно (8) и (11)

Д'

так что 4 —^ +ос при к —^ ос. На основании определения заключаем,

что = 1 при Л: > Л:! > Л:0* Это приводит к соотношению

«к+1 = & > Ь- (12)

Рассмотрим последовательность

^15 ^1 + 1; ^1+2} • • • • (^З)

Соотношение (12) показывает, что компоненты РкЩ вектора опре-

деляющего г>*., получаются путём перераспределения значений г Е 1 : т, поэтому в последовательности (13) может быть лишь конечное число попарно различных элементов. Но это противоречит неравенству К+1II ||||, справедливому при всех к — 0,1,2,....

Лемма доказана. □

Теперь легко доказать утверждение о сходимости МДМ-метода.

Теорема 1. При выполнении условия (9) последовательность {г^}, построенная МДМ-методом} сходится к V*.

Доказательство. Согласно лемме 4 существует подпоследовательность {Д&3}, сходящаяся к нулю. По лемме 1 соответствующая подпоследовательность сходится к г>*. В частности, ||^|| -^ ||^*|| при 5 —^ ос.

В силу (9) вся последовательность {||^||} строго убывает, поэтому 11^11 ||^*|| ПРИ к —^ ос. Остаётся сослаться на неравенство (3). Теорема доказана. □

Отметим, что v* = О тогда и только тогда, когда О G G. В этом пункте считаем, что v* 7^ О.

Введём гиперплоскость

L = {х | (u*,а;) = (и*,?;*)}.

Теорема 2. ifcym v* 7^ О, то; начиная с некоторого номера, все точки последовательности {v^} принадлежат L.

Доказательство. Обозначим М = 1 : т,

Ai/q = G ]\/f | G = Ad \

Согласно (2)

(аьг;*) > (г;*, г;*), г G 1 : т,

поэтому при г G М\

(ahv*) > (г;*, г;*).

Положим

г = min(a^*) — (г;*,г;*) > 0.

«GMi

Очевидно, что

('a-i,v*} > + т, i G Mi. (14)

Воспользуемся теоремой 1, в силу которой найдётся индекс &0, такой,

что при к > ко

maxi(ai,vk) - {a,i,v*)\ < j.

При тех же к и г G Mq

< («*,«*) + \ = (w*, W*) + ^ (15)

в то время как при i G Mi согласно (14)

(ai,vk) > (а*, г»*} - f > («*,«*) + х- (16)

Значит, при к > ко

тт(щ,ук) = тт(щ,ук). (17)

i€l:m ieM о

Запишем представление

vk=^2 Pk[i\ai + X РкЩа-i-

ieMo ieM 1

Покажем, что в последовательности

Кк0, Кк0 + 1, Уко+2, ■ ■ ■ (18)

встретится элемент ук, у которого РкЩ = 0 при всех г £ М\.

Допустим противное. На основании (15) и (16) получим

шт (а,г,ук) < (г;*, г;*) +

гЕ1 :т

тах (а,г,ук) > («*,«*) + Ч.

гем+(рку 4

Отсюда следует, что

А к > т/2, & > &0- (19)

Далее, в силу определения Мо и г имеем

т

{Ук - «*,«*) = (53Ы*Ка* - г»*),?;*) =

г=1

= Рк[*](о* - «*,«*) > Т 53 РкИ-

геМх геМх

Левая часть этого неравенства стремится к нулю при к —^ ос, поэтому

/с—>■ оо

г^Мх

Выберем столь большое А4 > /со, чтобы при к > к\ выполнялось неравенство

г

Ей и <2^-

На основании (8) и (19) получим

Л/2 г

4 “ ЪР Е,;см, Р*И “ 1-

Значит, £*. = 1 и при к > . Как установлено при

доказательстве леммы 4, отсюда следует, что в последовательности ^х+Ъ ^х+2? * * * может быть лишь конечное число попарно различных элементов. Это противоречит строгому убыванию ||^||*

Итак, в последовательности (18) встретится элемент г>*., имеющий представление

= 53 Рк> о, 53 = 1- (2°)

геМо

В частности, ик принадлежит гиперплоскости Ь. Согласно описанию МДМ-метода и соотношению (17) последующие элементы последовательности эту плоскость не покинут.

Теорема доказана. □

7.

Лемма 4 допускает усиление.

Теорема 3. Справедливо предельное соотношение

lim Ак = 0.

к^оо

Доказательство. В случае v* = О (когда vk —> О) утверждение очевидно. Действительно,

Afc < таx(ahvk) - min (ahvk).

i£l:m i£l:m

Правая часть этого неравенства стремится к нулю при к ос. Остаётся учесть неотрицательность Д&.

Пусть v* ф О. Согласно (20) при больших к

max (ai}Vk) < max(a^v^).

ieM+(pk) ieMo

Принимая во внимание (17), приходим к неравенству

Afc < таx{ahvk) - тт(щ,ук).

ieM0 ieM0

В силу теоремы 1 И определения Мо имеем

lim Гтах(аг,г^) — min(a^^)l = тах(а«,г?*) — min(а«,г?*) = 0.

к^оо lieM0 ieM0 J ieM0 ieM0

Остаётся учесть неотрицательность Д&.

Теорема доказана. □

8.

МДМ-метод позволяет за конечное число шагов строго отделить начало координат от С в случае, когда О ^ С.

Теорема 4. Условие О ^ С выполняется тогда и только тогда, когда при некотором к

< \\vkW2. (21)

Неравенство (21) гарантирует, что гиперплоскость

(ук,х) - {ик,а%} = 0 (22)

строго отделяет начало координат от множества С.

Доказательство. Пусть О ^ С. Справедливость неравенства (21) при некотором к следует из того, что Ак —> 0 и ук —^ г?*, ф О.

Наоборот, на основании (21) и (5) получаем

К-г;*||2< Ы|2.

Такое неравенство возможно только при V* ф О.

Перепишем неравенство (21) в развёрнутом виде

К - ак^к) < {Ук,Ук}.

Отсюда следует, что

-(ак^к) < (Ък,пк - а!к).

Так как

< (а'к,ък),

геМ+(рк)

ТО

-{а'',ук)< 0. (23)

Вместе с тем, при всех V Е С

т

= ^2р[г]Ы,аг) > (а'к^к),

г=1

так что

(ук,у) - (ук,а'к) > 0. (24)

На основании (23) и (24) заключаем, что гиперплоскость (22) строго

отделяет начало координат от множества С.

Теорема доказана. □

Литература

1. Gilbert Е. G. An iterative procedure for computing the minimum of quadratic form on a convex set // J. SIAM Control. 1966. Vol. 4. No. 1. P. 61-80.

2. Demyanov V. F. Algorithms for some minimax problems // J. Computer and System Sciences. 1968. Vol. 2. No. 4. P. 342-380.

3. Митчелл Б. Ф., Демьянов В. Ф., Малоземов В. Н. Нахождение ближайшей к началу координат точки многогранника // Вестник ЛГУ. 1971. № 19. С. 38-45.

4. Barbero A., Lopez J., Dorronsoro J. R. An accelerated MDM algorithm for SVM Training // European Symposium on Artificial Neural Networks — Advances in Computational Intelligence and Learning. Bruges (Belgium), 23-25 April 2008. P. 421-426.

5. Lazaro J. L. On the relationship among the MDM, SMO and SVM-Light algorithms for Training Support Vector Machines // Master’s thesis. Universidad Autonoma de Madrid. Madrid, 2008.

Summary

Malozemov V. N. On the fortieth anniversary of MDM-method

MDM-method (Malozemov -Demyanov -Mitchell method) is used for the finding the point of a polyhedron which is closest to the origin. The polyhedron is defined as the convex hull of the given points in n -dimensional space.

Keywords: point of a polyhedron which is closest to the origin, interative procedure, computing the minimum, quadratic form.

Санкт-Петербургский государственный университет

Поступила 20.05.2012