CC BY
12
Серия «Математика»
2012. Т. 5, № 3. С. 18-31
Онлайн-доступ к журналу: http://isu.ru/izvestia
УДК 518.517
Задача сферической бинарной отделимости
Т. В. Груздева
Институт динамики систем и теории управления СО РАН
Аннотация. Рассматривается задача отделения двух множеств, выпуклые оболочки которых имеют непустое пересечение. Предлагаются алгоритмы локального и глобального поиска в задаче об отделимости множеств сферой минимального радиуса. Эффективность предложенных алгоритмов демонстрируется вычислительным экспериментом.
Ключевые слова: негладкая задача; минимизация разности двух выпуклых функций; условия оптимальности; локальный поиск; глобальный поиск.
При решении ряда теоретических и практических задач системного анализа, управления и обработки информации в разных областях человеческой деятельности может возникать потребность в некоторых классификациях (разбиениях) конечных множеств объектов, которые приводят к проблемам отделимости.
Наибольший практический интерес представляет задача отделения множеств, выпуклые оболочки которых имеют непустое пересечение. Для отделения таких множеств требуются более общие, чем линейная отделимость, понятия отделимости множеств. В качестве примеров определений обобщенной отделимости множеств можно привести отделимость множеств к-функцией [5, 6] и отделимость множеств комитетом большинства [9, 10]. Еще одним вариантом обобщенной отделимости является полиэдральная отделимость [21, 28].
В работе рассматривается задача так называемой сферической бинарной отделимости [20, 24], которая заключается в поиске сферы, разделяющей заданные в пространстве ТЕ1 множества А и В. Поскольку заранее не известно являются ли множества отделимыми сферой, возникает естественным образом задача минимизации функции ошибки классификации [19], которая оказывается негладкой и невыпуклой.
1. Введение
Невыпуклые задачи с недифференцируемыми функциями представляют собой особенный интерес для исследований ввиду широкого поля приложений, а также дополнительной сложности. С помощью задач недифференцируемой оптимизации [4, 17, 18, 22] в последнее время осуществляется моделирование многих реальных процессов [4, 11, 14, 18].
Данная работа посвящена численному решению задачи сферической отделимости двух множеств на основе теории, разработанной для задач ё.е. минимизации [15, 16] (или минимизации функции А.Д. Александрова [1]):
Е(х) = д(х) — Н(х) X тт, (V)
где д( ), Н( ) — выпуклые, не обязательно дифференцируемые функции. Всюду ниже будем считать, что выполнено естественное предположение об ограниченности снизу функции Е(■) на всем пространстве:
Ы(Е, Еп) > —ж. (Н)
Как известно [15, 26, 27], функции А. Д. Александрова или представимые в виде разности двух выпуклых функций (ё.е. функции) об-
разуют линейное пространство, плотное в пространстве непрерывных функций (в топологии равномерной сходимости на компактах). Поэтому задачи ё.е. программирования представляют весьма привлекательный класс задач оптимизации, для которого построены, например, условия глобальной оптимальности и теория глобального поиска в дифференцируемом случае [15, 16].
Согласно упомянутой теории глобального поиска, процесс отыскания глобальных решений в невыпуклых задачах оптимизации состоит из двух основных этапов: а) локального поиска, учитывающего структуру исследуемой задачи, и Ь) процедуры выхода из полученной локальным поиском критической точки, основанной на условиях глобальной оптимальности [15].
Статья построена следующим образом. В п. 3 рассматривается обобщение на негладкий случай специального метода локального поиска для задач ё.е. минимизации. Затем разработанный метод протестирован в п. 4 на задачах классификации из [23, 29, 31]. Далее, на основе условий глобальной оптимальности [15] для негладких задач ё.е. минимизации предложена стратегия глобального поиска. В заключительном разделе статьи представлен алгоритм глобального поиска, разработанный на основе стратегии, и результаты его тестирования на задачах классификации из [23, 29, 31].
2. Постановка задачи
Пусть в пространстве Шп заданы два множества А = {а1,..., ат} и В = {Ь1,..., Ьк}. Необходимым (но не достаточным) условием существования разделяющей их сферы является условие [20]
В П еопу(А) = ®.
Определение 1. Множества А и В называются отделимыми сферой Б(х, г) с центром в точке х е Шп и радиусом г > 0, если
II аг — х ||2< г2 Уаг еА, г = 1,...,ш; (2.1)
II Ь — х ||2> г2 У& еВ, ] = 1,...,к. (2.2)
Хорошо классифицированными точками будем называть те точки множеств А и В, для которых выполняются неравенства (2.1) и (2.2) соответственно.
В случае, когда какое-либо из неравенств (2.1) или (2.2) нарушено, возникает ошибка классификации, определяемая следующим образом:
тк
ш(х, г) = ^ тах{0, || аг — х ||2 —г2} + ^ тах{0, г2— || Ь — х ||2}. (2.3) г=1 з=1
Ставится задача поиска сферы минимального радиуса, разделяющей два заданных множества. Нетрудно видеть, что невыпуклость в задаче задают слагаемые —г2 и — || Ь — х ||2. Принимая во внимание определение (2.3) функции ошибки, получаем задачу безусловной недифференцируемой невыпуклой оптимизации:
Е1 (х,г)= г2 + Ош(х,г) X тт, (Р0)
Х,Г
в которой с помощью константы С > 0 можно выбирать приоритет между двумя целями (минимизацией радиуса или ошибки классификации). Очевидно, что функция Е1(х, г) ограничена снизу нулем, поэтому предположение (Н) в задаче (Ро) выполнено.
Для невыпуклой целевой функции Е1(-) задачи (Ро) можно получить несколько представлений в виде разности двух выпуклых функций (ё.е. представлений). Например, с использованием свойства
тах{0, Д(х) — /2(х)} = тах{/1 (х), /2(х)} — /2(х)
получаем следующее [19]:
Е1(х, г) = д1(х, г) — Н1(х, г),
где
д т k
gl(x, r) = r2 + CY^ max{r2, \\аг — x||2} + C^ max{r2, \bj — x\\2}, i=i j=i
hl(x, r) = Cmr2 + C Y \\b — x\\2 ■ j=i
(2.4)
3. Специальный метод локального поиска
Как известно [2, 7, 8, 13, 15, 25, 30], в невыпуклых задачах оптимизации, в частности, в задачах d.c. программирования, классические методы решения выпуклых задач оказываются неэффективными даже для поиска локальных решений. Поэтому для невыпуклых задач различных классов были предложены специальные методы локального поиска (СМЛП) [3, 12, 15, 33], которые строят допустимые точки, называемые критическими.
Ниже будет представлен метод локального поиска для негладкой задачи d.c. минимизации (P), который является обобщением СМЛП для задачи d.c. минимизации в дифференцируемом случае, разработанного в [15, 16] (см. также [32]). Этот метод, как и известный DCA алгоритм [34], использует идею линеаризации целевой функции задачи по базовой невыпуклости.
Пусть задано некоторое начальное приближение x0 £ lRn. Далее, если известны точка xs £ lRn и некоторый субградиент xS £ dh(xs), то следующую итерацию xs+l будем искать как приближенное решение линеаризованной в точке xs задачи:
$s(x) = g(x) — {x^x)^ min ■ (PLs)
X
Это означает, что точка xs+l удовлетворяет неравенству:
g(xs+1) — {x*s,xs+l)< inf {g(x) — {x*s,x)} + Ss, (3.1)
x^JRP
где последовательность Ss такова, что
Ss > 0, s = 0,1, 2,...; ^ Ss < <x>. (3.2)
s=0
Обратим внимание на то, что задача (PLs) в отличие от (P) является выпуклой.
Обозначим функцию оптимального значения линеаризованной задачи (PLs) через V(PLs), так что
V(PL) := inf{g(x) — {xS,x) | x £ lRn}■ (3.3)
s X
Теорема 1. [32] Пусть в задаче (P) целевая функция F(•) ограничена снизу, и в любой допустимой точке x можно найти некоторый субградиент xs £ dh(x).
i) Тогда последовательность {xs}, генерируемая по правилу (3.1), (3.2), где xS £ dh(xs), удовлетворяет условию:
lim {inf[g(x) — g(xs+l) — {xS,x — xs+1)]} = 0. (3.4)
s^tt X
ii) При этом, если последовательности {xs} и {xl} сходятся согласованным образом, т.е.
xs ^ z, xl ^ zs £ dh(z), xl £ dh(xs), (3.5)
то предельная точка z последовательности {xs} удовлетворяет условию
inf{g(x) — g(z) — {zs,x — z)} = 0, zs £ dh(z), (3.6)
X
которое означает, что точка z является решением выпуклой линеаризованной (в точке z) задачи
g(x) — (z*,x)^min. (PCZ)
X
Замечание 1. В терминах оптимального значения Vs = V(PLs) задачи (PLs) и ее целевой функции условие (3.4) можно переписать следующим образом:
lim {Vs — <^s(xs+l)} = 0. (3-4')
s^tt
Определение 2. Точка z называется критической, если она удовлетворяет условию (3.6), т.е. является решением линеаризованной задачи (PLZ), где zs £ dh(z) (линеаризация производится в самой этой точке).
Далее исследуем важный с практической точки зрения вопрос о критериях останова предложенного метода. Цепочка неравенств
—Ss < inf{g(x) — {xl,x)} — g(xs+l) + {xl, xs+l) <
< g(xs) — g(xs+l) + {x*s, xs+l — xs) <
< g(xs) — g(xs+l) + h(xs+l) — h(xs) = F(xs) — F(xs+l),
которая и является доказательством сходимости метода, подсказывает, что в качестве критерия останова СМЛП можно использовать одно из следующих неравенств:
F(xs) — F(xs+l) < t/2, g(xs) — g(xs+l) + {xs,xs+l — xs) < t/2,
где t — заданная точность, а xs £ dh(xs).
(3.7)
В этом случае точка xs является т-критической в задаче (P), если Ss < t/2. В самом деле, если выполнен один из критериев останова (3.7), то из (3.1) вытекает, что
g(xs) — {xs,xs) < t/2 + g(xs+l) — {xs,xs+l) <
< inf{g(x) — {xs, x)} + t/2 + Ss■
X
Следовательно, если Ss < t/2, то точка xs является т-решением задачи (PLs).
Таким образом, в результате работы описанного СМЛП для негладких задач оптимизации получаем приближенно критическую точку в задаче (P).
4. Тестирование метода локального поиска
Алгоритм локального поиска был протестированы на девяти задачах из [23, 29, 31]. Вычислительный эксперимент проведен на компьютере Intel Pentium 4 CPU 3 GHz.
В качестве начального приближения для центра разделяющей сферы выбран барицентр множества A :
0 а} + ■ ■ ■ + aY1 . ч
xl = —---------—, l = 1,■■■,n, (4.1)
1 m v '
а стартовый радиус r0 выбран как решение задачи (P0) при фиксированной стартовой точке x0 (одномерной задачи минимизации радиуса).
Линеаризованная задача (PLs) на каждой итерации метода решалась r-алгоритмом Н. З. Шора [18], основу которого составляет операция растяжения пространства в направлении разности двух последовательных субградиентов.
В табл. 1 приведены результаты работы алгоритма локального поиска, где name — название тестового примера, n — размерность пространства, A(m) и B(k) — количество классифицируемых точек во множествах A и B соответственно, C — варианты значений параметра C в целевой функции задачи (P0), Fl(x0,r0) — значение целевой функции задачи (P0) в стартовой точке, F}(z) — значение функции в полученной СМЛП критической точке (z = (x,r)), iter — количество решенных линеаризованных задач (итераций СМЛП), time — время счета в секундах, % — процент хорошо классифицированных точек и %[19] — процент хорошо классифицированных точек из работы [19].
В качестве критерия останова при решении линеаризованных задач (PLs)[15, 16] выбрано выполнение неравенства
1Фs(xs) — $s(xs+l)|<T
с точностью т = 10_3 (как и в работе [19]). Набор параметров C также согласован с результатами из [19].
Т. В. ГРУЗДЕВА Таблица 1. Локальный поиск
name n A(m) B(k) C Fi(x0,ro) Fi(z) iter time % %[19]
cancer 9 23 443 0,1 1 10 100 б, З0 x lO2 4, Sl x lO3 4, Тб x lO4 4, Тб x lO5 l, TT x lO2 T, 05 x lO2 5, 95 x lO3 5, ST x lO4 51 55 53 53 22.41 8.41 3.92 2.83 94,87 95,75 96.33 96.33 95,71
diag- nost 30 375 212 0,1 1 10 100 2,4З x lO6 2, 0б x lO7 2, 02 x lO8 2, Ol x lO9 5, 55 x lO5 4, 30 x lO6 3, 95 x lO7 3, 69 x lO8 18 46 35 35 96.94 504.48 318.55 279.44 87,17 88,22 88,75 90,33 89,82
heart 13 214 83 0,1 1 10 100 l, 96 x lO2 l, 62 x lO3 l, 6s x lO4 l, 58 x lO5 3, 59 x lO 2, 00 x lO2 l, S3 x lO3 l, 86 x lO4 8 13 18 14 7.84 9.19 1.69 0.47 78,79 81,14 80,47 80,13 80,33
pima 8 268 500 0,1 1 10 100 2, ТТ x lO7 2, Т2 x lO8 2, Ті x lO9 2, Ті x lO10 9, 03 x lO5 3, 9l x lO6 4,Ol x lO7 4, 63 x lO8 291 92 263 183 110.50 34.30 16.87 12.14 72,14 63,02 72,92 73,96 68,70
iono- sphere 34 225 126 0,1 1 10 100 9, З9 x lO 9, 1т x lO2 9, l5 x lO3 9, l5 x lO4 2,45 x lO 9, OS x lO T, 25 x lO2 T, OS x lO3 17 21 20 22 78.41 119.39 60.27 34.44 85,19 91,45 92,88 92,02 72,00
sonar 60 97 126 0,1 1 10 100 l, 24 x lO l, 20 x lO2 l, 20 x lO3 l, 20 x lO4 4,99 2, 65 x lO 2,4l x lO2 2,40 x lO3 15 30 33 26 180.48 19.44 3.59 2.11 69,71 73,08 74,52 73,56 69,05
galaxy 14 2082 2110 0,1 1 10 100 З, lO x lO2 З, OS x lO3 З, OS x lO4 З, OS x lO5 8,35 T, 49 x lO T, 38 x lO2 8,02 x lO3 77 239 229 39 57.79 164.58 100.55 14.17 87,57 89.15 89.15 86,86 93,79
g50c 50 275 275 0,1 1 10 100 9, T5 x lO2 9, 6l x lO3 9, 60 x lO4 9, 60 x lO5 l, l4 x lO2 4, 9T x lO2 4, 6l x lO3 5, Tl x lO4 16 27 25 23 180.63 116.88 20.42 3.38 85,45 87,27 86,73 84,18 72,96
g10n 10 274 276 0,1 1 10 100 l, із x lO2 l, 00 x lO3 9, 9l x lO3 9, 89 x lO4 4, 89 x lO 2, 26 x lO2 2, 0T x lO3 2, 63 x lO4 27 41 28 30 32.77 23.45 11.47 1.69 81,64 88,18 86,91 82,73 81,04
Как видно из табл. 1 процент хорошо классифицированных точек удалось увеличить уже на этапе локального поиска в подавляющем большинстве рассмотренных задач по сравнению с результатами из [19].
С ростом параметра С > 0 приоритет цели «минимизация ошибки классификации» повышается, однако нельзя сказать, что процент хорошо классифицированных точек при этом увеличивается. Например, в задачах ,^а1аху“ и ,^50е“ при С = 100 процент хорошо классифицированных точек оказался самым низким.
5. Условия оптимальности и стратегия глобального поиска
Для задачи (V) предложены следующие условия глобальной оптимальности.
Теорема 2. [15] Предположим, что
Тогда для того, чтобы точка г была глобальным решением задачи (V), необходимо и достаточно, чтобы
Условия (Е) связаны с классическими условиями оптимальности, используют идею линеаризации по базовой невыпуклости и обладают конструктивным (алгоритмическим) свойством (в случае, когда неравенство (с) условия (Е) нарушено, существует правило построения допустимой точки, лучшей, чем та, в которой условие (Е) нарушено)[15].
Далее, введем следующую функцию
(5.1)
(a) У (у, в) Є тп+1 : в = К(у) + (, в > д(у),
(b) д(у) < в < ьпр(д, Шп), Зу* є дН(у) :
(c) д(у) — в > (у*,х — у) Ух є тп.
(Е)
ф(г) = ьир {{у*,х — у) + в — д(х) | в = К(у) + с,
х у в у*
х, У, в ,У
(5.2)
д(у) < в < вир(д,тп), у* Є дК(у)}.
Поскольку в = во — д(г) при у = г, то очевидно следующее неравен-
ство
0 = в0 + {г*, г — г) — д(г) < р(г) У г Є Шп, У г* Є дК(г).
Отсюда
^(г) > 0 У г Є Шп.
(5.3)
Тогда условия (Е), очевидно, равносильны равенству р(г) = 0. При этом условия оптимальности для минимизирующих последовательностей принимают следующий вид.
Теорема 3. Если последовательность {zk} является минимизирующей в задаче (P) ({zk} є M), то
lim p(zk) = 0. (5.4)
k^<x>
Если, кроме того, выполнено условие
3v є lRn, 3x> 0 ■ F(v) > F(zk) + x, k = 0,1,2,..., (5.5)
то условие оптимальности (5.4) становится и достаточным для того, чтобы {zk} є M.
Доказательство этой теоремы принципиально ничем не отличается от доказательства в дифференцируемом случае (см. [15, 16]).
Перечисленные выше свойства условий оптимальности (E) позволяют строить алгоритмы решения задач d.c. минимизации, состоящие из двух основных этапов:
a) локального поиска, доставляющего приближенно критическую точку z со значением целевой функции Zk = F(z);
b) процедуры выхода из критической точки, основанной на условиях глобальной оптимальности (УГО) (E).
Последняя процедура может быть представлена в виде следующей цепочки операций (на шаге k) [15, 32]:
1) Выбор некоторого числа в ■ ini(g,lRn) < в < sup(g,lRn) (например, можно положить во = g(zk)).
2) Построение некоторой конечной аппроксимации
Ak (в) = {v1, ...,vNk I h(vi) = в - Zk, і = 1,...,Nk, Nk = Nk (в)}
множества уровня {h(x) = в — Zk} функции h( ), задающей базовую невыпуклость в задаче (P), Zk = F(zk) = g(zk) — h(zk).
3) Поиск глобального 5k-решения ui линеаризованной задачи:
g(ui) — {v*,ui) — 5k < inf{g(x) — {v*,x)}, (5.6)
x
где v* є dh(vi).
4) Поиск глобального 5k-решения wi (h(wi) = в — Zk) задачи уровня:
{w*,ui — wi) + 5k > sup{{v*,ui — v)I h(v) = в — Zk}, (5.7)
v,v*
где w* є dh(wi), u* є dh(u).
5) Подсчет величины nk(в) ■= п0(в) + в, где
П°к(в) ■= {w*,uj — wj) —g(uj) = max{{w*,ui — wi) —g(ui)}, (5.8)
i^1h
w* є dh(wi), і є Ik = {і є{1,..., Nk }| g(vi) < в}.
Если Пк(в) > 0, то, нетрудно видеть, что точка и3 по целевой функции будет лучше, чем г. В этом случае можно переходить на следующую итерацию и осуществлять локальный поиск, начиная с точки и3. Если же Пк(в) < 0, то выбирается новое значение в, и процесс повторяется.
6. Численное тестирование алгоритма глобального поиска
Переходим к описанию основных этапов алгоритма, разработанного на основе стратегии глобального поиска (СГП) для негладких задач d.c. минимизации.
В качестве метода локального поиска будем использовать представленный в п. 3 и протестированный в п. 4 специальный метод (СМЛП).
Далее необходимо определить границы выбора числа в из интервала [в-,в+], где в- = inf(g,Mn), в+ = sup(g,Rn).
Поиск чисел в-, в+ эквивалентен соответственно решению задач безусловной минимизации и максимизации функции g(-). Из определения
(2.4) нетрудно видеть, что функция g(-) является выпуклой и принимает только неотрицательные значения. Поэтому в- = 0, в+ = +гс>, т.е. интервал изменения параметра в не ограничен сверху.
Введем верхнюю границу в+ искусственным образом: в+ := g(x0,r), где х° — барицентр множества A (4.1), а r2 = max ЦЬ3||2. Таким образом,
j
мы ограничили интервал изменения параметра в и можем выбрать число Ав := (в+ — в-)/10. Выбор величины Ав изменения параметра в может также быть осуществлен одним из известных методов одномерной оптимизации.
Построение аппроксимации поверхности уровня функции h(-), задающей базовую невыпуклость в задаче (Po), является ключевым моментом глобального поиска и позволяет получить новые стартовые точки для алгоритма локального поиска. Эффективность алгоритма напрямую зависит от подходящего выбора аппроксимации Ak (в) для каждой пары (вв,(k).
Приемов для построения аппроксимации в зависимости от структуры исследуемой задачи можно предложить несколько. Весьма эффективным [15] оказывается построение точек вида
vl = zk — ще1, l = 1,...,N, (6.1)
где N = n + 1, zk — точка, полученная алгоритмом локального поиска, коэффициент /ii ищется из условия принадлежности точки vl рассматриваемой поверхности уровня функции h(-), а el — l—й базисный вектор пространства lRn.
Далее, на этапе 3 СГП вместо решения одной линеаризованной задачи будем дополнительно запускать СМЛП, т.е. решать последовательность линеаризованных задач до получения критической точки. При этом структура СГП не будет разрушена, и мы сможем получить точку с более сильными свойствами. На этапе 4 СГП вместо решения задачи уровня и последующего формирования величины nk будем производить прямое сравнение значения целевой функции в точке, полученной локальным поиском ui, с величиной Zk = F(zk), поскольку можно показать, что nk У 0 в том и только в том случае, когда точка ui по значению целевой функции лучше, чем текущая точка zk [15].
Опишем теперь алгоритм глобального поиска (АГП) по шагам. Пусть заданы начальная точка x° по формуле (4.1) и точность поиска критической точки то = т = 10-3.
Шаг 0. Положить k ■= 0, xk ■= x°, l ■= 1.
!Шаг 1. Начиная с xk посредством СМЛП построить Tk-критическую
k
точку zk:
Zk = F (zk) < F(xk).
Шаг 2. Положить в := g(zk).
!Шаг 3. Построить точку vl аппроксимации Ak(в) по правилу (6.1), h(vl) = в — Zk.
!Шаг 4. Начиная с точки vl посредством СМЛП построить критическую точку ul.
Шаг б. Если Zk < F(ul) и l = N, то: положить в ■= в + Ав; если в < в+, то положить l ■= 1 и идти на Шаг 3.
Шаг б. Если Zk < F(ul) и l < N то положить l ■= l + 1 идти на Шаг 3.
Шаг Т. Если Zk У F(ul), то положить zk+1 ■= ul, Zk+1 ■= F(ul), k ■= k + 1, l ■= 1 и вернуться на Шаг 2.
Шаг 8. Если l = N, Zk < F (ul) І в є [в-,в+] (т.е. одномерный поиск по в на отрезке [в-,в+] закончен), то Stop: zk — решение, найденное алгоритмом.
В табл. 2 приведены результаты работы АГП, где name — название тестового примера, n — размерность пространства, A(m) и B(k) — количество классифицируемых точек во множествах A и B соответственно. Далее для алгоритма глобального поиска (R-alg) приведены процент хорошо классифицированных точек и время счета в секундах. Вычислительный эксперимент проведен на компьютере Intel Pentium 4 CPU 3 GHz.
Отметим, что, несмотря на довольно простую аппроксимацию поверхности уровня и упрощенный поиск по параметру в, АГП удалось повысить процент хорошо классифицированных точек во всех примерах. В задачах ,^10п“, ,^50е“ увеличение оказалось довольно значительным: с 88,18% до 91,82% и с 87,27% до 92,18% соответственно. В задачах „80паг“ и „іопо8рЬеге“ процент хорошо классифицированных точек увеличился с 74,52% до 75,96% и с 92,88% до 94,02% соответственно. В остальных задачах увеличение оказалось менее, чем на 0,5.
Таблица 2. Глобальный поиск
name n A(m) B(k) R — alg
% Time
cancer 9 239 443 96,77 794.02
diagnost 30 375 212 90,33 148786.86
heart 13 214 83 81,48 527.19
pima 8 268 500 73,98 7119.22
ionosphere 34 225 126 94,02 8956.70
sonar 60 97 126 75,96 4529.62
galaxy 14 2082 2110 89,62 18866.34
g50c 50 275 275 92,18 127425.14
g10n 10 274 276 91,82 859.86
Подводя итоги вычислительного эксперимента, можно сделать вывод о принципиальной работоспособности предлагаемой методики решения задач сферической отделимости двух множеств. Проведенный эксперимент позволяет рассчитывать на то, что разработанная стратегия глобального поиска может быть использована для решения и более сложных негладких задач минимизации разности двух выпуклых функций, в том числе задач на допустимом множестве.
Список литературы
1. Александров А. Д. Поверхности, представимые разностями выпуклых функций // Докл. АН СССР. - 1950. - Т. 72, №4. - С. 613-616.
2. Васильев Ф. П. Методы оптимизации / Ф. П. Васильев. - М. : Факториал-пресс, 2002.
3. Груздева Т. В. Локальный поиск в задачах с невыпуклыми ограничениями / Т. В. Груздева, А. С. Стрекаловский // ЖВММФ. - 2007. - Т. 47, №3. - С. 397-413.
4. Демьянов В. Ф. Недифференцируемая оптимизация / В.Ф. Демьянов, Л. В. Васильев. - М. : Наука, 1981.
5. Еремин И. И. Теория линейной оптимизации / И. И. Еремин. - Екатеринбург : Изд-во ИММ УрО РАН, 1999.
6. Еремин И. И. Противоречивые модели оптимального планирования / И. И. Еремин. - М. : Наука, 1988.
7. Математические методы в экономике / И. И. Еремин, Вл. Д. Мазуров, В. Д. Скарин, М. Ю. Хачай. - Екатеринбург : УрГУ-Центр «Фактория Пресс», 2000.
8. Измаилов А. Ф. Численные методы оптимизации / А. Ф. Измаилов, М. В. Солодов. - М. : ФИЗМАТЛИТ, 2005.
9. Мазуров В. Д.Распознавание образов как средство автоматического выбора процедуры в вычислительных методах // ЖВММФ. - 1970. - Т. 10, № 6. -С. 1520-1525.
10. Мазуров В. Д. Комитетные конструкции / В. Д. Мазуров, М. Ю. Хачай // Изв. УрГУ. Математика и механика. - 1999. - Вып. 2, № 14. - С. 77-108.
11. Михалевич В. С. Оптимизационные задачи производственно-транспортного планирования: Модели, методы, алгоритмы / В. С. Михалевич, В. А. Трубин, Н. З. Шор. - М. : Наука, гл. ред. физ.-мат. лит., 1986.
12. Орлов А. В. Численное решение задач билинейного программирования // ЖВММФ. - 2008. - Т. 48, № 2. - С. 237-254.
13. Поляк Б. Т. Введение в оптимизацию / Б. Т. Поляк. - М. : Наука, гл. ред. физ.-мат. лит., 1983.
14. Пшеничный Б. Н.Выпуклый анализ и экстремальные задачи / Б. Н. Пшеничный : Наука, гл. ред. физ.-мат. лит., 1980.
15. Стрекаловский А. С. Элементы невыпуклой Оптимизации / А. С. Стрекалов-ский. Новосибирск : Наука, 2003.
16. Стрекаловский А. С. О минимизации разности двух выпуклых функций на допустимом множестве // ЖВММФ. - 2003. - Т. 43, № 3. - С. 399-409.
17. Шор Н. З. Методы минимизации недифференцируемых функций и их приложения / Н. З. Шор. - Киев: Наукова думка, 1979.
18. Шор Н. З. Монотонные модификации r-алгоритмов и их приложения // Кибернетика и систем. анализ. - 2002. - № 6. - С. 74-95.
19. Astorino A. DC models for spherical separation / A. Astorino, A. Fuduli, M. Gaudioso // Journal of Global Optimization. - 2010. - Vol. 48, N 4. - P. 657-669.
20. Astorino A. A fixed-center spherical separation algorithm with kernel transformations for classification problems / A. Astorino, M. Gaudioso // Computational Management Science. - 2009. - N 6. - P. 357-372.
21. Astorino A. Polyhedral Separability Through Successive LP / A. Astorino, M. Gaudioso // Journal of Optimization theory and applications. - 2002. - Vol. 112, № 2. - P. 265--293.
22. Ben-Tal A. Non-Euclidean restricted memory level method for large-scale convex optimization / A. Ben-Tal, A. Nemirovski // Mathematical Programming. -2005.
- Vol.. 102, N 3. - 407-456.
23. Chapelle O. Semi-supervised classification by low density separation / O. Chapelle, A. Zien // Proceedings of the tenth international workshop on artificial intelligence and statistics. - 2005. - P. 57-64.
24. Tax D. M. J. Uniform object generation for optimizing one-class classifiers / David M. J. Tax, Robert P. W. Duin // The Journal of Machine Learning Research. -2002. - Vol. 2. - P. 155-173.
25. Hiriart-Urruty J.-B. Convex Analysis and Minimization Algorithms / J.-B. Hiriart-Urruty, C. Lemarshal. - Berlin : Springer Verlag, 1993.
26. Horst R. Introduction to global optimization / R. Horst, P. Pardalos, N. V. Thoai.
- Dordrecht-Boston—London : Kluwer Academic Publishers, 1995.
27. Horst R. D.C. Programming: Overview / R. Horst, N. V. Thoai // Journal of Optimization Theory and Applications. - 1999. - Vol. 103, N 1. - P. 1-43.
28. Mangasarian O. L. Linear and Nonlinear Separation of Patterns by Linear Programming // Operations Research. - 1965. - N 13. - P. 444-452.
29. Murphy P. M. UCI repository of machine learning databases [Electronic resource] / P. M. Murphy, D. W. Aha. 1992. - URL: http://www.ics.uci.edu/ mlearn/MLRepository.html.
30. Nocedal J. Numerical optimization / J. Nocedal, S. J. Wright. - N. Y. : Springer-Verlag, 1999.
31. Automated star/galaxy discrimination with neural networks / S. Odewahn, E. Stockwell, R. Pennington, R. Humphreys, W. Zumach // Astron. J. - 1992. - Vol. 103. - P. 318--331.
32. Strekalovsky A. S.On local search in d.c. optimization problems // Optimization Letters. - 2011. - (submitted).
33. Strekalovsky A. S. On computational search for optimistic solutions in bilevel problems / A. S. Strekalovsky, A. V. Orlov, A. V. Malyshev // Journal of Global Optimization. - 2010. - Vol. 48, N 1. - P. 159-172.
34. Tao P. D. Algorithms for solving a class of non convex optimization. Methods of subgradients / P. D. Tao, L. B. Souad // Fermat Days 85, Mathematics for Optimization / ed. by Hiriart-Urruty J.-B. - North Holland : Elservier Sience Publishers B.V., 1986. - P. 249-271.
T. V. Gruzdeva
The Problem of Spherical Binary Separability
Abstract. The problem of separation of two sets, whose convex hulls have a nonempty intersection, is considered. Algorithms of local and global search are developed for this. The efficiency of the developed algorithms is demonstrated by computational simulations on test examples.
Keywords: nonsmooth problem; d.c. minimization; global optimality conditions; local search; global search algorithm.
Груздева Татьяна Владимировна, кандидат физико-математических наук, доцент, Институт динамики систем и теории управления СО РАН, 644033, Иркутск, ул. Лермонтова 134, тел. (3952) 45-30-82,
(gruzdeva@icc.ru)
Gruzdeva Tatyana, PhD, Institute for System Dynamics and Control Theory SB of RAS, Lermontov Str., 134, Irkutsk, 664033, Russia, (gruzdeva@icc.ru)
