CC BY
19
Серия «Математика»
2014. Т. 10. С. 13—26
Онлайн-доступ к журналу: http://isu.ru/izvestia
УДК 519.853
Метод отсечений с обновлением аппроксимирующих множеств и его комбинирование с другими алгоритмами
И. Я. Заботин
Казанский (Приволжский) федеральный университет Р. С. Яруллин
Казанский (Приволжский) федеральный университет
Аннотация. Для задачи условной минимизации предлагается метод, относящийся к классу методов отсечений, в котором используется аппроксимация надграфика целевой функции. В методах указанного класса на каждом шаге для построения итерационной точки либо область ограничений, либо надграфик целевой функции погружаются в аппроксимирующие их многогранные множества. Каждое погружающее множество строится путем отсечения от предыдущего одной или несколькими плоскостями некоторого подмножества, содержащего текущую итерационную точку. Методы отсечений труднореализуемы на практике, поскольку в них от итерации к итерации растет количество отсекающих плоскостей, которые формируют аппроксимирующие множества. Предлагаемый метод характерен тем, что позволяет периодически применять процедуры обновления аппроксимирующих множеств, заключающиеся в отбрасывании любых построенных в процессе минимизации отсекающих плоскостей. Эти процедуры основаны на введенном в работе критерии оценки качества аппроксимации надграфика целевой функции погружающими множествами. Кроме того, метод допускает его комбинирование с любыми другими известными или новыми релаксационными алгоритмами, предоставляет возможность использования параллельных вычислений при построении итерационных точек, а также позволяет в случае сильной выпуклости оценивать близость каждой итерационной точки к оптимальной. Обосновывается сходимость метода. Обсуждаются способы задания управляющих параметров метода.
Ключевые слова: аппроксимирующее множество, отсекающая гиперплоскость, оценки точности решения, последовательность приближений, сходимость, условная минимизация, надграфик.
1. Введение
Класс методов отсечений для условной минимизации довольно широк (см., например, [1; 2], [4-6], [8-13]). В этих методах при построении итерационных точек используется замена допустимого множества исходной задачи либо надграфика ее целевой функции некоторыми аппроксимирующими их многогранными множествами. Одна из основных проблем, возникающих при численной реализации таких методов, заключается в том, что с ростом числа итераций неограниченно растет и количество плоскостей, которые формируют эти аппроксимирующие множества. В связи с этим от шага к шагу увеличивается трудоемкость решения задач нахождения итерационных точек.
Ранее авторами предложен один подход к построению алгоритмов отсечений, в которых предусмотрено периодическое освобождение от формирующих аппроксимирующие множества плоскостей [13]. Этот подход относится в [13] к алгоритмам, в которых используется аппроксимация множества ограничений. В настоящей работе он распространяется на случай, когда метод использует аппроксимацию надграфика целевой функции исходной задачи.
Предлагаемый здесь метод основан на идеях метода отсечений [1]. Одно из принципиальных отличий его от известного метода [1] заключается в возможности обновления аппроксимирующих множеств в указанном выше смысле, что удобно с точки зрения практического применения метода. Еще одна важная особенность предлагаемого метода состоит в том, что его можно комбинировать практически с любыми другими методами. Причем гарантия сходимости этих комбинированных алгоритмов будет обеспечена без каких-либо дополнительных исследований.
2. Постановка задачи
Пусть D — выпуклое замкнутое множество из n-мерного евклидова пространства Rn, f (x) — достигающая на множестве D своего минимального значения выпуклая непрерывная функция. Решается задача
min{f (x) : x e D}. (2.1)
Положим f* = min{f(x) : x e D}, X* = {x e D : f (x) = f*}, X* = {x e D : f (x) < f * + e}, где e > 0, epi (f,R) = {(x,y) e Rn+1 : x e Rn,Y > f (x)}, W(u,Q) = {a e Rn+i : (a,z — u) < 0 4 z e Q} — множество обобщенно-опорных к множеству Q С Rn+i в точке u e Rn+i векторов, Wl(u,Q) = {a e W(u,Q) : ||a|| = 1}, int Q — внутренность множества Q, df(x) — субдифференциал функции f (x) в точке x e Rn, K = {0,1,... }, J = {1,..., m}, где m > 1. Пусть x* e X*.
МЕТОД ОТСЕЧЕНИЙ 3. Метод и его обсуждение
Предлагаемый метод решения задачи (2.1) вырабатывает последовательности {уг}, г € К, {хк}, к € К, приближений из множества О, и заключается в следующем. Выбираются точки у3 € \п1ер\(/, Яп) для всех ] € ■ и выпуклое ограниченное замкнутое множество Со С О, содержащее точку х*. Строится выпуклое замкнутое множество Мо С Яп+1 такое, что
(х*,Г) € Мо.
Задаются числа е0 > 0, 70 < f *, и полагается г = 0, к = 0.
1. Отыскивается точка (уг,^г), где уг € Яп, € Я1, как решение задачи
7 — ш1п (3.1)
х € Сг, (х,ч) € Мг, 7 > 7. (3.2)
Если
f (Уг) = Ъ, (3.3)
то уг € X*, и процесс заканчивается.
2. Если выполняется неравенство
f (Уг) - И >£к, (3.4)
то выбирается выпуклое замкнутое множество Яг С Яп+\ такое, что
Яг С Мг, (3.5)
(х*,П € Яг, (3.6)
полагается
иг = уг, (3.7)
и следует переход к п. 4. В противном случае выполняется п. 3.
3. Выбирается выпуклое замкнутое множество Яг С Яп+\ так, чтобы выполнялось включение (3.6). Выбирается точка хк € Яп, удовлетворяющая условиям
хк € Сг, f (хк) < f (Уг). (3.8)
Полагается
гк = г, ак = ък, (3.9)
иг = игк = хк, (3.10)
задается число £к+г > 0, значение к увеличивается на единицу.
4. Для каждого ] € ■ в интервале (у3, (иг,7г)) выбирается точка г? € Яп+1 так, чтобы г? € intepi(f,Яn) и при некотором д? € [1,д], д < выполнялось включение (иг, 7г) + д?(г? — (иг,7г)) € ер1 (¡', Яп).
5. Для каждого ] € 1 выбирается конечное множество А? С Ш 1(г?, ер1 (/, Кп)), и полагается
Мг+1 = Яг[) Тг, (3.11)
где Тг = П {(х, 7) € Кп+1 : (а, (х, 7) - г?) <0 У а € А?}. Л
6. Выбирается выпуклое замкнутое множество Ог+1 С Со, содержащее точку х*. Задается число 7г+1 из условия
7о < 7г+1 < /*. (3.12)
Значение г увеличивается на единицу, и следует переход к п. 1.
Сделаем некоторые замечания к методу. Покажем, что множество ограничений (3.2) непусто, то есть задача (3.1), (3.2) при всех г € К разрешима.
Лемма 1. Точка (х* ,/*) для всех г € К принадлежит .множеству ограничений задачи (3.1), (3.2).
Доказательство. Согласно заданию 70 и условию (3.12) /* > 7г, г € К. По выбору множеств Сг, г € К, выполняется включение х* € Сг. Поэтому для обоснования леммы покажем, что
(х*,/*) € Мг (3.13)
для всех г € К.
При г = 0 включение (3.13) выполняется по выбору множества Мо. Далее, для множеств Qг в силу пп. 2, 3 метода имеет место включение (3.6) при всех г > 0. Кроме того, (а, (х*, /*) — г?) < 0 для всех а € А3, ] € 1, г > 0, т. е. (х* ,/*) € Тг для всех г > 0. Таким образом, ввиду (3.11) (ж*, /*) е Мг+1 для всех г > 0. Лемма доказана. □
Обоснуем критерий остановки, заложенный в п. 1 метода.
Лемма 2. Пусть последовательность {^г}, г € К, построена предложенным методом. Тогда
Ъ < /* Уг € К. (3.14)
Доказательство. Для каждой точки (х, 7), удовлетворяющей условиям (3.2), и каждого г € К выполняется неравенство 7г < 7. Но по лемме 1 (х*,/*) — допустимое решение задачи (3.1), (3.2) при любом г € К. Отсюда следует (3.14). Лемма доказана. □
Теорема 1. Если при некотором г € К выполняется равенство (3.3), то уг € X *.
Доказательство вытекает из неравенства (3.14) и включения уг € О, г € К, с учетом предположения (3.3).
Выбор в методе чисел 7 г € К, не представляет особого труда. Число 7о можно выбрать, например, как решение задачи минимизации переменной 7 при ограничении
(с,х)—7 < (с, и) — / (и), (3.15)
где и € Кп, с € д/(и), и условии х € С0. Если задача (3.1), (3.2) при
г = 0 имеет решение и без ограничения 7 > 70, например, в случае
ограниченности Мо, то число 70 можно считать сколь угодно большим
отрицательным. При г > 0 лемма 2 позволяет выбирать числа 7г+1 из
условия (3.12) следующим образом. Можно положить 7г+1 = 71, где
0 < I < г, в частности, 7г+1 = тах .
о<]<г
Обсудим теперь способы задания множеств Мо, С г, Qг, г € К. Понятно, что эти множества удобно строить так, чтобы задачи (3.1), (3.2) при всех г € К были задачами линейного программирования.
Для выбора множества Мо имеется много возможностей. Его можно выбрать содержащим множество ер\(/,С0) или ер1 (/,Кп), задав, например, линейным неравенством (3.15) или группой подобных неравенств. Допустимо положить
Мо = Rn+1,
тогда пара (уо,7о), где у0 — любая точка из Со, а 70 = 70, может быть принята за решение задачи (3.1), (3.2) при г = 0.
Множества Сг можно задавать также разными способами. В частности, для всех г € К допустимо положить
Сг = О,
когда О ограничено. Если в задаче (2.1) О = Кп, то многогранник Со необходимо построить на предварительном шаге метода содержащим точку безусловного минимума функции /(х). Множество Сг+1 при г > 0, можно строить в следующем виде:
Сг+1 = С^{х € Кп : (Ь,х — Уг) <0 УЬ € Вг},
где 0 < г < г, Вг С д/(уг). Так как для любых Ь € Вг выполняются неравенства 0 > /(х*) — /(уг) > (Ь,х* — уг), и х* € Сг, то х* € Сг+1, как требуется в п. 6 метода.
Подробнее остановимся на способах задания множеств Qг, поскольку именно за счет их выбора удается периодически обновлять аппроксимирующие надграфик множества Мг.
Обратим внимание на то, что согласно пп. 2, 3 метода, независимо от выполнения условия (3.4), множества Qг можно выбирать для всех
г € К из условий (3.5), (3.6), например, Яг = Мг или Яг = Мг Р| Бг, где Бг С Яп+1, (х*,1'*) € Бг. Однако, в таком случае от шага к шагу ввиду (3.11) неограниченно растет число отсекающих плоскостей, формирующих аппроксимирующие множества, и, как следствие, растет трудоемкость решения задач (3.1), (3.2) построения приближений.
Покажем теперь, как на итерациях с номерами г = гк за счет выбора множеств Яг проводить упомянутые обновления. Пусть для точки (Уг,1г) выполняется неравенство
f (Уг) — ъ < £к. (3.16)
В таком случае согласно п. 3 метода множество Яг = Ягк выбирается удовлетворяющим лишь условию (3.6). Положим, например, Яг = Яп+1 или Яг = Мо. Тогда, соответственно, Мг+1 = Тг или Мг+1 = Мо П Тг, и в формировании Мг+1 не участвуют ни одна из построенных ранее отсекающих плоскостей. При условии (3.16) множество Яг = Ягк можно задать и в виде
Яг = Мг.,
где 0 < гг < г = гк, так как при всех гг = 1,...,г в силу (3.13) включение (3.6) выполняется. В таком случае при построении множества Мг+1 отбрасывается только часть накопленных к шагу г = гк отсечений. Как будет доказано ниже, для каждого к € К найдется решение (уг,Ъ) = (Угк,Ък) задачи (3.1), (3.2), удовлетворяющее условию (3.16), а значит, представится возможность обновления аппроксимирующих множеств.
Отметим, что условие (3.16) фактически определяет качество аппроксимации ер\(/,Яп) множеством Мг в окрестности уг. При выполнении (3.16) качество аппроксимации считается достаточным для фиксирования точки угк, а значит, и основной итерационной точки хк.
Попутно подчеркнем также, что на итерациях с номерами г = гк отсечения множеств Мгк проводятся е использованием точек щк вида (3.10). Как показали тестовые расчеты, при хк = Угк такой выбор точек игк более эффективен, чем щк = угк.
4. Исследование сходимости
Перейдем к исследованию сходимости метода.
Докажем, что вместе с последовательностью {(уг)}, г € К, построенной методом, будет построена и последовательность {(хк,ак)}, к € К.
Лемма 3. Пусть {(уг,ъ)}, г € К, построена предложенным методом. Тогда для каждого к € К существует номер г = гк € К, для
которого выполняется неравенство
f (Vik) - ък < £к. (4-1)
Доказательство. Зафиксируем k & K, и докажем существование номера ik & K, удовлетворяющего (4.1). Предположим противное, т. е., что для всех i & K имеет место неравенство (3.4). Сразу отметим, что в таком случае согласно п. 2 метода множества Qi для всех i & K выбраны из условия (3.5), и в силу (3.11) справедливы включения
Mi+1 С Mi Vi & K. (4.2)
Выделим из последовательности {(yi,Yi)}, i & K, сходящуюся подпоследовательность {(vi,Yi)}, i & K' С K, и пусть (V,Y) — ее предельная точка. Тогда ввиду (3.4)
f (V) — 7 > £k. (4.3)
Покажем, что при сделанном предположении выполняется равенство
lim \\zj — (Vi,Yi)ll =0 Vj & J. (4.4)
Зафиксируем j & J. Заметим, что для каждого i & K точки Ui имеют вид (3.7), а значит, согласно выбору точек zj существуют такие числа Tj & (0,1), что
zj = (Vi, Yi) + Tj(vj — (Vi, Yi)) Vi & K. (4.5)
Выберем номера i, pi & K' с условием, что pi > i. Тогда ввиду (4.2) Mpi С Mi. Кроме того, выполняется включение (VPi,Ypi) & Mpi, а любой элемент a & Aj является обобщенно-опорным к множеству Mpi в точке zj. Следовательно,
(a, (Vpi, Ypi) — zj )<0 Va & Aj,
а с учетом (4.5)
(a, (Vi, Yi) — (Vpi, Ypi)) > Tj (a (Vi, Yi) — vj) Va & Aj.
Согласно лемме 1 из [4] найдется такое число öj > 0, что (a, (Vi,Yi) — vj) >öj для всех a & Aj. Поэтому (a, (Vi,Yi) — (Vpi,Ypi) > Tjöj для всех a & Aj, а так как \\a\\ = 1, то
\\(Vi ,Yi) — (Vpi, Ypi )\\ > Tj öj Vi,pi & K', pi >i. (4.6)
Поскольку {(Vi,Yi)}, i & K', сходится, то в силу (4.6) Tj — 0, i -ж, i & K'. Значит, из (4.5) с учетом ограниченности последовательности {\\vj — (Vi,Yi)\\}, i & K', вытекает доказываемое утверждение (4.4).
Далее, положим
4 = (Ui,Yi) + (zj - (u, Yi)), i e K, j e J. (4.7)
Так как последовательность {(yi,Yi)}, i e K', ограничена, то из (4.7), (3.7), (4.4) следует ограниченность последовательностей {vj}, i e K', для всех j e J. Выделим теперь для некоторого r e J из последовательности {vir}, i e K', сходящуюся подпоследовательность {V}, i e Kr С K'. Пусть Vr — ее предельная точка. Отметим, что
Vr e epi(f,Rn) (4.8)
в силу замкнутости множества epi(f,Rn). Перейдем в равенствах (4.7) при j = r к пределу по i — ж, i e Kr, с учетом (3.7), (4.4). Тогда (y,Y) = Vr, и ввиду (4.8) выполняется включение (y,Y) e epi(f,Rn). Следовательно, Y > f (У). Но с другой стороны, Y < f (У), поскольку для всех i e K' выполняются неравенства (3.14) и f * < f (yi). Таким образом, получено равенство f (y) = Y, противоречащее (4.3). Лемма доказана. □
Из леммы 3 следует, что для каждого к e K согласно п. 3 метода будут зафиксированы в виде (3.9) номер ik и число ak, а также построена точка Xk, удовлетворяющая условиям (3.8), где i = ik.
Теорема 2. Пусть последовательность {(xk,ak)}, к e K, построена методом с условием, что
ek — 0, к -ж. (4.9)
Тогда
lim f (xk) = f *, lim ak = f *. (4.10)
k£K k£K
Доказательство. Для каждого к e K выполняется неравенство (4.1). Кроме того, ввиду (3.8) f (xk) < f (yik), к e K. Следовательно, с учетом
(3.9)
f (Xk) < ak + £k Ук e K. (4.11)
Согласно лемме 2 и включению Xk e D справедливо
ak < f *, f (Xk) > f * Ук e K. (4.12)
Из (4.11), (4.12) для всех к G К имеем /* < /(хк) < /* + ек. Тогда
с учетом (4.9) /* < lim f(xk) < Нт/(ж^) < /*, и первое из равенств кек
(4.10) доказано. Далее, в силу тех же неравенств (4.11), (4.12) f* < ak + £k < f * + £k, к e K. Отсюда следует второе из утверждений (4.10). Теорема доказана. □
Заметим, что числа вк при к > 0 могут быть выбраны, как и число во, на предварительном шаге метода. Использованные в численных экспериментах способы задания последовательности {вк} приведены ниже в п. 5.
Обсудим теперь возможность комбинирования предложенного метода с другими методами математического программирования.
Отметим, что условие (3.8) дает большую свободу в выборе точек хк, отличных от угк. Оно позволяет привлекать для получения приближений хк известные алгоритмы условной минимизации выпуклых функций. Например, считая угк точкой начального приближения, можно для минимизации /(х) на множестве Сгк проделать, начиная с угк, определенное число шагов известным градиентным или субградиентным алгоритмом (напр., [3], [7]) в зависимости от свойств целевой функции. Таким образом, на основе предложенного метода отсечений будет построен новый алгоритм, причем сходимость такого комбинированного алгоритма уже является обоснованной в силу теоремы 2.
Далее, общность условия (3.8) задания точек хк позволяет также применить на этапе их нахождения параллельные вычисления. А именно, можно на шаге г = гк любыми алгоритмами параллельно построить некоторое число вспомогательных точек 'к,...,ы1к, I > 1, таких, что 'к € Сгк, / ('3) < / (угк),. = 1,...,1, а затем искомую точку хк выбрать из условия / (хк) = тш{/'),...,/')}.
В заключение приведем оценки точности решения задачи (2.1).
Ввиду леммы 2, включения хк € О и равенств (3.9) для всех к € К справедливы неравенства
ак < /* < /(хк),
то есть при каждом к € К имеется оценка близости значения / (хк) к оптимальному.
Пусть в (2.1) функция /(х) сильно выпукла на О с константой сильной выпуклости ц > 0, и X* = {х*}. Тогда в силу известного неравенства — х*\\2 < /(ж*) для сильно выпуклой функции ([3], с. 207) и неравенств (4.11), (4.12) для каждого к € К имеет место оценка
II** -®*|| < \Г—-
Н1
5. Численные эксперименты
Перейдем к обсуждению результатов численных экспериментов, которые проводились в связи с исследованием предложенного метода. Цель этих экспериментов заключалась в следующем. Необходимо было
проверить работоспособность метода и предложить рекомендации по применению в нем тех или иных процедур обновления аппроксимирующих множеств Mi. Кроме того, предполагалось предложить некоторые способы задания точек Xk и чисел £k.
Численные эксперименты проводились на следующей тестовой задаче:
n
f (x) = i2^ — min
i=1
ai < & < bi, i = l,...,n,
где n > 1, x = (^,...,) e Rn, ai = —50, bi = 50 для всех i = l,...,n.
Процесс отыскания решения задачи прекращался, если на некотором шаге i' e K для предлагаемого метода выполнялось условие f (yi') — Yi' < £, где £ = 0.00001. Согласно лемме 2 и включению yi' e D выполнение вышеуказанного условия остановки означает справедливость следующего неравенства:
f y) — f * < £.
При проведении численных экспериментов в методе считалось, что m = 1, J = {1}, v1 = v = (0,...,0,100), для каждого i задавалось q1 = 1, z1 = zi, A1 = Ai = {gi}, где gi e W 1(zi, epi (f, Rn)), множества Gi выбирались совпадающими с D, полагалось Mo = Rn+i, Yo = —1000000, Yi+i = Yi, i > 0. Для отыскания точки Xk, удовлетворяющей условиям (3.8) и отличной от yik, применялся метод условного градиента. Считая yik точкой начального приближения, методом условного градиента производился один шаг и полученное приближение принималось за точку Xk.
Результаты некоторых численных экспериментов при n = 50 представлены в таблице 1.
Сделаем комментарии к содержимому колонок. Нумерация численных экспериментов указана в первой колонке, способ задания точки Xk — во второй колонке. В третьей колонке приведены способы задания чисел £k, а в четвертой — приемы обновления аппроксимирующих множеств. Количество итераций, которое понадобилось для достижения заданной точности решения задачи, представлено в пятой колонке, а в шестой — время решения. Отметим, что время решения тестовых примеров с номерами 7, 8 и 16, 17 превысило 24 часа, поэтому для них в таблице отсутствуют соответствующие данные.
Прокомментируем символы, использованные во второй, третьей и четвертой колонках.
Последовательность {£k}, к e K, задавалось следующим образом. Число £o считалось сколь угодно большим, то есть полагалось xo = yo, ao = Yo, а затем при всех к > 0 значение £k+i вычислялось в виде
£к+1 = ек/1.1, £к+1 = £к/п, либо £к+1 = ак(}'(хк)-сгк), ак = Эти три способа задания {вк} в таблице обозначены, соответственно, символами 0-1, 0-2, а3.
Таблица 1
Результаты численных экспериментов
Номер Метод £к Кол-во итераций Время в мин.
1 С1 а-1 г>1 2741 1,79
2 С1 а2 г»1 3326 2Д
3 С1 а3 г»1 3497 2,45
4 С1 £Ц б2 3856 5,42
5 С1 а2 б2 4303 6,54
6 С1 а3 ъ2 4760 7,23
7 С1 а 1 Ьз - -
8 С1 а2 Ьз - -
9 С1 а3 Ьз 70194 213,42
10 С2 а 1 г»1 1927 1,47
11 С2 а2 г>1 2975 1,53
12 С2 а3 г»1 3143 2,3
13 С2 а 1 б2 3253 4,73
14 С2 а2 б2 3958 5,92
15 С2 а3 б2 3861 6,41
16 С2 а 1 Ьз - -
17 С2 аг Ьз - -
18 С2 аз Ьз 67041 182
Символы С1, С2 означают, что в примере для всех к € К полагалось хк = угк или, соответственно, точка хк находилась с помощью метода условного градиента.
Способы задания множеств Qг обозначаются в таблице 1 символами Ь1, Ь2, Ьз:
1) Ь1 о Qг = Мг для всех г = гк, а Qгk задается "активными" в текущей итерационной точке (угк ,^гк) секущими плоскостями;
2) Ь2 о Qг = Мг, 0 < г<п + 1,
{Мг, г = гк,
гк
п {(х, ч) € Ки+1 : {9т, (х, ч) - гг} < 0}, г = гк, т=гк-и-1
г > п + 1.
3) Ьз о Qг Л М' ' = 4
[Мо, г = гк.
Обратим внимание на то, что все результаты, приведенные в таблице 1, получены методом с привлечением тех или иных способов обновления
аппроксимирующих множеств. Указанный пример (при п = 50) решался методом и без использования каких-либо обновлений, т. е. независимо от выполнения условия (3.4) при всех г полагалось Я. = М... В этом случае указанная выше точность решения была получена за 1457 итераций и 9,5 минут.
Приведем некоторые выводы по результатам численных экспериментов.
Комбинирование предложенного метода отсечений с методом условного градиента способствовало ускорению процесса отыскания решения исходной задачи.
Использование первых двух приемов обновления аппроксимирующих множеств существенно ускоряет по времени процесс отыскания решения задачи. Из этих двух способов обновления предпочтительнее оказался способ Ъ\. В случае применения способа Ъ\ последовательность {£к} рекомендуется выбирать медленноубывающей. Если принято решение об использовании способа Ъз, то последовательность {ек}, к € К, следует задавать быстроубывающей.
Список литературы
1. Булатов В. П. Методы погружения в задачах оптимизации / В. П. Булатов. -Новосибирск : Наука, 1977. - 161 с.
2. Булатов В. П. Методы отсечения в Е"+1 для решения задач глобальной оптимизации на одном классе функции / В. П. Булатов, О. В. Хамисов// Журн. вычисл. математики и мат. физики. - 2007. - Т. 47, № 11. - С. 1830-1842.
3. Васильев Ф. П. Методы оптимизации : в 2 кн. / Ф. П. Васильев. - М. : МЦНМО, 2011. - Кн. 1. - 620 с.
4. Заботин И. Я. О некоторых алгоритмах погружений-отсечений для задачи математического программирования / И. Я. Заботин // Изв. Иркут. гос. ун-та. Сер. Математика. - 2011. - Т. 4, № 2. - С. 91-101.
5. Заботин И. Я. Метод отсечений с обновлением погружающих множеств и оценки точности решения / И. Я. Заботин, Р. С. Яруллин // Учен. зап. Казан. гос. ун-та. Сер. Физ.-мат. науки. - 2013. - Т. 155, кн. 2. - С. 54-64.
6. Колоколов А. А. Регулярные разбиения и отсечения в целочисленном программировании / А. А. Колоколов // Сиб. журн. исслед. операций. - 1994. -Т. 1, № 2. - С. 18-39.
7. Коннов И. В. Нелинейная оптимизация и вариационные неравенства / И. В. Коннов. - Казань : Казан. ун-т, 2013. - 508 с.
8. Левитин Е. С. Методы минимизации при наличии ограничений / Е. С. Левитин, Б. Т. Поляк // Журн. вычисл. математики и мат. физики. - 1966. - Т. 6, № 5. - С. 787-823.
9. Нестеров Ю. Е. Введение в выпуклую оптимизацию / Ю. Е. Нестеров. - М. : МЦНМО, 2010. - 274 с.
10. Нурминский Е. А. Метод отделяющих плоскостей с ограниченной памятью для решения задач выпуклой негладкой оптимизации / Е. А. Нурминский // Вычисл. методы и программирование. - 2006. - Т. 7. - С. 133-137.
11. Kelley J. E. The cutting-plane method for solving convex programs / J. E. Kelley // SIAMJ. - 1960. - Vol. 8, N 4. - P. 703-712.
12. Lemarechal C. New variants of bundle methods / C. Lemarechal, A. Nemirovskii, Yu. Nesterov // Mathematical Programming. - 1995. - Vol. 69. - P. 111-148.
13. Zabotin I. Ya. One approach to constructing cutting algorithms with dropping of cutting planes / I. Ya. Zabotin, R. S. Yarullin // Russian Math. (Iz. VUZ), Allerton Press Inc. - 2013. - Vol. 57, N 3. - P. 60-64.
Заботин Игорь Ярославич, доктор физико-математических наук, доцент, Институт вычислительной математики и информационных технологий, Казанский (Приволжский) федеральный университет, 420008, Казань, ул. Кремлевская, 18, тел.: (843)233-71-56 (e-mail: iyazabotin@mail.ru)
Яруллин Рашид Саматович, аспирант, Институт вычислительной математики и информационных технологий, Казанский (Приволжский) федеральный университет, 420008, Казань, ул. Кремлевская, 18 (e-mail: yarullinrs@gmail.com)
I. Ya. Zabotin, R. S. Yarullin
A Cutting Method with Updating Approximating Sets and its Combination with Other Algorithms
Abstract. For solving constrained minimization problem propose a cutting plane method which belongs to a class of cutting methods.The designed method uses an approximation of the epigraph of the objective function. In the methods of the mentioned class for construction an iteration point on each step the epigraph of the objective function or the constrained set are embedded in some approximation polyhedral sets. Each approximating set is usually constructed on the base of the previous one by cutting of some subset which contains the current iteration point. It is difficult to realize cutting methods in practice, because during growth of iteration's count the number of cutting planes that define approximating sets indefinitely increases. Proposed method is characterized by periodically applying procedures of updating approximating sets due to dropping of the arbitrary number of any planes constructed in the solution process. These procedures are based on the criterion inserted in this paper of the quality of approximating the epigraph of the objective function by embedding sets. Moreover, the method admits its combination with any other famous or new relaxation algorithms, allows to use parallel computations for construction iteration points, and in case of the strongly convex objective function lets to evaluate proximity of each iteration points to optimal. Prove convergence of the method. Discuss ways to specify the control parameters of the method.
Keywords: approximating set, cutting plane, estimations accuracy of the solution, epigraph, sequence of approximations, convergence, conditional minimization.
References
1. Bulatov V. P. Embedding methods in optimization problems (in Russian). Novosibirsk, Nauka, 1977. 161 p.
2. Bulatov V. P., Khamisov O. V. Cutting methods in En+1 for global optimization of a class of functions (in Russian). Zhurn. Vychisl. Matem. i Matem. Fiz., 2007, vol. 47, no. 11, pp. 1830-1842.
3. Vasil'ev F. P. Optimization methods (in Russian). Moscow, MCCME, 2011. 620 p.
4. Zabotin I. Ya. Some embedding-cutting algorithms for mathematical programming problems (in Russian). Izv. Irkutsk. Gos. Univ., Ser. Matem., 2011, vol. 4, no. 2, pp. 91-101.
5. Zabotin I. Ya., Yarullin R. S. A cutting method with updating embedding sets and assessments of the solution's accuracy (in Russian). Uch. Zap. Kazan. Gos. Univ.m Ser. Fiz.-Mat. Nauki., 2013, vol. 155, no. 2, pp. 54-64.
6. Kolokolov A. A. Regular partitions and cuts in integer programming (in Russian). Sib. zhurn. issled. oper., 1994, vol. 1, no. 2, pp. 18-39.
7. Konnov I. V. Nonlinear optimization and variational inequalities (in Russian). Kazan, Kazan university, 2013. 508 p.
8. Levitin E. C., Polyak B. T. Minimization methods for feasible set (in Russian). Zhurn. Vychisl. Matem. i Matem. Fizz., 1966, vol. 6, no. 5, pp. 878-823.
9. Nesterov Yu. E. Introduction to convex optimization (in Russian). Moscow, MCCME, 2010. 274 p.
10. Nurminskii E. A. Cutting method for solving non-smooth convex optimization problem with limited memory (in Russian). Vychisl. Met. i Program., 2006, vol. 7, pp. 133-137.
11. Kelley J.E. The cutting-plane method for solving convex programs SIAMJ., 1960, vol. 8, no. 4, pp. 703-712.
12. Lemarechal C., Nemirovskii A., Nesterov Yu. New variants of bundle methods Mathematical Programming, 1995, vol. 69, pp. 111-148.
13. Zabotin I.Ya., Yarullun R.S. One approach to constructing cutting algorithms with dropping of cutting planes Russian Math. (Iz. VUZ), Allerton Press Inc., 2013, vol. 57, no. 3, pp. 60-64.
Zabotin Igor Yaroslavich, Doctor of Sciences (Physics and Mathematics), Professor, Kazan (Volga Region) Federal University, 18, Kremlyovska-ya st., Kazan, 420008, tel.: (843)233-71-56 (e-mail: iyazabotin@mail.ru) Yarullin Rashid Samatovich, Postgraduate, Kazan (Volga Region) Federal University, 18, Kremlyovskaya st., Kazan, 420008, tel.: (843)233-71-56 (e-mail: yarullinrs@gmail.com)
