CC BY
25
____________УЧЕНЫЕ ЗАПИСКИ КАЗАНСКОГО УНИВЕРСИТЕТА
Том 155, кн. 4 Физико-математические науки
2013
УДК 519.853
АЛГОРИТМ ОТСЕЧЕНИЙ С АППРОКСИМАЦИЕЙ НАДГРАФИКА
И.Я. Заботин, Р.С. Яруллин
Аннотация
Для задачи условной минимизации предлагается алгоритм отсечений с аппроксимацией надграфика целевой функции. Алгоритм допускает периодические обновления аппроксимирующих множеств за счет отбрасывания накапливающихся в процессе решения отсекающих плоскостей. Обосновывается сходимость алгоритма, обсуждаются его свойства.
Ключевые слова: аппроксимирующее множество, отсекающая гиперплоскость, последовательность приближений, сходимость, условная минимизация, надграфик.
Введение
Класс методов отсечений для решения задач математического программирования довольно широк. Обзор методов названного класса и использующихся в них подходов можно найти в [1]. В этих методах для построения итерационных приближений используется операция погружения либо множества ограничений (см. [1-3]), либо надграфика целевой функции исходной задачи (см. [4-7]) в множества более простой структуры. На каждой итерации погружающее множество строится путем отсечения от предыдущего некоторого подмножества, содержащего текущую итерационную точку. С ростом числа шагов растет количество формирующих погружающие множества отсекающих плоскостей, и тем самым увеличивается трудоемкость нахождения итерационных точек.
В [8] нами предложен подход к построению алгоритмов отсечений с частичным погружением допустимого множества. В этих алгоритмах предусмотрено периодическое обновление погружающих множеств путем освобождения от ранее построенных отсекающих плоскостей. Реализованная в [8, 9] идея распространяется в настоящей работе на алгоритмы, которые используют операцию погружения над-графика целевой функции. Предлагаемый в настоящей работе алгоритм условной минимизации основан на идеях метода [1] и является модификацией алгоритма отсечений, построенного ранее в [10]. Как и алгоритм, рассмотренный в [10], он допускает возможность периодического обновления аппроксимирующих надграфик множеств. Однако предлагаемый алгоритм отличается от алгоритма из [10] тем, что производит упомянутые обновления за счет отбрасывания любого числа любых ранее построенных отсекающих плоскостей. Кроме того, в нем заложены более широкие по сравнению с [10] возможности для построения этих плоскостей.
1. Постановка задачи
Пусть D - выпуклое замкнутое множество из n-мерного евклидова пространства Rn, f (x) - выпуклая достигающая на множестве D своего минимального значения функция. Решается задача
min{f (x) : x G D}. (1)
48
АЛГОРИТМ ОТСЕЧЕНИЙ С АППРОКСИМАЦИЕЙ НАДГРАФИКА
49
Положим f * = min{f (x) : x G D}, X* = {x G D : f (x) = f *}, epi (f,Rn) = = {(x, y) G Rn+1 : x G Rn, Y > f (x)}, W(u, Q) = {a G Rn+1 : (a, z - u) < 0 V z G G Q} - множество обобщенно-опорных к множеству Q С Rn+i в точке u G Rn+i векторов, W i(u,Q) = {a G W(u,Q) : ||a|| = 1}, int Q - внутренность множества Q, x* G X* , df (x) - субдифференциал функции f (x) в точке x G Rn, K = {0,1,...}.
2. Алгоритм и его обсуждение
Алгоритм решения задачи (1) вырабатывает последовательности {г/i}, i G K, {xk}, к G K, приближений из множества D, и заключается в следующем. Выбирается точка v G int epi (f,Rn). Строится выпуклое замкнутое множество Mo С С Rn+i, содержащее точку (x*, f *). Задаются числа £о > 0, Y0 < f * , полагается i = 0, к = 0.
1. Отыскивается точка (yi,Yi), где yi G Rn, Yi G Ri, как решение задачи
Y ^ min (2)
(x, y) G Mi, x G D, y > Yi. (3)
Если
f (yi) = Yi, (4)
то yi G X* , и процесс завершается.
2. Если выполняется неравенство
f (yi) - Yi > ek, (5)
то выбирается выпуклое замкнутое множество Si С Rn+i, содержащее точку (x*, f *), полагается
Qi = Mi П Si (6)
и следует переход к п. 4. В противном случае выполняется п. 3.
3. Выбирается выпуклое замкнутое множество Qi С Rn+i такое, что
(x*,f*) G Qi, (7)
полагается ik = i,
xk yik, ®k lik, (8)
задается число £k+i > 0, значение к увеличивается на единицу.
4. В интервале (v, (yi,Yi)) выбирается точка zi G Rn+i, не принадлежащая int epi ( f, Rn), так, чтобы при некотором qi G [1, q], q < , для точки
vi = (yi,Yi) + qi(zi - (yi,Yi)) (9)
выполнялось включение Yi G epi ( f, Rn).
5. Выбирается конечное множество Ai С Wi(zi, epi (f,Rn)) и полагается
Mi+i = Qi П Ti, (10)
где Ti = {(x, y) G Rn+i : (a, (x, y) - zi) < 0 V a G Ai}.
6. Задается число Yi+i из условия
Yo < Yi+i < f *. (11)
Значение i увеличивается на единицу, и следует переход к п. 1.
Сделаем некоторые замечания к алгоритму. Покажем прежде всего, что при любом i G K задача (2), (3) разрешима.
50
И.Я. ЗАБОТИН, Р.С. ЯРУЛЛИН
Лемма 1. Точка (x*,f*) для всех i G K удовлетворяет ограничениям (3).
Доказательство. В силу (11) f * > Yi для всех i G K. Поэтому для обоснования леммы достаточно показать, что
(x*,f*) G Mi (12)
для всех i G K.
При i = 0 включение (12) выполняется по условию выбора множества Mo. Допустим, что (12) имеет место при некотором фиксированном i = l > 0. Покажем выполнение (12) при i = l + 1, тогда утверждение леммы будет доказано. Действительно, из (6), (7) с учетом индукционного предположения и условия задания множества Si следует, что
(x*,f*) G Qi. (13)
Кроме того, {a, (x*,f *) — zl) < 0 для всех a G Ai, так как (x*, f *) G epi (f,Rn). Значит, (x*,f*) G Tl. Отсюда и из (10), (13) имеем (x*,f*) G Ml+1. Лемма доказана. □
Следующие результаты обосновывают критерий остановки, заложенный в п. 1 алгоритма.
Лемма 2. При каждом i G K справедливо неравенство
Yi < f *. (14)
Доказательство. По выбору числа Yi, i G K, для каждой точки (x,y), удовлетворяющей условиям (3), выполняется неравенство Yi < Y. Но по лемме 1 точка (x*, f *) является допустимым решением задачи (2), (3) при любом i G K. Отсюда следует (14). Лемма доказана. □
Теорема 1. Пусть при некотором i G K выполняется равенство (4). Тогда Vi G X * .
Доказательство. В силу (4), (14) f (vi) < f* .С другой стороны,
f (Vi) > f * Vi G K, (15)
так как yi G D, i G K. Таким образом, f (vi) = f * , и утверждение доказано. □
Ясно, что множества Mo и Qi, i G K, удобно строить многогранными. В таком случае (2), (3) является задачей линейного программирования при всех i G K.
Множество Mo можно задать линейным неравенством {c,x) — 7 < {c,y) — f (y), где y G Rn, c G df (y), или группой подобных неравенств. Допустимо положить M0 = Rn+i, тогда пара (yo,Yo), где y0 G D, 70 = 70, может быть принята за
решение задачи (2), (3) при i = 0.
Выбор чисел 7i также не представляет особого труда. Если множество Mo ограничено, то число 7 можно считать сколь угодно большим отрицательным, поскольку задача (2), (3) при i = 0 будет иметь решение и без ограничения 7 > 70. Лемма 2 позволяет выбирать числа 7i+i из условия (11) следующим образом. Можно положить Yi+i = Yi, где 0 < l < i, в частности 7i+i = max Yj .
0<j<i
Заметим также, что в силу (14), (15) y < f * < f (yi), i G K. Поэтому на любой итерации есть возможность оценить близость значения f (yi) к оптимальному.
Далее, обратим внимание на то, что с учетом (7), (12), независимо от выполнения условия (5), множества Qi можно задавать в виде (6). Однако в таком случае
АЛГОРИТМ ОТСЕЧЕНИЙ С АППРОКСИМАЦИЕЙ НАДГРАФИКА
51
от шага к шагу неограниченно растет число отсекающих плоскостей, формирующих погружающие множества (10), и вспомогательные задачи (2), (3) становятся труднорешаемыми. Приведем в связи с этим замечание, касающееся возможности периодического обновления на итерациях с номерами i = ik погружающих множеств за счет отбрасывания любого числа построенных ранее отсекающих плоскостей.
Пусть i и к таковы, что i = ik, то есть выполняется неравенство
f (yi) - Yi < £k. (16)
Условие (7) дает большие возможности в выборе множеств Qi = Qik . Можно положить, например,
Qi Qik Rn+1-
Тогда Mi+i = Ti .В случае (16) множество Qi = Qik можно задать и в виде
Qi = мГъ,
где 0 < ri < i = ik, так как при всех ri = 0,... ,ik ввиду (12) и условий выбора множеств Sri включение (7) выполняется. Указанные способы задания Qik дают возможность отбрасывания любого количества любых накопленных к шагу i = = ik отсекающих плоскостей. Как будет показано ниже, для каждого к G K найдется решение (yi,Yi) = (yik ,Yik) задачи (2), (3), удовлетворяющее условию (16), и, следовательно, представится возможность обновления погружающих множеств.
3. Исследование сходимости
Перейдем к исследованию сходимости алгоритма. Будем далее предполагать, что построенная рассматриваемым алгоритмом последовательность {(yi,Yi)}, i G G K, ограничена. Это условие выполняется, например, в случае, когда множество D ограничено.
С учетом сделанного замечания о допустимости выбора множеств Qi для всех i G K в виде (6) сформулируем следующее утверждение.
Лемма 3. Пусть последовательность {(yi,Yi)}, i G K, построена предложенным алгоритмом с условием, что, начиная с некоторого номера i G K, множества Qi выбраны в виде (6). Если (y,Y) - предельная точка последовательности {(yi,Yi)}, i G K, то
f (y)= Y, y G X*. (17)
Доказательство. Пусть {(yi,Yi)}, i G K' C K, - сходящаяся подпоследовательность последовательности {(yi,Yi)}, i G K, и (y,Y) - ее предельная точка. Докажем сначала равенство
lim \\zi - (yi,Yi)\ \ = 0.
iEK'
Заметим, что для каждого i G K
(18)
zi = (yi,Yi) + Ti(v - (Уi, Yi)), (19)
где 0 < Ti < 1. Для произвольного i G K1, i > i, зафиксируем номер pi G K' такой, что pi > i. В силу (6), (10) MPi C Mi. Кроме того, ввиду (3) (yPi,YPi) G MPi,
52
И.Я. ЗАБОТИН, Р.С. ЯРУЛЛИН
а любой элемент множества Ai является обобщенно-опорным для множества Mpi в точке zi. Следовательно,
{a, (Vpi ,Ypi) - zi) < 0 V a € Ai,
а с учетом (19)
{a, (Vi,Yi) - (Vpi,Ypi)) > П{а, (Vi,Yi) - v) Va € Ai■
Согласно лемме 1 из [3] найдется такое число S > 0, что {a, (yi, Yi) — v) > S для всех a € Ai. Значит, {a, (yi,Yi) — (Vpi,Ypi)) > TiS для всех a € Ai, а поскольку ||a|| = 1 для всех a € Ai, то
l(Vi,Yi) — (Vpi, Ypi)ll > TiS Vi,Pi € K', Pi > i. (20)
Так как последовательность {(yi,Yi)}, i € K', сходится, то в силу (20) Ti ^ 0, i ^ ж, i € K'. Поэтому из (19) с учетом ограниченности последовательности i\\v — (Vi,li)\\}, i € K', следует (18).
Поскольку последовательность {(yi,Yi)}, i € K', ограничена, из (9), (18) следует ограниченность {vi}, i € K'. Выделим теперь из последовательности {vi}, i € K', сходящуюся подпоследовательность {vi}, i € K'' C K', и пусть v - ее предельная точка. Отметим, что v € epi (f, Rn) ввиду замкнутости множества epi (f,Rn). Перейдем к пределу по i ^ ж, i € K'', в равенствах (9), учитывая (18). Тогда (y, Y) = v и
(y, V) € epi (f,Rn).
Из этого включения вытекает неравенство Y > f (V). Но, с другой стороны, согласно (14), (15) v < f * < f (V). Следовательно, f (y) = v = f * , и соотношения (17) получены. Лемма доказана. □
Покажем теперь, что вместе с последовательностью {(yi,Yi)}, i € K, алгоритмом будет построена и последовательность {(xk,&к)}, k € K.
Лемма 4. Пусть {(yi,Yi)}, i € K, построена предложенным алгоритмом. Тогда для каждого k € K существует такой номер i = ik, что выполняются равенства (8).
Доказательство. 1) Пусть k = 0. Если f (yo) — Yo < eo, то согласно п. 3 метода io = 0, xo = yo, &о = Yo, и равенства (8) при k = 0 выполняются. Поэтому будем считать, что f (yo) — Yo > £o. Покажем тогда существование номера io > 0, для которого
f (yio) — Yio < eo■ (21)
Допустим противное, то есть
f (yi) — Yi > £o Vi € K, i > 0. (22)
Выделим из последовательности {(yi,Yi)}, i € K, i > 0, сходящуюся подпоследовательность {(yi,Yi)}, i € K' C K. Пусть (v',y') - ее предельная точка. Тогда из (22) следует, что
f (v') > eo + Y'■ (23)
C другой стороны, в силу (22) для всех i € K, i > 0, по алгоритму множества Qi имеют вид (6). Значит, по лемме 3 имеет место равенство f (y') = y' , которое противоречит (23). Таким образом, существование номера io > 0, для которого справедливо (21), доказано, и равенства (8) при k = 0 выполнены.
АЛГОРИТМ ОТСЕЧЕНИЙ С АППРОКСИМАЦИЕЙ НАДГРАФИКА
53
2) Допустим теперь, что соотношения (8) выполняются при некотором фиксированном к > 0, то есть существует номер i = ik, удовлетворяющий условию (16) при этом к. Покажем существование такого ik+i > ik, что
f Ык+l ) - Yik+1 < £k+1- (24)
Тогда xk+i = Vik+1, Ok+i = Yik+1, и лемма будет доказана.
Предположим противное, то есть
f (yi) - Yi >£k+i vi e K, i>ik. (25)
Выберем из последовательности {(yi,Yi)}, i e K, i > ik, сходящуюся подпоследовательность {(yi,Yi)}, i e K" C K, и пусть (y",Y") - ее предельная точка. Тогда, с одной стороны, из (25) следует неравенство f (y") > £k+i + y" , ас другой - согласно лемме 4 противоречащее ему равенство f (y") = y". Таким образом, наличие номера ik+i > ik, удовлетворяющего (24), показано. Лемма доказана. □
Теорема 2. Пусть последовательность {(xk,Ok)}, к e K, построена согласно
алгоритму, причем £k ^ 0, к ^ ж>. (26)
Тогда kmf(xk> =f* kim at=f'. (27)
Доказательство. По алгоритмудля всех к e K выполняется f (yik )- — Ytik < £k
или ввиду (8) f (xk) < Ok + £k. (28)
Кроме того, согласно (14), (15).
Ok < f *, f (xk) > f * vк e K. (29)
Из (28), (29) для всех к e K имеем f * < f (xk) < f * + £k. Тогда с учетом условия
(26) f * < lim f (xk) < lim f (xk) < f * , и первое из равенств (27) доказано.
kex kiK
Далее, в силу тех же неравенств (28), (29) f * < o~k + £k < f * + £k для всех к e K. Отсюда следует второе из равенств (27). Теорема доказана. □
Заметим, что числа £k для к > 0 можно задать, как число £о, на предварительном шаге алгоритма. Однако в таком случае {£k}, к e K, не будет адаптирована к процессу минимизации. Поэтому в алгоритме заложена возможность задания чисел £k в процессе построения приближений xk .
При проведении численных экспериментов значения £k задавались, в частности, следующим образом. Считая £о сколь угодно большим, то есть xo = yo, о о = = Yo, полагалось для всех к > 0 на шаге 3 алгоритма £k+i = ak ( f (xk) — Ok), где
ak e (0,1).
Summary
I.Ya. Zabotin, R.S. Yarullin. A Cutting Plane Algorithm with an Approximation of an Epigraph.
For the conditional minimization problem, we propose a cutting plane algorithm with an approximation of the epigraph of the objective function. The algorithm makes it possible to update approximating sets by dropping the cutting planes which accumulate during the solution process. We prove the convergence of the algorithm and describe its properties.
Keywords: approximating set, cutting hyperplane, sequence of approximations, convergence, conditional minimization, epigraph.
54
И.Я. ЗАБОТИН, Р.С. ЯРУЛЛИН
Литература
1. Булатов В.П. Методы погружения в задачах оптимизации. - Новосибирск: Наука, 1977. - 161 с.
2. Заботин И.Я. О некоторых алгоритмах погружений-отсечений для задачи математического программирования // Изв. Иркутского гос. ун-та. Сер. Матем. - 2011. -Т. 4, № 2. - С. 91-101.
3. Нурминский Е.А. Метод отделяющих плоскостей с ограниченной памятью для решения задач выпуклой негладкой оптимизации // Вычисл. методы и программирование. - 2006. - Т. 7. - С. 133-137.
4. Булатов В.П., Хамисов О.В. Методы отсечения в En+1 для решения задач глобальной оптимизации на одном классе функции // Журн. вычисл. матем. и матем. физ. - 2007. - Т. 47, № 11. - C. 1830-1842.
5. Левитин Е.С., Поляк Б.Т. Методы минимизации при наличии ограничений // Журн. вычисл. матем. и матем. физ. - 1966. - Т. 6, № 5. - C. 787-823.
6. Нестеров Ю.Е. Введение в выпуклую оптимизацию. - М.: МЦНМО, 2010. - 274 с.
7. Kelley J.E. The cutting-plane method for solving convex programs // J. Soc. Ind. Appl. Math. - 1960. - V. 8, No 4. - P. 703-712.
8. Zabotin I.Ya., Yarullin R.S. One approach to constructing cutting algorithms with dropping of cutting planes // Russ. Math. (Iz. VUZ). - 2013. - V. 57, No 3. - P. 60-64.
9. Заботин И.Я., Яруллин Р.С. Метод отсечений с обновлением погружающих множеств и оценки точности решения // Учен. зап. Казан. ун-та. Сер. Физ.-матем. науки. - 2013. - Т. 155, кн. 2. - С. 54-64.
10. Заботин И.Я., Яруллин Р.С. Алгоритм отсечений с аппроксимацией надграфика без вложения погружающих множеств // Информационные технологии и системы: 37-я конф. молодых ученых и специалистов ИППИ РАН (Калининград, 1-5 сент. 2013 г.). - М.: Ин-т проблем передачи информации им. А.А. Харкевича РАН, 2013. -С. 8-11.
Поступила в редакцию 02.10.13
Заботин Игорь Ярославич - доктор физико-математических наук, профессор кафедры анализа данных и исследования операций, Казанский (Приволжский) федеральный университет, г. Казань, Россия.
E-mail: [email protected]
Яруллин Рашид Саматович - аспирант кафедры анализа данных и исследования операций, Казанский (Приволжский) федеральный университет, г. Казань, Россия.
E-mail: [email protected]
