CC BY
40
УДК 519.676
НИЖНЯЯ ОЦЕНКА ТРУДОЕМКОСТИ ОДНОГО КЛАССА АЛГОРИТМОВ ОТЖИГА
А. С. Тихомиров
A LOWER BOUND ON THE COMPUTATIONAL COMPLEXITY OF ONE CLASS OF THE SIMULATED ANNEALING ALGORITHMS
A.S.Tikhomirov
Институт электронных и информационных систем НовГУ, [email protected]
Исследуется трудоемкость одного класса алгоритмов отжига. Показано, что для рассмотренного класса случайных поисков, обладающих естественным свойством симметрии, число вычислений целевой функции, необходимое для достижения требуемой точности £ решения задачи, не может расти медленнее, чем |lne |.
Ключевые слова: случайный поиск, глобальная оптимизация, стохастическая оптимизация
The computational complexity of one class of the simulated annealing algorithms is investigated. It is shown that, for a wide class of random search methods which possess a natural symmetry property, the number of the objective function evaluations needed to find the extremum accurate to £ cannot increase more slowly than | lne |. Keywords: random search, global optimization, stochastic optimization
1. Введение
Пусть целевая функция f: X ^ R (где, например, X = Rd ) принимает минимальное значение в единственной точке x*. Рассмотрим задачу поиска точки глобального минимума x* с заданной точностью е. Один из способов решения этой задачи состоит в применении алгоритмов отжига (см. [1-14]). Свое название алгоритмы отжига получили из-за того, что они основаны на имитации физического процесса, который происходит при кристаллизации вещества, в том числе при отжиге металлов. Алгоритмы отжига (simulated annealing) давно и успешно используются при решении сложных задач оптимизации, и являются одними из самых знаменитых алгоритмов стохастической глобальной оптимизации. Тем не менее, существует мало теоретических результатов о скорости сходимости этих алгоритмов (см. [3-6]). Данная работа посвящена исследованию трудоемкости одного класса алгоритмов отжига.
В качестве характеристики трудоемкости алгоритма используем число вычислений целевой функции, требуемое для достижения заданной точности е решения задачи. Причина выбора такой характеристики состоит в том, что именно вычисления целевой функции составляют основной объем вычислительной работы при выполнении исследуемых алгоритмов. Кроме того, такая характеристика удобна при сравнении различных алгоритмов случайного поиска экстремума между собой. Подробнее выбранная характеристика обсуждается в [4, с.13].
Удалось доказать, что рассматриваемые алгоритмы не могут быть слишком быстрыми. Оказывается, что (при некоторых ограничениях) число вычислений целевой функции, необходимое алгоритмам отжига для достижения заданной точности е решения задачи, не может расти медленнее, чем | lne |. В дан-
ной работе продолжены исследования статьей [1517]. Здесь рассмотрен другой, широко используемый на практике класс переходных функций, применяемый в частности Л.Ингбером в методе сверхбыстрого отжига (very fast annealing) [7,8].
Результаты работы позволяют оценить потенциальные возможности алгоритмов отжига и сделать вывод о том, что трудоемкость некоторых построенных алгоритмов близка к оптимальной, по крайней мере, по порядку зависимости от е.
2. Постановка задачи
Назовем пространством оптимизации множество оптимизации X, снабженное метрикой р. Мы ограничимся случаем d-мерного евклидова пространства Rd с метрикой
p(x,y) = Рш(x,y) = max| xn -yn |,
1<n<d
где x = (xb...,xd) и y = (y1,...,yd). Замкнутый шар радиуса r с центром в точке x обозначим через Br (x) ={yeRd :p(x, y) < r}.
Далее предполагается, что целевая функция f: Rd ^ R измерима и удовлетворяет следующему условию.
Условие 1. Функция f принимает минимальное значение в единственной точке x* .
Никаких других ограничений на поведение целевой функции наложено не будет. При получении нижней оценки трудоемкости никаких специальных ограничений на поведение целевой функции не требуется. Жесткие ограничения на поведение целевой функции нужны в задачах построения «быстрых» алгоритмов, и при получении верхних оценок скорости сходимости. При получении нижней оценки нам будет достаточно условия 1.
Случайным поиском называется произвольная последовательность случайных величин {|„}„>0 со
значениями в R . Опишем исследуемый класс алгоритмов отжига с помощью алгоритма моделирования. Следуя [3, с. 118], приведем общую схему моделирования алгоритма отжига {|„}„>0. Алгоритм 1 Шаг 1. ^ х, п ^1.
Шаг 2. ^ ^ РпЙп-ъ •).
Шаг 3. ^ ^
с вероятностью Qn, |n-1, с вероятностью 1- Qn
где
Qn =
1 если Дп < 0, |exp(-ßnAn), если Дп>0, Дп = f (Hn) - f ßn-i), а величины ßn > 0 являют-
ся параметрами алгоритма.
Шаг 4. п ^ п +1 и перейти к шагу 2.
Здесь х — начальная точка поиска, а п — номер итерации алгоритма. Обозначение « ^ Рп (|п-ь •)» читается как «получить реализацию случайной величины с распределением Рп (|п_ь •)». Распределение Рп (|п-ъ •) зависит от номера шага п и «старой» точки поиска . В соответствии со структурой алгоритма 1, распределения Рп (|п_ь •) будем называть пробными переходными функциями, а случайные величины — пробными точками.
После получения новой пробной точки (на втором шаге алгоритма) на третьем шаге поиск или переходит в эту точку с вероятностью Qn, или
остается в старой точке поиска |п-1 .
При получении нижней оценки скорости сходимости будем исследовать момент первого попадания поиска в е-окрестность точки глобального минимума. При этом условие остановки алгоритма обсуждаться не будет. Таким образом, мы будем рассматривать бесконечные алгоритмы. Поэтому на четвертом шаге алгоритма номер итерации п просто увеличивается на единицу, и алгоритм вновь переходит к выполнению второго шага.
Мы рассмотрим алгоритмы отжига, пробные переходные функции Рп (х,-) которых обладают плотностями рп (х, у) вида
1 1
Рп(ху) =ПРп,х,к(хк,Ук) = П8",х,к(|хк -Ук (*) к=1 к=1
где х = (хь...х) и у = (>!,..., у1), рпхЛ — плотности в одномерном пространстве R, а 8п,х,к — невозрас-тающие неотрицательные функции, определенные на множестве (0,+ю). Не умаляя общности, будем считать, что функции 8п,х,к непрерывны слева.
Переходные функции такого вида широко используются на практике (см. [7,8,12]), и применяются, в частности, в методе сверхбыстрого отжига Л.Ингбера.
3. Характеристики случайного поиска
Случайный поиск используем для отыскания точки минимума x* с заданной точностью е (аппроксимация «по аргументу»). При аппроксимации по аргументу нас будет интересовать попадание поиска в шар B(x*). Через
те = min{n > 0:£и e Ве (x*)} обозначим момент первого попадания поиска в е-окрестность точки глобального минимума.
Как правило, предполагается, что для моделирования распределений Pn не требуется вычислений функции f. Тем самым, на каждой итерации ^ алгоритма 1 происходит ровно одно вычисление целевой функции, и распределение случайной величины те дает нам достаточно полную информацию о качестве случайного поиска. Действительно, при выполнении те шагов поиска значения функции f вычисляются те+1 раз.
Мы рассмотрим одну характеристику скорости сходимости случайного поиска. Трудоемкость случайного поиска определяется через Exe и имеет смысл среднего числа шагов поиска до достижения им множества Ве (x*).
4. Нижняя оценка трудоемкости
Основной результат работы представляет следующая теорема. В ней показано, что число вычислений целевой функции, необходимое алгоритму отжига для достижения требуемой точности е решения задачи, не может расти медленнее, чем | lne |.
Теорема. Пусть целевая функция f: Rd ^ R принимает минимальное значение в единственной точке x*. Рассмотрим алгоритм отжига {|n}n>0, пробные переходные функции которого имеют плотности вида (*). Пусть x — начальная точка поиска и 0 <e<p(x, x*). Тогда справедливо неравенство Exe > ln(p(x, x*)/ е)+1.
Полученное неравенство позволяет оценить потенциальные возможности алгоритмов отжига и сделать вывод о том, что трудоемкость некоторых построенных алгоритмов (см., например, [12-14]) близка к оптимальной, по крайне мере по порядку зависимости от е.
Работа выполнена при финансовой поддержке проектной части государственного задания в сфере научной активности Министерства образования и науки Российской Федерации, проект №1.949.2014/K.
1. Ермаков С.М., Жиглявский А.А. О случайном поиске глобального экстремума // Теория вероятностей и ее применения. 1983. №1. С.129-136.
2. Ермаков С.М., Жиглявский А.А., Кондратович М.В. О сравнении некоторых процедур случайного поиска глобального экстремума // Журн. вычисл. математики и мат. физики. 1989. Т.29. №2. С.163-170.
3. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Berlin: Springer-Verlag, 2008. 262 p.
4. Spall J.C. Introduction to stochastic search and optimization: estimation, simulation, and control. New Jersey: Wiley, 2003. 618 p.
5. Spall J.C., Hill S.D., Stark D.R. Theoretical framework for comparing several stochastic optimization approaches // Probabilistic and randomized methods for design under uncertainty. L.: Springer, 2006. P.99-117.
6. Yin G. Rates of convergence for a class of global stochastic optimization algorithms // SIAM Journal on Optimization. 1999. V.10. №1. P.99-120.
7. Ingber L. Very fast simulated re-annealing // Mathl. Comput. Modelling. 1989. V. 12. P.967-973.
8. Лопатин А.С. Метод отжига // Стохастическая оптимизация в информатике. 2005. Вып. 1. С.133-149.
9. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М.: Наука, 2003. 291 с.
10. Абакаров А.Ш., Сушков Ю.А. Статистическое исследование случайного поиска // Математические модели. Теория и приложения. Вып. 2. СПб.: Изд-во НИИХ СПбГУ, 2002. C.70-86.
11. Тихомиров А.С., Некруткин В.В. Марковский монотонный поиск экстремума. Обзор некоторых теоретических результатов // Математические модели. Теория и приложения. Вып. 4. СПб.: ВВМ, 2004. С.3-47.
12. Тихомиров А.С. О быстрых вариантах алгоритма отжига (simulated annealing) // Стохастическая оптимизация в информатике. 2009. Вып.5. С.65-90.
13. Тихомиров А.С. О скорости сходимости алгоритма simulated annealing // Журн. вычисл. математики и мат. физики. 2010. Т.50. №1. С.24-37.
14. Тихомиров А.С. О быстром варианте алгоритма отжига // Вестник НовГУ. Сер.: Техн. науки. 2010. №60. С.53-56.
15. Тихомиров А.С. Нижние оценки скорости сходимости марковского симметричного случайного поиска // Журн. вычисл. математики и мат. физики. 2011. Т.51. №9. С.1630-1644.
16. Тихомиров А.С. Нижние оценки трудоемкости марковского симметричного случайного поиска // Вестник НовГУ. Сер.: Техн. науки. 2011. №65. С.94-96.
17. Тихомиров А.С. Нижние оценки трудоемкости марковского симметричного случайного поиска на торе // Вестник НовГУ. Сер.: Физико-математические науки. 2013. № 75. Т.2. С.44-47.
References
1. Ermakov S.M., Zhigliavskii A.A. O sluchainom poiske global'nogo ekstremuma [On the random search of global ex-tremum]. Teoriia veroiatnostei i ee primeneniia - Theory of Probability and its Applications, 1983, no. 1, pp. 129-136.
2. Ermakov S.M., Zhigliavskii A.A., Kondratovich M.V. O srav-nenii nekotorykh protsedur sluchainogo poiska global'nogo ek-stremuma [Comparison of some random search procedures for a global extremum]. Zhurnal vychislitel'noi matematiki i matematicheskoi fiziki - Computational Mathematics and Mathematical Physics, 1989, vol. 29, no. 2, pp. 112-117.
3. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Berlin, Springer-Verlag, 2008. 262 p.
4. Spall J.C. Introduction to stochastic search and optimization: estimation, simulation, and control. New Jersey, Wiley, 2003. 618 p.
5. Spall J.C., Hill S.D., Stark D.R. Theoretical framework for comparing several stochastic optimization approaches. Probabilistic and randomized methods for design under uncertainty. London, Springer, 2006, pp. 99-117.
6. Yin G. Rates of convergence for a class of global stochastic optimization algorithms. SIAM Journal on Optimization, 1999, vol. 10, no. 1, pp. 99-120.
7. Ingber L. Very fast simulated re-annealing. Mathematical and Computer Modelling, 1989, v. 12. pp. 967-973.
8. Lopatin A.S. Metod otzhiga [Simulated Annealing Method]. Stokhasticheskaia optimizatsiia v informatike, 2005, no. 1, pp. 133-149.
9. Granichin O.N., Poliak B.T. Randomizirovannye algoritmy otsenivaniia i optimizatsii pri pochti proizvol'nykh pomek-hakh [Randomized estimation and optimization algorithms in "almost arbitrary" noise]. Moscow, "Nauka" Publ., 2003. 291 p.
10. Abakarov A.Sh., Sushkov Iu.A. Statisticheskoe issledovanie sluchainogo poiska [Statistical investigation of random search]. Matematicheskie modeli. Teoriia i prilozheniia [Mathematical Modeling: Theory and Applications], Research Studies Institute of Chemistry, St. Petersburg State University, St. Petersburg, 2002, no. 2, pp. 70-86.
11. Tikhomirov A.S., Nekrutkin V.V. Markovskii monotonnyi poisk ekstremuma. Obzor nekotorykh teoreticheskikh rezul't-atov [Markov monotone search for extrema: survey of some theoretic results]. Matematicheskie modeli. Teoriia i priloz-heniia [Mathematical Modeling: Theory and Applications], VVM Publ., St. Petersburg, 2004, no. 4, pp. 3-47.
12. Tikhomirov A.S. O bystrykh variantakh algoritma otzhiga (simulated annealing) [On some variants of the fast simulated annealing algorithms]. Stokhasticheskaia optimizatsiia v in-formatike, 2009, no. 5, pp. 65-90.
13. Tikhomirov A.S. Tikhomirov A.S. O skorosti skhodimosti algoritma simulated annealing [On the convergence rate of the simulated annealing algorithm]. Zhurnal vychislitel'noi matematiki i matematicheskoi fiziki - Computational Mathematics and Mathematical Physics, 2010, vol. 50, no. 1, pp. 19-31.
14. Tikhomirov A.S. O bystrom variante algoritma otzhiga [On fast versions of the simulated annealing algorithm]. Vestnik NovGU. Ser. Tekhnicheskie nauki - Vestnik NovSU. Issue: Engineering Sciences, 2010, no. 60. pp. 53-56.
15. Tikhomirov A.S. Nizhnie otsenki skorosti skhodimosti mark-ovskogo simmetrichnogo sluchainogo poiska [Lower bounds on the convergence rate of the Markov symmetric random search]. Zhurnal vychislitel'noi matematiki i matematicheskoi fiziki - Computational Mathematics and Mathematical Physics, 2011, vol. 51, no. 9, pp. 1524-1538.
16. Tikhomirov A.S. Nizhnie otsenki trudoemkosti markovskogo simmetrichnogo sluchainogo poiska [Lower estimates of complexity of the Markov random search algorithms]. Vest-nik NovGU. Ser. Tekhnicheskie nauki - Vestnik NovSU. Issue: Engineering Sciences, 2011, no. 65. pp. 94-96.
17. Tikhomirov A.S. Nizhnie otsenki trudoemkosti markovskogo simmetrichnogo sluchainogo poiska na tore [Lower estimates for the computational complexity of Markov symmetric random search on the torus]. Vestnik NovGU. Ser. Fiziko-matematicheskie nauki - Vestnik NovSU. Issue: Physico-Mathematical Sciences, 2013, no. 75, vol. 2, pp. 44-47.
