CC BY
9
УДК 519.676
НИЖНЯЯ ОЦЕНКА ТРУДОЕМКОСТИ ОДНОГО КЛАССА МАРКОВСКИХ МОНОТОННЫХ АЛГОРИТМОВ СЛУЧАЙНОГО ПОИСКА
А. С. Тихомиров
A LOWER BOUND ON THE COMPUTATIONAL COMPLEXITY OF ONE CLASS OF THE MARKOV MONOTONOUS RANDOM SEARCH ALGORITHMS
A.S.Tikhomirov
Институт электронных и информационных систем НовГУ, [email protected]
Исследуется трудоемкость одного класса марковских монотонных алгоритмов случайного поиска. Показано, что для рассмотренного класса случайных поисков, число вычислений целевой функции, необходимое для достижения требуемой точности £ решения задачи, не может расти медленнее, чем | lne |.
Ключевые слова: случайный поиск, глобальная оптимизация, стохастическая оптимизация
The computational complexity of one class of the Markov monotonous random search algorithms is investigated. It is shown that, for a considered class of random search methods the number of the objective function evaluations needed to find the extremizer accurate to £ cannot increase more slowly than | lne |. Keywords: random search, global optimization, stochastic optimization
1. Введение
Пусть целевая функция f: X ^ R (где, например, X = И1) принимает минимальное значение в единственной точке х*. Рассмотрим задачу поиска точки глобального минимума х* с заданной точностью е. Один из способов решения этой задачи состоит в применении марковских монотонных алгоритмов случайного поиска (см. [1-13]). Такие алгоритмы давно и успешно используются при решении сложных задач оптимизации. Тем не менее, существует мало теоретических результатов о скорости сходимости этих алгоритмов (см. [3-6]). Данная ра-
бота посвящена исследованию трудоемкости одного класса марковских монотонных алгоритмов случайного поиска.
В качестве характеристики трудоемкости алгоритма используем число вычислений целевой функции, требуемое для достижения заданной точности е решения задачи. Причина выбора такой характеристики состоит в том, что именно вычисления целевой функции составляют основной объем вычислительной работы при выполнении исследуемых алгоритмов. Кроме того, такая характеристика удобна при сравнении различных алгоритмов случайного поиска экстремума между собой. Подробнее выбранная характеристика обсуждается в [4, с.13].
Удалось доказать, что рассматриваемые алгоритмы не могут быть слишком быстрыми. Оказывается, что (при некоторых ограничениях) число вычислений целевой функции, необходимое марковским монотонным алгоритмам случайного поиска для достижения заданной точности е решения задачи, не может расти медленнее, чем | lne |. В данной работе продолжены исследования статьей [14-17]. Здесь, в отличие от [17], рассмотрен другой вид случайного поиска, и, в отличие от [14-16], здесь рассмотрен другой, широко используемый на практике класс переходных функций, применяемый, в частности, Л.Ингбером в методе сверхбыстрого отжига (very fast annealing) [7,8].
Результаты работы позволяют оценить потенциальные возможности марковских монотонных алгоритмов случайного поиска, и сделать вывод о том, что трудоемкость некоторых построенных алгоритмов близка к оптимальной, по крайней мере, по порядку зависимости от е.
2. Постановка задачи
Назовем пространством оптимизации множество оптимизации X, снабженное метрикой р. Мы ограничимся случаем d-мерного евклидова пространства Rd и следующими вариантами метрик р(х,у) для Rd:
Ру (x, у) = | Xn - Уп Г
\1/ у
Рш(х, у) = max| Xn - Уп |,
1<n<d
где у>1 — любое фиксированное число, х = (хь...,хй) и У = (и, ..,Уй). Замкнутый шар радиуса г с центром в точке х обозначим через Вг (х) = {у е Rй : р(х, у) < г}.
Далее предполагается, что целевая функция f: Rй ^ R измерима и удовлетворяет следующему условию.
Условие 1. Функция / принимает минимальное значение в единственной точке х*.
Никаких других ограничений на поведение целевой функции наложено не будет. При получении нижней оценки трудоемкости никаких специальных ограничений на поведение целевой функции не требуется.
Случайным поиском называется произвольная последовательность случайных величин {|„}„>0 со
значениями в Rй. Опишем исследуемый класс марковских монотонных алгоритмов случайного поиска с помощью алгоритма моделирования. Следуя [3, с.124], приведем общую схему моделирования марковского монотонного случайного поиска {|п}п>0.
Алгоритм 1
Шаг 1. ^ х, п .
Шаг 2. Цп ^ Рп Йп-ъ •).
Шаг 3. Если /(Цп)</Йп-0, то ^Чп , иначе
Шаг 4. п ^ п +1 и перейти к шагу 2.
Здесь х — начальная точка поиска, а п — номер итерации алгоритма. Обозначение
« Цп ^ Рп(^п-1, •)» читается как «получить реализацию случайной величины цп с распределением РпЙп-1, •)». Распределение Рп(|п-1, •) зависит от номера шага п и «старой» точки поиска |п-1. В соответствии со структурой алгоритма 1, распределения Рп (£,п-ь •) будем называть пробными переходными функциями, а случайные величины цп — пробными точками.
После получения новой пробной точки цп (на втором шаге алгоритма), на третьем шаге поиск или переходит в эту точку цп , если новая точка не хуже старой (т.е. для нее выполняется неравенство /(цп) < /(|п-1)), или остается в старой точке поиска §и-1. Отметим, что введенный случайный поиск является монотонным, в том смысле, что неравенства / (|п) < / (|п-0 выполняются при всех п > 1.
При получении нижней оценки трудоемкости случайного поиска будем исследовать момент первого попадания поиска в е-окрестность точки глобального минимума. При этом условие остановки алгоритма обсуждаться не будет. Таким образом, мы будем рассматривать бесконечные алгоритмы. Поэтому на четвертом шаге алгоритма номер итерации п просто увеличивается на единицу, и алгоритм вновь переходит к выполнению второго шага.
Мы рассмотрим марковские монотонные алгоритмы случайного поиска, пробные переходные функции Рп (х,-) которых обладают плотностями
Рп (х, у) вида
Рп (хУ) = П Р",х* (хк,Ук ) = Пёп'х'к (| хк - Ук |) (1) к=1 к=1
где х = (хь...,хй) и у = (у1,..., Уй), Рп,х,к — плотности в одномерном пространстве R, а gn,x,k — невозрас-тающие неотрицательные функции, определенные на множестве (0,+да). Не умаляя общности, будем считать, что функции gn,x,k непрерывны слева.
Переходные функции такого вида широко используются на практике (см. [7,8]) и применяются, в частности, в методе сверхбыстрого отжига Л.Ингбе-ра.
3. Характеристики случайного поиска
Случайный поиск используем для отыскания точки минимума х* с заданной точностью е (аппроксимация «по аргументу»). При аппроксимации по аргументу нас будет интересовать попадание поиска в шар Ве (х*). Через
те = тш{п > 0:|п е Ве (х*)} обозначим момент первого попадания поиска в е-окрестность точки глобального минимума.
Как правило, предполагается, что для моделирования распределений Рп не требуется вычислений функции / Тем самым, на каждой итерации |п-1 ^ алгоритма 1 происходит ровно одно вычисление це-
левой функции, и распределение случайной величины те дает нам достаточно полную информацию о качестве случайного поиска. Действительно, при выполнении те шагов поиска значения функции f вычисляются те+1 раз.
Мы рассмотрим одну характеристику скорости сходимости случайного поиска. Трудоемкость случайного поиска определяется через Exe и имеет смысл среднего числа шагов поиска до достижения им множества Ве (x*).
4. Нижняя оценка трудоемкости
Основной результат работы представляет следующая теорема. В ней показано, что число вычислений целевой функции, необходимое марковскому монотонному случайному поиску для достижения требуемой точности е решения задачи, не может расти медленнее, чем | lne |.
Теорема. Пусть целевая функция f: Rd ^ R принимает минимальное значение в единственной точке x*. Рассмотрим марковский монотонный случайный поиск {|„}„>0, пробные переходные функции которого имеют плотности вида (1). Пусть x — начальная точка поиска и 0 <e<p(x, x*). Тогда справедливо неравенство
Exe > ln(p(x, x*)/е) +1. (2)
5. Заключение
Полученный теоретический результат помогает понять поведение марковских монотонных алгоритмов случайного поиска. Неравенство (2) позволяет оценить потенциальные возможности таких алгоритмов и сделать вывод о том, что трудоемкость некоторых построенных алгоритмов (см., напр., [11-13]) близка к оптимальной, по крайне мере, по порядку зависимости от е.
Работа выполнена при финансовой поддержке проектной части государственного задания в сфере научной активности Министерства образования и науки Российской Федерации, проект №1.949.2014/K.
1. Ермаков С.М., Жиглявский А.А. О случайном поиске глобального экстремума // Теория вероятностей и ее применения. 1983. №1. С.129-136.
2. Ермаков С.М., Жиглявский А.А., Кондратович М.В. О сравнении некоторых процедур случайного поиска глобального экстремума // Журн. вычисл. математики и мат. физики. 1989. Т.29. №2. С.163-170.
3. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Berlin: Springer-Verlag, 2008. 262 p.
4. Spall J.C. Introduction to stochastic search and optimization: estimation, simulation, and control. New Jersey: Wiley, 2003. 618 p.
5. Spall J.C., Hill S.D., Stark D.R. Theoretical framework for comparing several stochastic optimization approaches // Probabilistic and randomized methods for design under uncertainty. L.: Springer, 2006. P.99-117.
6. Yin G. Rates of convergence for a class of global stochastic optimization algorithms // SIAM Journal on Optimization. 1999. V.10. №1. P.99-120.
7. Ingber L. Very fast simulated re-annealing // Mathl. Comput. Modelling. 1989. V. 12. P.967-973.
8. Лопатин А.С. Метод отжига // Стохастическая оптимизация в информатике. 2005. Вып. 1. С.133-149.
9. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М.: Наука, 2003. 291 с.
10. Абакаров А.Ш., Сушков Ю.А. Статистическое исследование случайного поиска // Математические модели. Теория и приложения. Вып. 2. СПб.: Изд-во НИИХ СПбГУ, 2002. C.70-86.
11. Тихомиров А.С., Некруткин В.В. Марковский монотонный поиск экстремума. Обзор некоторых теоретических результатов // Математические модели. Теория и приложения. Вып. 4. СПб.: ВВМ, 2004. С.3-47.
12. Тихомиров А.С. Об однородном марковском монотонном поиске экстремума // Журн. вычисл. математики и мат. физики. 2006. Т.46. №3. С.379-394.
13. Tikhomirov A., Stojunina T., Nekrutkin V. Monotonous random search on a torus: Integral upper bounds for the complexity // Journal of Statistical Planning and Inference. 2007. Vol. 137. Issue 12. P.4031-4047.
14. Тихомиров А.С. Нижние оценки скорости сходимости марковского симметричного случайного поиска // Журн. вычисл. математики и мат. физики. 2011. Т.51. №9. С.1630-1644.
15. Тихомиров А.С. Нижние оценки трудоемкости марковского симметричного случайного поиска // Вестник Нов-ГУ. Сер.: Техн. науки. 2011. №65. С.94-96.
16. Тихомиров А.С. Нижние оценки трудоемкости марковского симметричного случайного поиска на торе // Вестник НовГУ. Сер.: Физико-математические науки. 2013. № 75. Т.2. С.44-47
17. Тихомиров А.С. Нижняя оценка трудоемкости одного класса алгоритмов отжига // Вестн. Новг. гос. ун-та. Сер.: Физико-математические науки. 2015. № 3(86). Ч.2. С.32-34.
References
1. Ermakov S.M., Zhigliavskii A.A. O sluchainom poiske global'nogo ekstremuma [On the random search of global ex-tremum]. Teoriia veroiatnostei i ee primeneniia - Theory of Probability and its Applications, 1983, no. 1, pp. 129-136.
2. Ermakov S.M., Zhigliavskii A.A., Kondratovich M.V. O srav-nenii nekotorykh protsedur sluchainogo poiska global'nogo ek-stremuma [Comparison of some random search procedures for a global extremum]. Zhurnal vychislitel'noi matematiki i matematicheskoi fiziki - Computational Mathematics and Mathematical Physics, 1989, vol. 29, no. 2, pp. 112-117.
3. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Berlin, Springer-Verlag, 2008. 262 p.
4. Spall J.C. Introduction to stochastic search and optimization: estimation, simulation, and control. New Jersey, Wiley, 2003. 618 p.
5. Spall J.C., Hill S.D., Stark D.R. Theoretical framework for comparing several stochastic optimization approaches. Probabilistic and randomized methods for design under uncertainty. London, Springer, 2006, pp. 99-117.
6. Yin G. Rates of convergence for a class of global stochastic optimization algorithms. SIAM Journal on Optimization, 1999, vol. 10, no. 1, pp. 99-120.
7. Ingber L. Very fast simulated re-annealing. Mathematical and Computer Modelling, 1989, v. 12. pp. 967-973.
8. Lopatin A.S. Metod otzhiga [Simulated Annealing Method]. Stokhasticheskaia optimizatsiia v informatike, 2005, no. 1, pp. 133-149.
9. Granichin O.N., Poliak B.T. Randomizirovannye algoritmy ot-senivaniia i optimizatsii pri pochti proizvol'nykh pomekhakh [Randomized estimation and optimization algorithms in "almost arbitrary" noise]. Moscow, "Nauka" Publ., 2003. 291 p.
10. Abakarov A.Sh., Sushkov Iu.A. Statisticheskoe issledovanie sluchainogo poiska [Statistical investigation of random search]. Matematicheskie modeli. Teoriia i prilozheniia [Mathematical Modeling: Theory and Applications], Research Studies Institute of Chemistry, St. Petersburg State University, St. Petersburg, 2002, no. 2, pp. 70-86.
11. Tikhomirov A.S., Nekrutkin V.V., Markovskii monotonnyi poisk ekstremuma. Obzor nekotorykh teoreticheskikh rezul't-atov [Markov monotone search for extrema: survey of some theoretic results]. Matematicheskie modeli. Teoriia i priloz-
heniia [Mathematical Modeling: Theory and Applications], VVM Publ., St. Petersburg, 2004, no. 4, pp. 3-47.
12. Tikhomirov A.S. Ob odnorodnom markovskom monotonnom poiske ekstremuma [On the Markov homogeneous optimization method]. Zhurnal vychislitel'noi matematiki i mate-maticheskoi fiziki - Computational Mathematics and Mathematical Physics, 2006, vol. 46, no. 3, pp. 361-375.
13. Tikhomirov A., Stojunina T., Nekrutkin V. Monotonous random search on a torus: integral upper bounds for the complexity. Journal of Statistical Planning and Inference, 2007, vol. 137, no. 12, pp. 4031-4047.
14. Tikhomirov A.S. Nizhnie otsenki skorosti skhodimosti mark-ovskogo simmetrichnogo sluchainogo poiska [Lower bounds on the convergence rate of the Markov symmetric random search]. Zhurnal vychislitel'noi matematiki i matematicheskoi fiziki - Computational Mathematics and Mathematical Physics, 2011, vol. 51, no. 9, pp. 1524-1538.
15. Tikhomirov A.S. Nizhnie otsenki trudoemkosti markovskogo simmetrichnogo sluchainogo poiska [Lower estimates of complexity of the Markov random search algorithms]. Vest-nik NovGU. Ser. Tekhnicheskie nauki - Vestnik NovSU. Issue: Engineering Sciences, 2011, no. 65. pp. 94-96.
16. Tikhomirov A.S. Nizhnie otsenki trudoemkosti markovskogo simmetrichnogo sluchainogo poiska na tore [Lower estimates for the computational complexity of Markov symmetric random search on the torus]. Vestnik NovGU. Ser. Fiziko-matematicheskie nauki - Vestnik NovSU. Issue: Physico-Mathematical Sciences, 2013, no. 75, vol. 2, pp. 44-47.
17. Tikhomirov A.S. Nizhniaia otsenka trudoemkosti odnogo klassa algoritmov otzhiga [A lower bound on the computational complexity of one class of the simulated annealing algorithms]. Vestnik NovGU. Ser. Fiziko-matematicheskie nauki - Vestnik NovSU. Issue: Physico-Mathematical Sciences, 2015, no. 3(86), part 2, pp. 32-34.
