CC BY
30
УДК 519.626
О ТРУДОЕМКОСТИ ОДНОРОДНОГО МАРКОВСКОГО МОНОТОННОГО СЛУЧАЙНОГО ПОИСКА
А.С.Тихомиров
Институт электронных и информационных систем НовГУ, [email protected]
Приведены оценки трудоемкости некоторых однородных марковских монотонных алгоритмов случайного поиска экстремума.
Ключевые слова: случайный поиск, глобальная оптимизация, стохастическая оптимизация
The estimates of complexity of some homogeneous Markov monotonous random search algorithms are given.
Keywords: random search, global optimization, stochastic optimization
1 Введение Один из способов решения этой задачи состоит в при-
менении алгоритмов случайного поиска экстремума Пусть целевая функция f: X ^ R (где, напри- функции (см. [1-12]). Такие методы давно и успешно
мер, X = Rd ) принимает минимальное значение в используются при решении отожных задач оптимиза-
„ ции. Тем не менее, существует мало теоретических ре-
единственной точке x. Рассмотрим задачу поиска точ- J J r ,
* зультатов о скорости сходимости этих алгоритмов (см.
ки глобального минимума x* с заданной точностью е. [3,4]). Теоретическое исследование скорости сходимо-
сти некоторых алгоритмов марковского поиска экстремума выполнено в работах [6-11]. Данная работа является продолжением работ [6-12] и посвящена теоретическому исследованию скорости сходимости однородного марковского монотонного случайного поиска.
Назовем пространством оптимизации множество оптимизации X, снабженное метрикой р . Мы ограничимся случаем X = Rd, J-мерной мерой Лебега mes и следующими вариантами метрик р(х, у) для Rd :
Ру (x у) = IZ| xn - Уп |У
ч1/у
рш (х у) = max| хп - Уп L
1<n<d
где у > 1 — любое фиксированное число,
х = (хр...,хй) и у = (ур...,уй). Замкнутый шар радиуса г с центром в точке х обозначим Вг (х) =
= {уеКй :р(х,у)<г}.
В дальнейшем всегда будет предполагаться, что целевая функция f: Яй ^ Я измерима и удовлетворяет ряду условий.
Условие 1. Функция / принимает минимальное значение в единственной точке х*.
Условие 2. Функция/непрерывна в точке х*.
Условие 3. Неравенство (х): хгВг (х*)}> /(х*)
верно для любого г > 0 .
Отметим, что функции указанного класса могут быть многоэкстремальными в любой окрестности глобального минимума. Еще одно условие на целевую функцию / будет введено ниже.
Случайным поиском называется произвольная последовательность случайных величин {5п}п>0 со
значениями в . Следуя [3], приведем общую схему моделирования однородного марковского монотонного случайного поиска.
Алгоритм 1
Шаг 1. 50 ^ х, п ^ 1.
Шаг 2. ^ ^ рЙп-Р •).
Шаг 3. Если /(цп) < /(5п-1), то 5п ^цп, иначе
I 1.
~п ~п-1
Шаг 4. п ^ п +1 и перейти к шагу 2.
Здесь х — начальная точка поиска. Обозначение « ^п ^ Р(5п-1, •) » читается как «получить реализацию
случайной величины ^п с распределением Р(5п-1, •)». В соответствии со структурой алгоритма 1 распределение Р(5п-1, •) будем называть пробной переходной
функцией. Отметим, что введенный случайный поиск является монотонным в том смысле, что неравенства /(5п ) < /(5п-1) выполняются при всех п > 1.
При отыскании точки минимума х* с заданной точностью е > 0 нас должно интересовать попадание поиска в шар Ве (х*). Может, однако, случиться так, что поиск, оказавшись в Ве (х*) на шаге п, выйдет из В (х*) на одном из последующих шагов. Чтобы из-
бежать анализа таких эффектов, введем множества М(е) = {х е Ве (х*): /(х) < /(у) для любого у г Ве (х*)}. Монотонный поиск, попав в множество М (е), из него больше не выйдет. Поэтому мы будем изучать момент попадания поиска в множество М(е), где е сохраняет смысл требуемой точности поиска.
Нам потребуется еще одно ограничение на поведение целевой функции /
Условие 4. и г>0 М(г) = Яй.
Условие 4 гарантирует попадание любой начальной точки поиска в множество М (г) при некотором г. В силу своей монотонности поиск не может покинуть множество М (г) и, значит, не может неограниченно удаляться от точки х*. Далее всегда будем полагать, что рассматриваемые целевые функции удовлетворяют условиям 1-4. Подробнее наложенные на / ограничения обсуждаются в [3,7].
2. Трудоемкость случайного поиска
Рассмотрим задачу поиска точки глобального минимума х* с заданной точностью е > 0. Для решения этой задачи воспользуемся однородным марковским случайным поиском алгоритма 1 с начальной
точкой х е
к й
и пробной переходной функцией Р. Выберем параметры оценки трудоемкости {гк }п=-ш так, чтобы гп = е, гк < гк-1 при всех к < п, гк ^ +го при к ^-го. Для краткости обозначим Мк = М(гк), положим тк = тш{т > 0:5т еМк} и t(x) = sup{k: х еМк}.
Распределение случайной величины Тп дает нам достаточно полную информацию о качестве случайного поиска. Действительно, обычно предполагается, что для моделирования распределения Р не требуется вычислений функции / Тем самым на каждой итерации алгоритма 1 происходит ровно одно вычисление целевой функции. Таким образом, при выполнении тп шагов поиска значения функции / вычисляются тп +1 раз. Трудоемкость случайного поиска определяется через Етп и имеет смысл среднего числа шагов поиска до достижения им множества М (е).
Справедлива следующая теорема.
Теорема 1. Пусть целевая функция /: Яй ^ Я удовлетворяет условиям 1-4. Рассмотрим однородный марковский случайный поиск алгоритма 1 с начальной точкой х е
к й
и пробной переходной функцией Р. Пусть t = ^х) < п, и при всех t < 1 < к < п для чисел и(у, к) выполняются неравенства 0<и(1,к)<шДР(у,Мк):уеМ}. Пусть, кроме того, и(к-1,к) > 0 при t <к < п и и(1,к) > и(1-1,к) при t < 1 < к < п . Тогда система линейных уравнений
1
1
к-1 V
~к- а м л ' п 1П ^ (и(1,к) - и(у-1,к))хР (1)
к и(к -1, к) и (к -1, к) у“ 1
где t < к < п , имеет единственное решение хм ,..., хп , и при этом верны неравенства Етк < хк.
Результаты теоремы 1 показывают, что величина хп является оценкой трудоемкости случайного поиска.
Рассмотрим однородный марковский случайный поиск, пробная переходная функция которого обладает симметричной плотностью вида р(х, у) = g(р(x, у)), где р — метрика, а g — невозрастающая функция, определенная на полуоси (0,+го). Тогда в качестве и(у,к) мы можем использовать величины и(1,к) = mes(Mk)g(Гj + гу+1). Отметим, что для таких и( 1, к) выполняются неравенства и(1, к) > и(1 -1, к). В силу условий 1-4, наложенных на целевую функцию, mes(Mk) > 0. Поэтому для положительности и (к -1, к) при t < к < п достаточно положительности g(гt + г+1).
Рассмотрим теперь случаи, когда решение системы линейных уравнений (1) записывается в виде достаточно простой формулы.
Теорема 2. Пусть выполнены условия теоремы 1.
1. Пусть и( 1,к) = w(l)v(k) > 0 при 1 < к. Тогда решение системы (1) принимает вид
1 ^ 1 ( 1 1 1
х, =--------+ -1------------I. (2)
w(t)v(t) 1=-+1 w(j -1) I v(j) v(j-1))
2. Пусть и( 1, к) = 0 при 1 < к - 2. Тогда решение системы (1) принимает вид
-Z
J-t+\
1
u( j -1, j)
3. Пусть величины V = и(к -1, к) не зависят от к, и пусть и( 1, к) = 0 при 1 < к - 2. Тогда решение системы (1) принимает вид
k—t
x,, =-
4. Пусть величины V = и (к -1, к) и w = и (к - 2, к) не зависят от к, и пусть и( 1, к) = 0 при
1 < к - 3 . Тогда решение системы (1) принимает вид
k — t
w
1 -
- w v
k—A
V + w (V + w)
Из оценки трудоемкости (2) следует оценка J работы [8]. Таким образом, оценки теорем 1 и 2 являются обобщением полученных ранее результатов. Они позволяют получить оценку трудоемкости работы [8] в качестве частного случая оценок теорем 1 и 2. Кроме того, оценки теорем 1 и 2 позволяют получить новые варианты оценок трудоемкости случайного поиска.
Отметим, что с помощью полученной оценки трудоемкости в работе [8] построены быстрые варианты
поиска, трудоемкость которого имеет вид 0(1п2 е). Для сравнения отметим, что для методов стохастической глобальной оптимизации (см., напр., [3]) типичным результатом является гораздо более худшая — степенная (т. е. 0(1/еа) при а > 0) зависимость требуемого числа вычислений целевой функции от е. Таким образом, оценки теорем 1 и 2 позволяют получать быстрые методы стохастической глобальной оптимизации.
1. Ермаков С.М., Жиглявский А.А. О случайном поиске
глобального экстремума // Теория вероятностей и ее
применения. 1983. №1. С.129-136.
2. Ермаков С.М., Жиглявский А.А., Кондратович М.В. О
сравнении некоторых процедур случайного поиска глобального экстремума // Журн. вычисл. математики и мат. физики. 1989. Т.29. №2. С.163-170.
3. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Berlin: Springer-Verlag. 2008. 262 p.
4. Spall J.C. Introduction to stochastic search and optimization: estimation, simulation, and control. Wiley, New Jersey. 2003. 618 p.
5. Лопатин А.С. Метод отжига // Стохастическая оптимиза-
ция в информатике. 2005. Вып.1. С.133-149.
6. Nekrutkin V.V., Tikhomirov A.S. Speed of convergence as a function of given accuracy for random search methods // Acta Appl. Math. 1993. V.33. P.89-108.
7. Тихомиров А.С., Некруткин В.В. Марковский монотонный поиск экстремума. Обзор некоторых теоретических результатов // Мат. модели. Теория и приложения. Вып.4. СПб.: ВВМ, 2004. С.3-47.
8. Тихомиров А.С. О быстрых алгоритмах случайного поиска экстремума // Вестник НовГУ. Сер.: Техн. науки. 2005. №34. С.90-95.
9. Тихомиров А.С. Об однородном марковском монотонном поиске экстремума // Журн. вычисл. математики и мат. физики. 2006. Т.46. №3. С.379-394.
10. Tikhomirov A., Stojunina T., Nekrutkin V. Monotonous random search on a torus: Integral upper bounds for the complexity // J. of Statistical Planning and Inference. 2007. V.137. Issue 12. P.4031-4047.
11. Тихомиров А.С. Нижние оценки скорости сходимости марковского симметричного случайного поиска // Журн. вычисл. математики и мат. физики. 2011. Т.51. №9. С.1630-1644.
12. Тихомиров А.С. Об одном алгоритме однородного марковского монотонного поиска экстремума // Вестник НовГУ. Сер.: Техн. науки. 2010. №55. С.31-33.
1.
Bibliography (Transliterated)
Ermakov S.M., Zhigljavskijj A.A. O sluchajjnom poiske global'nogo ehkstremuma // Teorija verojatnostejj i ee primenenija. 1983. №1. S.129-136.
2. Ermakov S.M., Zhigljavskijj A.A., Kondratovich M.V. O sravnenii nekotorykh procedur sluchajjnogo poiska global'nogo ehkstremuma // Zhurn. vychisl. matematiki i mat. fiziki. 1989. T.29. №2. S.163-170.
3. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Berlin: Springer-Verlag. 2008. 262 p.
4. Spall J.C. Introduction to stochastic search and optimization: estimation, simulation, and control. Wiley, New Jersey. 2003. 618 p.
5. Lopatin A.S. Metod otzhiga // Stokhasticheskaja optimizacija v informatike. 2005. Vyp.1. S.133-149.
6. Nekrutkin V.V., Tikhomirov A.S. Speed of convergence as a function of given accuracy for random search methods // Acta Appl. Math. 1993. V.33. P.89-108.
7. Tikhomirov A.S., Nekrutkin V.V. Markovskijj monotonnyjj poisk ehkstremuma. Obzor nekotorykh teoreticheskikh rezul'tatov // Mat. modeli. Teorija i prilozhenija. Vyp.4. SPb.: VVM, 2004. S.3-47.
8. Tikhomirov A.S. O bystrykh algoritmakh sluchajjnogo poiska ehkstremuma // Vestnik NovGU. Ser.: Tekhn. nauki. 2005. №34. S.90-95.
9. Tikhomirov A.S. Ob odnorodnom markovskom monotonnom poiske ehkstremuma // Zhurn. vychisl. matematiki i mat. fiziki. 2006. T.46. №3. S.379-394.
10. Tikhomirov A., Stojunina T., Nekrutkin V. Monotonous random search on a torus: Integral upper bounds for the complexity // J. of Statistical Planning and Inference. 2007. V.137. Issue 12. P.4031-4047.
11. Tikhomirov A.S. Nizhnie ocenki skorosti skhodimosti mark-ovskogo simmetrichnogo sluchajjnogo poiska // Zhurn. vy-chisl. matematiki i mat. fiziki. 2011. T.51. №9. S.1630-1644.
12. Tikhomirov A.S. Ob odnom algoritme odnorodnogo mar-kovskogo monotonnogo poiska ehkstremuma // Vestnik NovGU. Ser.: Tekhn. nauki. 2010. №55. S.31-33.
X
