О скорости сходимости однородного марковского поиска Текст научной статьи по специальности «Математика»

УДК 519.853.4

А.С.Тихомиров

О СКОРОСТИ СХОДИМОСТИ ОДНОРОДНОГО МАРКОВСКОГО ПОИСКА

The multidimensional problem of optimization is simulated by means of the uniform Markov monotonic random search. The intensiveness characteristics and guaranteed step number are investigated. Earlier the author has obtained the upper estimates for them. In this paper, they are made more precise by the below estimates.

Для широкого класса локальных методов оптимизации и регулярных целевых функций (см., например, [1, 2]) число шагов поиска до достижения точности е имеет вид 0(|1п е |). Для методов стохастической глобальной оптимизации (см. [3]) типичным результатом является гораздо более худшая — степенная зависимость ( 0(1/ еt ) при t > 0). В работах [4, 5] представлены такие варианты однородного марковского монотонного симметричного случайного поиска, для которых оценки сверху величин трудоемкости и гарантирующего числа шагов имеют вид О(1п2е).

В представленной работе продолжено исследование описанного в [4, 5] однородного марковского монотонного симметричного случайного поиска.

Случайный поиск

Назовем пространством оптимизации множество оптимизации X, снабженное метрикой р. Мы ограничимся случаем X = Rk и метрикой р(x,y) = рœ (x,y) = max| xt - yt |,

1<i<k

где x = ( x1,..., xk ) и y = (y1,..., yk ). Замкнутый шар обозначим как Sr ( x) =

= {y e Rk : P(x,y) < r}.

В дальнейшем всегда будет предполагаться, что целевая функция f : Rk ^ R ограничена сверху, измерима и принимает максимальное значение в единственной точке x0 = argmax{ f (x) : x e R k }.

Случайным поиском называется произвольная (конечная или бесконечная) последовательность случайных величин {4i }г>0 со значениями в Rk. Если последовательность {4 i U образует марковскую цепь относительно потока с-алгебр с(4 0,..., 4 i ), то поиск называется марковским, а если для любого i > 0 неравенство f (4i ) > f (4i-1) выполняется с вероятностью 1, то поиск является монотонным. Далее будут изучаться марковские монотонные случайные поиски с переходными функциями специального вида. Опишем класс

исследуемых поисков. Обозначив Bx = {y e Rk : f (y) > f (x)}, рассмотрим (вообще говоря, неоднородную) марковскую цепь {4 i }>0 с начальной точкой 4 0 = x и переходными функциями

R, (x, • ) = 5x ( • )Р, (x, BC ) + Р, (x, • П BC ), (1)

где через 5x обозначено распределение, сосредоточенное в точке x, а Всх — дополнение множества Bx. Как обычно, Р{ (x, • ) при любых i и x e Rk является вероятностной мерой, а Р ( •, A) для всех i и любого борелевского множества A является борелевской функцией

в Rk. Очевидно, что Ri (x,Bx) = 1, и, значит, неравенства f (4i) > f (4¿-i) выполняются с вероятностью 1 при всех i > 0.

Запишем алгоритм моделирования n шагов описанного поиска. Обозначение « £ ^ Р( •)» читается как «получить реализацию случайной величины £ с распределением

P ».

Алгоритм

Шаг 1. £ 0 ^ х, i ^ 1.

Шаг 2. n ^ P (£ i_i, •).

Шаг 3. Если f (n) > f (£i_i), то £¡ ^ n, иначе £¡ ^ ^

Шаг 4. Если i < n, то i ^ i +1 и перейти к шагу 2, иначе STOP.

Ниже для вероятностей событий и математических ожиданий случайных величин, связанных со случайным поиском алгоритма, начинающимся в точке х е Rk, используются обозначения Рх и E х.

Далее будем рассматривать однородный марковский монотонный случайный поиск, переходные функции которого определяются формулой (1), причем вероятностные меры Р(х, dy) не зависят от i и обладают симметричной плотностью p(х, y) вида

р{х y) = g (р( х уЖ (2)

где g — невозрастающая неотрицательная функция, определенная на полуоси (0,+то). Легко видеть, что тогда р(х, х + y) = р(0, y) при всех х, y е Rk. Функцию g будем называть формой поиска, а также формой переходной плотности р. Чтобы функция р(х, y), определенная в (2), была плотностью, форма поиска g должна удовлетворять условию нормировки

2kk Jg(r)rk-1 dr = 1. (3)

(0,+»)

Не умаляя общности будем считать, что функция g непрерывна слева.

Далее мы ограничимся формой поиска следующего вида. Пусть h(r) — монотонно невозрастающая строго положительная функция, определенная на полуоси (0,+да) и удовлетворяющая следующим двум условиям: а) h(r)rk а 1 при r а 0, б) h(r)rk-1 суммируема на промежутке [1,+»). Не умаляя общности будем считать, что функция h непрерывна слева.

Зафиксируем а > 0 и положим при е > 0

1 íh(ae) при 0 < r < ае,

ge (r) = Т7Т 1h() (4)

л(е) [h(r) при r > ае, где множитель 1/ Х(е) обеспечивает условие нормировки (3).

Цель и характеристики случайного поиска

Случайный поиск используем для отыскания точки максимума х0 с заданной точностью е > 0 (аппроксимация «по аргументу»). В этом случае нас интересует попадание поиска в шар S е (х0).

Положим в алгоритме n = +да и обозначим

Те = min{i > 0: £г е Se (х0)}.

Мы всегда будем предполагать, что для моделирования распределений Pi не требуется вычислений функции f. Тем самым на каждом шаге £ i_1 a £i алгоритма происходит ровно одно вычисление целевой функции f, и распределение случайной величины те дает нам достаточно полную информацию о качестве случайного поиска. Действительно, при выполнении те шагов алгоритма значения функции f вычисляются те +1 раз.

Мы будем изучать две характеристики скорости сходимости случайного поиска. Трудоемкость случайного поиска определяется как Ехте и имеет смысл среднего числа шагов поиска до достижения им множества £ Е (х0).

Вторая характеристика — гарантирующее число шагов — определяется как такое минимальное число N = N(х, е, у) шагов поиска, при котором достижение множества

£ е (х0) гарантировано с вероятностью, не меньшей у. Иначе говоря,

N(х е Т) = тш{/ > °: Рх г е £е(хо)) > г}

Результаты

Приведенные результаты относятся к изучению зависимости величин Е х те и N(х, е, у) при фиксированных х и у от требуемой точности е, при этом акцент делается на малые значения е. Тем самым исследуются порядки роста Е х те и N (х, е, у) при е а 0.

Конечно, на практике при вычислениях главную роль могут играть константы при соответствующих порядках. Хорошо известно, однако, что теоретическое нахождение этих констант — гораздо более трудная задача, чем определение точных порядков, а даже получение хороших оценок точных порядков в задачах глобальной оптимизации является сложной проблемой.

Полученные в [4, 5] оценки трудоемкости сверху не могут дать лучшую по порядку зависимость от е при малых е, чем 0(1п2 е). Этот наилучший порядок зависимости полученных оценок трудоемкости от е достигается для однородного марковского случайного поиска с формой плотности (4) и невырожденной (см. [4, 5]) целевой функции /. Кроме того, порядки зависимости от е оценок трудоемкости и гарантирующего числа шагов совпадают. При этом представленные в [4, 5] результаты являются именно оценками сверху, и общие утверждения о точности полученных оценок неизвестны. Ниже приводятся оценки этой точности для однородного марковского монотонного симметричного случайного поиска с формой плотности (4).

Теорема. Рассмотрим однородный марковский монотонный симметричный случайный поиск с формой плотности (4). Тогда существуют такие постоянные с1 > 0 и с2, с3, с4, что при е < р( х, х0) выполняются неравенства

р( х, х0)

ExТЕ > c (|lnє| + с2 )| lnl In

■ + Сз I + c

N(X, Є, y) > ycj (ln e| + c2 )| lniln P(X’ X° ^

Vo

• + C3 I + c4 Є , y

(5)

(6)

Неравенства (5) и (6) показывают, что полученные в [4, 5] оценки не далеки по порядку от истинной зависимости Е хтЕ и N(х, є, у) от є при є а 0.

Таким образом, получены оценки трудоемкости и гарантирующего числа шагов снизу.

Є

1. Карманов В.Г. Математическое программирование. М.: Физматлит, 2000. 264 с.

2. Немировский А.С., Юдин Д.Б. Сложность задач и эффективность методов оптимизации. М.: Наука, 1979.

384 с.

3. Жиглявский А.А., Жилинскас А.Г. Методы поиска глобального экстремума. М.: Наука, 1991. 248 с.

4. Nekrntkin V.V., Tikhomirov A.S. // Acta Appl. Math. 1993. V.33. P.89-108.

1. Tikhomirov A.S. // Model-Oriented Data Analysis. Proceedings of the 3rd International Workshop in Petrod-

vorets. Russia. 25-30 May 1992. Heidelberg: Physica-Verlag, 1993. P.249-256.