CC BY
38
О СКОРОСТИ СХОДИМОСТИ ОДНОГО АЛГОРИТМА МАРКОВСКОГО НЕОДНОРОДНОГО ПОИСКА ЭКСТРЕМУМА
А. С. Тихомиров
Новгородский государственный университет, канд. физ.-мат. наук, доцент, [email protected]
1. Введение. Пусть целевая функция f: X ^ R (где, например, X = Rd) принимает минимальное значение в единственной точке x*. Рассмотрим задачу поиска точки глобального минимума x* с заданной точностью е (аппроксимация «по аргументу»). Один из способов решения этой задачи состоит в применении алгоритмов случайного поиска экстремума функции (см. [1-11]). Такие методы давно и успешно используются при решении сложных задач оптимизации. Тем не менее, теоретических результатов о скорости сходимости этих алгоритмов мало. Существенное отставание теории глобального случайного поиска от потребностей практики отмечено в [3] (где, в частности, написано, что «теория глобальной оптимизации еще не выросла из детского возраста» [13, с. 17]). Это отставание ясно видно по работе [8], в которой методы стохастической оптимизации сравниваются по теоретическим оценкам скорости сходимости и хорошо видно, как мало таких оценок. Нехватка таких оценок ясно показана в книге [4], представляющей обзор современного состояния стохастической глобальной оптимизации. Данная работа посвящена теоретическому исследованию скорости сходимости одного из алгоритмов марковского случайного поиска экстремума.
В качестве характеристики скорости сходимости алгоритма используем число вычислений целевой функции, требуемое для достижения заданной точности е решения задачи. Подробнее данная характеристика обсуждается в [7, с. 13].
Значительное внимание в данной работе уделено порядку роста числа вычислений целевой функции, требуемого для достижения заданной точности е решения задачи, при стремлении е к нулю. Такой упрощенный подход объясняется тем, что теоретическое исследование скорости сходимости алгоритмов стохастической глобальной оптимизации оказалось сложной задачей. Важным различием в задачах поиска экстремума функции является различие между задачами глобальной и локальной оптимизации (см., например, [4, с. 8] и [7, с. 6]). Теория локальной оптимизации хорошо развита, и здесь получены точные оценки скорости сходимости для широкого класса методов локальной оптимизации (см., например, [12]). Причем эти оценки демонстрируют высокую скорость сходимости. В теории стохастической глобальной оптимизации ситуация совершенно иная. Здесь точные оценки скорости сходимости получены только для очень простых и медленных методов вроде «чистого случайного поиска» (т. е. простейшего алгоритма случайного бросания точек в множество оптимизации, см. [4, с. 38] или [7, с. 37]). Оценки скорости сходимости более сложных методов стохастической глобальной оптимизации есть далеко не всегда. Имеющиеся же оценки часто или носят асимптотический характер, или являются очень неточными. Причем эти оценки, как правило, показывают медленную скорость сходимости (см., например, [3-8]). Яркой иллюстрацией подобной ситуации могут служить известные теоретические оценки скорости сходимости знаменитого алгоритма simulated annealed А. С. Тихомиров, 2011
(см. [4, 6-8]). Поэтому большое внимание мы уделим изучению порядка скорости сходимости.
Для построения быстрого алгоритма поиска на целевую функцию необходимо наложить некоторые ограничения [3, с. 11]. В работе получены «асимптотически быстрые» алгоритмы оптимизации «невырожденных» целевых функций.
Метод оптимизации будем называть «асимптотически быстрым», если число вычислений целевой функции, требуемое для достижения заданной точности е решения задачи, имеет медленный (логарифмический) порядок роста при стремлении е к нулю (т. е. 0(\ 1пе\а) при а > 0). Метод оптимизации назовем «асимптотически медленным», если он имеет гораздо более худшую — степенную (т. е. 0(1/еа) при а> 0) зависимость требуемого числа вычислений целевой функции от е.
По известным теоретическим оценкам скорости сходимости (см., например, [3-8]) алгоритмы стохастической глобальной оптимизации, как правило, являются асимптотически медленными методами. В частности, для «чистого случайного поиска» зависимость требуемого числа вычислений целевой функции от е имеет вид 0(1/е^), где ! — размерность пространства оптимизации.
В данной работе исследуется простой вариант марковского неоднородного поиска экстремума, пробными переходными функциями которого служат равномерные распределения в шарах. В теореме 4 получена оценка снизу вероятности «успеха» для рассматриваемого варианта поиска. Далее оценка теоремы 4 используется для построения быстрого варианта поиска (теорема 5 и следствие 1). Показано, что если целевая функция является невырожденной, то число ее вычислений, необходимое для достижения требуемой точности е решения задачи (гарантирующее число шагов), имеет вид 0(\ 1п е\ 1п \ 1п е\). В теореме 6 и следствиях 2 и 3 аналогичные результаты получены для трудоемкости случайного поиска (среднего числа вычислений целевой функции до попадания поиска в е-окрестность экстремума). Скорость сходимости полученных вариантов поиска сравнима по порядку зависимости от е с быстрыми методами локальной оптимизации. В частности, методу наискорейшего спуска (при гораздо более строгих ограничениях на целевую функцию) требуется 0(\ 1пе\) итераций алгоритма для достижения требуемой точности е решения задачи (см. [12]).
Отметим, что подобный подход к исследованию случайного поиска использовался в работе [5]. При этом из-за невысокой точности оценок [5] наилучший результат достигался для простейшего «чистого случайного поиска», использующего равномерное распределение. В нашей задаче применение оценок [5] приводит к трудоемкости вида 0(1/е^).
Асимптотически быстрые алгоритмы марковского случайного поиска построены в работах [13-16]. Основное внимание в этих работах уделено исследованию однородного марковского случайного поиска. Удалось построить такие варианты однородного поиска, для которых требуемое число вычислений целевой функции, необходимое для достижения заданной точности е решения задачи, имеет вид 0(1п2 е). Асимптотически быстрые алгоритмы неоднородного марковского случайного поиска представлены в [13] и [14]. Данная работа улучшает и дополняет результаты, изложенные в [13] и [14], а полученные оценки скорости сходимости точнее.
Отметим также, что похожие методы поиска давно и успешно используются при решении сложных задач оптимизации (см. [10]).
2. Постановка задачи. Назовем пространством оптимизации множество оптимизации X, снабженное метрикой р. Пусть ц — мера на ст-алгебре борелевских подмножеств X. Замкнутый шар радиуса г с центром в точке х обозначим как
Br(x) = {y € X : p(x,y) ^ г}. Положим Г = diamX. Везде в дальнейшем будем считать, что выполнены следующие условия.
Условие а. 0 < /л(Вг( x)) < +<Х) для всех x € X и любого 0 < г < + ТО.
Условие б. ц(Вг(x)) = ц(Вг(у)) для всех x,y € X и любого 0 ^ г < +то.
Таким образом, при г ^ 0 можно ввести функцию у>(г) равенством у>(г) = н(Вг( x)). Функция у>, очевидно, не зависит от x и является монотонно неубывающей.
Основным практическим примером таких метрических пространств будет, конечно, евклидово пространство Rd с какой-либо «обычной» метрикой р и мерой Лебега ц. Другой пример метрического пространства, удовлетворяющего введенным ограничениям, рассмотрен далее в разделе 5.
В дальнейшем всегда будет предполагаться, что целевая функция f: X ^ R ограничена снизу, измерима и удовлетворяет ряду условий.
Условие 1. Функция f принимает минимальное значение в единственной точке x* = argmin{f (x) : x € X}.
Условие 2. Функция f непрерывна в точке x*.
Условие 3. Неравенство inf{f (x) : x € ВС(x*)} > f (x*) верно для любого г > 0.
Здесь через Ac обозначено дополнение множества A в пространстве X (т. е. Ac = X \ A). Отметим, что функции указанного класса могут быть многоэкстремальными в любой окрестности глобального минимума. Еще одно условие на целевую функцию f и определение невырожденности f будут введены ниже. Ограничения, наложенные на целевую функцию, а также характеристика поведения целевой функции (коэффициент асимметрии) обсуждаются в [4, 13-15].
Опишем исследуемый марковский монотонный случайный поиск {£i}i^0 с помощью алгоритма моделирования (подробнее см. [4, с. 122], [14, 15]).
Алгоритм 1
Шаг 1. £0 ^ x; i ^ 1.
Шаг 2. Zi ^ Pi(6-1, •).
Шаг 3. Если f (Zi) < f (£—1), то £ ^ Zi, иначе £ ^ £—1.
Шаг 4. Если i < N, то i ^ i +1 и перейти к шагу 2, иначе — STOP.
Здесь x — начальная точка поиска, N — число шагов поиска. Обозначение «Zi ^ Pi (£—1, •)» читается как «получить реализацию случайной величины Zi с распределением Pi(£i-i, •) ». Распределение Pi(£i-i, •) зависит от номера шага i и «старой» точки поиска £i-1. В соответствии со структурой алгоритма 1 распределения Pi(x, •) будем называть пробными переходными функциями.
Введенный случайный поиск является монотонным в том смысле, что неравенства f (£i) ^ f (£i-1) выполняются при всех i > 0.
Ниже для вероятностей событий и математических ожиданий случайных величин, связанных со случайным поиском алгоритма 1, начинающимся в точке x € X, используются обозначения Рх и Ex.
Далее будем рассматривать марковский монотонный поиск, пробные переходные функции которого обладают симметричными плотностями pi (x,y) вида
Vi(x,y)= 9i(p(x,y)), (1)
где р — метрика, а gi — невозрастающие неотрицательные функции. Функцию gi будем называть формой переходной плотности pi, а также формой распределения Pi. Не умаляя общности, будем считать, что функции gi непрерывны слева.
Простейшим таким распределением является равномерное распределение иа(х, ■) в шаре Ва(х) радиуса 0 < а ^ Г с центром в точке х € X:
Марковский монотонный поиск, пробные переходные функции которого обладают симметричными плотностями вида (1), будем называть марковским монотонным симметричным случайным поиском.
Случайный поиск используем для отыскания точки минимума х* с заданной точностью е (аппроксимация «по аргументу»). При аппроксимации по аргументу нас должно интересовать попадание поиска в шар В£(х*). Может, однако, случиться так, что поиск, оказавшись в Ве(х*) на шаге г, выйдет из В£(х*) на одном из последующих шагов. Чтобы избежать анализа таких эффектов, введем множества
Монотонный поиск, попав в множество Мг, из него больше не выйдет. Поэтому мы будем изучать момент попадания поиска в множество Ме, где е сохраняет смысл требуемой точности поиска. Соответственно мерой близости точки х к х* оказывается не расстояние р(х,х*), а число
Это условие гарантирует конечность 6(х) для любой начальной точки поиска х. Отметим также, что х € М$(х).
В задачах глобальной оптимизации очень важно учитывать свойства целевой функции ]. Во-первых, от свойств функции f зависит скорость сходимости случайного поиска к точке экстремума (и оценки этой скорости). Во-вторых, некоторые заранее известные характеристики целевой функции могут использоваться в качестве априорной информации при построении поиска. Ниже вся используемая информация
о целевой функции ] будет содержаться в виде коэффициента асимметрии
Подчеркнем, что асимптотически быстрые алгоритмы поиска построены в данной работе только для невырожденных целевых функций.
Положим N = в алгоритме 1 и обозначим через тЕ = тіп{ і ^ 0 : Є МЕ}
момент первого попадания поиска в множество МЕ. Как правило, предполагается,
при 0 < г ^ а, при г > а.
(2)
Мг = {х Є Вг(ж*) : /(х) < /(у) Уу Є ВС(х*)}.
3(х) = іМ{г ^ 0 : х Є Мг}.
Нам потребуется еще одно ограничение на поведение целевой функции ]. Условие 4. У Мг = X.
Г>0
Иногда вместо ¥ $ (г) удобно иметь дело с функцией ш? (г) = т(г) = ц(Мг). Функция ш? (г) называется функцией асимметрии целевой функции /.
что для моделирования распределений Р. не требуется вычислений функции ]. Тем самым, на каждой итерации £—1 ^ алгоритма 1 происходит ровно одно вычисление целевой функции. Поэтому при выполнении те шагов алгоритма 1 значения функции / вычисляются те + 1 раз. Кроме того, Рж(те ^ г) = Рж(£. € Ме).
Мы рассмотрим две характеристики скорости сходимости случайного поиска. Трудоемкость случайного поиска определяется как Еж те и имеет смысл среднего числа шагов поиска до достижения им множества Ме. Гарантирующее число шагов N(х,/,£,7) определяется как такое минимальное число шагов поиска, при котором достижение множества Ме гарантировано с вероятностью, не меньшей, чем 7. То есть N(х, £, 7) = шт{г > 0 : Рж(& € Ме) > 7} = шт{г > 0 : Рж(те < г) > 7}.
3. Вспомогательные результаты. Утверждения этого раздела носят вспомогательный характер и используются при получении оценок скорости сходимости. Пусть целевая функция ] удовлетворяет условиям 1-4. Рассмотрим марковский монотонный симметричный случайный поиск алгоритма 1, пробные переходные функции которого обладают задаваемой формулой (1) симметричной плотностью.
Пусть х — начальная точка поиска, V € М, 0 < ти < ... < го, 6(х) ^ го. При
1 ^ г ^ V обозначим а. = шт{г—1 + г., Г}, М. = Мг^ и т. = т(г.).
Доказательство следующего утверждения сразу следует из леммы 1 статьи [15] и замечания 2.1 статьи [16].
Лемма 1. Рассмотрим марковский монотонный симметричный случайный поиск алгоритма 1, пробные переходные функции которого обладают задаваемыми формулой (1) симметричными плотностями. Пусть 1 ^ к ^ V. Тогда при всех в ^ 1 справедливы неравенства
Рж(£я € МК) ^ (1 - ткдя(ак)) Рж (£я_1 € МК)+
К — 1
+ тк ^2(д8(ат) - дь(а.)) Рж(£8_1 € Мс). (3)
.= 1
Используя неравенство (3) леммы 1, получим оценку сверху вероятности «неудачи» Рж(£8 € Мск) для рассматриваемого случайного поиска. Обозначим эту оценку 0(в, к).
Лемма 2. Пусть 0(0, к) = 1 при 1 ^ к ^ V и
К — 1
0(в, к) = (1 - ткд5(ак))0(в - 1,к) + тк ^(д8(а.+ 1) - д8(а.))0(в - 1, г) (4)
.= 1
при в ^ 1 и 1 ^ к ^ V. Тогда для описанного случайного поиска верны следующие утверждения.
1. При в ^ 0 и 1 ^ к ^ V справедливо неравенство Рж(£8 € Мск) ^ 0(в, к).
2. При в ^ 0 и 1 ^ к ^ V - 1 справедливо неравенство 0(в, к) ^ 0(в, к + 1).
3. Пусть для функций асимметрии т(1) и т(2) неравенство т(1) ^ т(2) справедливо при всех г. Пусть величины 0(1) и 0(2) определяются с использованием т(1) и т(2) соответственно. Тогда при всех в ^ 0 и 1 ^ к ^ V выполняются неравенства 0(2)(в,к) ^ 0(1)(в,к).
Доказательство. Неравенство пункта 1 сразу следует из леммы 1 и определения функции С. Неравенства пунктов 2 и 3 легко следует из вида формулы (4). □
Далее будем исследовать величину Ь(в,к) = 1 - 0(в,к), являющуюся оценкой снизу вероятности «успеха» Рж(£я € Мк).
4. Исследование простого поиска. Полное исследование семейства неоднородных поисков алгоритма 1 является сложной задачей просто потому, что трудно конструктивно описать все отклонения марковской цепи {£.}г^о от однородности. Поэтому приходится изучать лишь некоторые классы неоднородных поисков. Один такой класс, пробными переходными функциями которого служат равномерные распределения в шарах, представлен в данном разделе.
В [14] и [17] показано, что равномерные распределения в шарах, служащие пробными переходными функциями поиска, являются достаточными для решения некоторых задач, связанных с гарантирующим числом шагов. А именно, рассмотрим неоднородный марковский монотонный симметричный случайный поиск с начальной точкой х € X и пробными переходными функциями Р., обладающими симметричными плотностями вида (1). Пусть нашей целью является попадание поиска в множество Ме с вероятностью 7. Поставим вопрос: можно ли заменить пробные переходные функции Р. на некоторые «простые» переходные функции так, чтобы для нового поиска гарантирующее число шагов не увеличилось? Оказывается (см. [14, 17]), это возможно, если в качестве «простых» переходных функций рассматривать равномерные распределения в шарах всевозможных радиусов.
Итак, ограничимся рассмотрением простого неоднородного поиска, пробными переходными функциями которого служат равномерные распределения в шарах. Пусть х — начальная точка поиска, V € М, 0 < ги < ... < го, б(х) ^ го. Пусть а1 = шш{го + г1, Г}, aj = г^_1 + г^ < Г при 2 ^ ^ V. Пусть Н1,...,п1/ € М,
К
Nк = 5^ п. при 1 ^ к ^ V, Щ = 0.
.=1
Рассмотрим класс поисков алгоритма 1, для которых число шагов равно , а пробные переходные функции имеют вид Р8 = иа6 при N—1 < в ^ Nj .
Числа v,nj,aj являются параметрами метода. Здесь V — число «этапов» поиска, а п — число шагов на ]-м этапе, причем радиусы aj шаров, соответствующих переходным функциям иа6, постоянны для всех шагов одного этапа.
Используя формулу (2) легко упростить выражения для вычисления L(Nj,к). Для краткости обозначим y>j = ) и mj = m(гj).
Лемма 3. Для описанного случайного поиска верны следующие соотношения.
( )£
1. При 1 ^ ^ П1 и 1 ^ к ^ V справедлива формула Ь(£, к) = 1 - (1 - тк/ф1) .
2. Пусть ] ^ 2 и 1 ^ ^ щ. Тогда при к ^ ] справедлива формула
L(Nj_l + £,к)= L(Nj_l,к)(1 - mк|^£j) + Ь(^_1^ - 1) ^ - (1 - mк|lPj) ^ . (5)
При к < ] справедлива формула L(Nj_l + £, к) = L(Nj_l, к).
Формула (5) носит итерационный характер (она выражает значение L на следующем этапе поиска через значение L на предыдущем этапе). Поэтому получим простую неитерационную оценку снизу величин L(Nj,к). При 1 ^ к ^ V обозначим S(Nl, к) = 1 - (1 - тк/^1)П1. При 2 ^ ^ к ^ V положим
S(Nj, к) = S(Nj_l,j - 1)^1 - (1 - тк|т^-_1 )(1 - mк|^j)”^ .
Предложение 1. При 1 ^ ^ ^ к ^ V верно неравенство L(Nj, к) ^ S(Nj, к).
Доказательство. Несложно показать, что при 1 ^ ^ к ^ V справедливо неравен-
ство S(Nj, к) ^ S(Nj,j)mк|mj. Используя это неравенство и применяя индукцию по j, получаем нужное утверждение. □
Применяя леммы 2, 3 и предложение 1, приходим к следующему утверждению.
Теорема 4. Для описанного случайного поиска верно неравенство
^•МЧ‘-*ЛйИ‘-*)(‘-*Л- (6)
Отметим, что в силу пункта 3 леммы 2 оценка (6) теоремы 4 останется справедливой при замене значений mj функции асимметрии т на их оценки снизу.
5. Выбор параметров простого поиска. В этом разделе мы рассмотрим пример выбора параметров простого неоднородного поиска предыдущего раздела с использованием оценки (6) теоремы 4. В качестве пространства оптимизации рассмотрим множество X = = [0,1)^ с мерой Лебега л и метрикой
р(х, у) = рж(х,у) = тах шт{\х. - у.\, 1 -\х. - у.\\, (7)
где х = (х1 ,...,ха) и у = (у1,...,у4). Здесь Г = ё1атX = 1|2 и ^(г) = 2^г^ при
0 ^ г ^ Г. Для метрики (7) пространство (1^, р) топологически является ^-мерным тором. Выбранное пространство оптимизации подробнее обсуждается в [4, с. 123] и [14].
Рассмотрим целевую функцию / с коэффициентом асимметрии Г ?. Пусть Г * — (положительная) оценка снизу коэффициента асимметрии: Г?(г) ^ Г*(г) > 0.
Пусть 0 < е ^ Г|2 и 0 < ^ < 1 (число 7 будем называть на,дежностью). Выберем параметры поиска таким образом, чтобы гарантировать выполнение неравенства
Рж (Ы„ € Ме) > 7.
Зафиксируем число д € (0,1) (число д будем называть коэффициентом сжатия) и зададим числа Я, Гj, aj, V следующим образом:
Я = Г|(1 + ц), го = Г, = Яд3 и aj = (1 + 1|д)гj при j ^ 1, V = шт^ : Гj ^ е}. (8)
Отметим, что а1 = Г, aj = гз + г3_1 при j ^ 2 и V = |"1п(е|Я)| 1п д]. Отметим также, что де < ги ^ е, а радиусы шаров гз и аз образуют геометрические прогрессии со знаменателем д. Обозначим Г* = Г*(г3-) и положим
П1 = [1п(1 - 717")/ 1п(1 - F*|(1 + 1|д)d^ , (9)
пз = |~1п((1 - 717")/(1 - qdF*|F*_l^/ 1п(1 - Гз*|(1 + 1|д)^] при 2 < j < V. (10)
Для поиска с указанными значениями параметров справедлива следующая теорема.
Теорема 5. Пусть х € ^, 0 < е < Г|2, 0 < ^ < 1, 0 < д < 1, числа V, гз, аз, пз определяются формулами (8), (9), (10) соответственно. Тогда для описанного поиска верно нера,венство Рж (£ми € Ме) ^ 7.
Доказательство. Обозначим m* = F*^(r j). Воспользуемся неравенством (6) теоремы 4 и последующим замечанием об использовании оценки функции асимметрии. Несложно показать, что при указанном выборе параметров верны неравенства
‘-(‘-и) ,"(,"^r)(,"w) *у" при2«^^
Кроме того, rv ^ е. Применяя (6), получаем неравенство Vx(£nv £ М£) ^7. □
В условиях теоремы 5 число шагов Nv является оценкой сверху гарантирующего числа шагов случайного поиска для точности е и надежности 7.
Подчеркнем, что введенные в (9) и (10) параметры поиска зависят от значений F*, то есть от априорной информации.
Пусть целевая функция f является невырожденной и выполняется неравенство F*(r) ^ const > 0. Определим порядок зависимости от е числа шагов Nv.
Следствие 1. Пусть целевая функция f является невырожденной и выполняется неравенство F*(r) ^ const > 0. Тогда в условиях теоремы 5 верно соотношение Nv = 0(| lnе\ ln | lnе|).
Доказательство. Определим порядок зависимости от е величины \ ln(1 — 71/v)|. Используя неравенства x — x2/2 ^ 1 — e-x ^ x, справедливые при x ^ 0, получаем неравенства | ln(1 — y1/v)| > ln v — ln | ln y| и | ln(1 — 7l/v)| ^ ln v — ln | ln71 —ln(1 — | ln7|/2v). Используя формулы (9) и (10) и учитывая, что v = |"ln(e/R)/lnq\, получаем нужное соотношение. □
6. Трудоемкость случайного поиска. Результаты теорем 4 и 5 относятся к гарантирующему числу шагов, так как в них рассматривается конечное число шагов случайного поиска. Здесь на основе этих конечных поисков построим бесконечные случайные поиски. При этом, в случае теоремы 5, трудоемкость такого бесконечного поиска имеет тот же порядок роста при е ^ 0, что и число шагов Nv поиска теоремы 5.
Мы будем назвать случайный поиск периодическим, если для некоторого £ ^ 1 переходные функции Pi поиска удовлетворяют равенству Pi = Pi+((—i) modе) при
i > £, где j mod £ означает остаток от деления числа j на £. Число £ будем называть периодом поиска.
Итак, мы рассмотрим марковский монотонный случайный поиск, начинающийся в точке x и устроенный следующим образом.
1. При i = 1,..., Nv переходные функции Pi совпадают с переходными функциями случайного поиска теоремы 4.
2. Поиск является периодическим с периодом Nv.
Теорема 6. Для трудоемкости периодического продолжения поиска теоремы 4 с периодом Nv справедливо неравенство
Доказательство. Обозначим через в оценку теоремы 4 (правую часть формулы (6)). Положим t = min{« ^ 0 : £knv € }. Учитывая монотонность поиска, при
к € N получим
Таким образом, Ext ^ 1/в. Так как тГи ^ Nut, теорема доказана. □
Следствие 2. Трудоемкость периодического продолжения поиска теоремы 5 с периодом Nv не превосходит Nv/7.
Из следствия 1 вытекает, что (при наличии априорной информации о коэффициенте асимметрии Ff) для невырожденных целевых функций гарантирующее число шагов поиска теоремы 5 и трудоемкость поиска следствия 2 имеют порядок 0(|lne| ln I lnе|).
Если оценка снизу функции Ff неизвестна, мы не можем выбрать параметры nj согласно равенствам (9) и (10). В то же время остальные параметры поиска теоремы 5 от значений оценки F* не зависят. Это наводит на мысль рассмотреть вариант периодического поиска следствия 2, для которого число этапов одного периода v и переходные функции Uaj на каждом этапе те же, что и в следствии 2, а число шагов nj каждого этапа является зависящей от е функцией.
Следствие 3. Пусть целевая функция f является невырожденной. Рассмотрим поиск следствия 2, в котором положим nj = \h(v)lnv\, где h(s) > 0 и h(s) ^ при s ^ +то. Тогда
Ex re = 0(| lnе| ln | lnе| h(\ln(e/R)/lnq\)). (11)
Поскольку функция h может быть выбрана сколь угодно медленно возрастающей, оценка (11) для обсуждаемого поиска, не использующего априорную информацию о функции Ff, оказывается при е ^ 0 лишь немного хуже оценки следствия 2 для поиска, который использует информацию о поведении коэффициента асимметрии F f целевой функции f.
Литература
1. Ермаков С. М., Жиглявский А. А. О случайном поиске глобального экстремума // Теория вероятностей и ее применения. 1983. №1. С. 129-136.
2. Ермаков С. М., Жиглявский А. А., Кондратович М. В. О сравнении некоторых процедур случайного поиска глобального экстремума // Ж. вычисл. матем. и матем. физ. 1989. Т. 29, №2. С. 163-170.
3. Жиглявский А. А., Жилинскас А. Г. Методы поиска глобального экстремума. М.: Наука, 1991.
4. Zhigljavsky A., Zilinskas A. Stochastic global optimization. Ser. Springer Optimization and Its Applications. Vol. 9. Springer-Verlag, Berlin, 2008.
5. Dorea C. Expected number of steps of a random optmization method // J. Optimiz. Theory and Appl. 1983. Vol. 39, N2. P. 165-171.
6. Yin G. Rates of convergence for a class of global stochastic optimization algorithms // SIAM Journal on Optimization. 1999. Vol. 10, N1. P. 99-120.
7. Spall J. C. Introduction to stochastic search and optimization: estimation, simulation, and control. Wiley, New Jersey, 2003.
8. Spall J. C., Hill S. D., Stark D. R. Theoretical framework for comparing several stochastic optimization approaches // Probabilistic and randomized methods for design under uncertainty. Springer-Verlag, London, 2006. P. 99-117.
9. Лопатин А. С. Метод отжига // Стохастическая оптимизация в информатике. 2005. Вып. 1. С. 133-149.
10. Сушков Ю. А. Об одном способе организации случайного поиска // Иссл. операций и статистич. моделирование. Вып. 1. Л.: Изд-во ЛГУ, 1972. С. 180-186.
11. Граничин О. Н., Поляк Б. Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М.: Наука, 2003.
12. Карманов В. Г. Математическое программирование. М.: ФИЗМАТЛИТ, 2000.
13. Nekrutkin V. V., Tikhomirov A. S. Speed of convergence as a function of given accuracy for random search methods // Acta Applicandae Mathematicae. 1993. Vol. 33. P. 89-108.
14. Тихомиров А. С., Некруткин В. В. Марковский монотонный поиск экстремума. Обзор некоторых теоретических результатов // Матем. модели. Теория и прилож. Вып. 4. СПб.: ВВМ, 2004. С. 3-47.
15. Тихомиров А. С. Об однородном марковском монотонном поиске экстремума // Ж. вычисл. матем. и матем. физ. 2006. Т. 46, №3. С. 379-394.
16. Tikhomirov A., Stojunina T., Nekrutkin V. Monotonous random search on a torus: Integral upper bounds for the complexity // Journal of Statistical Planning and Inference. 2007. Vol. 137. Issue 12. P. 4031-4047.
17. Тихомиров А. С. Об оптимальном марковском монотонном симметричном случайном поиске // Ж. вычисл. матем. и матем. физ. 1998. Т. 38, №12. С. 1973-1982.
Статья поступила в редакцию 16 июня 2011 г.
