CC BY
10
УДК 519.853
DOI: 10.18101/2304-5728-2019-4-40-56
МОДИФИКАЦИИ АЛГОРИТМОВ НЕЛОКАЛЬНОГО ОДНОМЕРНОГО ПОИСКА, ОСНОВАННЫЕ НА УСЛОВИИ ГЁЛЬДЕРА1
© Сороковиков Павел Сергеевич
аспирант,
Институт динамики систем и теории управления имени В. М. Матросова СО РАН Россия, 664033, г. Иркутск, ул. Лермонтова, 134 E-mail: sorokovikov.p.s@gmail.com
Задача одномерного поиска глобального минимума невыпуклой функции часто возникает в качестве вспомогательной при решении многомерных оптимизационных задач. В течение множества лет методы нелокальной одномерной оптимизации разрабатывались рядом специалистов из России и стран зарубежья. В статье рассматриваются предложенные модификации алгоритмов нелокального одномерного поиска, основанные на условии Гёльдера. Указанные модификации реализованы в виде библиотеки алгоритмов и интегрированы в рамках единого программного комплекса. Библиотека включает в себя модификации методов Ю. Г. Евтушенко, Р. Г. Стронгина и комбинированный алгоритм, основанный на методах «парабол» и Стронгина. На сформированной автором коллекции тестовых задач произведены многовариантные вычислительные эксперименты сравнения реализованных алгоритмов при различных значениях показателя Гёльдера. Анализ выполненных экспериментов показал, что обобщение алгоритмов на основе условия Гёльдера дает в ряде случаев значительный эффект ускорения перед алгоритмами, основанными на условии Липшица. В ходе тестирования выявлены наиболее предпочтительные значения показателя Гёльдера и лидирующие алгоритмы. Проведенные экспериментальные исследования подтвердили пригодность реализованных модификаций для поиска глобального минимума невыпуклой функции одной переменной.
Ключевые слова: нелокальный одномерный поиск; условие Гёльдера; метод Евтушенко; метод Стронгина; глобальный минимум; библиотека алгоритмов; программная реализация.
Для цитирования:
Сороковиков П. С. Модификации алгоритмов нелокального одномерного поиска, основанные на условии Гёльдера // Вестник Бурятского государственного университета. Математика, информатика. 2019. № 4. С. 40-56.
1 Работа выполнена при финансовой поддержке РФФИ, проект №19-37-90065.
40
Введение
Рассматривается задача поиска глобального минимума функции одной переменной f ( x) на отрезке [a, b] :
f ( x)® min, x e B, B = {x | a < x < b}. (1)
Целевая функция f (x) является непрерывной и невыпуклой. Предполагается, что известен отрезок [a, b], в котором содержится глобальный минимум.
Задача поиска глобального минимума невыпуклой функции одной переменной часто возникает в качестве вспомогательной при решении многомерных задач оптимизации. На практике целевая функция часто является многоэкстремальной, со сложной системой локальных минимумов. Задачи мультимодальной оптимизации имеют значительно более высокую трудоемкость решения по сравнению с унимодальными, поскольку для их решения необходимо исследовать всю поисковую область.
Алгоритмы одномерной глобальной оптимизации в течение множества лет разрабатывались рядом специалистов из России и зарубежных стран, среди которых Ю. Г. Евтушенко, С. А. Пиявский, Р. Г. Стронгин, А. А. Жиглявский, А. Г. Жилинскас, Л. Н. Тимонов, В. П. Гергель, Я. Д. Сергеев, Д. Е. Квасов, А. В. Баркалов, В. А. Гришагин, R. P. Brent, H. J. Kushner, F. Schoen, E. A. Galperin, P. Hansen, B. Jaumard, S.-H. Lu, J. D. Pintér, E. R. Hansen, J. M. Calvin и другие.
Указанные методы можно условно разделить на несколько групп, одну из которых составляют алгоритмы, в которых целевая функция должна удовлетворять условию Липшица:
\f (xi) - f (x2)| < Z|xi - x2|, (2)
где x1, x2 — любые точки в интервале поиска, L — константа Липшица, 0 <L <¥. В данную группу входят методы, предложенные Ю. Г. Евтушенко [1; 2], С. А. Пиявским [3], Р. Г. Стронгиным [4], R. Brent [2; 5], Л. Н. Тимоновым [6; 7], H. J. Kushner [8], F. Schoen [7; 9], E. A. Galperin [7; 10], P. Hansen, B. Jaumard, S. H. Lu [11] и другими специалистами.
Вторую группу составляют «вероятностные» P-алгоритмы, предложенные А. А. Жиглявским и А. Г. Жилинскасом [12]. Существует три варианта P-методов, основанных на гладких, винеровских и интегрально-винеровских моделях процессов.
К третьей группе можно отнести методы, основанные на эвристической идеологии. В нее уместно включить, например, предложенный А. А. Жиглявским эвристический вариант метода «парабол» [13], метод на основе сплайн-аппроксимации [14], общеизвестный метод «сжимающего перебора» и другие.
В статье предлагается обобщить алгоритмы первой группы для случая, когда целевая функция удовлетворяет условию Гёльдера :
If ( x,) - f ( x2)| < G|x - x2| à, (3)
где О — константа Гёльдера, N > 1 — показатель Гёльдера. Выдвигается гипотеза, заключающаяся в том, что обобщение (3) может улучшить качество работы алгоритмов, основанных на условии Липшица (2). Автору статьи неизвестно о других исследованиях указанной гипотезы.
1 Общая схема реализации алгоритмов
В реализации численных методов одномерной многоэкстремальной оптимизации имеется много схожих элементов. В связи с этим представляется целесообразным определить общую схему построения подобных методов. В большинстве алгоритмов поиск глобального минимума сводится к построению последовательности точек, называемой покрытием, или сеткой. На полученной сетке выбирается наилучшее значение функции, которое является решением.
Общая схема реализации методов одномерного нелокального поиска была предложена Пинтером [15] и имеет следующий вид:
0. Инициализация. Выбираются начальные точки х0 = а, х1 = Ь , число проб к = 1.
1. Сортировка. Обозначим хк =(х'0,х',...,х'к) — вектор отсортированных точек, т. е. {х0,х1,...,хк} = {х0,х',...,хк}, а = х'0 < х' <... < х'к = Ь , /к =( /', У',.., /' ) — вектор значений функции в отсортированных точках.
2. Оценка интервалов. Для каждого интервала (х'-1, х') вычисляется характеристика Л(1) = Я(/, хк, /к).
3. Выбор интервала. Выбирается интервал (х'_1, х'), которому соответствует максимальная характеристика Л(0 = тах{Л(/), 1< 1 < к} . Если таковых интервалов несколько, то выбирается один из них.
4. Выбор точки. Если выполняется критерий останова (например, х{ _ х{1 < ех , где ех — заданная точность), то алгоритм прекращает работу, в противном случае в интервале (х'_1, х') выбирается точка хк+1 = S ^) = S ^, хк, /к) е (х'_1, х'), к = к +1, осуществляется переход к шагу 1.
В приведенную алгоритмическую схему укладывается большая часть известных алгоритмов одномерного глобального поиска.
2 Модификация алгоритма Евтушенко с автоматической оценкой константы Липшица (Гёльдера)
Одним из методов, в котором целевая функция должна удовлетворять условию Липшица (2), является алгоритм, предложенный Ю. Г. Евтушенко [1 ]. В указанном алгоритме строится последовательность точек х1,х2,... функции / на отрезке [а,Ь] следующим образом:
_ _ У (хк-1) - Ук + Х1 _ а , Хк _ Хк -1 + '
где У* _шт{/(х1),...,/(хк)} — рекордное значение функции, е — точность по функции, Ь — константа Липшица. Минимизация прекращается, когда хк > Ь .
Особенностью данного алгоритма является то, что для его работы необходимо априорно знать хорошую оценку константы Липшица. Указанная проблема представляется критичной в случае применения алгоритма в качестве вспомогательного при решении многомерных задач, так как в многоуровневой иерархии алгоритмов он будет функционировать на самом низком уровне и выполняться многократно в процессе расчетов. Следовательно, необходим встроенный в алгоритм механизм оценки константы роста производной.
В работе предлагается модификация алгоритма одномерного поиска Ю. Г. Евтушенко с автоматической оценкой константы роста производ -ной, основанной на условии Гёльдера (3):
У (х, ,) - У * + 2е х _ а х _ х + к-1/—^-
1 ' к к-1 т ^ '
О}
где О} — оценка константы Гёльдера на } -й итерации алгоритма.
Предложенный алгоритм основан на идее многоэтапного сканирования области поиска, наборе информации о скорости роста функции и использовании этой информации на последующих этапах. При этом все пробы, выполненные на предыдущих шагах, сохраняются и влияют на дальнейший ход вычислений.
На стартовом этапе работы алгоритма оценка константы Гёльдера выбирается равной
У (Ь) - У(а)|
Оо _-Т-,
\Ь - а^
на каждой итерации алгоритма вычисляется по следующей формуле:
|у (хк+1) - у (хк )|
О} _ Кс • шах1
J <-
х — х n
\лк+1 лк\
где Кс > 1 — страховочный коэффициент, N > 1 — показатель Гёльдера (параметры алгоритма). При этом цикл просмотра отрезка повторяется несколько раз с учетом полученной оценки и выполненных проб. Критерием останова алгоритма является выполнение условия О}+1 _ О}, где
} — номер цикла просмотра отрезка.
3 Модификация метода Стронгина
Одним из наиболее известных методов одномерной глобальной оптимизации является алгоритм, предложенный Р. Г. Стронгиным [4]. В указанном методе, основываясь на множестве известных значений функции в точках отрезка, производится поиск интервала между соседними точками, в котором наиболее вероятно расположение глобального экстремума. На найденном интервале выбирается точка, которая соответствует математическому ожиданию положения минимума. Во взятой точке вычисляется значение функции, оно добавляется в набор известных значений, и алгоритм переходит к следующей итерации. Алгоритм прекращает работу, когда длина интервала сжатия становится меньше заданного критерия.
Указанный алгоритм был модифицирован автором для случая, когда целевая функция удовлетворяет условию Гёльдера (3) [16]. Алгоритм имеет следующий вид:
0. Выбираются начальные точки х0 = a , х1 = b , число проб k = 1 .
1. Сортируются точки xi, 0 < i < k :
a = x0 < x1 < ... < xk = b .
2. Вычисляется значение m , являющееся оценкой константы Гёльдера:
M f - f-J f1,M = 0
M = max--j-, m = i , где
I Л 1M, M > 0 lxi- xi-11" 1
f = f (x,), 1 < i < k .
3. Для каждого интервала (xt-1, xt ) , 1 < i < k вычисляются характеристики
R (i) = (x, - x, 1) + 2( fi 2- fi -1)--2 f + f -1 ,
m Kc (xt - xi-1) mKc
где Kc > 1 — страховочный коэффициент.
4. Выбирается интервал (xt-1, xt), которому соответствует максимальная характеристика
R(t) = max {R(i), 1 < i < k} .
5. Если выполняется критерий останова (xt - xt-1 < sx , где sx — заданная точность), то алгоритм прекращает работу, в противном случае выбирается точка
xk+1 =1 (xt + xt-1)- sisn(f - ft-11
ft ft-1
m
2 \ ^ ^—1 / * *—^ 2 кк
вычисляется значение / (хк+1) и увеличивается число проб к на 1. Итерация завершена.
4 Комбинированный алгоритм на основе методов Стронгина и «парабол»
Одним из методов одномерного поиска, основанных на эвристической идеологии, является метод «парабол» [13; 17]. В его основе лежит идея поиска минимумов всех парабол, образованных «выпуклыми тройками». Алгоритм с успехом использовался в целом ряде приложений, в том числе для решения задач оптимального управления [18].
«Выпуклой тройкой» для функции / (х) будем называть последовательно расположенную тройку точек х,, х,+1, х,+2, принадлежащих [а, Ь ], для которых выполняется следующее неравенство:
У (х, )> / ( х,+1 )< / (х,+2) . (4)
Поскольку метод «парабол» является эвристическим алгоритмом, он не может гарантировать нахождение глобального минимума функции во всевозможных случаях. Представляется целесообразным гибридизация метода «парабол» с одним из «гарантированных» алгоритмов - методом Стронгина. Следовательно, в работе предлагается комбинированный алгоритм с использованием указанных методов в качестве базовых. Комбинированный алгоритм имеет следующий вид:
0. Задается параметр N е N — число стартовых проб. Выбираются
точки х1 _ а, xN _ Ь. Генерируются случайным образом точки х{, 2<,<Np-1 на [ а,Ь].
1. Сортируются точки х{, 1 <, < к :
а _ х1 < х2 <... < хк _ Ь .
2. Если итерация имеет нечетный номер, то
2.1. Задается Ушах _-¥ . Каждая тройка точек х,, х,+1, х,+2, 1 <, < N - 2 проверяется на выпуклость. Если условие (4) выполняется,
то если У(х,+1) > УШах , то /шах _ У(х,+1) .
2.2. Для каждой «выпуклой тройки» хх[, хх[+1, х,+2 вычисляется
оценка 5г _| /шах - У (Ъ+1 ) .
2.3. На основе вычисленных оценок вероятностным путем выбирается индекс выпуклой тройки.
2.4. Находится минимум х*параболы, образованной выбранной
выпуклой тройкой, с помощью комбинации методов локального одно-
к+1_ *
мерного поиска. Выбирается точка х — х, , увеличивается число проб к на 1.
3. Если итерация имеет четный номер, то выполняются шаги 2-5 метода Стронгина.
Итерация завершена.
5 Тестирование алгоритмов
Предложенные модификации алгоритмов реализованы на языке C с применением единых программных стандартов. Выполнены многовариантные вычислительные эксперименты, позволившие выявить наиболее конкурентоспособные варианты методов. Каждый реализованный алгоритм протестирован на коллекции задач, включающей в себя 20 невыпуклых функций одной переменной ( x *, f * — точка и значение глобального минимума соответственно):
1. f (x) = 0.1x2 - cos(px) ,B = [-4.0, 5.0], x* = 0.0, f * =-1.0.
2. f (x) = 10 + x2 -10• cos(2px),B = [-5.0, 10.0],
x * = 0.0, f * = 0.0.
3. f (x) = 418.9829 - x • sin (Jx|) ,B = [-100.0, 500.0],
x* = 420.9687 , f * = 0.0.
4. f (x) = 1 +
x
4000
- cos (x), B = [-100.0, 500.0], x* = 0.0
f * = 0.0.
5. f (x) = 20 + e - 20 • e_0-2-|x| - ecos(2px), B = [-10.0, 30.0],
x * = 0.0, f * = 0.0.
6. f (x) = |x • sin(x) + 0.1 • x|,B = [-5.0, 10.0], x* = 0.0, f * = 0.0.
7. f (x) = 1 + 8sin2 [7(x - 0.9)2 ] + 6sin2 [14(x - 0.9)2 ] + (x - 0.9)2, B = [-2.0, 4.0], x* = 0.9, f * = 1.0.
8. f (x) = 1 - 0.5cos(1.5 (10x - 0.3))cos (31.4x) + 0.5cos (V5-10x)• • cos(35x), B = [-1.0, 2.0], x* » -0.81, f * » 0.15 .
9. f(x) = sin2
p
x -1
- (x - 1)2 16v '
( (
sin
2p
v v
x -1
л ^
/
B = [-5.0, 10.0], x* = 1.0, f * = 0.0 .
10. f (x) = |x2 - 1|0'25 + 0.5x2 + x + 0.5 , B = [-4.0, 4.0],
x* = -1.0, f* = 0.0.
11. f (x) = -sin(x) - sin ^,B = [-15.0, 20.4], x' = 1.8104
f * =-1.906.
12. f (x) = -x + sin(3x) -1,B = [-15.0, 15.0], x* » 14.25047 ,
f * 16.19325 .
13. f (х) = £ kcos [(к +1)х + к], B = [-2л, л] , x* » -1.42513 ,
k=1
f * »-12.8709.
14. f (x) = x6 - 2.08x5 + 0.4875x4 + 7.1x3 - 3.95x2 - x + 0.1, B = [-2.0, 2.0], x* »-1.1913, f * »-7.4873 .
15. f (x) = -x2x++p6 , B = [-12.0, 12.0],
x •=1-V2,f = - 2 -ir
16. f (x) = 0.2x5 - 1.6995x4 + 0.998266x3 - 0.0218343x2 +
+0.000089248x , B = [0.0, 10.0], x* = 6.325 , f * =-443.67 .
17. f (x) = 1 - cos (2л |x|) + 0.1 |x|, B = [-19.5, 20.0],
x * = 0.0, f * = 0.0.
18. f (x) = (sin2(x) - e-x2 )e"sm^,B = [-20.0, 20.0],
x* = 0.0, f * =-1.0.
- cos31 — x + 3 i sin(0.2x)
19. f (x) =-^ 2 x2 + 5-, B = [-10.0, 10.0],
x* » 2.09067 , f * »-0.04333 .
20. f (x) = -sinh(x)cos(—x) - e01x, B = [-4.2, 4.2],
x* » 4.09863 , f * »-30.1927 . Для каждого алгоритма ниже продемонстрированы результаты двух вычислительных экспериментов, которые заключаются в сравнении алгоритма при различных целых значениях показателя Гёльдера N — от 1 до 5. В первом эксперименте сравниваются алгоритмы на одной из тестовых задач — функции Растригина [19] (№°2 в коллекции тестов). Для каждого алгоритма показаны два графика, на которых по оси абсцисс отложено число выполненных проб (вызовов целевой функции), по оси ординат — Af = frec - f , где frec — рекордное значение, найденное алгоритмом, f — значение глобального минимума, и Ax =
*
xrec — рекордная точка, x — точка глобального минимума,
соответственно. Также приведена таблица с итоговыми значениями Af и
Ax . Чем меньше число выполненных проб, тем эффективнее алгоритм.
Во втором эксперименте проводилось тестирование алгоритмов на всей коллекции тестовых задач. На графике по оси абсцисс отложено чис-
xrec x
где
ло выполненных проб, по оси ординат — процент числа успешно решенных задач. Под успешностью решения понимается нахождение глобального минимума. Чем больше процент числа успешно решенных задач, тем выше надежность алгоритма.
В проведенных вычислительных экспериментах значение страховочного коэффициента принято равным Кс = 2 , точность £х = 10-5.
5.1 Тестирование модификации алгоритма Евтушенко с автоматической оценкой константы Гёльдера
Вычислительный эксперимент 5.1.1
т
1ЯОС 1£4Н)
Число проб
- N = 1
----N = 2
-------N = 3
------------------------- N = 4
---------- N - 5
Рис. 1. Графики сравнения модификаций метода Евтушенко при разных значениях показателя Гёльдера (на функции Растригина)
Таблица 1
Сравнение модификаций метода Евтушенко при разных значениях N
N Число проб АГ Ах
1 2697 2.257455 -10-7 3.373241 •Ю-5
2 1374 7.295231 -10-9 6.063974 •Ю-6
3 833 2.812392 • 10-7 3.765093 • 10-5
4 1013 5.939441 •Ю-7 5.471553 •Ю-5
5 1741 2.627223 •Ю-8 1.150764 •Ю-5
Среди протестированных вариантов алгоритмов наилучшую эффективность показал алгоритм при N = 3 , наименее эффективным оказался алгоритм при N = 1. При увеличении N число проб сначала уменьшается, достигает минимума при N = 3 , а затем возрастает (рис. 1, табл. 1).
Вычислительный эксперимент 5.1.2 Наблюдается увеличение эффективности и надежности алгоритма при выборе N = 2 по сравнению с N = 1 (рис. 2). При N > 2 надежность алгоритма несколько снижается. Таким образом, выбор значения показателя
Гёльдера N = 2 наиболее предпочтителен и рекомендуется для применения в модификации алгоритма Евтушенко.
/
- N = 1
----141 =2
------N =3
..................-...... N =4
--------N =5
1
О 10000 20000 зоооо
Число проб
Рис. 2. График сравнения модификаций метода Евтушенко при разных значениях показателя Гёльдера (на всей коллекции тестовых задач)
5.2 Тестирование модификации метода Стронгина
Вычислительный эксперимент 5.2.1 Среди протестированных модификаций алгоритмов наилучшую эффективность показал алгоритм при N = 4, наименее эффективным оказался алгоритм при N = 1 (рис. 3, табл. 2). При N = 5 решение не было найдено. При увеличении N число проб монотонно уменьшается.
Рис. 3. Графики сравнения модификаций метода Стронгина при разных значениях показателя Гёльдера (на функции Растригина)
Таблица 2
Сравнение модификаций метода Стронгина при разных значениях N
N Число проб Af Ax
1 737 1.329064 -10-10 8.184855 •Ю-7
2 523 1.576703 -10-9 2.819114 •Ю-6
3 431 1.129553 -10-9 2.386114 •Ю-6
4 417 2.279472 • 10-9 3.389651 • 10-6
5 403 9.949591 •Ю-1 9.949564 •Ю-1
Вычислительный эксперимент 5.2.2 Среди протестированных алгоритмов наилучшую надежность показали модификации при N = 1 и N = 2 (рис. 4). При N > 2 наблюдается снижение надежности алгоритма. Таким образом, выбор значения показателя Гёльдера 1 < N < 2 наиболее предпочтителен и рекомендуется для применения в модификации метода Стронгина.
0 5000 10000 1БООО 20000
Число проб
Рис. 4. График сравнения модификаций метода Стронгина при разных значениях показателя Гёльдера (на всей коллекции тестовых задач)
5.3 Тестирование комбинированного алгоритма на основе методов Стронгина и «парабол»
Вычислительный эксперимент 5.3.1 Среди протестированных алгоритмов наилучшую эффективность показал алгоритм при N = 3 , наименее эффективным оказался алгоритм при N = 1 (рис. 5, табл. 3). При увеличении N число проб сначала уменьшается, достигает минимума при N = 3 , затем возрастает.
Рис. 5. Графики сравнения комбинированных алгоритмов при разных значениях показателя Гёльдера (на функции Растригина)
Таблица 3
Сравнение комбинированных алгоритмов при разных значениях N
N Число проб АГ Ах
1 661 0.000000 -10° 5.944262 •Ю-10
2 504 0.000000 • ю0 9.478128 •Ю-12
3 465 0.000000 • 100 3.917073 • 10-10
4 481 0.000000 • ю0 1.966260 •Ю-11
5 514 0.000000 •100 3.552292 •Ю-10
Вычислительный эксперимент 5.3.2 Среди протестированных алгоритмов наилучшую надежность показали алгоритмы при 1 < N < 3 (рис. 6). При N >3 наблюдается снижение надежности, при N > 1 — прирост эффективности. Таким образом, выбор значения показателя Гёльдера 2 < N < 3 наиболее предпочтителен и рекомендуется для применения в комбинированном алгоритме на основе методов Стронгина и «парабол».
-N =1
---N
-----N =3
..................... N =4
-------N =5
г
0 5000 10000 15000 20000
Число проб
Рис. 6. График сравнения комбинированных алгоритмов при разных значениях показателя Гёльдера (на всей коллекции тестовых задач)
5.4 Сравнение алгоритмов
Обобщая результаты всех проведенных вычислительных экспериментов, можно сделать вывод, что выбор значения показателя Гёльдера N = 2 наиболее предпочтителен.
Представляет интерес сравнение разработанных модификаций алгоритмов между собой при N = 2 на всей коллекции тестовых задач. На графике (рис. 7) по оси абсцисс отложено число выполненных проб, по оси ординат - процент числа успешно решенных задач.
Число проб
Рис. 7. График сравнения предложенных модификаций алгоритмов при N = 2 (на всей коллекции тестовых задач)
Модификация метода Стронгина и комбинированный алгоритм показали одинаково высокую надежность, несколько опередив модификацию метода Евтушенко.
Таким образом, комбинированный алгоритм на основе методов Строн-гина и «парабол» и модификация метода Стронгина продемонстрировали наилучшие результаты. Следовательно, указанные алгоритмы можно рекомендовать для использования, что не отменяет применимость модификации метода Евтушенко для сравнения и повышения надежности получаемых результатов.
Заключение
В работе предложены модификации алгоритмов нелокального одномерного поиска, основанные на условии Гёльдера. Указанные модификации реализованы в виде библиотеки алгоритмов на языке С с применением единых программных стандартов. В состав библиотеки включены модификации методов Ю. Г. Евтушенко, Р. Г. Стронгина, а также комбинированный алгоритм с использованием методов «парабол» и Стронгина в качестве базовых.
Для численного исследования свойств предложенных модификаций алгоритмов сформирована коллекция тестовых задач. Выполнены многовариантные вычислительные эксперименты, с помощью которых подтвердилась гипотеза о том, что обобщение алгоритмов на основе условия Гёльдера дает в ряде случаев существенный эффект ускорения перед алгоритмами, основанными на традиционном условии Липшица. Выявлены наиболее предпочтительные значения показателя Гёльдера для каждого алгоритма.
Выполнено численное сравнение указанных алгоритмов. В результате проведенного сравнительного анализа комбинированный алгоритм на основе методов Стронгина и «парабол» и модификация метода Стронгина продемонстрировали наилучшие результаты, опережая модификацию метода Евтушенко по эффективности и надежности.
Проведенные экспериментальные исследования свидетельствуют о пригодности реализованных модификаций для решения задач нелокального одномерного поиска, которые часто возникают в качестве вспомогательных при решении многомерных задач оптимизации.
Литература
1. Евтушенко Ю. Г. Методы поиска глобального экстремума // Исследование операций. 1974. № 4. С. 39-68.
2. Жиглявский А. А., Жилинскас А. Г. Методы поиска глобального экстремума. М.: Наука, 1991. 248 с.
3. Пиявский С. А. Один алгоритм отыскания абсолютного экстремума функций // Журнал вычислительной математики и математической физики. 1972. Т. 12. С. 885-896.
4. Стронгин Р. Г. Численные методы в многоэкстремальных задачах (информационно-статистические алгоритмы). М.: Наука, 1978. 240 с.
5. Brent R. P. Algorithms for minimization without derivatives. New Jersey: Prentice Hall, 1973. 195 p.
6. Timonov L. N. An Algorithm for Search of a Global Extremum // Engineering Cybernetics. 1977. Vol. 15, No. 3. P. 38-44.
7. Horst R., Pardalos P. M. Handbook of global optimization. Springer Science & Business Media, 2013. 880 p.
8. Kushner H. J. A new method of locating the maximum point of an arbitrary multipeak curve in the presence of noise // Journal of Basic Engineering. 1964. Vol. 86, No. 1. P. 97-106.
9. Schoen F. On a sequential search strategy in global optimization problems // Calcolo. 1982. Vol. 19, No. 3. P. 321-334.
10. Galperin E. A. The cubic algorithm // Journal of Mathematical Analysis and Applications. 1985. Vol. 112, No. 2. P. 635-640.
11. Hansen P., Jaumard B., Lu S. H. Global optimization of univariate Lipschitz functions: I. Survey and properties // Mathematical programming. 1992. Vol. 55, No. 1. P. 251-272.
12. Zhigljavsky A., Zilinskas A. Stochastic Global Optimization. Springer Science-Business Media, 2008. 262 p.
13. Жиглявский А. А. Математическая теория случайного глобального поиска. Л.: Изд-во Ленингр. ун-та, 1985. 296 с.
14. Горнов А. Ю. Применение сплайн-аппроксимации для конструирования алгоритмов оптимизации с новыми вычислительными свойствами // Дискретная оптимизация и исследование операций: тр. всерос. конф. Владивосток, 2007. С. 99.
15. Pinter J. D. Convergence properties of stochastic optimization procedures // Optimization. 1984. Vol. 15, No. 3. P. 405-427.
16. Goryachih A. A Class of Smooth Modification of Space-Filling Curves for Global Optimization Problems // Models, Algorithms, and Technologies for Network Analysis. 2016. P. 57-65.
17. Булатов В. П., Хамисов О. В. Метод отсечения в EAn+1 для решения задач глобальной оптимизации на одном классе функций // Журнал вычислительной математики и математической физики. 2007. Т. 47, № 11. С. 1830-1842.
18. Зароднюк Т. С., Горнов А. Ю. Технология поиска глобального экстремума в задаче оптимального управления // Современные технологии. Системный анализ. Моделирование. 2008. № 3. С. 70-76.
19. Растригин Л. А. Системы экстремального управления. М.: Наука, 1974. 632 с.
SOFTWARE IMPLEMENTATION OF NONLOCAL ONE-DIMENSIONAL
OPTIMIZATION ALGORITHMS BASED ON THE HOLDER CONDITION
Pavel S. Sorokovikov
Research Assistant,
Matrosov Institute for System Dynamics
and Control Theory SB RAS
134 Lermontova St., Irkutsk 664033, Russia
E-mail: sorokovikov.p.s@gmail.com
The problem of one-dimensional search for a global minimum of a nonconvex function often appears as an auxiliary for solving multidimensional optimization problems. For many years, nonlocal one-dimensional optimization methods have been developed by a number of specialists from Russia and foreign countries. The article considers the proposed modifications of nonlocal one-dimensional search algorithms based on the Holder condition. These modifications are implemented as an algorithms library and integrated into a single software package. The library includes modifications of Yu. G. Evtushenko's, R. G. Strongin's methods and a combined algorithm based on the Strongin's method of "parabolas". We have made multivariant computational experiments to compare the implemented algorithms for various values of the Holder index. An analysis of the performed experiments showed that the generalization of algorithms based on the Holder condition gives in some cases a significant acceleration effect over algorithms based on the Lipschitz condition. During testing the most preferred values of the Holder index and leading algorithms were identified. The conducted experimental studies confirmed the suitability of the implemented modifications for finding the global minimum of the non-convex function of one variable.
Keywords: nonlocal one-dimensional search; the Holder condition; Evtushenko's method; Strongin's method; global minimum; algorithms library; software implementation.
References
1. Evtushenko Yu. G. Metody poiska globalnogo ekstremuma [Global Extremum Search Methods]. Issledovanie operatsii. 1974. No. 4. Pp. 39-68.
2. Zhiglyavskii A. A., Zhilinskas A. G. Metody poiska globalnogo ekstremuma [Global Extremum Search Methods]. Moscow: Nauka Publ., 1991. 248 p.
3. Piyavskii S. A. Odin algoritm otyskaniya absolyutnogo ekstremuma funktsii [An Algorithm for Search of the Absolute Extremum of Functions]. Computational Mathematics and Mathematical Physics. 1972. Vol. 12. Pp. 885-896.
4. Strongin R. G. Chislennye metody v mnogoekstremalnykh zadachakh (infor-matsionno-statisticheskie algoritmy) [Numerical Methods in Multi-Extremum Problems (information and statistical algorithms)]. Moscow: Nauka Publ., 1978. 240 p.
5. Brent R. P. Algorithms for Minimization without Derivatives. New Jersey: Prentice Hall, 1973. 195 p.
6. Timonov L. N. An Algorithm for Search of a Global Extremum. Engineering Cybernetics. 1977. Vol. 15, No. 3. Pp. 38-44.
7. Horst R., Pardalos P. M. Handbook of Global Optimization. Springer Science & Business Media, 2013. 880 p.
8. Kushner H. J. A New Method of Locating the Maximum Point of an Arbitrary Multipeak Curve in the Presence of Noise. Journal of Basic Engineering. 1964. Vol. 86, No. 1. Pp. 97-106.
9. Schoen F. On a Sequential Search Strategy in Global Optimization Problems. Calcolo. 1982. Vol. 19, No. 3. Pp. 321-334.
10. Galperin E. A. The Cubic Algorithm. Journal of Mathematical Analysis and Applications. 1985. Vol. 112, No. 2. Pp. 635-640.
11. Hansen P., Jaumard B., Lu S. H. Global Optimization of Univariate Lipschitz Functions: I. Survey and Properties. Mathematical Programming. 1992. Vol. 55, No. 1. Pp. 251-272.
12. Zhiglyavsky A., Zilinskas A. Stochastic Global Optimization. Springer Science-Business Media, 2008. 262 p.
13. Zhiglyavsky A. A. Matematicheskaya teoriya sluchainogo globalnogo poiska [Mathematical Theory of Random Global Search]. Leningrad: Leningrad University Publishing Department, 1985. 296 p.
14. Gornov A. Yu. Primenenie splain-approksimatsii dlya konstruirovaniya algorit-mov optimizatsii s novymi vychislitelnymi svoistvami [Application of Spline Approximation for Constructing Optimization Algorithms with New Computational Properties] . Trudy vserossiiskoi konferentsii "Diskretnaya optimizatsiya i issledovanie op-eratsii"— Proc. All-Rus. Conf. "Discrete Optimization and Operations research". Vladivostok. 2007. Pp. 99.
15. Pinter J. D. Convergence Properties of Stochastic Optimization Procedures. Optimization. 1984. Vol. 15, No. 3. Pp. 405-427.
16. Goryachikh A. A Class of Smooth Modification of Space-Filling Curves for Global Optimization Problems. Models, Algorithms, and Technologies for Network Analysis. 2016. Pp. 57-65.
17. Bulatov V. P., Khamisov O. V. Metod otsecheniya v EAn+1 dlya resheniya zadach globalnoi optimizatsii na odnom klasse funktsii [Cut-Off Method in EAn+1 for Solving Global Optimization Problems on One Class of Functions]. Computational Mathematics and Mathematical Physics. 2007. Vol. 47, No. 11. Pp. 1830-1842.
18. Zarodnyuk T. S., Gornov A. Yu. Tekhnologiya poiska globalnogo ekstremuma v zadache optimalnogo upravleniya [Global Extremum Search Technology in an Optimal Control Problem]. Sovremennye tekhnologii. Sistemnyi analiz. Modelirovanie. 2008. No. 3. Pp. 70-76.
19. Rastrigin L. A. Sistemy ekstremalnogo upravleniia [Extremal Control Systems]. Moscow: Nauka Publ., 1974. 632 p.
