CC BY
23
УДК 519.853.4 Вестник СПбГУ. Прикладная математика. Информатика... 2020. Т. 16. Вып. 2 МБС 90С26
Метод мультистарта с детерминированным механизмом рестарта*
Г. А. Амирханова1 , А. Ю. Горчаков2'3'4, А. Ж. Дуйсенбаева1, М. А. Посыпкин2'3
1 Институт информационных и вычислительных технологий Комитета науки Министерства образования и науки Республики Казахстан,
Республика Казахстан, 050000, Алматы, ул. Пушкина (уг. Курмангазы), 125
2 Вычислительный центр им. А. А. Дородницына Федерального исследовательского центра «Информатика и управление» Российской академии наук,
Российская Федерация, 119333, Москва, ул. Вавилова, 44
3 Московский физико-технический институт (Государственный университет), Российская Федерация, 141701, Долгопрудный, Институтский пер., 9
4 Национальный исследовательский университет «Высшая школа экономики», Российская Федерация, 101000, Москва, ул. Мясницкая, 20
Для цитирования: Амирханова Г. А., Горчаков А. Ю., Дуйсенбаева А. Ж., Посыпкин М. А. Метод мультистарта с детерминированным механизмом рестарта // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2020. Т. 16. Вып. 2. С. 100-111. https://doi.org/10.21638/11701/spbu10.2020.202
Разработан и исследован метод решения некоторого класса задач глобальной оптимизации с интервальными ограничениями. Предложен алгоритм глобальной оптимизации, основанный на детерминированном способе выбора стартовых точек для методов локального поиска. Для выбора стартовых точек алгоритм локального поиска (в данной работе покоординатного спуска) модифицирован таким образом, что метод одномерной минимизации возвращает множество найденных им локальных минимумов. Эффективность представленного алгоритма продемонстрирована на примере задачи минимизации энергии фрагмента плоской кристаллической решетки. Энергия межатомного взаимодействия рассчитана с помощью потенциала Терсоффа. Проведено экспериментальное сравнение разработанного алгоритма с классическим вариантом метода мультистарта, в котором для выбора стартовых используются равномерно-распределенные в параллелепипеде псевдослучайные точки. В качестве метода локального поиска в обоих случаях была взята одна из модификаций метода покоординатного спуска. Описанный метод может быть применен для часто встречающихся на практике задач с неизвестным аналитическим выражением для целевой функции.
Ключевые слова: глобальная оптимизация, метод мультистарта, заполняющие последовательности.
Введение. Методы поиска глобального минимума условно делятся на две группы — с доказательством оптимальности (детерминированные) и без доказательства (недетерминированные). К первому классу относятся различные варианты метода ветвей и границ (в частности, метод неравномерных покрытий [1], методы интервального анализа и многие другие). При увеличении размерности задачи из-за высокой вычислительной сложности детерминированных методов приходится отказываться от доказательства оптимальности полученного решения.
Вторая группа методов основана на различных стратегиях случайного поиска. Наиболее известный из них — метод Монте-Карло [2, 3]. Его суть заключается в генерации случайным образом некоторого количества точек в пространстве поиска,
* Работа выполнена при финансовой поддержке Комитета науки Министерства образования и науки Республики Казахстан (грант № AP05133366).
(¡5 Санкт-Петербургский государственный университет, 2020
вычислении целевой функции в этих точках и поиске минимума среди полученных значений. Модификации метода Монте-Карло идут в двух направлениях — замена псевдослучайных чисел на детерминированные квазислучайные последовательности (метод квази-Монте-Карло) [4-11] и гибридизация с разными методами локального поиска (метод мультистарта) [12-16]. В качестве примеров детерминированных квазислучайных последовательностей можно привести заполняющие последовательности Соболя [10, 11], латинские гиперкубы [17], последовательности Корпута, Холтона [18], Какутани [19], Фора [20], Нидеррейтера [21], разреженные сетки [9].
В данном исследовании разработан новый метод выбора стартовых точек в виде детерминированной последовательности, генерируемой в результате решения серии задач одномерной минимизации. Предложенный метод был апробирован на задаче поиска минимума энергии фрагмента плоской кристаллической решетки. Модель такой решетки была описана в статьях [22, 23]. Эффективность работы двух методов локального поиска в методе мультистарта была исследована в [16] для задачи безусловной оптимизации с параллелепипедными ограничениями и потенциалом межатомного взаимодействия Леннарда-Джонса. В последующих работах была изменена постановка оптимизационной задачи -- введены дополнительные ограничения, применен метод точных штрафных функций [24], изучен более представительный набор методов глобальной оптимизации [25], проведен эксперимент по интеграции с пакетом LAMMPS (Large-scale Atomic/Molecular Massively Parallel Simulator) [26-28].
Описание метода. Рассмотрим задачу поиска минимума с параллелепипедны-ми ограничениями:
f (x) ^ min, f : Rn ^ R1,
¡i ^ Xi ^ Ui, i = 1, ..., n.
Для решения задачи в случае многоэкстремальной функции часто применяется широко известный метод мультистарта [12-16]. Схема метода достаточно проста — в заданном параллелепипеде случайным образом выбираются точки, из каждой точки запускается метод локального поиска и в качестве решения берется результат его работы с наименьшим значением. Приведем формальное описание одной из реализаций метода.
1. Вход: MSTART(f (x), ¡, u), где f (x) — минимизируемая функция; ¡,u — парал-лелепипедные ограничения задачи.
2. Сформировать множество точек X0 = jx°'k G Rn : x0'k = U(li,ui)j, i = 1, ...,n,
к = 1, ...,K, где U(¡i,Ui) — случайная величина, имеющая непрерывное равномерное распределение на отрезке [¡i,ui].
3. Сформировать множество точек X* = {x*'k G Rn} следующим образом: для
0,k 0
всех x 'k G X запустить метод поиска локального минимума, в качестве стартовой точки взять x°'k, результат добавить к X*.
4. Как решение вернуть x*'k , где к* = argminf (x*'k).
k
Идея предлагаемого метода заключается в добавлении к MSTART дополнительного шага — запуск детерминированного метода выбора стартовых точек (DMCSP). Для построения DMCSP мы модифицируем хорошо известный метод поиска локального минимума — метод покоординатного спуска (Coordinate descent) [29]. В результате модификации метод DMCSP, начиная из одной стартовой точки, будет возвращать не один локальный минимум, а их множество. В итоге метод поиска глобального минимума будет выглядеть следующим образом.
1. М8ТАИ,ТВ(/(х), I, и, К1, МахК), где /(х) — минимизируемая функция, ¡,и — параллелепипедные ограничения задачи, К1 и МахК — параметры метода БМСБР.
2. Сформировать множество точек X0 = |х°'к € Еп : х0'к = и(¡г, иг)|, г = 1,..., п, к = 1,...,К, где и — случайная величина, имеющая непрерывное равномерное распределение на отрезке [¡г,иг].
3. Сформировать множество точек X1 = {х1^'3 € Кп} — для всех х°'к € X0 запустить детерминированный метод выбора стартовых точек БМСБР/(х), ¡, и, х0 = х0,к, К1, МахК), результаты добавить к X1.
4. Сформировать множество точек X* = \х*'к'3 € Нп} — для всех х1^'3 € X1 за-
« 1 к 3
пустить метод поиска локального минимума, в качестве стартовой точки взять х1,к'3, результат добавить к X*.
5. Как решение вернуть х*'к 3 , где к* ,]* = а^шш/(х*'к3).
к, 3
В результате такой модификации метод продолжает оставаться мультистарто-вым, условие окончания метода не изменяется.
Теперь приведем описание детерминированного метода выбора стартовых точек (БМСБР).
1. БМС8Р(/(х), ¡, и, х0, К1, МахК), где / (х) — минимизируемая функция многих переменных; х0 — начальная точка; ¡, и — паралеллепипедные ограничения на значения переменной х; К1, МахК — параметры, ограничивающие параметр М метода перебора по равномерной сетке МЬОС.
2. В качестве начального множества локальных минимумов возьмем X0 = {х°}.
3. В цикле по г = 1 до п
а) для всех элементов множества X1-1 = {х1-1'к} запустим метод
МШС(<£> (а) = /(ж4"1-* + ае^), а = - хгГ1'к,Ь = щ - шш (щ^ту, МахК) ;
б) результат работы метода МЬОС добавим к множеству Xг.
4. В качестве результата вернем Xп.
Здесь вг — орты координатных осей: в1 = (1,0, 0,..., 0)Т, в2 = (0,1,0,..., 0)Т,..., вп = (0,0, 0,..., 1) . В п. 3а для каждого локального минимума, найденного на г — 1 итерации, решается задача одномерной минимизации по г-й координате. Параметры вызываемого метода МЬОС:
• минимизируемая функция ^ (а) = / (х1-1'к + ав, где х1-1'к — элемент множества Xг-1;
7 г— 1 , к т г — 1 , к
• ограничения на значения переменной а : а = ¡г — хг , Ь = иг — хг , ограничения на г-ю координату переменной х;
• количество интервалов разбиения отрезка, рассчитываемое в зависимости от ¡Xг-1| — количества элементов множества X1-1 и ограниченное сверху параметром МахК.
Для примера на рис. 1, А и Б приведены первые три итерации метода.
На итерации 1 метод, стартовав из точек множества X0, состоящего из одной точки (обозначена черным кругом), нашел один локальный минимум — множество X1 (показано черным крестом). На итерации 2 были обнаружены четыре локальных минимума X2 (обозначены черными звездочками). На итерации 3 метода, стартуя из точек множества X2 (отмечены черными крестами), определенных на итерации 2, найдено множество локальных минимумов X3 (даны черными звездочками).
Метод, используемый в п. 3а, минимизирует одномерную функцию и как результат работы возвращает некоторое непустое множество локальных минимумов. В слу-
Рис. 1. Пример работы метода А — итерации 1 и 2; Б — итерации 2 и 3
чае унимодальной функции это множество будет состоять из одной точки. В качестве метода поиска множества локальных минимумов взят самый простой метод — МЬОС.
1. МЬОС(р(а), а, Ь, М), где р(а) — минимизируемая функция одной переменной; а, Ь — ограничения на значения переменной а Е [а, Ь]; М — количество интервалов разбиения отрезка [а,Ь].
2. Разобьем отрезок [а, Ь] на М равных интервалов.
3. Вычислим значения функции где а к = а + (к — — центр интервала, для к = 1,..., М.
4. Как результат вернем все а^, для которых р(ак-1) < ) < ^(а^+1), к = 2,...,М - 1, или ) < ч*(аи+1), к = 1, или а—) < ), к = М.
Приведем примеры работы метода. На рис. 2, А отрезок [0.5, 2.0] разбивается на 7 интервалов, в их центрах вычисляется значение функции, и в качестве результата возвращается центр 6-го интервала. На рис. 2, Б отрезок [0.914, 4.0] разбивается на 6 интервалов, в их центрах вычисляется значение функции, и в качестве результата возвращаются центры 3-го и 6-го интервалов.
Необходимо отметить, что метод МЬОС был взят исключительно из-за просто-
Рис. 2. Одномерная функция с одним (А) и двумя (Б) локальными минимумами
ты его реализации. При дальнейшем развитии предполагается использование более эффективных методов глобальной одномерной оптимизации [30-33].
Постановка оптимизационной задачи. Материалы с плоской кристаллической структурой широко применяются в современной промышленности. Ярким примером такого материала является графен — одномерный кристалл углерода. В последнее время синтезированы и другие плоские кристаллы, например фосфорен, си-лицен и др. В данной работе рассматривается плоская модель кристаллической структуры, которая может использоваться как для моделирования плоских кристаллов, так и служить основой для грубого моделирования слоистых гетерогенных структур. Известно, что устойчивые конфигурации кристаллических структур соответствуют минимуму потенциальной энергии кристалла. Поэтому задачи поиска таких конфигураций сводятся к задаче минимизации полной энергии кристалла.
В модель, предложенную в работах [22, 23], внесены некоторые упрощения и изменения. Материал представляется в виде периодической кусочно-однородной многослойной структуры, состоящей из атомов углерода. Модель накладывает ряд ограничений на структуру слоев:
• расстояния между соседними атомами в одном слое одинаковы, но в разных слоях могут отличаться;
• в рассматриваемой системе выделяется группа из К параллельных слоев, которая периодически повторяется в направлении оси у ;
• число атомов в каждом слое и общее число слоев считаются потенциально неограниченными.
Рис. 3. Двумерная модель кусочно-однородного материала
Модель, состоящую из четырех слоев, иллюстрирует рис. 3. В ней положение атомов определяется следующими параметрами:
• hi, i = 1,..., K, — расстояние между слоем с номером i и предыдущим слоем;
• di, i = 1, ...,K, — смещение первого атома в слое i с положительной абсциссой относительно нулевой отметки;
• si, i = 1, ...,K, — расстояние между атомами в слое i;
• di =0, di < si, i = 2,..., K.
Совокупность значений перечисленных параметров будем называть конфигурацией. Требуется определить конфигурацию, соответствующую минимальной энергии взаимодействия атомов, входящих в моделируемый фрагмент материала. Минимизируется энергия E(x) совокупности атомов, расположенных на K соседних слоях. Параметрами оптимизационной задачи являются переменные x = (hi,di,si,...,hK,dK,sK), составляющие вектор размерности n = 3K. Решаемая задача оптимизации математически формулируется следующим образом:
E(x) — min, li ^ xi < ui, i = 1, 3,4,..., 3K, x2 = 0,
x3j+2 < x3j+3, j = 0,..., K - 1.
Последнее условие в этой формуле отражает тот факт, что смещение первого атома не может быть больше либо равно расстоянию между атомами в слое. В данном случае усложняем постановку задачи путем введения линейного ограничения. В моделируемую совокупность входят атомы, абсцисса которых лежит в заданном интервале [0,L]. При этом в зависимости от значений параметров, задающих конфигурацию, число и состав атомов, входящих в моделируемую совокупность, могут меняться. Энергия решетки рассчитывается с помощью потенциалов взаимодействия. В данной статье рассмотрим только случай потенциала Терсоффа [34].
Результаты численного эксперимента. Эксперименты проводились на персональном компьютере с процессором Intel Core i7-6700, 3.4 ГГц, 16 Гб оперативной памяти.
В качестве энергии межатомного взаимодействия был взят потенциал Терсоффа. Использовался параллелепипед со следующими границами:
0.5 < Кг < 2; ¿1 =0, 0 < ¿г < 4; 0.4 < Si < 4.
Сравнивались методы мультистарта с генерацией стартовых точек с использованием равномерного случайного распределения в заданных границах и с детерминированным механизмом выбора стартовых точек. Как метод поиска локального минимума применялась модификация метода координатного спуска, использовавшаяся в работах [16, 24]. Ограничение ¿1 =0 учитывалось программно, исключением переменной из расчетов. Для учета ограничений < si в методе БМСЯР функция для одномерной оптимизации модифицировалась так:
ф (а) =
/ (х + аезг+1), / (х + аезг+1 + (а - хзг+1 )езг+2 + е),
хзг+1 + аезг+1 < хзг+2, хзг+1 + аезг+1 > хзг+2.
Для учета ограничений < si в методе координатного спуска переменная бралась как остаток от деления вещественных чисел , = — nsi, где п = ] — целая часть от деления ¿г на si. На итерации 1 МЯТАИТБ методом БМСЯР было найдено 70 стартовых точек, из которых был запущен метод координатного спуска. Наилучшее решение со значением —419.417 было получено при запуске метода локального поиска из 22-й стартовой точки. Найденные локальные минимумы приведены на рис. 4, А.
Рис. 4- Значения локальных минимумов для MSTARTD (А) и MSTART (Б) Жирные точки — локальные минимумы, черная линия — наилучшее найденное значение
Для сравнения был запущен метод мультистарта (MSTART) с генерацией 70 стартовых точек с использованием равномерного случайного распределения. Минимальное найденное значение: -323.712. Вычисленные локальные минимумы приведены на рис. 4, Б.
Для понимания, когда будет получено значение, меньшее либо равное -419.417, расчеты были продолжены. В результате оно было получено при запуске метода локального поиска из 2568-й точки.
Заключение. В работе предложен алгоритм поиска глобального экстремума при интервальных ограничениях на параметры задачи. Метод не предоставляет гарантий оптимальности в отличие от детерминированных алгоритмов глобальной оптимизации (см., например, [1, 35]). Метод был программно реализован и применен для решения практической задачи поиска минимума энергии фрагмента плоской кристаллической решетки. Результаты численного эксперимента показали существенное преимущество предложенного способа выбора стартовых точек по сравнению с псевдослучайным.
Решение задач одномерной оптимизации может выполняться независимым образом. Поэтому описанный алгоритм хорошо подходит для использования параллельных и распределенных вычислений [35, 36] для ускорения работы. В планах дальнейших исследований — проведение масштабного численного эксперимента с помощью библиотеки тестовых функций [37] с целью выделения классов задач, для которых рассматриваемый алгоритм наиболее эффективен.
Литература
1. Евтушенко Ю. Г., Посыпкин М. А. Варианты метода неравномерных покрытий для глобальной оптимизации частично-целочисленных нелинейных задач // Докл. Академии наук. 2011. Т. 437. № 2. С. 168-172.
2. Karnopp D. C. Random search techniques for optimization problems // Automatica. 1963. Vol. 1. N 2-3. P. 111-121.
3. Solis F. J., Wets R. J.-B. Minimization by random search techniques // Mathematics of operations research. 1981. Vol. 6. N 1. P. 19-30.
4. Pages G. The Quasi-Monte Carlo Method // Numerical Probability. Cham: Springer, 2018. P. 95-132.
5. Owen A. B., Glynn P. W. Monte Carlo and Quasi-Monte Carlo methods. California: Springer, 2016. P. 1-478.
6. Bousquet O., Gelly S., Kumch K. et al. Critical hyper-parameters: No random, no cry. arXiv Preprint arXiv: 1706.03200. 2017. URL: https://arxiv.org/abs/1706.03200 (дата обращения: 15.05.2019 г.).
7. Halton J. H. Algorithm 247: Radical-inverse quasi-random point sequence // CACM. 1964. Vol. 7. N 12. P. 701-702.
8. Muniraju G., Kailkhura B., Thiagarajan J., Bremer P. T. Controlled random search improves sample mining and hyper-parameter optimization. arXiv Preprint arXiv: 1809.01712v1. 2018. URL: https://arxiv.org/abs/1706.03200 (дата обращения: 15.05.2019 г.).
9. Gerstner T., Griebel M. Sparse grids // Encyclopedia of Quantitative Finance. 2010. P. 1-6. URL: https://doi.org/10.1002/9780470061602.eqf12011 (дата обращения: 21.05.2019 г.).
10. Sobol I. M., Asotsky D., Kreinin A., Kucherenko K. Construction and comparison of high-dimensional Sobol' generators // Wilmott. 2011. Vol. 2011. N 56. P. 64-79.
11. Соболь И. М. Точки, равномерно заполняющие многомерный куб. М.: Знание, 1985. 125 с.
12. Hickernell F. J., Yuan Y. A simple multistart algorithm for global optimization // CiteSeerX Preprint. 1997. URL: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.46.1346 (дата обращения: 10.05.2019 г.).
13. Marti R., Lozano J. A., Mendiburu A., Hernando L. Multi-start methods // Handbook of Heuristics. Cham: Springer, 2016. P. 1-21.
14. Marti R., Moreno-Vega J. M., Duarte A. Advanced multi-start methods // Handbook of Metaheuristics. Boston: Springer, 2010. P. 265-281.
15. Marti R., Aceves R., Leonet M. T. et al. Intelligent multi-start methods // Handbook of Metaheuristics. Cham: Springer, 2019. P. 221-243.
16. Горчаков А. Ю., Посыпкин М. А. Эффективность методов локального поиска в задаче минимизации энергии плоского кристалла // Современные информационные технологии и ИТ-образование. 2017. Т. 13. № 2. C. 97-102.
17. McKay M. D., Beckman R. J., Conover W. J. Comparison of three methods for selecting values of input variables in the analysis of output from a computer code // Technometrics. 1979. Vol. 21. N 2. P. 239-245.
18. Hofer R., Ktitzer P., Larcher G., Pillichshammer F. Distribution properties of generalized van der Corput—Halton sequences and their subsequences // International Journal of Number Theory. 2009. Vol. 5. N 4. P. 719-746.
19. Lambert J. P. Quasi-Monte Carlo, low discrepancy sequences, and ergodic transformations // Journal of Computational and Applied Mathematics. 1985. Vol. 12. P. 419-423.
20. Faure H. Discrepance de suites associees a un systeme de numeration (en dimensions) // Acta arithmetica. 1982. Vol. 41. N 4. P. 337-351.
21. Niederreiter H. Random number generation and quasi-Monte Carlo methods. Philadelphia: Siam, 1992. Vol. 63. 242 p.
22. Лурье С. А., Соляев Ю. О., Посыпкин М. А. Метод идентификации масштабных параметров градиентной теории упругости на основе численных экспериментов для плоских композитных структур // International Journal of Open Information Technologies. 2015. Vol. 3. N 6. P. 1-5.
23. Евтушенко Ю. Г., Лурье С. А., Посыпкин М. А. Применение методов оптимизации для поиска равновесных состояний двумерных кристаллов // Журн. вычисл. математики и матем. физики. 2016. Т. 56. № 12. С. 2032-2041.
24. Амирханова Г. А., Горчаков А. Ю., Дуйсенбаева А. Ж., Посыпкин М. А. Применение метода точных штрафных функций к задаче минимизации энергии плоского кристалла // XIV Меж-дунар. Азиатская школа-семинар «Проблемы оптимизации сложных систем», 20-31 июля 2018 г., Кыргызская Республика, оз. Иссык-Куль. Алматы: Ин-т информ. и вычисл. технологий МОН РК, 2018. С. 107-113.
25. Амирханова Г. А., Горчаков А. Ю., Дуйсенбаева А. Ж. Гибридизация методов Монте-Карло, имитации отжига и локального поиска // III Междунар. науч. конференция «Информатика и прикладная математика», 26-29 сентября 2018 г. Алматы, Казахстан. 2018. С. 266-274.
26. Amirkhanova G., Gorchakov A., Duysenbaeva A. The application of the methodology of fast automatic differentiation to calculate the gradient of the potential REBO (LAMMPS) // DEStech Transactions on Computer Science and Engineering. 2018. N. optim. P. 103-113.
27. Plimpton S. Fast parallel algorithms for short-range molecular dynamics // Journal of Computational Physics. 1995. Vol. 117. N 1. P. 1-19.
28. Plimpton S., Crozier P., Thompson A. Lammps-large-scale atomic/molecular massively parallel simulator // Sandia National Laboratories. 2007. Vol. 18. P. 43.
29. Wright S. J. Coordinate descent algorithms // Mathematical Programming. 2015. Vol. 151. N 1. P. 3-34.
30. Khamisov O. V., Posypkin M. Univariate global optimization with point-dependent Lipschitz constants // AIP Conference Proceedings / AIP Publishing. 2019. Vol. 2070. P. 1-4.
31. Khamisov O., Posypkin M., Usov A. Piecewise linear bounding functions for univariate global optimization // International Conference on Optimization and Applications. Cham: Springer, 2018. P. 170-185.
32. Piyavskii S. A. An algorithm for finding the absolute extremum of a function // USSR Computational Mathematics and Mathematical Physics. 1972. Vol. 12. N 4. P. 57-67.
33. Hansen P., Jaumard B., Lu Shi-Hui. Global optimization of univariate lipschitz functions: I. Survey and properties // Mathematical Programming. 1992. Vol. 55. N 1-3. P. 251-272.
34. Tersoff J. Modeling solid-state chemistry: Interatomic potentials for multicomponent systems // Physical Review. B. 1989. Vol. 39. N 8. P. 55-66.
35. Evtushenko Y. G., Posypkin M. A., Sigal I. A framework for parallel large-scale global optimization // Computer Science-Research and Development. 2009. Vol. 23. N 3-4. P. 211-215.
36. Bychkov I. V., Manzyuk M. O., Semenov A. A. et al. Technology for integrating idle computing cluster resources into volunteer computing projects // 2015 5th International Workshop on Computer Science and Engineering: Information Processing and Control Engineering, WCSE 2015-IPCE. 2015. P. 109-114.
37. Posypkin M., Usov A. Implementation and verification of global optimization benchmark problems // Open Engineering. 2017. Vol. 7. N 1. P. 470-478.
Статья поступила в редакцию 31 мая 2019 г. Статья принята к печати 28 мая 2020 г.
Контактная информация:
Амирханова Гульшат Аманжоловна — канд. физ.-мат. наук, ст. науч. сотр.; gulshat.aa@gmail.com
Горчаков Андрей Юрьевич — канд. физ.-мат. наук, ст. науч. сотр.; andrgor12@gmail.com Дуйсенбаева Айгерим Жанболатовна — aigerim.95.05@mail.ru
Посыпкин Михаил Анатольевич — д-р физ.-мат. наук, гл. науч. сотр.; mposypkin@gmail.com
Multi-start method with deterministic restart mechanism*
G. A. Amirkhanova1, A. Y. Gorchakov 2'3'4, A. J. Duysenbaeva1, M. A. Posypkin2,3
1 Institute for Information and Computing Technologies, 125, Pushkina ul. (ug. Kurmangazy), Almaty, 050000, Republic of Kazakhstan
2 Federal Research Center "Computer Science and Control" Russian Academy of Sciences, 44, Vavilova ul., Moscow, 119333, Russian Federation
3 Moscow Institute of Physics and Technology (State University), 9, Institutsky per., Dolgoprudny, 141701, Russian Federation
4 National Research University Higher School of Economics, 20, Myasnitskaya ul., Moscow, 101000, Russian Federation
For citation: Amirkhanova G. A., Gorchakov A. Y., Duysenbaeva A. J., Posypkin M. A. Multistart method with deterministic restart mechanism. Vestnik of Saint Petersburg University. Applied Mathematics. Computer Science. Control Processes, 2020, vol. 16, iss. 2, pp. 100-111.
https://doi.org/10.21638/11701/spbu10.2020.202 (In Russian)
The work is devoted to the development and study of a method for solving global optimization problems with interval constraints. The paper proposes a global optimization algorithm based on a deterministic method of selecting starting points for local search methods. The starting points are the extremum points of functions of one variable, obtained by restricting the objective function to straight, collinear coordinate vectors. The effectiveness of the proposed algorithm is demonstrated by the example of the problem of minimizing the energy of a fragment of a flat crystal lattice. The energy of interatomic interaction is calculated using the Tersoff potential. An experimental comparison is made of the developed algorithm with the classical version of the multi-start method, in which pseudo-random points uniformly distributed in the parallelepiped are used to select starting points. As a local search method, in both cases, one of the modifications of the coordinate wise descent method is used. The developed method can be applied to problems with an unknown analytical expression for an objective function that is often encountered in practice.
Keywords: global optimization, multi-start method, fill sequences.
References
1. Evtushenko Y. G., Posypkin M. A. Varianty metoda neravnomernyh pokrytij dlja global'noj optimizacii chastichno-celochislennyh nelinejnyh zadach [Variants of the method of non-uniform coverages for global optimization of partially integer nonlinear problems]. Doc. Academy of Sciences, 2011, vol. 437, no. 2, pp. 168—172. (In Russian)
2. Karnopp D. C. Random search techniques for optimization problems. Automatica, 1963, vol. 1, no. 2-3, pp. 111-121.
* This work was financially supported by the Committee of Science of the Ministry of Education and Science of the Republic of Kazakhstan (grant no. AP05133366).
3. Solis F. J., Wets R. J.-B. Minimization by random search techniques. Mathematics of operations research, 1981, vol. 6, no. 1, pp. 19-30.
4. Pages G. The Quasi-Monte Carlo Method. Numerical Probability. Cham, Springer Publ., 2018, pp. 95-132.
5. Owen A. B., Glynn P. W. Monte Carlo and Quasi-Monte Carlo methods. California, Springer Publ., 2016, pp. 1-478.
6. Bousquet O., Gelly S., Kurach K. et al. Critical hyper-parameters: No random, no cry. arXiv Preprint arXiv: 1706.03200, 2017. Available at: https://arxiv.org/abs/1706.03200 (accessed: 15.05.2019).
7. Halton J. H. Algorithm 247: Radical-inverse quasi-random point sequence. Communications of the ACM, 1964, vol. 7, no. 12, pp. 701-702.
8. Muniraju G., Kailkhura B., Thiagarajan J., Bremer P. T. Controlled random search improves sample mining and hyper-parameter optimization. arXiv Preprint arXiv: 1809.01712v1, 2018. Available at: https://arxiv.org/abs/1706.03200 (accessed: 15.05.2019).
9. Gerstner T., Griebel M. Sparse grids. Encyclopedia of Quantitative Finance, 2010, pp. 1-6. Avaliable at: https://doi.org/10.1002/9780470061602.eqf12011 (accessed: 21.05.2019).
10. Sobol I. M., Asotsky D., Kreinin A., Kucherenko K. Construction and comparison of high-dimensional Sobol' generators. Wilmott, 2011, vol. 2011, no. 56, pp. 64-79.
11. Sobol I. M. Tochki, ravnomerno zapolnjajushhie mnogomernyj kub [Points uniformly filling a multidimensional cube]. Moscow, Znanie Publ., 1985, 125 p. (In Russian)
12. Hickernell F. J., Yuan Y. A simple multistart algorithm for global optimization. CiteSeerX Preprint, 1997. Available at: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.46.1346 (accessed: 10.05.2019).
13. Marti R., Lozano J.A., Mendiburu A., Hernando L. Multi-start methods. Handbook of Heuristics. Cham, Springer Publ., 2016, pp. 1-21.
14. Marti R., Moreno-Vega J. M., Duarte A. Advanced multi-start methods. Handbook of Meta-heuristics. Boston, Springer Publ., 2010, pp. 265-281.
15. Marti R., Aceves R., Leonet M. T. et al. Intelligent multi-start methods. Handbook of Meta-heuristics. Cham, Springer Publ., 2019, pp. 221-243.
16. Gorchakov A. Y., Posypkin M. A. Jeffektivnost' metodovlokal'nogo poiska v zadache minimizacii jenergii ploskogo kristalla [The effectiveness of local search methods in the problem of finding the minimum energy of a 2-D crystal]. Modern Information Technology and IT-education, 2017, vol. 13, no. 2, pp. 97102. (In Russian)
17. McKay M. D., Beckman R. J., Conover W. J. Comparison of three methods for selecting values of input variables in the analysis of output from a computer code. Technometrics, 1979, vol. 21, no. 2, pp. 239-245.
18. Hofer R., Ktitzer P., Larcher G., Pillichshammer F. Distribution properties of generalized van der Corput—Halton sequences and their subsequences. International Journal of Number Theory, 2009, vol. 5, N 4, pp. 719-746.
19. Lambert J. P. Quasi-Monte Carlo, low discrepancy sequences, and ergodic transformations. Journal of Computational and Applied Mathematics, 1985, vol. 12, pp. 419-423.
20. Faure H. Discrepance de suites associees a un systeme de numeration (en dimensions). Acta, arithmetica, 1982, vol. 41, no. 4, pp. 337-351.
21. Niederreiter H. Random number generation and quasi-Monte Carlo methods. Philadelphia, Siam Publ., 1992, vol. 63, 242 p.
22. Lurie S. A., Posypkin M. A., Solyaev Yu. O. Metod identifikacii masshtabnyh paramet-rov gradientnoj teorii uprugosti na osnove chislennyh jeksperimentov dlja ploskihkompozitnyh struktur [Method of identification of scale parameters of gradient theory of elasticity on the basis of numerical experiments in flat composite structures]. International Journal of Open Information Technologies, 2015, vol. 3, no. 6, pp. 1-5. (In Russian)
23. Evtushenko Y. G., Lurie S. A., Posypkin M. A. Primenenie metodov optimizacii dlja poiska ravnovesnyh sostojanij dvumernyhkristallov [Application of optimization methods for finding equilibrium states of two-dimensional crystals]. Computational Mathematics and Mathematical Physics, 2016, vol. 56, no. 12, pp. 2032-2041. (In Russian)
24. Amirhanova G. A., Gorchakov A. Y., Dujsenbaeva A. J., Posypkin M. A. Primeneniemetoda tochnyh shtrafnyh funkcij k zadache minimizacii jenergii ploskogo kristalla [Application of the exact penalty function method to the problem of minimizing the energy of a plane crystal]. XIV Intern. Asian School-Seminar "Problems of Optimizing Complex Systems", 20-31 Jule 2018, Kyrgyz Republic, Lake Issyk-Kul / Inst. inform. and calcul. technologies of the Ministry of Education and Science of the Republic of Kazakhstan. Almaty, IICT Publ., 2018, pp. 107-113. (In Russian)
25. Amirhanova G. A., Gorchakov A. Y., Dujsenbaeva A. J. Gibridizacija metodov Monte-Karlo, imitacii otzhiga i lokal'nogo poiska [Hybridization of Monte Carlo methods, simulated annealing and local
search]. III Intern. Scientific Conference "Informatics and Applied Mathematics", 26—29 September 2018. Almaty, Kazakhstan, 2018, pp. 266—274. (In Russian)
26. Amirkhanova G. A., Gorchakov A. Y., Duysenbaeva A. J. The application of the methodology of fast automatic differentiation to calculate the gradient of the potential REBO (LAMMPS). DEStech Transactions on Computer Science and Engineering, 2018, N. optim, pp. 103—113.
27. Plimpton S. Fast parallel algorithms for short-range molecular dynamics. Journal of Computational Physics, 1995, vol. 117, no. 1, pp. 1—19.
28. Plimpton S., Crozier P., Thompson A. Lammps-large-scale atomic/molecular massively parallel simulator. Sandia National Laboratories, 2007, vol. 18, p. 43.
29. Wright S. J. Coordinate descent algorithms. Mathematical Programming, 2015, vol. 151, no. 1, pp. 3-34.
30. Khamisov O., Posypkin M. Univariate global optimization with point-dependent Lipschitz constants. AIP Conference Proceedings / AIP Publishing, 2019, vol. 2070, pp. 1-4.
31. Khamisov O., Posypkin M., Usov A. Piecewise linear bounding functions for univariate global optimization. International Conference on Optimization and Applications. Cham, Springer Publ., 2018, pp. 170-185.
32. Piyavskii S. A. An algorithm for finding the absolute extremum of a function. USSR Computational Mathematics and Mathematical Physics, 1972, vol. 12, no. 4, pp. 57-67.
33. Hansen P., Jaumard B., Lu Shi-Hui. Global optimization of univariate lipschitz functions: I. Survey and properties. Mathematical Programming, 1992, vol. 55, no. 1-3, pp. 251-272.
34. Tersoff J. Modeling solid-state chemistry: Interatomic potentials for multicomponent systems. Physical Review, B, 1989, vol. 39, no. 8, pp. 55-66.
35. Evtushenko Y. G., Posypkin M. A., Sigal I. A framework for parallel large-scale global optimization. Computer Science-Research and Development, 2009, vol. 23, no. 3-4, pp. 211-215.
36. Bychkov I. V., Manzyuk M. O., Semenov A. A. et al. Technology for integrating idle computing cluster resources into volunteer computing projects. 2015 5th International Workshop on Computer Science and Engineering: Information Processing and Control Engineering, WCSE 2015-IPCE, 2015, pp. 109-114.
37. Posypkin M., Usov A. Implementation and verification of global optimization benchmark problems. Open Engineering, 2017, vol. 7, no. 1, pp. 470-478.
Received: May 31, 2019.
Accepted: May 28, 2020.
Authors' information:
Gulshat A. Amirkhanova — PhD in Physics and Mathematics, Senior Researcher; gulshat.aa@gmail.com
Andrei Y. Gorchakov — PhD in Physics and Mathematics, Senior Researcher; andrgor12@gmail.com
Aigerim Z. Duysenbaeva — aigerim.95.05@mail.ru
Michael A. Posypkin — Dr. Sci. in Physics and Mathematics, Chief Researcher; mposypkin@gmail.com
