CC BY
93
научное издание мгту им. н. э. баумана
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 4 8211. Государственная регистрация №042 1200025. ISSN 1994-0408
электронный научно-технический журнал
Локальный поиск методом Хука-Дживса в гибридном алгоритме глобальной оптимизации # 06, июнь 2014
DOI: 10.7463/0614.0716155
Сулимов В. Д., Шкапов П. М., Носачев С. К.
Россия, МГТУ им. Н.Э. Баумана spmff bmstu.ru
Введение
Современные методы оптимизационного исследования сложных систем основаны на разработке и последующем уточнении их математических моделей, что связано с решением соответствующих обратных задач [1, 2]. Входные данные, необходимые для решения, получают при анализе некоторой косвенной информации - результатов экспериментального определения следственных характеристик для системы или процесса, в том числе регистрируемых параметров переходных процессов. Искомыми являются причинные характеристики, к которым относятся коэффициенты уравнений математической модели объекта, граничные условия, геометрические и ряд других характеристик. В задачах этого типа следует учитывать недифференцируемость и многоэкстремальность критериальных функций ввиду, например, неполноты и зашумленности информации, полученной при измерениях. Одним из основных подходов к решению обратных задач является оптимизационный, при этом требуется в общем случае найти глобальный экстремум не всюду дифференцируемой критериальной функции. Так, в работах [3-5] рассмотрены задачи идентификации и вычислительной диагностики динамических систем, включая задачи оптимизации сингулярных значений линейных динамических систем. Примеры приложения методов глобальной оптимизации к решению задач определения спектральных границ матриц Гессе, определенных на гиперпараллелепипедах, а также минимизации наименьших квадратов и задач дискретного минимакса приведены в работах [6-8]. Методы глобальной оптимизации находят широкое применение в оптимальном управлении, компьютерной томографии, при восстановлении изображений, в задачах обучения нейронных сетей, в других интеллектуальных технологиях [9-12].
Возрастающая сложность оптимизируемых систем, наблюдаемая в последние десятилетия, приводит к усложнению их математических моделей, что значительно затрудняет решение соответствующих экстремальных задач. Существует класс задач оптимизации, в
которых рассматриваются критериальные функции с сильными математическими свойствами, такими как липшицева непрерывность, дифференцируемость и т.д. В подобных случаях возможно применение классических детерминированных алгоритмов, которые, в частности, используют информацию о производных первого и второго порядка от критериальных функций, а также характеризуются высокой скоростью сходимости. Однако в значительном числе практических приложений физические условия задачи могут налагать ограничения на моделирование, вследствие чего критериальные функции обычно не обладают желаемыми свойствами. Так, в обратных задачах критериальные функции могут быть не всюду дифференцируемыми и зашумленными. Наличие шума означает, что вычисление производных является затруднительным и ненадежным. Кроме того, критериальные функции, вычисление которых проводится с использованием стандартных коммерческих кодов, следует рассматривать как заданные в форме «черного ящика». Указанные причины приводят к необходимости использования методов оптимизации без вычисления производных [13, 14]. К числу детерминированных методов глобальной оптимизации, не использующих производных, относятся также методы кривой, заполняющей пространство [15]. Описание некоторых современных подходов к повышению эффективности известных детерминированных методов оптимизации приведено в работах [16, 17].
Следует отметить, что эффективность детерминированных алгоритмов глобальной оптимизации существенно ограничена их зависимостью от размерности экстремальной задачи. В случае большого числа переменных применяют алгоритмы стохастической глобальной оптимизации. К ним относятся алгоритмы моделируемого отжига, генетические, управляемого случайного поиска, метод оптимизации роя частиц и др. Вместе с тем, чувствительность к выбору параметров перечисленных алгоритмов, устанавливаемых пользователем или обусловленных содержанием задачи, во многом определяет скорость сходимости итерационного процесса. Основным недостатком, ограничивающим применение стохастических алгоритмов, является высокая вычислительная стоимость получаемых решений. Активно развивающимся направлением исследований является разработка гибридных алгоритмов, интегрирующих какой-либо стохастический алгоритм, используемый при сканировании пространства переменных для определения области, перспективной на глобальный экстремум, и детерминированный метод локального поиска. Некоторые гибридные алгоритмы глобальной оптимизации, построенные на основе эволюционных алгоритмов в сочетании с детерминированными процедурами локального поиска, описаны в работах [18, 19]. Гибридный алгоритм ШРСА, объединяющий процедуру исследования пространства переменных посредством стохастического алгоритма столкновения частиц РСА и локальный поиск детерминированным методом Хука-Дживса, представлен в работе [20].
Ниже приведено описание нового гибридного алгоритма с локальным поиском методом Хука-Дживса, в котором сканирование пространства переменных проводится с использованием кратного алгоритма столкновения частиц, более эффективного по сравнению с РСА. В первом разделе формулируется задача липшицевой глобальной оптимиза-
ции. Второй раздел содержит изложение последовательности шагов процедуры локального поиска. Краткое описание гибридного алгоритма глобальной оптимизации дано в третьем разделе. Численный пример применения гибридного алгоритма рассматривается в четвертом разделе, где представлены результаты решения стандартной эталонной тестовой задачи глобальной минимизации и некоторые оценки вычислительной эффективности нового алгоритма.
1. Постановка задачи
Рассматривается задача глобальной оптимизации, формулируемая в следующем виде: требуется найти
/\х )= шт /(х), (1)
хеХ^Я"
где
X ={х е В: gi (х)< 0, ё е I }, (2)
В ={х е Я" : < х] < Ъу, у е 3}; (3)
при этом использованы обозначения: / (х) — минимизируемая функция; х — вектор переменных управления; х — глобальное решение; X — допустимая область; В— область поиска; gi (х) — функции ограничений задачи, ё е I; I = {1, ..., т}—конечное множество
индексов; т — число ограничений; а^, Ъу — соответственно нижнее и верхнее ограничения на переменную ху; 3 = {1, ...п}; п — размерность задачи. Функции /(х), gi (х), ё е I, задачи (1) - (3) предполагаются непрерывными липшицевыми. Предполагается также, что действительная функция / : Яп ^ Я является многоэкстремальной, не всюду
дифференцируемой и для нее задана вычислительная процедура, позволяющая определять значения функции в точках допустимой области. Кроме того, необходимо учесть возможную высокую трудоемкость вычисления критериальных функций, что может потребовать значительных вычислительных ресурсов.
В современных исследованиях важное место занимают разработка и применение гибридных методов глобальной оптимизации. Алгоритмы, реализующие указанные методы, позволяют эффективно решать задачи глобальной оптимизации большей размерности по сравнению с детерминированными алгоритмами; при этом вычислительная стоимость полученных решений значительно ниже, чем при использовании стохастических методов. Гибридные алгоритмы, относящиеся к рассматриваемому классу, объединяют какой-либо стохастический алгоритм исследования пространства переменных и детерминированный метод локального поиска. Так, стохастический алгоритм столкновения частиц РСА используется при сканировании пространства переменных в гибридном алгоритме Ш1РСА [20]. Первое описание алгоритма РСА, основанного на алгоритме Метрополиса, дано в работе [21]. Стохастический алгоритм РСА был предложен как альтернатива методу моделируемого отжига [22]. Существенно, что эффективность канонического метода моде-
лируемого отжига во многом зависит от назначаемых пользователем параметров, таких как режим отжига, начальная температура и др. Выбор указанных параметров на практике не всегда очевиден. При реализации алгоритма PCA единственным параметром, задаваемым пользователем, является число итераций в фазе локального поиска; таким образом, алгоритм PCA по отношению к процедуре моделируемого отжига представляется более робастным [20]. Следует отметить, что результирующая эффективность гибридных алгоритмов глобальной недифференцируемой оптимизации может быть повышена за счет совершенствования вычислительных процедур как в фазе сканирования пространства, так и в фазе локального поиска. В частности, для сканирования пространства переменных целесообразно применение современного стохастического кратного алгоритма столкновения частиц M-PCA [23].
2. Локальный поиск методом Хука-Дживса
Обзор существующих методов локальной недифференцируемой оптимизации и соответствующего программного обеспечения приведен в работе [24]. Далее для решения задачи локальной минимизации, как и в работе [20], используется метод Хука-Дживса. Одна из его особенностей состоит в том, что при определении нового направления поиска учитывается информация, полученная при вычислениях на предыдущих итерациях. В методе объединены две фазы: исследующий поиск с циклическим изменением переменных задачи и ускоряющий поиск по образцу. На предварительном (инициирующем) шаге алгоритма Хука-Дживса при решении задачи локальной оптимизации выполняются следующие действия: определяются направления вдоль координат Ь^, . . . , Ьп; выбираются скалярный параметр окончания поиска £ > 0, начальный размер шага Д —£, коэффициент уменьшения шага а > 1; выбирается начальная точка Х;, полагается = , задается к = у = 1 и происходит переход к основному шагу, который включает в себя приведенную ниже последовательность частных шагов.
1. Если /(У; +ДЬ ) < У(у;), то попытка успешна; положить у+1 = у + ДЬг и перейти к шагу 2. Если /(у + ДЬ) — У(У), то попытка неудачна, при этом: если /(у; — ДЬ ) < У (Уг), то у +1 = у —ДЬ и перейти к шагу 2; если же
У(Уг —ДЬг) — у(Уг), то п°л°жить у г+1 = У г.
2. Если у < п, то задать ] = ] +1 и повторить шаг 1. Иначе перейти к шагу 3, если
у(уп+1) < у(хк ), или перейти к шагу 4 если у(уп+1) — у(хк ).
3. Задать Хк+1 = уп+1 и у = Хк+1 +а(Хк+1 — Хк). Заменить к на к +1, положить у =1 и перейти к шагу 1.
4. Если Д < £, то останов: Х^ есть решение. Иначе заменить Д на Д/2 . Положить уг = Хк, Хк+1 = Хк, заменить к на к + 1, положить у =1 и повторить шаг 1.
3. Гибридный алгоритм глобальной оптимизации
К числу наиболее мощных современных стохастических алгоритмов глобальной оптимизации относится кратный алгоритм столкновения частиц M-PCA [23]. Существенным шагом алгоритма является сравнительная оценка качества решения, определяемого текущей и предшествующей конфигурациями системы. Пробное приближение принимается с определенной вероятностью, что исключает сходимость к локальному минимуму при поиске глобального решения. Работа алгоритма M-PCA основана на использовании аналогии с физическими процессами абсорбции и рассеяния частиц при ядерных реакциях. В его простейшей версии для исследования пространства переменных используется одна частица: указанная версия алгоритма M-PCA совпадает с алгоритмом PCA, интегрированным в гибридный алгоритм HJPCA [20]. На начальном шаге выбирается пробное решение (Old_Config), которое затем модифицируется посредством стохастического возмущения (функция Perturbation( )), что позволяет найти новое решение (New_Config). С помощью функции Fitness( ) дается сравнительная оценка нового и предыдущего решений, на основании которой новое решение может быть принято или отвергнуто. Если новое решение отвергнуто, то происходит переход к функции Scattering( ), реализующей схему Метропо-лиса. Для сканирования области, перспективной на минимум, применяются функции Per-turbation( ) и Small_Perturbation( ). Новое решение принимается, если оно лучше предыдущего (абсорбция); если найденное решение хуже предыдущего, то происходит переход в отдаленную область пространства переменных (рассеяние), что позволяет преодолевать локальные минимумы. В работе [20] приведены результаты сравнения эффективности гибридного алгоритма HJPCA и современных, обладающих высокими характеристиками алгоритмов, реализующих метаэвристики GLOBAL и C-GRASP [25, 26]. Так, по результатам сравнения алгоритма C-GRASP с генетическим алгоритмом Genocop III и алгоритмами, реализующими метаэвристики Scatter Search и DTSasp, установлено, что при решении сорока стандартных эталонных тестовых задач глобальной оптимизации алгоритм C-GRASP оказался более эффективным [26 -28]. Последний, в частности, превосходит остальные алгоритмы по критерию «число найденных решений в зависимости от количества вычислений значений минимизируемых функций». По результатам тестирования гибридного алгоритма HJPCA, а также алгоритмов GLOBAL и C-GRASP (данные получены для четырнадцати стандартных эталонных тестовых многомерных функций), установлена более высокая эффективность алгоритма HJPCA. Например, при использовании гибридного алгоритма HJPCA среднее количество вычислений значений критериальных функций составило 20,4% относительно алгоритма GLOBAL и 14,5% - относительно алгоритма C-GRASP [20]. Следовательно, гибридный алгоритм HJPCA является одним из наиболее мощных современных алгоритмов глобальной оптимизации.
Эффективность сканирования пространства переменных при поиске глобального решения, выполняемого алгоритмом PCA, может быть значительно повышена за счет одновременного использования большого числа частиц. Такой подход реализует кратный алгоритм M-PCA, который непосредственно ориентирован на применение в среде парал-
лельных вычислений. Наилучшее решение определяется с учетом данных о всех частицах, участвующих в процессе. При выбранном количестве частиц единственным задаваемым параметром для алгоритма M-PCA является число итераций. Подобно алгоритму PCA, кратный алгоритм M-PCA также является более робастным по отношению к моделируемому отжигу [23]. Локальный поиск в новом гибридном алгоритме должен выполнятся с учетом предположения о недифференцируемости критериальной функции. Как и в алгоритме HJPCA [20], локальная минимизация проводится методом Хука-Дживса. Результирующий гибридный алгоритм M-PCAHJ реализован в виде прикладного программного обеспечения. В представленном ниже фрагменте псевдокода гибридного алгоритма его первая (генерация начального решения) и третья (рассеяние) функции полностью соответствуют аналогичным функциям стохастического алгоритма M-PCA [23].
1. Generate an initial solution OldConfig BestFitness = Fitness (OldConfig) Update Blackboard
For n = 0 to # of particles
For n = 0 to # of iterations Update Blackboard Perturbation ( )
If Fitness (NewConfig) > Fitness (Old Config) If Fitness (New Config) > Best Fitness
Best Fitness := Fitness (New Config)
End If
Old Config := New Config Exploration ( )
Else
Scattering ( )
End If End For End For
2. Exploration ( )
For n = 0 to # of iterations Small_Perturbation ( ) Local search
using Hooke-Jeeves method Check stopping criterion: Find global solution Best Fitness Else continue
If Fitness (New Config) > Best Fitness
Best Fitness := Fitness (New Config)
End If
OldConfig := NewConfig End For
Return
3. Scattering ( )
Pscatt = 1_( Fitness (New Config)) / (Best Fitness)
If Pscatt> random(0, 1)
Old Config := random solution
Else
Exploration ( )
End If
Return
В состав гибридного алгоритма M-PCAHJ входят также стандартные процедуры Per-turbation( ) и Small_Perturbation( ) [23]. Работа программы начинается с выбора пробного решения, которое затем модифицируется; при этом точки пространства переменных определяются случайным образом (Update Blackboard - обновление данных области памяти, общедоступной для всех программных модулей). Во внешнем и внутреннем циклах должны быть определены (обозначены символом #) два параметра: соответственно число используемых частиц и количество выполняемых итераций. Модификация текущего решения производится с помощью функции стохастического возмущения Perturbation( ); в результате определяется новое решение. Затем с помощью стандартной функции оценки Fit-ness( ) выполняется сравнение найденного нового и предыдущего решений, и т. д., согласно псевдокоду. Число итераций является одним из критериев завершения работы программы: его значение, равное 105, позволяет получить хорошие результаты для широкого круга приложений [23].
Следует отметить, что метод Хука-Дживса, используемый при локальном поиске, имеет ряд принципиальных недостатков. Так, при наличии нелинейных эффектов алгоритм Хука-Дживса может генерировать последовательность исследующих поисков без перехода к ускоряющему поиску по образцу. Выбор более эффективного метода для использования в локальной фазе позволяет улучшить результирующие характеристики гибридного алгоритма. Другой гибридный алгоритм, объединяющий стохастический алгоритм M-PCA и детерминированный метод кривой, заполняющей пространство, при локальной минимизации, представлен в работе [29]. К перспективным методам локального поиска без использования производных, реализуемых в гибридных алгоритмах, можно отнести версию симплекс-метода Нелдера-Мида с адаптивной настройкой параметров [30].
4. Численный пример
Рассматривается задача минимизации многомерной функции Леви-Монтальво, принятой в современной литературе в качестве одного из стандартных эталонных тестов глобальной оптимизации [26, 28]. Исследуемая функция, определенная в виде
/ (х) = -{& (ку1) + п
■5—Ы — А)1 (1+ к ^ ^+1 — А)2 }
Ё=1
где уЁ = 1 + 0.25(хЁ — 1), —10<хЁ < 10, Ё = 1,2,...", к = 10, А = 1,
имеет глобальный минимум /(х*)= 0 при х* = 1, ё = 1,2,..., п.
Двумерная версия функции Леви-Монтальво представлена на рисунке 1.
Рис. 1. Двумерная версия тестовой функции Леви-Монтальво
Решение задачи определения глобального минимума тестовой функции получено с использованием гибридного алгоритма М-РСАШ. Заданы следующие значения парамет-
-> „л гшах о с
ров: число используемых частиц Пр = 3; максимальное количество итераций N Ёег = 25
; параметр окончания поиска 8 = 10 5. По завершении фазы сканирования пространства переменных была выделена область, перспективная на глобальный минимум, и определена стартовая точка для фазы локального поиска: х^ *1,2235590; х2 * 2,0162639; / (х0) * 0,6107706.
Сходимость решения иллюстрируют рисунки 2, 3 (МПег - число итераций). Итера-
13
ции в фазе локального поиска были прекращены по условию /(х ) <8 (потребовалось
13 итераций, Niter < ). Получено приближенное решение задачи глобальной мини-
мизации: х^3 * 1,000903; х^3 * 1,000639; Дх13) * 0,80166-10"5; при этом относительная погрешность определения значений переменных управления составляет менее 0,1%. Можно отметить достаточно высокую вычислительную эффективность представленного гибридного алгоритма.
■а
X
2,20е+00 2,00е+00 1,80е+00 1,60е+00 1,40е+00 1,20е+00 1,00е+00 8,00е-01
В -
6 8 Niter
10
12
14
0
2
4
х1
х2
Рис. 2. Изменение значений переменных управления Хг на завершающих итерациях (фаза локального
поиска) алгоритма М-РСАШ
ад
Рис. 3. Уточнение значений критериальной функции у (х) на завершающих итерациях (фаза локального
поиска) алгоритма М-РСАШ
Новый гибридный алгоритм М-РСАШ можно рассматривать как модификацию алгоритма ШРСА [20], причем повышение результирующей вычислительной эффективности по сравнению с последним достигается за счет фазы сканирования пространства пере-
менных при использовании более чем одной частицы. Согласно данным, приведенным в работе [23], при возрастании числа используемых частиц наблюдается сублинейный рост эффективности стохастического алгоритма M-PCA. Кроме того, согласно тем же данным, при ограничении на общее число итераций, установленном пользователем, кратный алгоритм M-PCA способен находить глобальное решение в тех случаях, когда при использовании алгоритма PCA получить его не удается. Количество вычислений критериальной функции для фазы локального поиска алгоритма M-PCAHJ на порядок (и более) превышает значение аналогичного параметра для фазы сканирования пространства переменных. Более высокое качество сканирования при использовании кратного алгоритма M-PCA по сравнению с каноническим PCA уменьшает количество выполняемых поисков локальных минимумов и, следовательно, общее количество вычислений критериальной функции. Это определяет более высокую эффективность нового гибридного алгоритма M-PCAHJ, описанного выше, по сравнению с алгоритмом HJPCA.
Выводы.
Представлен новый гибридный алгоритм глобальной оптимизации M-PCAHJ, объединяющий современный стохастический алгоритм M-PCA, применяемый при сканировании пространства переменных, и детерминированную процедуру локального поиска без использования производных. Локальный поиск выполняется методом Хука-Дживса. Разработано программное обеспечение, реализующее гибридный алгоритм. На основании данных о характеристиках алгоритма HJPCA, приведенных в современной литературе, и с учетом результатов тестирования нового гибридного алгоритма (как модификации HJPCA), показавших достаточно высокую его эффективность, можно рассматривать аспекты практического применения алгоритма M-PCAHJ к решению задач оптимизации сложных систем.
Работа выполнена при финансовой поддержке Министерства образования и науки РФ (грант Президента РФ по поддержке научных исследований ведущих научных школ РФ, код НШ-4058.2014.8).
Список литературы
1. Pulecchi T., Casella F., Lovera M. Object-oriented modelling for spacecraft dynamics: Tools and applications // Simulation Modelling and Theory. 2010. Vol. 18, no. 1. P. 63-86. DOI: 10.1016/j.simpat.2009.09.010
2. Fernández-Martinez J.L., Mukerji T., García-Gonzalo E., Fernández-Muñiz Z. Uncertainty assessment for inverse problems in high dimensional spaces using particle swarm optimization and model reduction techniques // Mathematical and Computer Modelling. 2011. Vol. 54, no. 11-12. P. 2889-2899. DOI: 10.1016/j.mcm.2011.07.009
3. Nakamura T., Small M. Nonlinear dynamical system identification with dynamic noise and observational noise // Physica D: Nonlinear Phenomena. 2006. Vol. 223, iss. 1. P. 54-68. DOI: 10.1016/j.physd.2006.08.013
4. Kinelev V.G., Shkapov P.M., Sulimov V.D. Application of global optimization to VVER-1000 reactor diagnostics // Progress in Nuclear Energy. 2003. Vol. 43, no. 1-4. P. 51-56. DOI: 10.1016/S0149-1970(03)00010-6
5. Mengi E. Nearest linear systems with highly deficient reachable subspaces // SIAM Journal of Matrix Analysis and Applications. 2012. Vol. 33, no. 3. P. 1000-1017. DOI: 10.1137/120867895
6. Damp M.S., Kastsian M., Mross S., Monnigmann M. Efficient computation of spectral bounds for Hessian matrices on hyperrectangles for global optimization // Journal of Global Optimization. 2014. Vol. 58, no. 4. P. 631-652. DOI: 10.1007/s10898-013-0099-1
7. Zhang H., Conn A.R. On the local convergence of a derivative-free algorithm for least-squares minimization // Computational Optimization and Applications. 2012. Vol. 51, no. 2. P. 481-507. DOI: 10.1007/s10589-010-9367-x
8. Hare W., Macklem M. Derivative-free methods for finite minimax problems // Optimization Methods and Software. 2013. Vol. 28, no. 2. P. 300-312. DOI: 10.1080/10556788.2011.638923
9. Kvasov D.E., Sergeev Ya. D. Lipschitz global optimization methods in control problems // Automation and Remote Control. 2013. Vol. 74, no. 9. P. 1435-1448. DOI: 10.1134/S0005117913090014
10. Goncharsky A.V., Romanov S.Y. Supercomputer technologies in inverse problems of ultrasound tomography // Inverse Problems. 2013. Vol. 29, no. 7. P. 1-22. DOI: 10.1088/02665611/29/7/075004
11. Wu C., Zhang J., Duan Y., Tai X.-C. Augmented Lagrangian method for total variation based image restoration and segmentation over triangulated surfaces // Journal of Scientific Computing. 2012. Vol. 50, no. 1. P. 145-166. DOI: 10.1007/s10915-011-9477-3
12. De Oliveira M.V., de Almeida J.C.S. Applications of artificial intelligence techniques in modeling and control of a nuclear power plant pressurizer system // Progress in Nuclear Energy. 2013. Vol. 63. P. 71-85. DOI: 10.1016/j.pnucene.2012.11.005
13. Diniz-Ehrhardt M.A., Martinez J.M., Pedroso L.G. Derivative-free methods for nonlinear programming with general lower-level constraints // Computational and Applied Mathematics. 2011. Vol. 30, no. 1. P. 19-52.
14. Powell M.J.D. On the convergence of trust region algorithms for unconstrained minimization without derivatives // Computational Optimization and Applications. 2012. Vol. 53, no. 3. P. 527-555. DOI: 10.1007/s10589-012-9483-x
15. Lera D., Sergeev Ya.D. Lipschitz and Holder global optimization using space-filling curves // Applied Numerical Optimization. 2010. Vol. 60, no. 1-2. P. 115-129. DOI: 10.1016/j.apnum.2009.10.004
16. Lera D., Sergeev Ya.D. Acceleration of univariate global optimization algorithms working with Lipschitz functions and Lipschitz first derivatives // SIAM Journal on Optimization. 2013. Vol. 23, no. 1. P. 508-529. DOI: 10.1137/110859129
17. Birgin E.G., Martinez J.M., Prudente L.F. Augmented Lagrangians with possible infeasibil-ity and finite termination for global nonlinear programming // Journal of Global Optimization. 2014. Vol. 58, no. 2. P. 207-242. DOI: 10.1007/s10898-013-0039-0
18. Voglis C., Parsopoulos K.E., Papageorgiou D.G., Lagaris I.E., Vrahatis M.N. MEMPSODE: A global optimization software based on hybridization of population-based algorithms and local searches // Computer Physics Communications. 2012. Vol. 183, no. 2. P. 1139-1154. DOI: 10.1016/j.cpc.2012.01.010
19. Zilinskas A., Zilinskas J. A hybrid global optimization algorithm for non-linear least squares regression // Journal of Global Optimization. 2013. Vol. 56, no. 2. P. 265-277. DOI: 10.1007/s10898-011-9840-9
20. Rios-Coelho A.C., Sacco W.F., Henderson N. A Metropolis algorithm combined with Hooke-Jeeves local search method applied to global optimization // Applied Mathematics and Computation. 2010. Vol. 217, no. 2. P. 843-853. DOI: 10.1016/j.amc.2010.06.027
21. Sacco W.F., de Oliveira C.R.E. A new stochastic optimization algorithm based on particle collisions // Proceedings of the 2005 ANS Annual Meeting. Transactions of the American Nuclear Society. 2005. Vol. 92. P. 657-659.
22. Kirkpatrick S., Gelatt Jr. C.D., Vecchi M.P. Optimization by simulated annealing // Science. 1983. Vol. 220, no. 4598. P. 671-680. DOI: 10.1126/science.220.4598.671
23. Luz E.F.P., Becceneri J.C., de Campos Velho H.F. A new multi-particle collision algorithm for optimization in a high performance environment // Journal of Computational Interdisciplinary Sciences. 2008. Vol. 1, no. 1. P. 3-10. DOI: 10.6062/jcis.2008.01.01.0001
24. Rios L.M., Sahinidis N.V. Derivative-free optimization: a review of algorithms and comparison of software implementations // Journal of Global Optimization. 2013. Vol. 56, no. 3. P. 1247-1293. DOI: 10.1007/s10898-012-9951-y
25. Csendes T., Pal L., Sendin J.O.H., Banga J.R. The GLOBAL optimization method revisited // Optimization Letters. 2008. Vol. 2, no. 4. P. 445-454. DOI: 10.1007/s11590-007-0072-3
26. Hirsch M.J., Pardalos P.M., Resende M.G.C. Speeding up continuous GRASP // European Journal of Operational Research. 2010. Vol. 205, no. 3. P. 507-521. DOI: 10.1016/j.ejor.2010.02.009
27. Laguna M., Marti R. Experimental testing of advanced scatter search designs for global optimization of multimodal functions // Journal of Global Optimization. 2005. Vol. 33, no. 2. P. 235-255. DOI: 10.1007/s10898-004-1936-z
28. Hedar A.-R., Fukushima M. Tabu Search directed by direct search methods for nonlinear global optimization // European Journal of Operational Research. 2006. Vol. 170, no. 2. P. 329-349. DOI: 10.1016/j.ejor.2004.05.033
29. Sulimov V.D., Shkapov P.M. Application of hybrid algorithms to computational diagnostic problems for hydromechanical systems // Journal of Mechanics Engineering and Automation. 2012. Vol. 2, no. 12. P. 734-741.
30. Gao F., Han L. Implementing the Nelder-Mead simplex algorithm with adaptive parameters // Computational Optimization and Applications. 2012. Vol. 51, no. 1. P. 259-277. DOI: 10.1007/s10589-010-9329-3
SCIENTIFIC PERIODICAL OF THH BAUMAN MSTU
SCIENCE and EDUCATION
EL № FS77 - 48211. N»0421200025. ISSN 1994-0408
electronic scientific and technical journal
Hooke-Jeeves Method-used Local Search in a Hybrid Global
Optimization Algorithm
# 06, June 2014
DOI: 10.7463/0614.0716155
V.D. Sulimov, P.M. Shkapov, S.K. Nosachev
Bauman Moscow State Technical University, 105005, Moscow, Russian Federation
spmffbmstu.ru
Modern methods for optimization investigation of complex systems are based on development and updating the mathematical models of systems because of solving the appropriate inverse problems. Input data desirable for solution are obtained from the analysis of experimentally defined consecutive characteristics for a system or a process. Causal characteristics are the sought ones to which equation coefficients of mathematical models of object, limit conditions, etc. belong. The optimization approach is one of the main ones to solve the inverse problems. In the main case it is necessary to find a global extremum of not everywhere differentiable criterion function. Global optimization methods are widely used in problems of identification and computation diagnosis system as well as in optimal control, computing to-mography, image restoration, teaching the neuron networks, other intelligence technologies. Increasingly complicated systems of optimization observed during last decades lead to more complicated mathematical models, thereby making solution of appropriate extreme problems significantly more difficult. A great deal of practical applications may have the problem con-ditions, which can restrict modeling. As a consequence, in inverse problems the criterion functions can be not everywhere differentiable and noisy. Available noise means that calculat-ing the derivatives is difficult and unreliable. It results in using the optimization methods without calculating the derivatives.
An efficiency of deterministic algorithms of global optimization is significantly restrict-ed by their dependence on the extreme problem dimension. When the number of variables is large they use the stochastic global optimization algorithms. As stochastic algorithms yield too expensive solutions, so this drawback restricts their applications. Developing hybrid algo-rithms that combine a stochastic algorithm for scanning the variable space with deterministic local search method is a promising way. A new hybrid algorithm that integrates a multiple Metropolis algorithm and the Hooke-Jeeves method for the local search is proposed. Some results on solving the global optimization benchmark are presented.
Publications with keywords: global optimization, criterion function, local search, hybrid algorithm, Metropolis algorithm
Publications with words: global optimization, criterion function, local search, hybrid algorithm, Metropolis algorithm
References
1. Pulecchi T., Casella F., Lovera M. Object-oriented modelling for spacecraft dynamics: Tools and applications. Simulation Modelling and Theory, 2010, vol. 18, no. 1, pp. 63-86. DOI: 10.1016/j.simpat.2009.09.010
2. Fernández-Martinez J.L., Mukerji T., García-Gonzalo E., Fernández-Muñiz Z. Uncertainty assessment for inverse problems in high dimensional spaces using particle swarm optimization and model reduction techniques. Mathematical and Computer Modelling, 2011, vol. 54, no. 11-12, pp. 2889-2899. DOI: 10.1016/j.mcm.2011.07.009
3. Nakamura T., Small M. Nonlinear dynamical system identification with dynamic noise and observational noise. Physica D: Nonlinear Phenomena, 2006, vol. 223, iss. 1, pp. 54-68. DOI: 10.1016/j.physd.2006.08.013
4. Kinelev V.G., Shkapov P.M., Sulimov V.D. Application of global optimization to VVER-1000 reactor diagnostics. Progress in Nuclear Energy, 2003, vol. 43, no. 1-4, pp. 51-56. DOI: 10.1016/S0149-1970(03)00010-6
5. Mengi E. Nearest linear systems with highly deficient reachable subspaces. SIAM Journal of Matrix Analysis and Applications, 2012, vol. 33, no. 3, pp. 1000-1017. DOI: 10.1137/120867895
6. Darup M.S., Kastsian M., Mross S., Mönnigmann M. Efficient computation of spectral bounds for Hessian matrices on hyperrectangles for global optimization. Journal of Global Optimization, 2014, vol. 58, no. 4, pp. 631-652. DOI: 10.1007/s10898-013-0099-1
7. Zhang H., Conn A.R. On the local convergence of a derivative-free algorithm for least-squares minimization. Computational Optimization and Applications, 2012, vol. 51, no. 2, pp. 481-507. DOI: 10.1007/s 10589-010-9367-x
8. Hare W., Macklem M. Derivative-free methods for finite minimax problems. Optimization Methods and Software, 2013, vol. 28, no. 2, pp. 300-312. DOI: 10.1080/10556788.2011.638923
9. Kvasov D.E., Sergeev Ya. D. Lipschitz global optimization methods in control problems. Automation and Remote Control, 2013, vol. 74, no. 9, pp. 1435-1448. DOI: 10.1134/S0005117913090014
10. Goncharsky A.V., Romanov S.Y. Supercomputer technologies in inverse problems of ultrasound tomography. Inverse Problems, 2013, vol. 29, no. 7, pp. 1-22. DOI: 10.1088/02665611/29/7/075004
11. Wu C., Zhang J., Duan Y., Tai X.-C. Augmented Lagrangian method for total variation based image restoration and segmentation over triangulated surfaces. Journal of Scientific Computing, 2012, vol. 50, no. 1, pp. 145-166. DOI: 10.1007/s10915-011-9477-3
12. De Oliveira M.V., de Almeida J.C.S. Applications of artificial intelligence techniques in modeling and control of a nuclear power plant pressurizer system. Progress in Nuclear Energy, 2013, vol. 63, pp. 71-85. DOI: 10.1016/j.pnucene.2012.11.005
13. Diniz-Ehrhardt M.A., Martinez J.M., Pedroso L.G. Derivative-free methods for nonlinear programming with general lower-level constraints. Computational and Applied Mathematics, 2011, vol. 30, no. 1, pp. 19-52.
14. Powell M.J.D. On the convergence of trust region algorithms for unconstrained minimization without derivatives. Computational Optimization and Applications, 2012, vol. 53, no. 3, pp. 527-555. DOI: 10.1007/s10589-012-9483-x
15. Lera D., Sergeev Ya.D. Lipschitz and Holder global optimization using space-filling curves. Applied Numerical Optimization, 2010, vol. 60, no. 1-2, pp. 115-129. DOI: 10.1016/j.apnum.2009.10.004
16. Lera D., Sergeev Ya.D. Acceleration of univariate global optimization algorithms working with Lipschitz functions and Lipschitz first derivatives. SIAM Journal on Optimization, 2013, vol. 23, no. 1, pp. 508-529. DOI: 10.1137/110859129
17. Birgin E.G., Martinez J.M., Prudente L.F. Augmented Lagrangians with possible infeasibility and finite termination for global nonlinear programming. Journal of Global Optimization, 2014, vol. 58, no. 2, pp. 207-242. DOI: 10.1007/s10898-013-0039-0
18. Voglis C., Parsopoulos K.E., Papageorgiou D.G., Lagaris I.E., Vrahatis M.N. MEMPSODE: A global optimization software based on hybridization of population-based algorithms and local searches. Computer Physics Communications, 2012, vol. 183, no. 2, pp. 1139-1154. DOI: 10.1016/j.cpc.2012.01.010
19. Zilinskas A., Zilinskas J. A hybrid global optimization algorithm for non-linear least squares regression. Journal of Global Optimization, 2013, vol. 56, no. 2, pp. 265-277. DOI: 10.1007/s10898-011-9840-9
20. Rios-Coelho A.C., Sacco W.F., Henderson N. A Metropolis algorithm combined with Hooke-Jeeves local search method applied to global optimization. Applied Mathematics and Computation, 2010, vol. 217, no. 2, pp. 843-853. DOI: 10.1016/j.amc.2010.06.027
21. Sacco W.F., de Oliveira C.R.E. A new stochastic optimization algorithm based on particle collisions. Proceedings of the 2005 ANS Annual Meeting. Transactions of the American Nuclear Society, 2005, vol. 92, pp. 657-659.
22. Kirkpatrick S., Gelatt Jr. C.D., Vecchi M.P. Optimization by simulated annealing. Science, 1983, vol. 220, no. 4598, pp. 671-680. DOI: 10.1126/science.220.4598.671
23. Luz E.F.P., Becceneri J.C., de Campos Velho H.F. A new multi-particle collision algorithm for optimization in a high performance environment. Journal of Computational Interdisciplinary Sciences, 2008, vol. 1, no. 1, pp. 3-10. DOI: 10.6062/jcis.2008.01.01.0001
24. Rios L.M., Sahinidis N.V. Derivative-free optimization: a review of algorithms and comparison of software implementations. Journal of Global Optimization, 2013, vol. 56, no. 3, pp. 1247-1293. DOI: 10.1007/s10898-012-9951-y
25. Csendes T., Pal L., Sendin J.O.H., Banga J.R. The GLOBAL optimization method revisited. Optimization Letters, 2008, vol. 2, no. 4, pp. 445-454. DOI: 10.1007/s11590-007-0072-3
26. Hirsch M.J., Pardalos P.M., Resende M.G.C. Speeding up continuous GRASP. European Journal of Operational Research, 2010, vol. 205, no. 3, pp. 507-521. DOI: 10.1016/j.ejor.2010.02.009
27. Laguna M., Marti R. Experimental testing of advanced scatter search designs for global optimization of multimodal functions. Journal of Global Optimization, 2005, vol. 33, no. 2, pp. 235-255. DOI: 10.1007/s10898-004-1936-z
28. Hedar A.-R., Fukushima M. Tabu Search directed by direct search methods for nonlinear global optimization. European Journal of Operational Research, 2006, vol. 170, no. 2, pp. 329-349. DOI: 10.1016/j.ejor.2004.05.033
29. Sulimov V.D., Shkapov P.M. Application of hybrid algorithms to computational diagnostic problems for hydromechanical systems. Journal of Mechanics Engineering and Automation, 2012, vol. 2, no. 12, pp. 734-741.
30. Gao F., Han L. Implementing the Nelder-Mead simplex algorithm with adaptive parameters. Computational Optimization and Applications, 2012, vol. 51, no. 1, pp. 259-277. DOI: 10.1007/s10589-010-9329-3
