Многомерная многоэкстремальная оптимизация на основе адаптивной многошаговой редукции размерности Текст научной статьи по специальности «Математика»

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ОПТИМАЛЬНОЕ УПРАВЛЕНИЕ

УДК 519.853.4

МНОГОМЕРНАЯ МНОГОЭКСТРЕМАЛЬНАЯ ОПТИМИЗАЦИЯ НА ОСНОВЕ АДАПТИВНОЙ МНОГОШАГОВОЙ РЕДУКЦИИ РАЗМЕРНОСТИ

© 2010 г. В.П. Гергель, В.А. Гришагин, А.В. Гергель

Нижегородский госуниверситет им. Н.И. Лобачевского [email protected]

Поступила в редакцию 18.06.2009

Рассматриваются методы решения многомерных многоэкстремальных задач, использующие многошаговую схему редукции размерности. Предлагается новый метод решения многомерных многоэкстремальных задач на основе адаптивной многошаговой оптимизации.

Ключевые слова: многомерная многоэкстремальная оптимизация, алгоритмы глобального поиска, адаптивная многошаговая схема редукции размерности.

Введение

Многоэкстремальные задачи, методы решения которых рассматриваются в данной статье, широко встречаются в приложениях. Усложнение математических моделей для более адекватного описания изучаемых объектов, явлений и систем приводит к резкому увеличению трудоемкости анализа этих моделей. Главным инструментом такой оценки становится вычислительный эксперимент. Это повышение сложности приводит к необходимости целенаправленного выбора вариантов в процессе поиска оптимального решения. Существо целенаправленного выбора состоит в том, чтобы на основе анализа небольшой части вариантов исключить из дальнейшего рассмотрения многие заведомо неперспективные случаи и сосредоточить дальнейший поиск в подобластях, содержащих наилучший вариант. Однако разработка эффективного алгоритма оптимизации в явном - многомерном - случае часто является трудоемкой. Выход из сложившейся ситуации - применение для разработки методов глобального поиска различных схем редукции размерности.

1. Многошаговая схема редукции размерности

Широко известный и активно используемый подход обобщения методов одномерной опти-

мизации для решения многомерных оптимизационных задач состоит в применении многошаговой схемы редукции размерности, согласно которой решение многомерной задачи оптимизации может быть получено посредством решения последовательности «вложенных» одномерных задач (см., например, [1-3]): min ф(y) = min ... min ф{укyN) . (1)

yeD y1G[a1,b1 J yNe. ,bN i

Использование этой схемы позволять получить общий способ для применения одномерных алгоритмов оптимизации к решению многомерных оптимизационных задач. Согласно (1) решение многомерной многоэкстремальной задачи оптимизации сводится к решению одномерной задачи:

ф* = min ф(y) = min ~х(у), (2)

yeD Ух Ф1А ]

где

Ф i (У i) = Ф i (У1 »•••» У i) =

= min Фi+i (yуi, yi+1), 1 < i < N , (3)

yi+\4[i+1 A+1J

(yi >■■■> yN) = Ф (yi >-> yN) • (4)

Приводимая в (2) одномерная функция ~ j (у) строится по общему рекуррентному правилу -для вычисления значения ф! (у) для некоторого заданного значения переменной у = у необходимо выполнить минимизацию функции

ф2 (У2 ) = Ф2 (-Pi» У2 )

по У2 (при проведении этой оптимизации функция ~ 2 также является одномерной, т.к. значение переменной у! является заданным и фиксированным); далее, в свою очередь, для вычисления значения ~ 2 (у 2 ) в точке У2 = у 2 необходимо повести минимизацию функции ~ 3 (У3 ) = Ф 3 (.VI» У 2 »-V3)

и т.д.

Схема (2)-(4) совместно со свойством лип-шицевости конструируемых в рамках схемы одномерных функций ф, (у), 1 < / < N, в сочетании с одномерными алгоритмами послужили основой для создания ряда многомерных методов. Приведем для иллюстрации результаты вычислительного эксперимента по решению многомерных многоэкстремальных задач оптимизации с использованием многошаговой схемы редукции размерности при помощи алгоритмов глобального поиска, разработанных в рамках информационно-статистического подхода.

Пример 1. Пусть необходимо максимизировать функцию из класса тестовых задач [3]:

ф( У1, У 2 ) = -

2

£ И [С/А/(А,У2 ) - °уЪу (УьУ2)]

2

г=1 ]=1

где а і (у 1, у 2 ) = вт(л/уі) 8Іп(п/>2 ) , Ь (Уі, У2 ) =

= соє(гау )соє(тс/у2 ) определены в области

0 — у, у — 1, а параметры -1 <А у, Б у, Су,

Б іі < 1 являются независимыми случайными величинами, равномерно распределенными в указанном выше интервале. Минимизация подобных функций возникает, например, в задаче оценки максимального напряжения (определяющего прочность) в тонкой пластине при поперечной нагрузке.

В приведенном примере использовался алгоритм глобального поиска [1] при параметре надежности г = 2 и точности поиска є = 0.01 по каждой переменной. Всего было выполнено 464 итерации поиска, в результате которых была *

получена оценка фк =-10.832, с координатами у* = (0.644, 0.133).

Завершая характеристику многошаговой схемы редукции размерности, следует отметить, что данный подход к построению многомерных методов обладает и рядом недостатков. При использовании этой схемы точность в условии остановки, обеспечивающем прерывание решения любой вложенной одномерной задачи вида (3), должна быть задана заранее, и если точность окажется недостаточной, то решение задачи в целом придется повторить заново (с большей точностью). С другой стороны, использование завышенной точности может приводить к существенному увеличению длительности глобального поиска и завершение вычис-

2

+

Рис. 1. Пример решения двумерной задачи оптимизации с использованием многошаговой схемы редукции

лений до выполнения условия остановки (в силу исчерпания допустимого времени расчетов) в этом случае может привести к тому, что оценка искомого решения будет выполнена только в некоторой подобласти области Б.

2. Адаптивная многошаговая схема редукции размерности

Приведем обобщение многошаговой схемы редукции размерности, позволяющей в значительной степени устранить отмеченные выше недостатки рассмотренного подхода. Суть обобщения состоит в устранении принципа строгого соподчинения при решении порождаемых в рамках многошаговой схемы одномерных функций ~р ,■ (у,■), 1 < г < N, - все эти задачи предлагается решать одновременно.

Предлагаемая обобщенная многошаговая схема редукции размерности состоит в следующем.

Введем для краткости изложения материала обозначение

V = (У>-> У г ) , (5)

тогда порождаемые в рамках многошаговой схемы одномерные функции ~ ,■ (у ),1 < г < N , могут быть переобозначены в виде

~ ,■ (У ,) = ф ,■ (^-1> У,), 1 ^ г ^ N. (6)

Опишем более подробно порядок вычислений в рамках исходной многошаговой схемы редукции размерности. На каждой итерации г,

1 < г < к , глобального поиска алгоритм оптимизации начинает свои вычисления с одномерной функции первого уровня ф! (у ). С учетом уже полученной поисковой информации алгоритм

выбирает точку очередного испытания у = у . Для получения значения функции ф ^ (у) в этой точке порождается новая одномерная функция ф 2 (у, у 2 ), которая и подлежит минимизации. Для этого алгоритм должен временно отложить оптимизацию функции фф1(У1) и приступить к минимизации функции ф 2 (у, у 2 ) . В ходе оптимизации функции ф 2 (у, у 2 ) алгоритм порождает последовательность точек испытаний

{у 2, 1 < i < к}, для каждой из которых необходимо выполнить минимизацию уже третьего уровня Фз(у, у, Уз), причем в такой же строгой последовательности - при определении очередной точки испытания перед переходом к следующей итерации поиска сначала должно быть выполнено решение одномерной задачи следующего уровня редукции размерности. И этот процесс должен выполняться рекурсивно до последнего М-го уровня - получаемая в результате иерархическая схема порождения и решения одномерных задач представлена на рис. 2.

Порождаемые в процессе оптимизации функции имеют строгую иерархическую структуру подчинения в виде дерева. Построение этого дерева происходит динамически в ходе вычислений. Вычисление значения функции Ф г (У г-1, У г ) уровня I, 1 < I < N , в некоторой точке у = _рI требует решения всех задач одного из поддеревьев уровня г + 1. Листьями дерева задач являются значения целевой функции ф(у), у Е Б, вычисляемые в процессе глобального поиска.

Рис. 2. Иерархическая схема порождения и решения одномерных задач в многомерной схеме редукции размерности

Предлагаемое обобщение многошаговой схемы редукции размерности состоит в устранении строгой последовательности решения задач в соответствии с их иерархией в дереве задач (решение задачи уровня 1,1 < I < N, не требует полного решения связанных задач уровня г+1). В рамках нового подхода:

1) для вычисления значения функции уровня г, 1 < г < N , порождается новая задача уровня г+1, для которой выполняется только одна итерация метода оптимизации, после чего новая порожденная задача включается в множество уже имеющихся задач, подлежащих решению;

2) итерация глобального поиска состоит в выборе одной задачи из множества имеющихся задач, для которой и выполняется очередная итерация метода оптимизации; выбор задачи для выполнения итерации осуществляется в соответствии с тем или иным правилом выбора задач;

3) необходимые оценки минимально возможных значений оптимизируемых функций заменяются на текущие оценки этих значений на основе поисковой информации, полученной в ходе вычислений.

В завершение алгоритмического описания обобщенной многошаговой схемы отметим важные особенности нового подхода:

• В обобщенной многошаговой схеме все порождаемые задачи решаются одновременно -выбор задачи для очередной итерации глобального поиска осуществляется в соответствии с тем или иным правилом выбора задач. Такой подход, с одной стороны, требует запоминания всей поисковой информации, получаемой в ходе вычислений, а с другой стороны, позволяет при необходимости увеличивать точность решения задач. Данная возможность способствует применению методики оптимизации с последовательно увеличивающейся точностью вычислений - так, начальная стадия оптимизации может быть выполнена с достаточно грубой точностью, что позволит получить оценки решения за сравнительно небольшое время вычислений, далее после анализа результатов точность может быть повышена и процесс глобального поиска может быть продолжен.

• Наличие правила выбора задачи для выполнения очередной итерации глобального поиска позволяет строить разнообразные и гибкие процедуры оптимизации (в частности, исходная многошаговая схема редукции размерности может быть получена как частный случай нового подхода) -этот аспект обобщенной многошаговой схемы более подробно будет рассмотрен далее.

• Существование множества одновременно решаемых задач позволяет ставить проблему применения высокопроизводительных многопроцессорных систем.

Вместе с этим, как уже отмечалось, новый подход требует запоминания всей поисковой информации, получаемой в ходе вычислений, однако данное увеличение объема запоминаемой информации не порождает каких-либо проблем в силу достаточности ресурсов современных компьютерных систем.

3. Многомерные характеристически-

представимые алгоритмы глобального поиска на основе адаптивной многошаговой схемы редукции размерности

Представленное в предшествующем разделе описание адаптивной многошаговой схемы редукции размерности может служить алгоритмической основой для построения разнообразных алгоритмов многомерной многоэкстремальной оптимизации. Для получения определенного алгоритма оптимизации в рамках данного подхода необходимо конкретизировать следующие общие правила адаптивной многошаговой схемы:

• правило выбора задачи для выполнения очередной итерации глобального поиска;

• правило выбора точки начальной итерации поиска;

• правило выбора точки очередной итерации поиска;

• правило получения текущей оценки решения оптимизационной задачи;

• правило проверки условия остановки.

Детализация перечисленных правил может

быть получена в рамках класса характеристиче-ски-представимых алгоритмов глобального поиска [3] - в состав данного класса входят многие из широко известных методов многоэкстремальной оптимизации.

Обозначим текущее множество задач, сформированных для решения в процессе глобального поиска, как

^ = {/, (и,, х), 1 < / < Ь}. (7)

В процессе решения каждой задачи представим получаемую поисковую информацию в виде множества:

тк = {(хг,zi,11): 1 < г < к} , (8)

содержащего точки х1,1 < г < к , всех ранее выполненных итераций поиска, значения ,1 < г < к , минимизируемой функции в этих

точках и номера задач 11,1 < i < k, порожденных для вычисления значений z,- ,1 < i < k . В рамках многошаговой схемы формирование поисковой информации целесообразно проводить отдельно для каждой решаемой задачи из семейства Fi - для указания принадлежности поисковой информации определенной задаче будем использовать номер этой задачи, т.е.

Q l = { ® kj (Л1 ^ j ^1}, (9)

где Qi есть набор всех множеств поисковой информации для задач семейства Fi, а k j , 1 < j < l, есть количество элементов поисковой информации для задачи с номером j. Важно отметить, что имеющиеся в поисковой информации значения z,(j): 1 < i < kj для

функций уровня меньшего, чем N, могут изменяться, так как эти величины представляют собой оценки минимальных значений функций fl , а эти оценки могут уточняться в ходе проведения вычислений.

С учетом введенных обозначений описание правил многомерных характеристически-пред-ставимых алгоритмов глобального поиска может быть выполнено следующим образом:

1) Правило выбора точки очередной итерации глобального поиска (решающее правило алгоритма) включает выполнение следующего набора действий:

- Упорядочить поисковую информацию в порядке возрастания значений точек ранее выполненных итераций (новый порядок расположения данных в поисковой информации отражается при помощи нижнего индекса):

xi < х2 < ••• < xk;

- Вычислить для каждого интервала (, Xj), 1 < i < k , величину R(i), называемую далее характеристикой интервала;

- Определить интервал (xt_, xt), которому соответствует максимальная характеристика R(t), т.е.

R(t) = max{R(i) :1 < i < k}

(данную величину будем называть также характеристикой задачи);

- Вычислить точку хш очередной итерации глобального поиска в интервале с максимальной характеристикой в соответствии с некоторым правилом

x k+1 = s(t) е (xt -, xt) .

2) Правило получения текущей оценки решения оптимизационной задачи. В качестве текущей оценки искомого решения оптимиза-

ционной задачи принимается наименьшее вычисленное значение минимизируемой функции, т.е.

гк = шіп{гг- :1 < і < к}. (10)

Напомним, что текущая оценка минимального значения передается задаче-родителю как значение функции; важно также отметить, что оценка решения может уточняться в ходе вычислений в связи с расширением состава поисковой информации.

3) Правило проверки условия остановки. Условие остановки определяется правилом

X - X-1 < е , где t есть интервал с максимальной характеристикой, т.е итерации глобального поиска прекращаются, если длина интервала (х( —, х(), содержащего точку очередной итерации, не превышает заданной точности є. Приведенное правило остановки допускает два варианта применения: «слабое» условие прекращает вычисления при выполнении правила остановки для любой задачи семейства ^і; «строгий» вариант условия осуществляет проверку правила остановки только для функции самого верхнего уровня (У!).

Важно отметить, что в рамках представленной схемы характеристики интервалов дают некоторую меру «важности» интервалов на предмет содержания в них минимальных значений оптимизируемой функции. Используя такое понимание характеристик, можно предложить правило выбора задачи для проведения очередной итерации глобального поиска.

4) Правило выбора задачи для проведения очередной итерации глобального поиска. Для проведения очередной итерации глобального поиска следует выбирать задачу с максимальной характеристикой (при выборе такой задачи должны рассматриваться все интервалы всех задач множества ^/).

Для получения правила выбора точки начальной итерации поиска проведем следующие сравнительно несложные выкладки. Сведем воедино все необходимые для расчетов обозначения (см. рис. 3). Пусть:

- 5 - номер задачи, для которой осуществляется выбор точки начальной итерации;

- т - номер задачи-родителя, которая привела к порождению задачи

- І - номер переменной ур соответствующей задаче //,

- /Т(х) - задача уровня І, порожденная от задачи/Т при значении переменной, равном х ;

к+1 ^ Г

- х - значение переменной задачи /т, для которого было проведено порождение задачи (т.е. при введенном обозначении задача есть задача /т(хк+1));

- Х(.1 - значение переменной, предшест-

к+1 ^ 1

вующее точке х в поисковой информации

задачи /т;

- х, - значение переменной, следующее не-

^ к+1 ^ посредственно за точкой х в поисковой информации задачи /т;

- у , - значение переменной yj, по которому получено минимальное значение функции по поисковой информации задачи /т(х1.1) (данное минимальное значение используется как значение функции/т в точке хг-1);

- y"j - значение переменной yj, по которому получено минимальное значение функции по поисковой информации задачи /т(х) (данное минимальное значение используется как значение функциив точке х,);

к+1

- yj - искомое значение точки начальной итерации.

Выбор точки начальной итерации для задачи = /г(хк+1) основывается на расположении точек с минимальными значениями соседних задач /т(х(-1) и /т(х() - в плоскости переменных (у,-1, у,) проводится отрезок через точки (х^_1, у',) и (х,, у") и на этом отрезке выбирается точка, соответствующая координате хш, т.е.

к+ 1 к+ 1

у, =а х +р, (11)

где

а = (у" - у,) / (х, - хм),

Р = у",- ((у" -У, / (х, - х,-1)) х,.

Выбор точки начальной итерации для случаев, когда для задачи /8 = /Х(хк+1) нет одной из соседних задач, можно осуществлять на основе

значений имеющейся соседней задачи, т.е. можно положить:

к+1 / к+1 г/

у = Ур или У = у р.

4. Информационно-статистические алгоритмы глобального поиска в рамках адаптивной многошаговой схемы редукции размерности

Доведение представленной в разделах 2-3 алгоритмической схемы характеристически-представимых алгоритмов на основе адаптивной многошаговой редукции размерности до уровня конкретных методов глобального поиска требует доопределения правил вычисления характеристик интервалов и точки очередного испытания в интервале с максимальной характеристикой.

В рамках данной работы для дальнейшего исследования применяются алгоритмы глобального поиска, разработанные в рамках информационно-статистического подхода [1, 2]. На основе предложенной алгоритмической схемы могут быть построены:

- базовый многомерный многошаговый алгоритм глобального поиска;

- многомерный многошаговый индексный алгоритм глобального поиска;

- многомерный многошаговый алгоритм глобального поиска с адаптивной локальной настройкой;

- многомерный многошаговый алгоритм глобального поиска с учетом значений первой производной минимизируемой функции и др.

Переформулирование исходных информационно-статистических алгоритмов в рамках адаптивной многошаговой схемы редукции размерности происходит достаточно естествен-

Рис. 3. Схема определения правила выбора точки начальной итерации поиска

ным образом и в работе не проводится из соображений краткости изложения материала. В качестве иллюстрации, например, для использования алгоритма глобального поиска в рамках адаптивной многошаговой схемы достаточно положить:

- правило вычисления характеристики интервала

2

Я(і) = т(х, - х,-) +

(-г,-1) т(х, - х-0

2(г,- - г,--1),

где т есть текущая оценка константы Липшица;

- правило вычисления точки очередного испытания в интервале с максимальной характеристикой

,.к+1 _ хі + хі-1

х = -

і-1

2

2т

ординатами ук = = (0.644, 0.134). Как следует из данного примера, сокращение объема вычислений по количеству итераций по сравнению с обычной многошаговой схемой составило 53%.

6. Операционные характеристики алгоритмов глобального поиска

Операционная характеристика определяет эффективность метода оптимизации и представляет собой набор пар [1, 3]:

«к, р(к))},

где к есть количество итераций поиска, а р(к) есть доля успешно решенных задач тестового

5. Вычислительные эксперименты для оценки эффективности адаптивной многошаговой схемы редукции размерности

Первый эксперимент проведем для тестовой задачи из примера 1.

Пример 2. При проведении вычислительного эксперимента были использованы те же значения параметров, что и в примере 1. При использовании адаптивной многошаговой схемы с тем же алгоритмом глобального поиска всего было выполнено 243 итерации поиска, в результате кото-

*

рых была получена оценка ф к = -10.830, с ко-

класса за указанное количество итераций. Подобные показатели могут быть рассчитаны по результатам экспериментов и показаны графически в виде кусочно-ломаной линии. В целом, можно считать, что операционная характеристика показывает вероятности нахождения глобального минимума с требуемой точностью в зависимости от количества итераций, выполненных методом.

На рисунке 5 представлены операционные характеристики следующих алгоритмов:

• Алгоритм глобального поиска с одной разверткой (АГП).

ооооооооооооооооооооо

««(N(Nmm^^'ri'ri4040[^[^ooooasaso

—*—АГП -»-МШАГП МШАГП_тосІ(1) МШАГП_тос] -*-МШАГП(1)

Рис. 5. Операционные характеристики алгоритмов глобального поиска1

• Алгоритм глобального поиска с классической многошаговой схемой редукции размерности (МШАГП) - для каждой подзадачи своя константа Липшица.

• Алгоритм глобального поиска с классической многошаговой схемой редукции размерности (МГТТАГП(1)) - общая константа Липшица.

• Алгоритм глобального поиска с адаптивной многошаговой схемой редукции размерности (МШАГП_шоф - для каждой подзадачи своя константа Липшица.

• Алгоритм глобального поиска с адаптивной многошаговой схемой редукции размерности (МШАГП_шо^1)) - общая константа Липшица.

Примечание

1. Операционные характеристики алгоритмов глобального поиска предоставлены Денисом Гнатю-ком.

Список литературы

1. Стронгин Р.Г. Численные методы в многоэкстремальных задачах. М.: Наука, 1978.

2. Strongin R.G., Sergeyev Ya.D. Global optimization with non-convex constraints: Sequential and parallel algorithms. Kluwer Academic Publishers, Dordrecht, 2000.

3. Городецкий С.Ю., Гришагин В.А. Нелинейное программирование и многоэкстремальная оптимизация. Н. Новгород: Изд-во ННГУ, 2007.

MULTIDIMENSIONAL MULTIEXTREME OPTIMIZATION ON THE BASIS OF AN ADAPTIVE MULTISTAGE REDUCTION OF DIMENSION

V.P. Gergel, V.A. Grishagin,A.V. Gergel

Methods for solving multidimensional multiextremal problems using a multistage dimension reduction scheme are considered. A new method for solving multidimensional multiextremal problems based on an adaptive multistage optimization is proposed.

Keywords: multidimensional multiextreme optimization, algorithms for global search, adaptive multistage dimension reduction scheme.