Модифицированный метод адаптивных взвешенных сумм в задаче многокритериальной оптимизации Текст научной статьи по специальности «Математика»

НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА

НАУКА и ОБРАЗОВАНИЕ

Эл № ФС77 • 48211. Государственная регистрация №0421200025. ISSN 1994-0408

электронный научно-технический журнал

Модифицированный метод адаптивных взвешенных сумм

в задаче многокритериальной оптимизации

# 11, ноябрь 2013

DOI: 10.7463/1113.0632468

Карпенко А. П., Савелов А. С.

УДК 519.6

Россия, МГТУ им. Н.Э. Баумана [email protected] [email protected]

Введение

Постановка задачи многокритериальной оптимизации (МКО-задачи) фиксирует множество допустимых значений вектора варьируемых параметров задачи и вектор критериальных функций. Данная информация позволяет обычно выделить не одно решение задачи, но множество таких решений (множество Парето). Поэтому полагаем, как это часто делается в современных публикациях в данной области, что решением МКО-задачи является ее множество Парето. Множество Парето занимает в теории многокритериальной оптимизации исключительное место. Это, прежде всего, связано с тем, что согласно известному принципу Эджворта-Парето, при «разумном» поведении лица, принимающего решения (ЛИР), выбор решения следует производить на этом множестве [1].

Известно большое число методов Парето-аппроксимации, то есть методов построения некоторой конечномерной аппроксимации множества, а тем самым, и фронта Парето. Обзор таких методов представлен, например, в работе [2].

Решение задачи Парето-аппроксимации методом адаптивных взвешенных сумм (Adaptive Weighted Sum (AWS) method) предложили Рю, Ким и Ван (J-H. Ryu, S. Kim, H. Wan) [3]. Метод основан на аддитивной

свертке частных критериев оптимальности, но, в отличие от классического метода суммы взвешенных критериев (Weighted Sum (WS) method) [1], также использующего такую свертку, предполагает адаптацию весовых коэффициентов в процессе итераций на основе информации о текущем положении подобласти поиска. Целью разработки метода AWS было преодоление известного недостатка метода WS, заключающегося в невозможности локализации точек множества Парето, которые соответствуют вогнутым фрагментам фронта Парето.

Для сокращения затрат на вычисление значений критериальных функций метод AWS использует метамодели этих функций. Поскольку в практически значимых задачах вычислительная сложность критериальных функций обычно является высокой, это обстоятельство позволяет сократить вычислительные затраты на решение МКО-задачи и делает метод весьма перспективным, например, в задачах автоматизированного проектирования. Недостатком метода AWS в существующем виде является его ориентация на решение только двухкритериальных задач Парето-аппроксимации.

Авторы метода AWS выполнили исследование его эффективности для двух относительно простых тестовых задач многокритериальной оптимизации [3], которое показало высокую эффективность метода. В работе [4] мы повторили указанное исследование, а также выполнили аналогичное исследование для трех других сложных тестовых задач. Результаты этого исследования показали, что метод AWS дает высокое качество Парето-аппроксимации в случае выпуклого, хотя, быть может, и несвязного фронта Парето. Для задач, имеющих вогнутый фронт Парето, метод не всегда обеспечивает удовлетворительное качество решения или обеспечивает его, но при значительном числе итераций. В некоторых случаях метод дает недопустимые решения, обусловленные используемым способом учета ограничений на текущую подобласть поиска.

Работа открывает цикл из двух публикаций и имеет целью преодоление указанных недостатков метода AWS. Вторая работа будет посвящена

приложению представляемого в данной работе методического, алгоритмического и программного обеспечения к решению некоторых задач параметрической идентификации кинетических моделей реакций нейтрального металлокомплексного катализа.

В первом разделе работы даем постановку МКО-задачи. Второй раздел представляет базовые методы решения этой задачи. В третьем разделе рассматриваем несколько предложенных нами модификаций метода AWS. В четвертом разделе приводим краткое описание разработанного программного обеспечения, которое реализует метод AWS и его модификации. Пятый раздел посвящен исследованию эффективности указанных модификаций метода A WS. В заключении формулируем основные результаты работы и обсуждаем перспективы ее развития.

1. Постановка задачи

Пусть множеством допустимых значений вектора варьируемых

параметров X является ограниченное и замкнутое множество DX с |. Положим, что критериальная вектор-функция

F (X) = (f1( X), f2(X),..., f\F\(X)) со значениями в критериальном

пространстве RF1 определена в области DX. ЛПР стремится минимизировать в этой области каждый из частных критериев оптимальности f1(X), f2(X),..., fF|(X), что условно записываем в виде

min F(X) = F(X*) = F*, (1)

X еDX

* *

где векторы X , F - искомое решение задачи многокритериальной

оптимизации. Здесь и далее запись вида |A|, где A - вектор или некоторое

счетное множество, означает размерность этого вектора или мощность множества соответственно.

Вектор-функция F(X) выполняет отображение множества DX во

множество Df е , которое называется множеством достижимости.

Множество и фронт Парето задачи (1) обозначаем D*X, D*F соответственно; D*X с DX, DF с Df . Конечномерные аппроксимации этих множеств

у р

обозначаем 0 , 0 соответственно и называем архивными.

2. Базовые методы решения МКО-задачи 2.1. Метод взвешенных сумм

Классический метод взвешенных целевых функций основан на использовании фитнесс-функция вида

((X) = ((Л, F) = I Я, fk (X) = (Л, F),

k=i

где вектор Л = (Я1, X2,..,^F\) представляет собой |F|-мерный вектор весовых

коэффициентов Як е [0;1], k е [1: |F|]; (•,•) - символ скалярного произведения. Решение задачи глобальной условной оптимизации

min (p(X) = (X*) = ((Л, F*) (2)

X eDX

дает точку X * на множестве Парето задачи (1) и соответствующую точку F * на фронте Парето этой задачи.

Схема WS-метода включает в себя следующие основные шаги.

1) Множество Da= {Л | 0 < Як < 1, к е [1: |F|]} допустимых значений вектора весовых множителей Л покрываем некоторой сеткой Qa с узлами Л . = j ,...,^f\ j), j е [1: |«л |].

2) Для каждого Л ■ е Qa решаем задачу глобальной условной

* *

оптимизации (2) - получает точку X ■ е DX, а также соответствующую точку F* е D*.

Совокупности {X**} = 0X, {F*} = 0F полученных точек образует

искомые аппроксимации множества и фронта Парето соответственно.

Достоинствами WS-метода являются идейная и реализационная простота. Основные недостатки метода состоят в невозможности 10.7463/1113.0632468 332

аппроксимации невыпуклых частей фронта Парето и отсутствии гарантий получения равномерной аппроксимации.

2.3. Базовый метод доверительной области

Поясним суть базового метода доверительной области (Basic Trust Region, BTR) [5, 6] на примере задачи безусловной однокритериальной оптимизации

min f (X) = f (X*) = f*. (3)

X eRX

Содержание основных процедур метода заключается в следующем.

Инициализация. Определяем значения свободных параметров метода:

3° - начальный радиус области доверия; П1П2 - параметры для оценки адекватности метамодели функции f (X), 0 <п1 <П2 < 1; Y,Y2 - параметры изменения радиуса области доверия, 0 <ух < Y2 < 1. Случайным образом выбираем центральную точку XC.

Формирование метамодели. Метамодель критериальной функции представляет собой аппроксимацию mt (X) функции f (X) в пределах текущей области доверия (trust region)

DC = {X | X e , X - XC <3}.

Здесь 3l - радиус области доверия на текущей итерации t; ||-|| - некоторая

векторная норма, определяющая форму области доверия. Тип «наилучшей» метамодели зависит от ландшафта критериальной функции. Чаще всего в

качестве метамодели mt (X) используют квадратичную аппроксимацию функции f (X) в пределах области доверия DlC (X). При этом возникает

задача построения эффективного плана эксперимента [7], на основе которого строится эта аппроксимация. Обычно используют центральный композиционный план на основе дробной реплики. Авторы считают

перспективным генерацию плана эксперимента на основе ЛПТ

последовательности [8].

Решение оптимизационной задачи. Данная процедура предполагает решение задачи оптимизации

min m (X) = m (1'), (4)

X eDC

где Xt - пробная точка (trial point).

В работе [5] показано, что для сходимости метода BTR необязательно решение задачи (4) как задачи глобальной оптимизации - достаточно лишь, чтобы это решение обеспечивало «существенное уменьшение» (sufficient

reduction) значения функции mt (X) по сравнению с ее значением в точке

XC. На этом основании для сокращения вычислительных затрат задачу (4)

сводят к однопараметрической задаче поиска минимума функции mt (X) вдоль дуги Коши (Cauchy arc):

ПИ!! m (XCauchy (S)) = m (XCauchy ) . (5)

Здесь X'Caucy (s) = {X | X = XC - s VTf (X'C), s > 0, X e DC} - параметрически заданная дуга Коши, XtCauchy - точка Коши.

Схема (5), по сути, является вариацией метода наискорейшего спуска и поэтому может обеспечить лишь линейную скорость сходимости. Более эффективные методы решения задачи (4) основаны на использовании

матрицы Гессе H (XfC) для выбора направления поиска.

Оценка пробной точки. В качестве количественной оценки рt адекватности построенной модели ml (X) целевой функции f (X) используем отношение реального уменьшения функции f при переходе из

точки XC в пробную точку Xt, предсказанную моделью:

р = f ( xC ) - f (1f) m ( xc ) - m (X1 )'

Если р1 >n1, то модель mt (X) полагаем адекватной и в качестве новой

центральной точки принимаем пробную точку, то есть, полагаем XC+1 = X1.

В противном случае центральная точка остается прежней: XC+1 = XfC.

Выбор радиуса области доверия. Итерацию, для которой р1 > п,

называют удачной; рt > п2 - очень удачной; р1 < п1- неудачной. Напомним, что П2 > п1. В случае очень удачной итерации радиус доверительной области

et+1

увеличиваем, то есть, в качестве 3 принимает некоторое значение из интервала [3t; да). Если итерация t была удачной (n1 < pt < П2), то величину 3t+1 уменьшаем или оставляем неизменной: 3t+1 e [y23t; 3t ]. Наконец, в

случае неудачной итерации, радиус уменьшаем: 3t+1 e [y13t; y23t ].

В качестве критерия останова итерационного процесса принимаем один из классических критериев, например, критерий, основанный на евклидовой норме градиента:

|vTf (XC )|[ <s.

Здесь s - заданная малая положительная константа.

Известны модификации метода BTR, ориентированные на решение

задачи условной оптимизации вида (3), когда X e DX с R X| [5].

2.3. Канонический метод адаптивных взвешенных сумм

Канонический метод адаптивных взвешенных сумм (Canonical Adaptive Weighted Sum, CAWS) предназначен для решения двухкритериальной задачи Парето-аппроксимации и ориентирован на устранение недостатков, присущих WS-методу. Метод предложили Ким и Вик (I.Y. Kim, O.L. de Weck) [9]. Рассмотрим основные процедуры метода.

Построение грубой Парето-аппроксимации. Грубую аппроксимацию множества Парето строим посредством классического WS-метода. Взвешенную сумму критериев записываем в виде

(Р(X) = f X) + (1 -Л)f2(X), Ле [0; 1].

Шаг АЛ выбираем, исходя из заданного числа разбиений п0:

АЛ = —. п0

Удаление близких решений. В качестве меры близости решений в критериальном пространстве используем евклидову норму: точки и © & текущей аппроксимации фронта Парето полагаем близкими, если

<£п

©f -© f

1 j

2

где £0 - заданная малая положительная константа. Одну из близких точек

& X

исключаем из архивного множества © и соответствующую точку ©1 или

© j исключаем из множества ©j

Определение числа разбиений. Число разбиений для /-го сегмента текущей аппроксимации фронта Парето определяет формула

n = round

' 1 Л ^^ с 1 =

1

V avg

m

где n и 1t - число разбиений и длина i-ого сегмента соответсвенно; 1avg -

средняя длина сегмента; C - константа метода, определяющая плотность разбиения; round (■) - оператор округления до ближайшего целого;

m =

©

f

-1 - число сегментов в текущей аппроксимации фронта Парето.

Решение локальных задач Парето-аппроксимации. Построение аппроксимации фронта Парето в /-ом сегменте состоит в решении МКО-задачи вида (1) в области

(Вх)/ = {X \ X е Вх, /1С X) < - б}, Ш) < /I - б/2}, где б}, б2 - смещения 1 -го сегмента текущей аппроксимации фронта Парето [9]. Для решения этой задачи используется Ж5-метод с шагом

АЛг = —. Полученные точки добавляем в архивы © &, ©Х. 1 п

Итерации метода ЛЖ8 заканчиваются, когда длины всех сегментов оказываются меньше порогового значения:

<др, I е 1: 0р -1.

2.4. Метод адаптивных взвешенных сумм

Метод адаптивных взвешенных сумм (Adaptive Weighted Sum, AWS) для двухкритериальной задачи Парето-аппроксимации предложили, как отмечалось выше, Рю, Ким и Ван (J-H.. Ryu, S. Kim, H. Wan) в работе [3]. Метод A WS сочетает в себе элементы метода WS и метода BTR. Основными в методе AWS являются следующие процедуры.

Инициализация метода. Определяем значения свободных параметров метода: 8° - начальный радиус области доверия (trust region radius); р е (0; 1) - коэффициент сужения этой области; 8min - минимальная величина радиуса. Случайным образом в области DX выбираем центральную точку

X0.

Определение центральной точки. На итерации (t +1) центральную точку XC+1 = Х'С отыскиваем среди точек текущей Парето-аппроксимации

XX X F

© =0 (t). С этой целью элементы множеств 0 , 0 сортируем по возрастанию первого частного критерия f1(X) и представляем в виде

линейных списков. Расстояние dj архивной точки F© до ближайших к ней в списке 0F точек определяет формула

dj =11 F©-1 - F© 112 + II Fj® - F+1II2, j е [1: ©]. (6)

Алгоритм определения центральной точки Х'с использует следующее правило.

1) Если 0| > 2, то полагаем Х'с = X®, где

( \ * 0 t j = arg max d. | X. £ X .

7 % je[2: |0|-1] Jl J )

Здесь Xt - множество точек, использованных в качестве центральных на всех предыдущих итерациях [0: t]. Иными словами, за центральную точку принимаем точку, во-первых, наиболее удаленную от других точек множества ©Х в смысле расстояния (6), и, во-вторых, не использованную на предшествующих итерациях.

2) Если ©| = 2, то с равной вероятностью полагаем Х'с = Х}© или

ХС = Х ©.

3) Если = 1, то принимается Х'с = Х }©.

Формирование метамоделей. Метамодель т\+1( Х) = т'( Х) представляет собой квадратичную аппроксимацию функции //(Х ) в окрестности точки Х'с:

т' (Х) = /}(ХС ) + V/ХС )(Х - ХС ) +1(Х - ХС )Т Н (ХС ) (Х - ХС ); т2 (Х) = /2(Х'с ) + УТЛ(ХС )(Х - ХС ) + 2(Х - ХС )т Н2 (ХС ) (Х - ХС ).

Здесь V/ (Х'с), Н1 (Х'с ) - вектор градиента и матрица Гессе функции ^ (Х) в точке Х'с

Если > 2, то дополнительно строим метамодели т'р (Х) = ЛЛ т} (Х) + Лрт2 (Х), т'ч (Х) = Л т} (Х) + Лт2 (Х), а если ©| = 2 или ©| = 1 - метамодель

т'р (Х) = Лр т[ (Х) + Лрт2 (Х).

В случае ©| > 2 весовые множители (Лр, Лр) = Лр, (Л, Л\) = Л4 определяем по правилу

Лр = ср (( /2 (Х'с ) + /2 (Ху»-1)), (/1(ХС ) - /1 (Х® _1))), Л^ = ^((-/г(Х®.+1) + /2(Х'с )), (/1(Х® +1) - /1(ХС )));

в случае 0 = 2 - по правилу

Лр = ср ((-/2 (Х20) + /2 (Х10)), (/1 (Х20) - /1 (X0)));

в случае 0| = 1 - по правилу Лр = (0,5, 0,5). Здесь константы ср, с4 выбираются таким образом, чтобы обеспечить выполнение условий нормировки Рр + %р = Р/ + рр = 1.

В работе [3] процедура формирования квадратичных метамоделей т' (X), т'2 (X) не раскрыта. Остановимся на этом вопросе.

Для формирования квадратичных метамоделей т( (X), т'2 (X) используем центральный композиционный план (ЦКП) с центром в точке XС [7]. Для упрощения вычислений «звездное» плечо в ЦКП выбираем

таким образом, чтобы этот план приобрел свойство ортогональности. В качестве ядра ЦКП используем полный факторный эксперимент. Легко видеть, что в общем случае необходимое число испытаний (вычислений значений критериальной функции) для построения одной метамодели равно

п = пк + 2 XI + п0,

где пк - число испытаний в точках ядра плана, 2 IX] - число «звездных» точек, п0 = 1 - число испытаний в центре плана. Таким образом, в нашем случае (когда X = 2) имеем

п = 22 + 2 • 2 +1 = 9. Серьезной проблемой при использовании ЦКП является генерация эффективной дробной реплики. Используем для этой цели функции Уолша [10].

Решение оптимизационных задач. Данная процедура предполагает решение задач оптимизации

min m' (X) = ml (Х[ ), min m2 (X) = m'2 (X'2 ), (7)

X eü'C X eD'C

где текущую область доверия D'C определяет формула

D'c = (X | X eDX , X - X'c <Sf}.

Если > 2, то решения X{ , X'2 позволяют отыскать приближенно оптимальные по Парето точки Xc'p , X'q , принадлежащие области доверия D'c , путем решения оптимизационных задач

min m'p (X) = m'p (X'p ), min m'q (X) = m'q (X'q ). (8)

X eD'c X eD'c

Данный этап алгоритма иллюстрирует рисунок 1, на котором принято

F'= F (X'c), F® = F (X f _i), Ff +i = F (X f J.

/2 t

fiiX'c)

0

ч \ ч \

J74 \ /1 ГчС \ Ч / \ _ \ / \ ^Ч D'c F' \

4 \

^ ^ \ \ ^ \ \ ^ \ \ ^ \ \ ^о

ч ^ \ \d; Fa\ " J 4 \

MX'c)

/1

Рисунок 1 - К схеме метода AWS: результаты решения задач (7)

Важно, что задачи (7), (8) представляют собой задачи оптимизации квадратичных функций, для решения которых известны высокоэффективные методы, алгоритмы и соответствующее программное обеспечение.

В процессе итераций текущий радиус области доверия уменьшаем по

правилу 81+1 = р 81 до достижения минимально допустимой его величины Smin . Новое состояние архивного множества 0X получаем путем добавления в него точек Х| , Х^ , XX'p , X'q и исключения из полученного набора

доминируемых решений. Аналогично, множество 0Е формируем путем добавления в него точек Р(Х[ ), Р(Х'2 ), Р(XX'р ), Р(Х'д ).

3. Модификации метода адаптивных взвешенных сумм 3.1. Повышение разнообразия множества архивных точек

(модификация АЖБМ1)

Наши исследования показали, что в некоторых случаях метод АЖ8 обеспечивает аппроксимацию только части множества Парето, то есть не обеспечивает достаточное разнообразие множества архивных точек 0X (рисунок 2).

а) точный фронт Парето

б) результат аппроксимации фронта методом А Рисунок 2 - Тестовая задача 10Т3 (п. 4.1)

Суть модификации AWSM1 состоит в решении на каждой итерации в крайних точках архивного множества 0 задач

min ml (X) = ml (X ), min m2 (X) = m2 (X );

X eD1

X eD1

min m; (X) = m; (X' ), min m'2 (X) = m'2 (X2 ).

XeD'

X eD'

Здесь

D1' = {X | X e DX, X - X' <S1], D'2 = {X | X e D

X '

X - X'

3.2. Смещение области доверия (модификация ЛЖБМ 2 )

Точки множества Парето могут в некоторых случаях плотно прилегать к одной из границ области определения (рисунок 3). При решении таких задач

метод ЛЖБ уменьшает радиус области доверия 0'с на каждой итераций,

сокращая в результате разнообразие архивных точек.

Рисунок 3 - Множество Парето тестовой задачи ZDT3 (п. 5.1): 1x1 = 2

Идея модификации ЛЖБМ 2 состоит в смещении центра области доверия «вглубь» области определения, не изменяя при этом ее радиуса (рисунок 4).

xл

0

DX / X

/ ч \

N у —А— _____ i -►

DC

x

Рисунок 4 - Смещение области доверия: Ixl = 2

3.3. Нейросетевая аппроксимация целевых функций

(модификация AWSM 3)

Идея данной модификации состоит в построении метамоделей критериальных функций с помощью нейронных сетей [11]. Поскольку на каждой итерации метода AWS аппроксимация критериальных функций производится в пределах «небольшой» области доверия ис используем радиально-базисные нейронные сети. Полагаем число нейронов N в скрытом слое равным девяти (по числу точек испытаний в ЦКП) и располагаем их в указанных точках. Для обучения нейронной сети используется алгоритм Нелдера-Мида, варьируемыми параметрами которого являются веса м?г и ширины < радиально-базисных функций; i е [1: N].

4. Программная реализация

Для реализации метода AWS и его модификаций AWSM1 - AWSM4 использовано программное обеспечение, которое является свободным и распространяется по лицензии GPL (GNU Public License). В силу кросс-платформенности и высокой эффективности программная реализация выполнена на языке программирования C+ +. Для компиляции использовался

набор компиляторов Gcc (GNU compiler collection). Разработанное программное обеспечение использует библиотеку численного анализа GNU Scientific Library (GSL) и аналогичную библиотеку F2c (Fortran to G) для трансляции программного кода, написанного на языке Fortran, в код на языке c. Графический вывод результатов работы программы реализован с помощью утилиты Gnuplot.

Основными являются следующие классы программной модели:

- AWSAlgorithm - реализация алгоритма AWS;

- OptimAlgorithm, PenaltyAlgorithm, SlaceTolAlgorithm - алгоритмы условной оптимизации при решении однокритериальных задач (7), (8);

- ApproximatorNNet, ApproximatorccD - аппроксимация критериальных функций;

- Design, FullFactorialDesign, WalshDesign - планирование экспериментов для квадратичной аппроксимации целевых функций;

- HyperSphereconstrain, Linearconstrain - формирование ограничений;

- ParetoBruteForcer - генерация начальной аппроксимации множества Парето;

- ParetoMeasurer - оценка качества аппроксимации множества (фронта).

Программное обеспечение реализует планы полного факторного

эксперимента и дробной реплики на основе функций Уолша (классы FullFactorialDesign и WalshDesign соответственно). Интерфейс абстрактного класса Design позволяет использовать любой метод локальной условной оптимизации. Метод наименьших квадратов реализован с использованием библиотеки GSL (функция gsl_multifit()). Решение задач локальной условной однокритериальной оптимизации (7), (8) осуществляется методами штрафных функций и скользящего допуска в комбинации с известным методом Нелдера-Мида (классы PenaltyAlgorithm и SlaceTolAlgorithm соответственно). Интерфейс абстрактного класса OptimAlgorithm позволяет использовать любой метод локальной условной оптимизации.

Общий объем программного кода составляет около 5000 строк.

5. Исследование эффективности модификаций метода адаптивных

взвешенных сумм 5.1. Организация экспериментов Индикаторы качества алгоритма. Качество аппроксимации множества Парето оцениваем с помощью следующих индикаторов [12]:

- мощность множества решений (overall non-dominated vector generation)

IONVG (0) = N ^ max;

- близость найденных решений к точному множеству Парето рассматриваемой МКО-задачи (generational distance)

1

N

I**2

г 1 ^ min

IONVG (0)

где s* - расстояние от i-ой точки архива недоминируемых решений 0 до ближайшего точного решения;

- равномерность распределения решений в полученной Парето-аппроксимации (spacing)

ISP

1

i и-i

I (s - s{ )2 ^ min

^ОШО 2 I =1

где sl - расстояние от i-ой точки архива 0 до ближайшей соседней точки; £ -среднее значение sl.

В качестве индикатора вычислительной эффективности метода используем число испытаний пЕ.

Число итераций в вычислительных экспериментах ограничиваем величиной .

Тестовые МКО задачи. Вычислительные эксперименты выполнены с использованием следующих тестовых задач.

1) Двухмерная двухкритериальная задача Аудета (С. Audet)::

Dx= {Х| 0 < < 1, I = 1,2};

/1 (X) = У1(х1) = 4 • *1,

f (X) = g (X) • h( X);

h( X)

1 -

f (X)' g (X),

fi(X) < g(X),

0, иначе,

g(X)= g(x2) = 4 - 3 • exp

x2 - 0,2 0,02

2

Фронт Парето задачи является непрерывным; значению а = 0,25 соответствует выпуклый фронт, а значению а = 4 - невыпуклый [13]. 2) Двумерная двухкритериальная задача ZDT3 [12]

Вх = {X | 0 < х. < 1,I е [1: |Х|], |Х| = 30},

/1 (X ) = / (Х1) = ^1 ,

Л (X) =g (X)

1

fi( X) fi( X)

g(X) g(X)

sin (10 n fi(X))

где

g (X) = g (x2,...,x|X| )= 1 + 9 •£IXnT ■

i = 2 X - 1

Сложность задачи обусловлена несвязным, хотя и выпуклым, фронтом Парето.

3) Двумерная двухкритериальная задача ZDT6 [12]: DX = {X | 0 < xi < 1, i е [1: |X|], |X| = 10};

f1 (X) = f (x1) = 1 - exp(- 4 X1 )• sin6(6 n x1) ,

f2 (X) =g (X) • 1 -

f1( X)' . g (X).

g (X) = g (x2,..., x|X| )= 1 + 9 •

x Л V i

1=2 |x| -1

0,25

Сложность заключается в том, что задача имеет невыпуклый фронт Парето. 4) Двумерная двухкритериальная задача ZDT7 [12]: Вх = {X | 0 < х. < 1,1 е [1: |х|], |Х| = 30};

а

1

2

/1 (X )= / (*1) = *1, /2 (X) =8 (X) • Н( X);

8 (X) = 8 (x2,..,xlxl )= 1 + 9

1 = 2 Л - 1

/1( X)

И( X) = 1 -

^ (x2,..., x|x| )

Задача имеет непрерывный выпуклый фронт Парето и несколько локальных фронтов.

5.2. Результаты экспериментов

Модификация АЖБМ1 (п. 3.1). Рассматриваем случай X = 2.

Исследование выполнено на двухкритериальных тестовых задачах Аудета и ZDT3. Результаты экспериментов представлены в таблицах 1 - 4 и на рисунках 5 - 14. На этих рисунках и далее черные точки показывают

X 7

конечное состояние множеств 0 , 0 , а светлые точки - их промежуточные состояния. Для задачи ZDT3 представляем результаты двух экспериментов (старты 1, 2).

Таблица 1 - Тестовая задача Аудета (выпуклый фронт): результаты

экспериментов

Метод Индикаторы эффективности

ПЕ 1ото (0) IOD ^бр

АЖБМ1 637 70 0,202 0,065

АЖБ 450 33 0,087 0,122

Таблица 2 - Тестовая задача Аудета (невыпуклый фронт): результаты

экспериментов

Метод Индикаторы эффективности

ПЕ ^ОЫУО (0) IOD ^бр

АЖБМ1 868 19 0,008 0,052

АЖБ 450 16 0,028 0,13

Таблица 3 - Тестовая задача 1ВТ3\ результаты экспериментов; старт 1

Метод Индикаторы эффективности

ПЕ 1ото (®) ^ов ^бр

ЛЖБМ1 494 90 0,011 0,04

ЛЖБ 450 84 0,012 0,04

Таблица 4 - Тестовая задача 1ВТ3: результаты экспериментов; старт 2

Метод Индикаторы эффективности

ПЕ 1ото (®) ^ов ^бр

ЛЖБМ1 527 76 0,01 0,045

/2

1

в За

— "О..... <Ь "о г«*--*- }8о Л п о к ■ч со ° о В ФО с ; •»<> -.....:_________ ••

5?» 0 в : £ • „ Р ^Ч,_1_ а

о 1 2 3 4..

Л

Рисунок 5 - Задача Аудета (выпуклый фронт): метод ЛЖБМ1; 8 = 0,2; р = 2; 8тт = 0,001; I = 30

Рисунок 6 - Задача Аудета (выпуклый фронт): метод АЖБ; 8 = 0,2; р = 2; 8шт = 0,001; г = 30

Рисунок 7 - Задача Аудета (невыпуклый фронт); метод АЖБ; 8 = 0,2; р = 2; 8тт = 0,001; г = 30

о" о о о <Р о О О р ^ ° С) О о

оо - Оа о О о о о О

О о ООО О О

100 ООО 8 о

оо Од

О о о °0 о

• V о

• • о О ------

О 12 3 4

Рисунок 8 - Задача Аудета (невыпуклый фронт): метод ЛЖБМ1; 8 = 0,2; р = 2; 8т1П = 0,001; г = 30

О 5 О

о О о

Го » м 1 О

о о

V о 2> 0

0 1 2 3 4

Р

Рисунок 9 - Задача ZDT3■. метод ЛЖБ; 8 = 0,5; р = 1,5; 8т1П = 0,001; г = 30;

старт 1

Рисунок 10 - Задача 2ЭТ3 (пространство параметров): метод ЛЖБ; 8 = 0,5;

р = 1,5; 8тт = 0,001; г = 30; старт 1

Т-1-1-1-1-1-г

0 } о ;

- 1

о ; о

о о

Ь Г о о

V ¡о С ° К о

11

1

л_I_I_I_I_I_I

о 12 3 4

Л

Рисунок 11 - Задача тТ3: метод ЛЖБМ1; 8 = 0,5; р = 1,5; 8тт = 0,001;

г = 30; старт 1

Рисунок 12 - Задача ЮТ3 (пространство параметров): метод АЖБМ1; 8 = 0,5; р = 1,5; 8тт = 0,001; г = 30; старт 1

/24

-Г-!-5-1-1-1-1-1-г

О о о

<Ъ о о

> ° о о

ой. и Р о 1 °сР о

□о Г, о

< ч о

( 1

л_I_I_I_I_I_|_

О 1 2 3 4

Л

Рисунок 13 - Задача 2ЭТ3: метод АЖБМ1; 8 = 0,5; р = 1,5; 8тт = 0,001;

г = 30; старт 2

Рисунок 14 - Задача ЮТ3 (пространство параметров): метод ЛЖБМ1; 8 = 0,5; р = 1,5; 8тт = 0,001; I = 30; старт 2

Представленные результаты показывают, что для задачи Аудета, имеющей выпуклый фронт Парето, модификация ЛЖБМ1 превосходит метод ЛЖБ по индикатору 1ошо(0) более чем в два раза, а по индикатору ¡8Р -

почти в два раза. В то же время, модификация ЛЖБМ1 проигрывает методу ЛЖБ по индикатору пЕ примерно на 30% и по индикатору ¡со - примерно

на 60%. Для более сложной задачи Аудета, имеющей невыпуклый фронт Парето, модификация ЛЖБМ1 обеспечивает близкие к методу ЛЖБ результаты по индикатору 1шт(0) и примерно в 3,5 и 2,5 раз лучшие результаты по индикаторам 1ов и 18Р соответственно. С другой стороны, для

этой задачи метод ЛЖБМ1 проигрывает методу ЛЖБ по индикатору пЕ примерно на 50%.

Иная картина наблюдается в случае задачи ZDT3, имеющей, напомним,

выпуклый, но разрывный фронт Парето. В этом случае модификация ЛЖБМ1 по всем рассматриваемым индикаторам обеспечивает результаты, близкие к методу ЛЖБ. В то же время, из сравнения результатов, представленных на

рисунках 9, 11, 13, вытекает, что в условиях экспериментов метод ЛЖБ локализует три из пяти фрагментов разрывного фронта Парето, а метод

ЛЖБМ1 - четыре. Таким образом, в случае задачи 1БТ3 метод ЛЖ8 не обеспечивает удовлетворительное качество Парето-аппроксимации, отыскивая только часть множества и фронта Парето. Модифицированный

метод ЛШБМ1 справляется с этой задачей лучше, находя большую часть этих множеств.

Модификация ЛЖБМ2 (п. 3.2). Эффективность данной модификации оценена с помощью двухкритериальной задачи ZDT3. Результаты экспериментов при числе итераций £ = 30 представлены на рисунках 15, 16. Эти результаты показывают, что ожидаемое увеличение скорости сходимости в сравнении с методом ЛЖ8 не достигнуто. Необходимы дополнительные исследования для объяснения этого эффекта.

А

Ъ Ч о о о °<р О г - 0 О О °<р ) 0 4 - ------О- - О

* . >с о чэ о

* о Ьо е ВО @ о о

£ и в0 • 0 • О о --------

■

о 12 3 4

Рисунок 15 - Задача ZDT3: метод ЛЖ8М2; 8 = 0,5; р = 1,5; 8тт = 0,001;

£ = 30

Рисунок 16 - Задача ZDT3 (пространство параметров): метод ЛЖБМ2; 8 = 0,5; р = 1,5; 8тт = 0,001; I = 30

Модификация ЛЖБМ 3 (п. 3.3). Исследование выполнено на двухкритериальных тестовых задачах ZDT3 и ZDT7 при |х| = 2 . Результаты экспериментов представлены в таблицах 5, 6 и на рисунках 17 - 20.

Таблица 5 - Тестовая задача ZDT3: результаты экспериментов

Метод Индикатор эффективности

ПЕ 1ото (0) IOD ^БР

ЛЖБ 10314 438 0,0007 0,017

ЛЖБМ 3 35536 91 0,005 0,046

Таблица 6 - Тестовая задача ZDT7: результаты экспериментов

Метод Индикаторы эс зфективности

ПЕ 1ото (0) IOD ^БР

ЛЖБ 9654 133 0,001 0,015

ЛЖБМ 3 36384 388 0,0005 0,009

Рисунок 17 - Тестовая задача ZDT3: метод ЛЖБ; 8 = 0,8; р = 1,5; 8ПШ1 = 0,001; I = 200

Рисунок 18 - Тестовая задача ZDT3: метод ЛЖБМ3; 8 = 0,8; р = 1,5; 8m1n = 0,001; ? = 200

Рисунок 19 - Тестовая задача ZDT1■. метод ЛЖ8; 8 = 0,8; р = 1,5;

= 0,001; £ = 500

Рисунок 20 - Тестовая задача ZDT7: метод ЛЖБМ 3; 8 = 0,8; р = 1,5;

8ШШ = 0,001; £ = 500

Представленные результаты показывают, что для задачи ZDT3

модификация ЛШБМ 3 проигрывает методу ЛШБ по всем четырем рассматриваемым индикаторам эффективности. Для задачи ZDT7 имеет

место иная ситуация: по индикатору ¡ошо(0) модификация ЛЖБМ3 лучше метода ЛЖБ почти в три раза, по индикаторам 1ог>, 1БР - в два и 1,7 раза соответственно. С другой стороны, такие высокие результаты достигаются модификацией ЛЖБМ3 за счет почти четырехкратного увеличения числа испытаний, то есть индикатора пЕ .

Заключение

В работе представлен обзор метода ЛЖБ, а также методов, на которых он основан. Предложены три модификации метода ЛЖБ, имеющие целью устранение его недостатков. Выполнена программная реализация метода ЛЖБ и его указанных модификаций. На известных тесовых МКО-задачах выполнено широкое исследование эффективности разработанного методического, алгоритмического и программного обеспечения. Рассмотрены четыре индикатора эффективности, характеризующие, как качество получаемой Парето-аппроксимации, так и соответствующие вычислительные затраты. Исследование показало, что часто предложенные модификации обеспечивают значительно превосходство над методом ЛЖБ. В тоже время, исследование не позволило получить все ожидаемые результаты. Авторы предполагают дополнительные исследования для локализации причин неудачных модификаций. Кроме того, авторы планируют исследование эффективности модификаций на тестовых задачах высокой размерности.

Работа поддержана грантом РФФИ № 12-07-00324-а «Структурная и параметрическая идентификация кинетических моделей реакций нейтрального металлокомплексного катализа».

Список литературы

1. Ларичев О.И. Теория и методы принятия решений: учебник для ВУЗов. М.: Университетская книга, Логос, 2006. 392 с.

2. Карпенко А.П., Митина Е.В., Семенихин А.С. Популяционные методы аппроксимации множества Парето в задаче многокритериальной оптимизации. Обзор // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2012. № 4. Режим доступа:

http://www.technomag.edu.ru/doc/363023.html (дата обращения 01.10.2013).

3. Jong-hyun Ryu, Sujin Kim, Hong Wan. Pareto front approximation with adaptive sum method in multiobjective simulation optimization // Proc. of the 2009 Winter Simulation Conference (WSC), 2009, Austin, pp. 623-633. Available at: http: //www. informs-sim. org/wsc09papers/060. pdf , accessed 01.10.2013.

4. Карпенко А.П., Савелов А.С., Семенихин А.С. Адаптивный метод взвешенных сумм в задаче Парето-аппроксимации // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2012. № 6. DOI: 10.7463/0612.0423283

5. Conn A.R, Gould N.I.M., Toint P.L. Trust-Region Methods. SIAM, Philadelphia, USA, 2000. 959 p. (MPS-SIAM Series on Optimization; no. 1).

6. Nocedal J., Wright S.J. Numerical Optimization. Springer, 1999. 634 p. DOI: 10.1007/b98874

7. Асатурян В.И. Теория планирования эксперимента. М.: Радио и связь, 1983. 248 с.

8. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со многими критериями: учеб. пособие для вузов. М.: Дрофа, 2006. 182 с.

9. Kim I.Y., de Weck O.L. Adaptive weighted-sum method for bi-objective optimization: Pareto front generation // Structural and Multidisciplinary Optimization. 2005. Vol. 29, no. 2. P. 149-158. DOI: 10.1007/s00158-004-0465-1

10. Susan M. Sanchez, Paul J. Sanchez. Very large fractional and central composite design // ACM Transactions on Modeling and Computer Simulation. 2005. Vol. 15, no. 4. P. 362-377.

11. Хайкин С. Нейронные сети: полный курс : пер. с англ. М.: Издательский дом «Вильямс», 2006. 1104 с.

12. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results // Evolutionary Computation. 2000. Vol. 8, no. 2. P. 173-195. DOI: 10.1162/106365600568202

13. Audet C., Savard G., Zghal W. Multiobjective optimization through a series of single-objective formulations // SIAM Journal on Optimization. 2008. Vol. 19, no. 1. P. 188-210. DOI: 10.1137/060677513

SCIENTIFIC PERIODICAL OF THE BAUMAN MS TU

SCIENCE and EDUCATION

EL № FS77 - 48211. №0421200025. ISSN 1994-0408

electronic scientific and technical journal

Modified method of adaptive weighted sums in the problem of multi-criterion optimization # 11, November 2013 DOI: 10.7463/1113.0632468 Karpenko A.P., Savelov A.S.

Bauman Moscow State Technical University, 105005, Moscow, Russian Federation

[email protected] s [email protected]

This paper deals with the problem of multi-criterion optimization. It was assumed that the Pareto set is a solution to this problem. A promising approach to solving this problem is the adaptive weighted sum (AWS) method. Just like the classic weighted sum method based on the additive convolution of partial optimality criteria, the adaptive method also is based on the convolution. But the AWS method also proposes adaptation of weighting coefficients during iterations on the basis of the current location of the search subarea. This method works with meta-models of criterion functions in order to reduce computational costs. Results of our investigations showed that the AWS method provides a high quality Pareto-approximation in case of a convex, although, maybe, unconnected Pareto frontier. For problems with a concave Pareto frontier this method doesn't always provide sufficient quality of solution or it does but this takes too much time. In some cases the AWS method could provide an unacceptable solution caused by a special method of constraint satisfaction. The purpose of this work is to overcome specified disadvantages of the AWS method. A problem formulation for multi-criterion optimization was presented along with basic approaches to its solving. Several modifications of the ASW method proposed by the authors were considered. A brief description of the developed software implementing the method and its modifications were presented. Performance study of this software was carried out.

Publications with keywords: multiobjective optimization, Pareto set, Pareto front, adaptive weighted sum method

Publications with words: multiobjective optimization, Pareto set, Pareto front, adaptive weighted sum method

References

1. Larichev O.I. Teoriia i metody priniatiia reshenii [Theory and methods of decision making]. Moscow, Universitetskaia kniga, Logos, 2006. 392 p.

2. Karpenko A.P., Mitina E.V., Semenikhin A.S. Populyatsionnye metody approksimatsii mnozhestva Pareto v zadache mnogokriterial'noy optimizatsii. Obzor [Review: population methods of Pareto set approximation in multi-objective optimization problem]. Nauka i obrazovanie MGTUim. N.E. Baumana [Science and Education of the Bauman MSTU], 2012, no. 4. Available at: http://www.technomag.edu.ru/doc/363023.html , accessed 01.10.2013.

3. Ryu J.-H., Kim S., Wan H. Pareto front approximation with adaptive weighted sum method in multiobjective simulation optimization. Proc. of the 2009 Winter Simulation Conference (WSC), 2009, Austin, pp. 623-633. Available at: http://www.informs-sim.org/wsc09papers/060.pdf , accessed 01.10.2013.

4. Karpenko A.P., Savelov A.S., Semenikhin A.S. Adaptivnyy metod vzveshennykh summ v zadache Pareto-approksimatsii [Adaptive weighted sum method for solving Pareto-approximation problem]. Nauka i obrazovanie MGTU im. N.E. Baumana [Science and Education of the Bauman MSTU], 2012, no. 6. DOI: 10.7463/0612.0423283

5. Conn A.R, Gould N.I.M., Toint PL. Trust-Region Methods. SIAM, Philadelphia, USA, 2000. 959 p. (MPS-SIAMSeries on Optimization; no. 1).

6. Nocedal J., Wright S.J. Numerical Optimization. Springer, 1999. 634 p. DOI: 10.1007/b98874

7. Asaturyan V.I. Teoriyaplanirovaniya eksperimenta [The theory of the design of experiments]. Moscow, Radio i svyaz', 1983. 248 p.

8. Sobol' I.M., Statnikov R.B. Vybor optimal'nykhparametrov v zadachakh so mnogimi kriteriiami [The choice of optimal parameters in problems with many criteria]. Moscow, Drofa, 2006. 182 p.

9. Kim I.Y., de Weck O.L. Adaptive weighted-sum method for bi-objective optimization: Pareto front generation. Structural andMultidisciplinary Optimization, 2005, vol. 29, no. 2, pp. 149-158. DOI: 10.1007/s00158-004-0465-1

10. Susan M. Sanchez, Paul J. Sanchez. Very large fractional and central composite design. ACM Transactions on Modeling and Computer Simulation, 2005, vol. 15, no. 4, pp. 362-377.

11. Haykin S. Neural Networks: A Comprehensive Foundation. 2nd ed. Prentice Hall, 1999. 823 p. (Russ. ed.: Haykin S. Neironnye seti:polnyi kurs. Moscow, Publishing House "Vil'iams", 2006. 1104 p.).

12. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results. Evolutionary Computation, 2000, vol. 8, no. 2, pp. 173-195. DOI: 10.1162/106365600568202

13. Audet C., Savard G., Zghal W. Multiobjective optimization through a series of single-objective formulations. SIAM Journal on Optimization, 2008, vol. 19, no. 1, pp. 188-210. DOI: 10.1137/060677513