НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н.Э. ЬАУМЛНЛ
НАУКА и ОБРАЗОВАНИЕ
Эл JVa ФС 77 - 48211. Государственная регистрация №(I4212Ü0025. ISSN 1994-0408
электронный научно-технический журнал
Метод адаптивных взвешенных сумм в задаче
Парето-аппроксимации
# 06, июнь 2012
Б01: 10.7463/0612.0423283
Карпенко А. П., Савелов А. С., Семенихин А. С.
УДК 519.6
Россия, МГТУ им. Н.Э. Баумана [email protected] [email protected]
Введение
Постановка задачи многокритериальной оптимизации (МКО-задачи) фиксирует множество допустимых значений вектора варьируемых параметров задачи и вектор критериальных функций. Данная информация позволяет обычно выделить не одно решение задачи, а лишь ее множество Парето. Поэтому часто говорят, что решением МКО-задачи является множество Парето этой задачи. Множество Парето и фронт Парето занимают в теории многокритериальной оптимизации исключительное место еще и потому, что согласно известному принципу Эджворта-Парето, при «разумном» поведении лица, принимающего решения (ЛИР), выбор решения следует производить на множестве Парето [1].
Классические методы решения МКО-задачи основаны на использовании, помимо указанной информации о задаче, еще тем или иным образом формализованной информации о предпочтениях ЛПР. В результате задачу удается свести к совокупности задач глобальной однокритериальной оптимизации. Относительно новый и быстро развивающийся класс методов решения МКО-задачи образуют методы Парето-аппроксимации,
предполагающие предварительное построение некоторой конечномерной аппроксимации множества, а тем самым, и фронта Парето.
Известно большое число популяционных и непопуляционных методов построения Парето-аппроксимации (см., например, обзор [2]). Работа посвящена исследованию эффективности, так называемого, метода адаптивных взвешенных сумм (Adaptive Weighted Sum method, AWS-method), который предложили и разработали Рю, Ким и Ван (J-H. Ryu, S. Kim, H. Wan) [3]. Для решения задачи Парето-аппроксимации метод AWS использует аддитивную свертку частных критериев оптимальности. Однако в отличие от классического метода суммы взвешенных критериев (Weighted Sum method, WS-method) [1], также использующего такую свертку, метод AWS предполагает адаптацию весовых коэффициентов в процессе итераций на основе информации о текущем положении подобласти поиска. Целью разработки метода AWS было преодоление известного недостатка метода WS, заключающегося в невозможности локализации точек множества Парето, которые соответствуют вогнутым фрагментам фронта Парето.
Для сокращения затрат на вычисление значений критериальных функций метод AWS использует метамодели этих функций. Поскольку в практически значимых задачах вычислительная сложность критериальных функций обычно является высокой, это обстоятельство позволяет сократить вычислительные затраты и делает метод, на наш взгляд, весьма перспективным. Недостатком метода AWS в существующем виде является его ориентация на решение только двухкритериальных задач Парето-аппроксимации.
Выполненное авторами метода AWS исследование показало его высокую эффективность. Однако исследование было выполнено всего для двух относительно простых тестовых задач многокритериальной оптимизации [3]. В данной работе мы повторяем исследование для указанных тестовых задач, а также дополнительно проводим исследование для трех других сложных тестовых задач.
В содержательных терминах качество Парето-аппроксимации может быть оценено с помощью следующих характеристик:
- близость найденных решений к точному множеству Парето рассматриваемой МКО-задачи;
- равномерность распределения решений в полученной Парето-аппроксимации;
- мощность найденного множества решений.
Известно большое число индикаторов качества, формализующих указанные характеристики [4, 5]. В данной работе в качестве индикатора качества Парето-аппроксимации используем мощность найденной аппроксимации.
В первом разделе даем постановку МКО-задачи и схему метода ЛЖБ. Во втором разделе рассматриваем программную реализацию метода и организация экспериментов. В третьем разделе представлены результаты экспериментов и их обсуждение. В заключении сформулированы основные выводы и перспективы развития работы.
Научная новизна работы заключается в исследовании эффективности Парето-аппроксимации методом Л ЖБ на тестовых задачах, на которых ранее его эффективность не исследовалась. Результаты исследования выявили ряд ограничений метода и сложностей его использования. Это позволило наметить пути модификации метода, направленные на преодоление этих ограничений и сложностей.
1. Постановка задачи и схема метода
Пусть множеством допустимых значений вектора варьируемых параметров X является ограниченное и замкнутое множество
Иу с {X} = Положим, что критериальная вектор-функция
^ (X) = (/1(Х), /2(Х),..., /\Р\(Х)) со значениями в критериальном
пространстве } = Я^1 определена в области ИХ. ЛПР стремится
минимизировать в этой области каждый из частных критериев оптимальности f (X), f2(X),..., f (X), что условно записываем в виде
min F(X) = F(X*) = F*, (1)
X еDX
* *
где векторы X , F - искомое решение задачи многокритериальной оптимизации.
Здесь и далее запись вида |Л|, где A - вектор или некоторое счетное
множество, означает размерность этого вектора или мощность множества соответственно. Полагаем, что частные критерии оптимальности тем или иным образом нормализованы, так что f (X) е [0; 1] для любого X е DX; i е [1:| F |].
Вектор-функция F(X) выполняет отображение множества DX во множество Df е {F}, которое называется множеством достижимости. Множество и фронт Парето обозначаем D*X с DX, D* с DF, а их
X F
конечномерные аппроксимации соответственно. Последние
множества называем архивными.
Метод AWS включает в себя три следующие основные процедуры:
- определение центральной точки;
- формирование метамоделей частных критериев оптимальности;
- решение полученных оптимизационных задач. Рассмотрим суть указанных процедур.
Определение центральной точки. На этапе инициализации
центральную точку XC выбираем случайным образом в области DX. На этом
же этапе должны быть определены следующие свободные параметры алгоритма: S - начальный радиус области доверия (trust region radius); р е (0; 1) - коэффициент сужения этой области; Smm - минимальная величина радиуса области.
На итерации ^ +1) центральную точку Х'С отыскиваем среди точек
текущей Парето-аппроксимации 0Х = 0Х ^), построенной на предыдущей итерации ?.
X I
Отсортируем элементы архивных множеств 0Л, 0 по возрастанию первого частного критерия /1(X) и представим в виде линейных списков с
прежними наименованиями. Определим расстояние dJ■ архивной точки I® до ближайших к ней в списке 01 точек формулой
dJ =1110-1 - 10\\е + II-10+1 \\е, 0 е [1: |0|], (3)
где ||*|| - евклидова норма.
II II е
Алгоритм использует следующее правило определения центральной точки Х'с.
1) Если 0| > 2, то полагаем Х'с = X0 , где
( \ * I 0
0 =^ итзн] ^|Х 0-е Хг}.
Здесь Хт - множество точек, использованных в качестве центральных на
всех предыдущих итерациях [0: ?]. Иными словами, за центральную точку
принимаем точку, во-первых, наиболее удаленную от других точек
множества 0Х в смысле расстояния (3), и, во-вторых, не использованную на предшествующих итерациях.
2) Если 0| = 2, то с равной вероятностью полагаем Х'с = Х® или
ХС = Х 0.
3) Если 0| = 1, то принимаем Х'с = Х0.
Формирование метамоделей. Метамодели представляют собой квадратичные аппроксимации т{(Х), т'2(Х) функций /1(Х), /2(Х) в окрестности точки Х'с:
т[ (X) = /х{Х'с ) + У/Х'с )(Х - Х'с ) + |(Х - ХС )т Н (Х'с )(X - ХС ); т'2 (Х) = /2(ХС ) + УТ/2(ХС ) (Х - ХС ) + 2(Х - ХС )т Я (Х'с )(Х - ХС ). Здесь Н1 (ХС), Я2(ХС ) - матрицы Гессе функций /1(Х), /2(Х) в точке
ХС.
Если |©| > 2, то дополнительно строим метамодели т'р (Х) = Л?т[ (Х) + ¿>2 (Х),
т'ч (Х) = Л! т[ (Х) + ¿2 т2 (Х), а если |©| = 2 или |©| = 1 - метамодель
т'р (Х) = ЛРт' (Х) + Лрт2 (Х).
В первом случае (|©| > 2) весовые множители (Лр, Л2) = Лр, (Л, Л2) = X1 определяем по правилу
Лр = ср ((-/2 (Х'с ) + /2(Х®-1)), (/1(ХС ) - ¿(Х®.-1))), л1 = с1 ((-Л(Х®+1) + /2(Х'с)), с/1(Х® +1) - /1(ХС))); во втором случае (| © | = 2) - по правилу
Лр = ср ((-/2 (Х2©) + /2 (Х©)), (/1 (Х2©) - /1 (Х©))); в третьем случае (когда | © | = 1) - по правилу Лр =(0,5, 0,5). Константы ср, с1 выбираем таким образом, чтобы обеспечить выполнение условий нормировки Лр + Лр = Л + Л = 1.
Отметим, что при построении метамоделей т' (Х), т'2 (Х) речь может идти не о градиентах и матрице Гессе функций /1 (Х), /2 (Х), а об их оценках, полученных, например, численными методами (путем соответствующих конечно-разностных аппроксимаций указанных функций).
Решение оптимизационных задач. Данная процедура предполагает решение задач оптимизации
min m' (X) = m' (X;' ), min m'2 (X) = m'2 (X2 ),
X ^D'c
X eD'c
(4)
где текущую область доверия (trust region) D'c определяет формула
X - X '
c
<8]
D'c = {X|X eDx,
Если > 2, то решения XX' , X'2 задач (4) позволяют отыскать приближенно оптимальные по Парето точки X'p , XX' , принадлежащие области доверия D'C , путем решения оптимизационных задач
mm m'p (X) = m'p (Xp ), mm m'q (X) = m'q (Xq ). (5)
X eD'C X eD'C
Данный этап алгоритма иллюстрирует рисунок 1, на котором принято
что F'c = F ( X'c ), Fj _ = F (X ® J, F®+1 = F (X®. +1).
Отметим, что задачи (4), (5) представляют собой задачи оптимизации квадратичных функций, для решения которых известны высокоэффективные методы, алгоритмы и соответствующее программное обеспечение.
к
о
L \ \ ч \
^о -Л Fa ÎV /ч "yC \ ^Ч D'c
\ / N. \ _ \ / \ F' \
\
"'s. \ \ ^ \ 1 \ ^ \ \ ""О
\ 1 \ F(£q)\ Fi\ J -1 \ \ 4
fx
Рисунок 1 - К схеме метода AWS: результаты решения задач (5)
В процессе итераций текущий радиус области доверия уменьшают по правилу 8 = р 8 до достижения минимально допустимой его величины 8П
mm '
Новое состояние архивного множества 0х получаем путем добавления в него точек X' , Х2 , X'p , X'q и исключения из полученного набора
доминируемых решений. Аналогично, множество 0F образуем путем добавления в него точек F(X ), F(Х2 ), F(X'p ), F(X' ).
2. Программная реализация метода и организация экспериментов
Для решения однокритериальных задач условной оптимизации (4), (5) в программной реализации использован метод штрафных функций в совокупности с известным методом Нелдера-Мида локальной безусловной оптимизации. Вместо метамоделей критериальных функций f1(X), f2(X)
использованы сами эти функции. Данное ограничение не является критичным, поскольку влияет на время вычислений, но не на качество Парето-аппроксимации.
Программа написана на языке программирования C++. Ниже представлены основные классы программной модели:
— AWSAlgorithm - класс, реализующий алгоритм AWS;
— PenaltyAlgorithm - класс, реализующий метод штрафных функций;
— NelderMidAlgorithm - класс, реализующий алгоритм Нелдера-Мида;
— Polyhedron - вспомогательный класс, реализующий основные операции над многогранниками;
— Quicksort - класс, реализующий алгоритм «быстрой сортировки».
— Function - абстрактный класс, реализующий общий интерфейс для реализаций критериальных функций и ограничений;
— ZDT3,CompositeFunction - конкретные реализации критериальных функций;
— HyperSphereConstrain - конкретная реализация ограничений. Эксперименты выполнены на персональном компьютере, основные
параметры которого представлены ниже:
— процессор Intel Pentium Dual-Core T4500, 2,3 ГГц;
- оперативная память DDR-3, 3 Гб.
Изучалось влияние на эффективность метода следующих его свободных параметров:
- начальный радиус области доверия 8;
- кэффициент сужения области доверия р;
- минимальная величина радиуса области доверия 8min.
В качестве меры эффективности метода использована мощность множества решений (overall non-dominated vector generation)
то есть число элементов множества 0 [5].
Исследование выполнено на пяти следующих известных двухкритериальных тестовых задачах многокритериальной оптимизации. Задача «о двух параболоидах» (двумерная, двухкритериальная):
JONVG ( © ) = © ^ max,
Dx= {X | 0 < хг < 1, i = 1,2};
f1 (х) = X1 + X2 , f2 (х) = (X1 - 1)2 + (X2 - 1)2.
Задача имеет непрерывный выпуклый фронт Парето.
Задача Аудета (С. Audet):
Dx= {XI 0 < хг < 1, i = 1,2}; /1 (X) =fi(x1) = 4 • X1, f2 (X) =g (X) • h( X),
где
h( X)
1 - , /1(X) < g(X),
0, иначе,
Задача является двумерной, двухкритериальной, фронт Парето -непрерывный, значению а = 0,25 соответствует выпуклое множество Парето, а а = 4 - невыпуклое [6].
Задача ZDT3 (30-мерная, двухкритериальная):
Вх = {X | 0 < х. < 1,, е [1: \х\], |Х| = 30};
/ (X ) = / (х1) = Х1 ,
fi (X) =g (X) •
1 -
fi(X) fi(X) .
g(X) g(X)
• sin (10 п fi(X))
где
g (X) = g (x2,...,Xx| )= 1 + 9
x.
= 2 |X| - 1
Сложность задачи обусловлена высокой размерностью, а также несвязным, хотя и выпуклым, фронтом Парето [4]. Задача ZDT6 (10-мерная, двухкритериальная):
DX = {X | 0 < x < 1, i е [1: |X|], |X| = 10};
f1 (X) = f (X1) = 1 - exp(- 4 X1 )• sin6(6 п X1) ,
f2 (X) =g (X)
f1( X) g (X),
где
g (X) = g (x2,..., X|X| )= 1 + 9 •
x Л V i
1=2 |x| -1
0,25
Задача имеет слабо невыпуклый фронт Парето [4]. Сложность задачи 7ЭТ6 заключается в невыпуклости фронта и многомерности задачи. Задача ZDT7: (30-мерная, двухкритериальная):
Вх = {X | 0 < х,. < 1,, е [1: |х|], |х| = 30};
/1 (X )= / (Х1) = Х1,
/2 (X) =g (X) • И( X),
где
2
1
g (X) = g (*2>...,*|х| )= 1 + 9
1 = 2 Х - 1
И( X) = 1 -
^(Х2 '...' Х|х| )
Задача имеет непрерывный выпуклый фронт Парето [4].
/1( X)
3. Результаты экспериментов
Задача «о двух параболоидах» (рисунок 2). Результаты решения данной задачи, в силу ее простоты, показывают, по сути, только работоспособность алгоритма и программы ЛЖБМ, реализующей этот алгоритм. Из рисунка 2 следует, что за небольшое число итераций 1 = 30 построено множество 0, состоящее из 10№в (0) = 105 недоминируемых решений. Обеспечены приемлемая плотность и равномерностью покрытия фронта Парето. Результаты исследования показывают, что варьирование значений свободных параметров метода в широком диапазоне оказывает в данном случае слабое влияние на качество Парето-аппроксимации.
Рисунок 2 - Задача «о двух парабалоидах»: 8 = 1; р = 2; 8т1п = 0,001; г = 30
Задача Аудета. (рисунки 3 - 6). Результаты решения задачи для случая а = 0,25, когда фронт Парето является выпуклым, иллюстрируют
рисунки 3, 4. Рисунок 3 показывает, что за 1 = 30 итераций удалось получить только 10шс (0) = 26 недоминируемых решений (против 10ыус (0) = 91
решений, заявленных в исходной работе [3]). Метод не обеспечил равномерность покрытия фронта Парето. Заявленное число точек и приемлемую равномерность покрытия удалось достичь только при удвоенном числе итераций $ = 60 (рисунок 4).
Рисунок 3 - Задача Аудета: а = 0,25; 8 = 0,2; р = 2, 8т1п = 0,001; $ = 30
0,8 0,6 0,4 0,2
1 1 1
». \ ч
ч ч -н.
----
0 0,2 0,4 0,6 0,8
10 ^
Рисунок 4 - Задача Аудета: а = 0,25; 8 = 0,2; р = 2, 8т1п = 0,001; $ = 60
Возможная причина указанных недостатков метода заключается в использованной в программе ЛЖ8М модели планирования эксперимента, которая предполагает испытания только в осевых точках.
Результаты решения задачи Аудета для случая а = 4, когда фронт
Парето не является выпуклым, иллюстрируют рисунки 5, 6. За $ = 30 итераций удалось получить только 1оыус (©) = 30 решений (в работе [3] для
этого случая заявлено IONVG (©) = 80 решений). Заявленное число точек и приемлемую равномерность покрытия фронта Парето удалось достичь только при t = 100 итераций. Возможные причины отмеченных недостатков указаны выше.
Рисунок 5 - Задача Аудета: а = 4; 8 = 0,2; р = 2, 8min = 0,001; t = 30
Рисунок 6 - Задача Аудета: а = 4; 8 = 0,2; р = 2, 8min = 0,001; t = 100
Тщательный анализ результатов, представленных на рисунке 6, показывает, что некоторое число полученных решений не удовлетворяет ограничениям задачи. Причина появления этих решений заключается в том, что задачи глобальной условной оптимизации (4), (5) решаются в программе ЛЖБМ, как мы указывали выше, методом штрафных функций. Априорное назначение требуемой точности удовлетворения ограничений затруднительно. В то же время, как мы видим, даже кажущаяся вполне
удовлетворительной точность 0,001 приводит к появлению в архиве 0 непаретовских решений.
Задача ZDT3 (рисунки 7, 8). Исследование показало, что качество полученной Парето-аппроксимации в данном случае сильно зависит от значений свободных параметров метода.
/2,0 1,6 1,2 0,8 0,4
0 0,2 0,4 0,6 0,8 1,0 I1
Рисунок 7 - Задача 2073: исходный метод; 8 = 0,2; р = 2, 8тп = 0,001;
г = 2000
Лучший результат и соответствующие значения этих параметров иллюстрирует рисунок 8. Рисунок показывает, что метод даже для такой сложной задачи позволяет получить достаточно мощное ( 1шуо(0) = 355), плотное и равномерное покрытие фронта Парето. Для обеспечения столь высокого качества Парето-аппроксимации, потребовалось модификация исходной схемы метода, заключающаяся в разрешении использования крайних точек текущей аппроксимации 0 в качестве центральных. Рисунок 7 иллюстрирует решение задачи без такой модификации.
Рисунок 8 - Задача 2ЭТ3: модифицированный метод; 8 = 0,2; р = 2.
8т1П = 0,001; I = 2000
Задача ZDT6 (рисунки 9, 10) оказалась наиболее сложной для данного метода. Исследование выявило, что качество полученной Парето-аппроксимации в данном случае очень сильно зависит от значений свободных параметров метода, а также от начального приближения. Так при изменении коэффициента р с 1,5 до 1,6 (всего на 0,1!), метод порождает всего два решения (10ша (®) = 2). Лучший результат, достигнутый методом, иллюстрирует рисунок 9 (10Му0 (0) = 86). Ни равномерность, ни плотность полученной аппроксимации фронта Парето не являются приемлемыми.
А 1,0 0,8 0,6 0,4 0,2
»
\ %
N •
•
О 0,2 0,4 0,6 0,8 1,0 Рисунок 9 - Задача 20Т6: 8 = 1; р = 1,5, 8т1П = 0,0001; г = 750
На рисунке 10 представлены результаты решения той же задачи с помощью генетического алгоритма. Рисунок показывает, что генетический
алгоритм, в отличие от исследуемого метода ЛЖБ, не нашел ни одного решения, соответствующего условию _/[ (X) < 0,4.
/2 1,0 0,8 0,6 0,4 0,2
• Ч \ •
\
0,2 0,4 0,6 0,8
N г
1,0 >
Рисунок 10 - Задача ZDT6: генетический алгоритм
Задача ZDT7 (рисунок 11). Метод в этом случае обеспечил высокое качество Парето-аппроксимации по критериям плотности и равномерности покрытия фронта Парето при достаточно мощном архивном множестве
(^омус (®) = 511) Исследование показало слабую зависимость качества аппроксимации от значений свободных параметров метода. Оказалось, что как и в задаче Аудета и по тем же причинам, некоторое число полученных решений не удовлетворяет ограничениям задачи.
¡2 1,0 0,8 0,6 0,4 0,2
О 0,2 0,4 0,6 0,8 1,0 Г Рисунок 11 - Задача ZDT7: 8 = 0,5; р = 1,25, 8тт = 0,001; ! = 5000
Заключение
Результаты исследования показывают, что метод AWS обеспечивает высокое качество Парето-аппроксимации в случае выпуклого, хотя, быть может, и несвязного фронта Парето. Для задач, имеющих вогнутый фронт Парето, метод не всегда обеспечивает удовлетворительное качество решения или обеспечивает его, но при значительном числе итераций. В некоторых случаях метод дает недопустимые решения, обусловленные используемым способом учета ограничений на область доверия. В целом, результаты исследования показывают высокий потенциал развития метода.
В продолжение работы авторы планируют исследовать альтернативные способы учета ограничений на область доверия, различные, в том числе нейросетевые, методы построения локальных метамоделей критериальных функций. Главной задачей является распространение метода на МКО-задачи с более, чем двумя критериями оптимальности.
Работа поддержана грантом РФФИ 12-07-00324-а.
Литература
1. Ларичев О.И. Теория и методы принятия решений: Учебник для ВУЗов.- М.: Университетская книга, Логос, 2006.- 392 с.
2. Карпенко А.П., Митина Е.В., Семенихин А.С. Популяционные методы аппроксимации множества Парето в задаче многокритериальной оптимизации. Обзор // Наука и образование: электронное научно-техническое издание, 4, 2012, (http://www.technomag.edu.ru/doc/363023.html).
3. Jong-hyun Ryu, Sujin Kim, Hong Wan. Pareto front approximate\ion with adaptive sum method in multiobjective simulation optimization // Proceedings of the 2009 Winter Simulation Conference, pp. 623 - 633.
4. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results // Evolutionary Computation, 2000, Vol. 8(2), pp. 173-195.
5. Zitzler E., Thiele L., Marco Laumanns M., Fonseca C. M., da Fonseca V. G. Performance Assessment of Multiobjective Optimizers: An Analysis and Review // IEEE Transactions of Evolutionary Computation, 2003, Vol. 7(2), pp. 117-132.
6. Audet C., Savard G., Zghal W. Multiobjective optimization through a series of single-objective formulations // SIAM Journal on Optimization, 2006, 17(1), pp. 188-210.
SCIENTIFIC PERIODICAL OF THE BAUMAN MSTÜ
SCIENCE and EDUCATION
EL JVb FS 77 - 4821 1. №04212000 25. ISSN 1994-0408 electronic scientific and technical journal
Adaptive weighted sum method for solving Pareto-approximation
problem
# 06, June 2012
DOI: 10.7463/0612.0423283
Karpenko A.,P., Savelov A.S., Semenikhin A., S.
Russia, Bauman Moscow State Technical University
[email protected] [email protected]
The authors consider solving the discrete problem of Pareto set and frontier optimization in the multi-criterion optimization problem. The aim of this work was to examine the efficiency of Adaptive Weighted Sum method (AWS) which was initially developed by J-H. Ryu, S. Kim and H. Wan. Comparing to the original research, the authors used a wider range of multi-criterion benchmark optimization problems. A range of limitations of AWS methodology and usage complexity was found. Modification of the method was proposed to resolve the problems and limitations.
Publications with keywords: multimodal optimization problem, Pareto-set approximation, adaptive weighted sum method
Publications with words: multimodal optimization problem, Pareto-set approximation, adaptive weighted sum method
References
1. Larichev O.I. Teoriia i metody priniatiia reshenii [Theory and methods of decision making]. Moscow, Universitetskaia kniga, Logos, 2006. 392 p.
2. Karpenko A.P., Mitina E.V., Semenikhin A.S. Populiatsionnye metody approksimatsii mnozhestva Pareto v zadache mnogokriterial'noi optimizatsii. Obzor [Review: population methods of Pareto set approximation in multi-objective optimization problem]. Nauka i obrazovanie MGTU im. N.E. Baumana [Science and Education of the Bauman MSTU], 2012, no. 4. Available at: http://www.technomag.edu.ru/doc/363023.html , accessed 08.07.2012.
3. Ryu J.-H., Kim S., Wan H. Pareto front approximation with adaptive weighted sum method in multiobjective simulation optimization. Proc. of the 2009 Winter Simulation Conference (WSC), 2009, Austin, pp. 623-633. Available at: http://www.informs-sim.org/wsc09papers/060.pdf , accessed 08.07.2012.
4. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results. Evolutionary Computation (journal), 2000, vol. 8, no. 2, pp. 173-195.
5. Zitzler E., Thiele L., Marco Laumanns M., Fonseca C. M., da Fonseca V. G. Performance Assessment of Multi objective Optimizers: An Analysis and Review. IEEE Transactions of Evolutionary Computation, 2003, vol. 7, no. 2, pp. 117-132.
6. Audet C., Savard G., Zghal W. Multiobjective optimization through a series of single-objective formulations. SIAM Journal on Optimization, 2008, vol. 19, no. 1, pp. 188210.