Метод адаптивных взвешенных сумм в задаче Парето-аппроксимации Текст научной статьи по специальности «Математика»

НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н.Э. ЬАУМЛНЛ

НАУКА и ОБРАЗОВАНИЕ

Эл JVa ФС 77 - 48211. Государственная регистрация №(I4212Ü0025. ISSN 1994-0408

электронный научно-технический журнал

Метод адаптивных взвешенных сумм в задаче

Парето-аппроксимации

# 06, июнь 2012

Б01: 10.7463/0612.0423283

Карпенко А. П., Савелов А. С., Семенихин А. С.

УДК 519.6

Россия, МГТУ им. Н.Э. Баумана apkarpenko@mail.ru saspost@yandex.ru

Введение

Постановка задачи многокритериальной оптимизации (МКО-задачи) фиксирует множество допустимых значений вектора варьируемых параметров задачи и вектор критериальных функций. Данная информация позволяет обычно выделить не одно решение задачи, а лишь ее множество Парето. Поэтому часто говорят, что решением МКО-задачи является множество Парето этой задачи. Множество Парето и фронт Парето занимают в теории многокритериальной оптимизации исключительное место еще и потому, что согласно известному принципу Эджворта-Парето, при «разумном» поведении лица, принимающего решения (ЛИР), выбор решения следует производить на множестве Парето [1].

Классические методы решения МКО-задачи основаны на использовании, помимо указанной информации о задаче, еще тем или иным образом формализованной информации о предпочтениях ЛПР. В результате задачу удается свести к совокупности задач глобальной однокритериальной оптимизации. Относительно новый и быстро развивающийся класс методов решения МКО-задачи образуют методы Парето-аппроксимации,

предполагающие предварительное построение некоторой конечномерной аппроксимации множества, а тем самым, и фронта Парето.

Известно большое число популяционных и непопуляционных методов построения Парето-аппроксимации (см., например, обзор [2]). Работа посвящена исследованию эффективности, так называемого, метода адаптивных взвешенных сумм (Adaptive Weighted Sum method, AWS-method), который предложили и разработали Рю, Ким и Ван (J-H. Ryu, S. Kim, H. Wan) [3]. Для решения задачи Парето-аппроксимации метод AWS использует аддитивную свертку частных критериев оптимальности. Однако в отличие от классического метода суммы взвешенных критериев (Weighted Sum method, WS-method) [1], также использующего такую свертку, метод AWS предполагает адаптацию весовых коэффициентов в процессе итераций на основе информации о текущем положении подобласти поиска. Целью разработки метода AWS было преодоление известного недостатка метода WS, заключающегося в невозможности локализации точек множества Парето, которые соответствуют вогнутым фрагментам фронта Парето.

Для сокращения затрат на вычисление значений критериальных функций метод AWS использует метамодели этих функций. Поскольку в практически значимых задачах вычислительная сложность критериальных функций обычно является высокой, это обстоятельство позволяет сократить вычислительные затраты и делает метод, на наш взгляд, весьма перспективным. Недостатком метода AWS в существующем виде является его ориентация на решение только двухкритериальных задач Парето-аппроксимации.

Выполненное авторами метода AWS исследование показало его высокую эффективность. Однако исследование было выполнено всего для двух относительно простых тестовых задач многокритериальной оптимизации [3]. В данной работе мы повторяем исследование для указанных тестовых задач, а также дополнительно проводим исследование для трех других сложных тестовых задач.

В содержательных терминах качество Парето-аппроксимации может быть оценено с помощью следующих характеристик:

- близость найденных решений к точному множеству Парето рассматриваемой МКО-задачи;

- равномерность распределения решений в полученной Парето-аппроксимации;

- мощность найденного множества решений.

Известно большое число индикаторов качества, формализующих указанные характеристики [4, 5]. В данной работе в качестве индикатора качества Парето-аппроксимации используем мощность найденной аппроксимации.

В первом разделе даем постановку МКО-задачи и схему метода ЛЖБ. Во втором разделе рассматриваем программную реализацию метода и организация экспериментов. В третьем разделе представлены результаты экспериментов и их обсуждение. В заключении сформулированы основные выводы и перспективы развития работы.

Научная новизна работы заключается в исследовании эффективности Парето-аппроксимации методом Л ЖБ на тестовых задачах, на которых ранее его эффективность не исследовалась. Результаты исследования выявили ряд ограничений метода и сложностей его использования. Это позволило наметить пути модификации метода, направленные на преодоление этих ограничений и сложностей.

1. Постановка задачи и схема метода

Пусть множеством допустимых значений вектора варьируемых параметров X является ограниченное и замкнутое множество

Иу с {X} = Положим, что критериальная вектор-функция

^ (X) = (/1(Х), /2(Х),..., /\Р\(Х)) со значениями в критериальном

пространстве } = Я^1 определена в области ИХ. ЛПР стремится

минимизировать в этой области каждый из частных критериев оптимальности f (X), f2(X),..., f (X), что условно записываем в виде

min F(X) = F(X*) = F*, (1)

X еDX

* *

где векторы X , F - искомое решение задачи многокритериальной оптимизации.

Здесь и далее запись вида |Л|, где A - вектор или некоторое счетное

множество, означает размерность этого вектора или мощность множества соответственно. Полагаем, что частные критерии оптимальности тем или иным образом нормализованы, так что f (X) е [0; 1] для любого X е DX; i е [1:| F |].

Вектор-функция F(X) выполняет отображение множества DX во множество Df е {F}, которое называется множеством достижимости. Множество и фронт Парето обозначаем D*X с DX, D* с DF, а их

X F

конечномерные аппроксимации соответственно. Последние

множества называем архивными.

Метод AWS включает в себя три следующие основные процедуры:

- определение центральной точки;

- формирование метамоделей частных критериев оптимальности;

- решение полученных оптимизационных задач. Рассмотрим суть указанных процедур.

Определение центральной точки. На этапе инициализации

центральную точку XC выбираем случайным образом в области DX. На этом

же этапе должны быть определены следующие свободные параметры алгоритма: S - начальный радиус области доверия (trust region radius); р е (0; 1) - коэффициент сужения этой области; Smm - минимальная величина радиуса области.

На итерации ^ +1) центральную точку Х'С отыскиваем среди точек

текущей Парето-аппроксимации 0Х = 0Х ^), построенной на предыдущей итерации ?.

X I

Отсортируем элементы архивных множеств 0Л, 0 по возрастанию первого частного критерия /1(X) и представим в виде линейных списков с

прежними наименованиями. Определим расстояние dJ■ архивной точки I® до ближайших к ней в списке 01 точек формулой

dJ =1110-1 - 10\\е + II-10+1 \\е, 0 е [1: |0|], (3)

где ||*|| - евклидова норма.

II II е

Алгоритм использует следующее правило определения центральной точки Х'с.

1) Если 0| > 2, то полагаем Х'с = X0 , где

( \ * I 0

0 =^ итзн] ^|Х 0-е Хг}.

Здесь Хт - множество точек, использованных в качестве центральных на

всех предыдущих итерациях [0: ?]. Иными словами, за центральную точку

принимаем точку, во-первых, наиболее удаленную от других точек

множества 0Х в смысле расстояния (3), и, во-вторых, не использованную на предшествующих итерациях.

2) Если 0| = 2, то с равной вероятностью полагаем Х'с = Х® или

ХС = Х 0.

3) Если 0| = 1, то принимаем Х'с = Х0.

Формирование метамоделей. Метамодели представляют собой квадратичные аппроксимации т{(Х), т'2(Х) функций /1(Х), /2(Х) в окрестности точки Х'с:

т[ (X) = /х{Х'с ) + У/Х'с )(Х - Х'с ) + |(Х - ХС )т Н (Х'с )(X - ХС ); т'2 (Х) = /2(ХС ) + УТ/2(ХС ) (Х - ХС ) + 2(Х - ХС )т Я (Х'с )(Х - ХС ). Здесь Н1 (ХС), Я2(ХС ) - матрицы Гессе функций /1(Х), /2(Х) в точке

ХС.

Если |©| > 2, то дополнительно строим метамодели т'р (Х) = Л?т[ (Х) + ¿>2 (Х),

т'ч (Х) = Л! т[ (Х) + ¿2 т2 (Х), а если |©| = 2 или |©| = 1 - метамодель

т'р (Х) = ЛРт' (Х) + Лрт2 (Х).

В первом случае (|©| > 2) весовые множители (Лр, Л2) = Лр, (Л, Л2) = X1 определяем по правилу

Лр = ср ((-/2 (Х'с ) + /2(Х®-1)), (/1(ХС ) - ¿(Х®.-1))), л1 = с1 ((-Л(Х®+1) + /2(Х'с)), с/1(Х® +1) - /1(ХС))); во втором случае (| © | = 2) - по правилу

Лр = ср ((-/2 (Х2©) + /2 (Х©)), (/1 (Х2©) - /1 (Х©))); в третьем случае (когда | © | = 1) - по правилу Лр =(0,5, 0,5). Константы ср, с1 выбираем таким образом, чтобы обеспечить выполнение условий нормировки Лр + Лр = Л + Л = 1.

Отметим, что при построении метамоделей т' (Х), т'2 (Х) речь может идти не о градиентах и матрице Гессе функций /1 (Х), /2 (Х), а об их оценках, полученных, например, численными методами (путем соответствующих конечно-разностных аппроксимаций указанных функций).

Решение оптимизационных задач. Данная процедура предполагает решение задач оптимизации

min m' (X) = m' (X;' ), min m'2 (X) = m'2 (X2 ),

X ^D'c

X eD'c

(4)

где текущую область доверия (trust region) D'c определяет формула

X - X '

c

<8]

D'c = {X|X eDx,

Если > 2, то решения XX' , X'2 задач (4) позволяют отыскать приближенно оптимальные по Парето точки X'p , XX' , принадлежащие области доверия D'C , путем решения оптимизационных задач

mm m'p (X) = m'p (Xp ), mm m'q (X) = m'q (Xq ). (5)

X eD'C X eD'C

Данный этап алгоритма иллюстрирует рисунок 1, на котором принято

что F'c = F ( X'c ), Fj _ = F (X ® J, F®+1 = F (X®. +1).

Отметим, что задачи (4), (5) представляют собой задачи оптимизации квадратичных функций, для решения которых известны высокоэффективные методы, алгоритмы и соответствующее программное обеспечение.

к

о

L \ \ ч \

^о -Л Fa ÎV /ч "yC \ ^Ч D'c

\ / N. \ _ \ / \ F' \

\

"'s. \ \ ^ \ 1 \ ^ \ \ ""О

\ 1 \ F(£q)\ Fi\ J -1 \ \ 4

fx

Рисунок 1 - К схеме метода AWS: результаты решения задач (5)

В процессе итераций текущий радиус области доверия уменьшают по правилу 8 = р 8 до достижения минимально допустимой его величины 8П

mm '

Новое состояние архивного множества 0х получаем путем добавления в него точек X' , Х2 , X'p , X'q и исключения из полученного набора

доминируемых решений. Аналогично, множество 0F образуем путем добавления в него точек F(X ), F(Х2 ), F(X'p ), F(X' ).

2. Программная реализация метода и организация экспериментов

Для решения однокритериальных задач условной оптимизации (4), (5) в программной реализации использован метод штрафных функций в совокупности с известным методом Нелдера-Мида локальной безусловной оптимизации. Вместо метамоделей критериальных функций f1(X), f2(X)

использованы сами эти функции. Данное ограничение не является критичным, поскольку влияет на время вычислений, но не на качество Парето-аппроксимации.

Программа написана на языке программирования C++. Ниже представлены основные классы программной модели:

— AWSAlgorithm - класс, реализующий алгоритм AWS;

— PenaltyAlgorithm - класс, реализующий метод штрафных функций;

— NelderMidAlgorithm - класс, реализующий алгоритм Нелдера-Мида;

— Polyhedron - вспомогательный класс, реализующий основные операции над многогранниками;

— Quicksort - класс, реализующий алгоритм «быстрой сортировки».

— Function - абстрактный класс, реализующий общий интерфейс для реализаций критериальных функций и ограничений;

— ZDT3,CompositeFunction - конкретные реализации критериальных функций;

— HyperSphereConstrain - конкретная реализация ограничений. Эксперименты выполнены на персональном компьютере, основные

параметры которого представлены ниже:

— процессор Intel Pentium Dual-Core T4500, 2,3 ГГц;

- оперативная память DDR-3, 3 Гб.

Изучалось влияние на эффективность метода следующих его свободных параметров:

- начальный радиус области доверия 8;

- кэффициент сужения области доверия р;

- минимальная величина радиуса области доверия 8min.

В качестве меры эффективности метода использована мощность множества решений (overall non-dominated vector generation)

то есть число элементов множества 0 [5].

Исследование выполнено на пяти следующих известных двухкритериальных тестовых задачах многокритериальной оптимизации. Задача «о двух параболоидах» (двумерная, двухкритериальная):

JONVG ( © ) = © ^ max,

Dx= {X | 0 < хг < 1, i = 1,2};

f1 (х) = X1 + X2 , f2 (х) = (X1 - 1)2 + (X2 - 1)2.

Задача имеет непрерывный выпуклый фронт Парето.

Задача Аудета (С. Audet):

Dx= {XI 0 < хг < 1, i = 1,2}; /1 (X) =fi(x1) = 4 • X1, f2 (X) =g (X) • h( X),

где

h( X)

1 - , /1(X) < g(X),

0, иначе,

Задача является двумерной, двухкритериальной, фронт Парето -непрерывный, значению а = 0,25 соответствует выпуклое множество Парето, а а = 4 - невыпуклое [6].

Задача ZDT3 (30-мерная, двухкритериальная):

Вх = {X | 0 < х. < 1,, е [1: \х\], |Х| = 30};

/ (X ) = / (х1) = Х1 ,

fi (X) =g (X) •

1 -

fi(X) fi(X) .

g(X) g(X)

• sin (10 п fi(X))

где

g (X) = g (x2,...,Xx| )= 1 + 9

x.

= 2 |X| - 1

Сложность задачи обусловлена высокой размерностью, а также несвязным, хотя и выпуклым, фронтом Парето [4]. Задача ZDT6 (10-мерная, двухкритериальная):

DX = {X | 0 < x < 1, i е [1: |X|], |X| = 10};

f1 (X) = f (X1) = 1 - exp(- 4 X1 )• sin6(6 п X1) ,

f2 (X) =g (X)

f1( X) g (X),

где

g (X) = g (x2,..., X|X| )= 1 + 9 •

x Л V i

1=2 |x| -1

0,25

Задача имеет слабо невыпуклый фронт Парето [4]. Сложность задачи 7ЭТ6 заключается в невыпуклости фронта и многомерности задачи. Задача ZDT7: (30-мерная, двухкритериальная):

Вх = {X | 0 < х,. < 1,, е [1: |х|], |х| = 30};

/1 (X )= / (Х1) = Х1,

/2 (X) =g (X) • И( X),

где

2

1

g (X) = g (*2>...,*|х| )= 1 + 9

1 = 2 Х - 1

И( X) = 1 -

^(Х2 '...' Х|х| )

Задача имеет непрерывный выпуклый фронт Парето [4].

/1( X)

3. Результаты экспериментов

Задача «о двух параболоидах» (рисунок 2). Результаты решения данной задачи, в силу ее простоты, показывают, по сути, только работоспособность алгоритма и программы ЛЖБМ, реализующей этот алгоритм. Из рисунка 2 следует, что за небольшое число итераций 1 = 30 построено множество 0, состоящее из 10№в (0) = 105 недоминируемых решений. Обеспечены приемлемая плотность и равномерностью покрытия фронта Парето. Результаты исследования показывают, что варьирование значений свободных параметров метода в широком диапазоне оказывает в данном случае слабое влияние на качество Парето-аппроксимации.

Рисунок 2 - Задача «о двух парабалоидах»: 8 = 1; р = 2; 8т1п = 0,001; г = 30

Задача Аудета. (рисунки 3 - 6). Результаты решения задачи для случая а = 0,25, когда фронт Парето является выпуклым, иллюстрируют

рисунки 3, 4. Рисунок 3 показывает, что за 1 = 30 итераций удалось получить только 10шс (0) = 26 недоминируемых решений (против 10ыус (0) = 91

решений, заявленных в исходной работе [3]). Метод не обеспечил равномерность покрытия фронта Парето. Заявленное число точек и приемлемую равномерность покрытия удалось достичь только при удвоенном числе итераций $ = 60 (рисунок 4).

Рисунок 3 - Задача Аудета: а = 0,25; 8 = 0,2; р = 2, 8т1п = 0,001; $ = 30

0,8 0,6 0,4 0,2

1 1 1

». \ ч

ч ч -н.

----

0 0,2 0,4 0,6 0,8

10 ^

Рисунок 4 - Задача Аудета: а = 0,25; 8 = 0,2; р = 2, 8т1п = 0,001; $ = 60

Возможная причина указанных недостатков метода заключается в использованной в программе ЛЖ8М модели планирования эксперимента, которая предполагает испытания только в осевых точках.

Результаты решения задачи Аудета для случая а = 4, когда фронт

Парето не является выпуклым, иллюстрируют рисунки 5, 6. За $ = 30 итераций удалось получить только 1оыус (©) = 30 решений (в работе [3] для

этого случая заявлено IONVG (©) = 80 решений). Заявленное число точек и приемлемую равномерность покрытия фронта Парето удалось достичь только при t = 100 итераций. Возможные причины отмеченных недостатков указаны выше.

Рисунок 5 - Задача Аудета: а = 4; 8 = 0,2; р = 2, 8min = 0,001; t = 30

Рисунок 6 - Задача Аудета: а = 4; 8 = 0,2; р = 2, 8min = 0,001; t = 100

Тщательный анализ результатов, представленных на рисунке 6, показывает, что некоторое число полученных решений не удовлетворяет ограничениям задачи. Причина появления этих решений заключается в том, что задачи глобальной условной оптимизации (4), (5) решаются в программе ЛЖБМ, как мы указывали выше, методом штрафных функций. Априорное назначение требуемой точности удовлетворения ограничений затруднительно. В то же время, как мы видим, даже кажущаяся вполне

удовлетворительной точность 0,001 приводит к появлению в архиве 0 непаретовских решений.

Задача ZDT3 (рисунки 7, 8). Исследование показало, что качество полученной Парето-аппроксимации в данном случае сильно зависит от значений свободных параметров метода.

/2,0 1,6 1,2 0,8 0,4

0 0,2 0,4 0,6 0,8 1,0 I1

Рисунок 7 - Задача 2073: исходный метод; 8 = 0,2; р = 2, 8тп = 0,001;

г = 2000

Лучший результат и соответствующие значения этих параметров иллюстрирует рисунок 8. Рисунок показывает, что метод даже для такой сложной задачи позволяет получить достаточно мощное ( 1шуо(0) = 355), плотное и равномерное покрытие фронта Парето. Для обеспечения столь высокого качества Парето-аппроксимации, потребовалось модификация исходной схемы метода, заключающаяся в разрешении использования крайних точек текущей аппроксимации 0 в качестве центральных. Рисунок 7 иллюстрирует решение задачи без такой модификации.

Рисунок 8 - Задача 2ЭТ3: модифицированный метод; 8 = 0,2; р = 2.

8т1П = 0,001; I = 2000

Задача ZDT6 (рисунки 9, 10) оказалась наиболее сложной для данного метода. Исследование выявило, что качество полученной Парето-аппроксимации в данном случае очень сильно зависит от значений свободных параметров метода, а также от начального приближения. Так при изменении коэффициента р с 1,5 до 1,6 (всего на 0,1!), метод порождает всего два решения (10ша (®) = 2). Лучший результат, достигнутый методом, иллюстрирует рисунок 9 (10Му0 (0) = 86). Ни равномерность, ни плотность полученной аппроксимации фронта Парето не являются приемлемыми.

А 1,0 0,8 0,6 0,4 0,2

»

\ %

N •

•

О 0,2 0,4 0,6 0,8 1,0 Рисунок 9 - Задача 20Т6: 8 = 1; р = 1,5, 8т1П = 0,0001; г = 750

На рисунке 10 представлены результаты решения той же задачи с помощью генетического алгоритма. Рисунок показывает, что генетический

алгоритм, в отличие от исследуемого метода ЛЖБ, не нашел ни одного решения, соответствующего условию _/[ (X) < 0,4.

/2 1,0 0,8 0,6 0,4 0,2

• Ч \ •

\

0,2 0,4 0,6 0,8

N г

1,0 >

Рисунок 10 - Задача ZDT6: генетический алгоритм

Задача ZDT7 (рисунок 11). Метод в этом случае обеспечил высокое качество Парето-аппроксимации по критериям плотности и равномерности покрытия фронта Парето при достаточно мощном архивном множестве

(^омус (®) = 511) Исследование показало слабую зависимость качества аппроксимации от значений свободных параметров метода. Оказалось, что как и в задаче Аудета и по тем же причинам, некоторое число полученных решений не удовлетворяет ограничениям задачи.

¡2 1,0 0,8 0,6 0,4 0,2

О 0,2 0,4 0,6 0,8 1,0 Г Рисунок 11 - Задача ZDT7: 8 = 0,5; р = 1,25, 8тт = 0,001; ! = 5000

Заключение

Результаты исследования показывают, что метод AWS обеспечивает высокое качество Парето-аппроксимации в случае выпуклого, хотя, быть может, и несвязного фронта Парето. Для задач, имеющих вогнутый фронт Парето, метод не всегда обеспечивает удовлетворительное качество решения или обеспечивает его, но при значительном числе итераций. В некоторых случаях метод дает недопустимые решения, обусловленные используемым способом учета ограничений на область доверия. В целом, результаты исследования показывают высокий потенциал развития метода.

В продолжение работы авторы планируют исследовать альтернативные способы учета ограничений на область доверия, различные, в том числе нейросетевые, методы построения локальных метамоделей критериальных функций. Главной задачей является распространение метода на МКО-задачи с более, чем двумя критериями оптимальности.

Работа поддержана грантом РФФИ 12-07-00324-а.

Литература

1. Ларичев О.И. Теория и методы принятия решений: Учебник для ВУЗов.- М.: Университетская книга, Логос, 2006.- 392 с.

2. Карпенко А.П., Митина Е.В., Семенихин А.С. Популяционные методы аппроксимации множества Парето в задаче многокритериальной оптимизации. Обзор // Наука и образование: электронное научно-техническое издание, 4, 2012, (http://www.technomag.edu.ru/doc/363023.html).

3. Jong-hyun Ryu, Sujin Kim, Hong Wan. Pareto front approximate\ion with adaptive sum method in multiobjective simulation optimization // Proceedings of the 2009 Winter Simulation Conference, pp. 623 - 633.

4. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results // Evolutionary Computation, 2000, Vol. 8(2), pp. 173-195.

5. Zitzler E., Thiele L., Marco Laumanns M., Fonseca C. M., da Fonseca V. G. Performance Assessment of Multiobjective Optimizers: An Analysis and Review // IEEE Transactions of Evolutionary Computation, 2003, Vol. 7(2), pp. 117-132.

6. Audet C., Savard G., Zghal W. Multiobjective optimization through a series of single-objective formulations // SIAM Journal on Optimization, 2006, 17(1), pp. 188-210.

SCIENTIFIC PERIODICAL OF THE BAUMAN MSTÜ

SCIENCE and EDUCATION

EL JVb FS 77 - 4821 1. №04212000 25. ISSN 1994-0408 electronic scientific and technical journal

Adaptive weighted sum method for solving Pareto-approximation

problem

# 06, June 2012

DOI: 10.7463/0612.0423283

Karpenko A.,P., Savelov A.S., Semenikhin A., S.

Russia, Bauman Moscow State Technical University

apkarpenko@mail.ru saspost@yandex.ru

The authors consider solving the discrete problem of Pareto set and frontier optimization in the multi-criterion optimization problem. The aim of this work was to examine the efficiency of Adaptive Weighted Sum method (AWS) which was initially developed by J-H. Ryu, S. Kim and H. Wan. Comparing to the original research, the authors used a wider range of multi-criterion benchmark optimization problems. A range of limitations of AWS methodology and usage complexity was found. Modification of the method was proposed to resolve the problems and limitations.

Publications with keywords: multimodal optimization problem, Pareto-set approximation, adaptive weighted sum method

Publications with words: multimodal optimization problem, Pareto-set approximation, adaptive weighted sum method

References

1. Larichev O.I. Teoriia i metody priniatiia reshenii [Theory and methods of decision making]. Moscow, Universitetskaia kniga, Logos, 2006. 392 p.

2. Karpenko A.P., Mitina E.V., Semenikhin A.S. Populiatsionnye metody approksimatsii mnozhestva Pareto v zadache mnogokriterial'noi optimizatsii. Obzor [Review: population methods of Pareto set approximation in multi-objective optimization problem]. Nauka i obrazovanie MGTU im. N.E. Baumana [Science and Education of the Bauman MSTU], 2012, no. 4. Available at: http://www.technomag.edu.ru/doc/363023.html , accessed 08.07.2012.

3. Ryu J.-H., Kim S., Wan H. Pareto front approximation with adaptive weighted sum method in multiobjective simulation optimization. Proc. of the 2009 Winter Simulation Conference (WSC), 2009, Austin, pp. 623-633. Available at: http://www.informs-sim.org/wsc09papers/060.pdf , accessed 08.07.2012.

4. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results. Evolutionary Computation (journal), 2000, vol. 8, no. 2, pp. 173-195.

5. Zitzler E., Thiele L., Marco Laumanns M., Fonseca C. M., da Fonseca V. G. Performance Assessment of Multi objective Optimizers: An Analysis and Review. IEEE Transactions of Evolutionary Computation, 2003, vol. 7, no. 2, pp. 117-132.

6. Audet C., Savard G., Zghal W. Multiobjective optimization through a series of single-objective formulations. SIAM Journal on Optimization, 2008, vol. 19, no. 1, pp. 188210.