CC BY
99
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 4 8211. Государственная регистрация №042 1200025. ISSN 1994-0408
электронный научно-технический журнал
Программная система PARETO RATING для оценки качества Парето-аппроксимации в задаче многокритериальной оптимизации
# 07, июль 2014
DOI: 10.7463/0714.0720253
1 i л
Грошев С. В. , профессор, д.ф.-м.н. Карпенко А. П. , Сабитов Д. Р. , Шил
битов И. А.
УДК 519.6
1Россия, МГТУ им. Н.Э. Баумана, 2Россия, ООО "Крок" aapkarpenko@mail.ru
Рассматриваем задачу оценки качества численной аппроксимации множество (фронта) Па-рето в задаче многокритериальной оптимизации (МКО-задаче). Имеем в виду, что Парето -аппроксимация получена с помощью того или иного популяционного, например, генетического алгоритма. В конечном счете, целью работы является сравнительная оценка эффективности популяционных алгоритмов Парето-аппроксимации. Разработано большое число характеристик (индикаторов) качества Парето-аппроксимации. Поэтому задачу оценки качества Парето-аппроксимации рассматриваем также как многокритериальную (многоиндикаторную). Известен ряд программных систем, которые в разной степени решают задачу оценки качества Парето-аппроксимации. Общим недостатком этих систем является отсутствие WEB-интерфейса, а также отсутствие поддержки многоиндикаторной оценки качества Парето-аппроксимации (хотя поддержка вычисления значений большого числа этих индикаторов имеется). Программная система PARETO RATING призвана устранить указанные недостатки известных систем.
Ключевые слова: задача многокритериальной оптимизации; Парето-аппроксимация; индикаторы качества; методы оценки качества Парето-аппроксимации
Введение
Постановка задачи многокритериальной оптимизации (МКО-задачи) фиксирует лишь множество допустимых значений вектора варьируемых параметров и вектор целевых функций. Как правило, этой информации недостаточно для однозначного решения задачи - данная информация позволяет лишь выделить соответствующее множество Паре-то (а, тем самым и фронт Парето). Поэтому часто говорят, что решением МКО-задачи является множество Парето этой задачи, точнее - аппроксимация этого множества (Парето-аппроксимация).
Выделяют не популяционные и популяционные алгоритмы построения Парето-аппроксимации. В отличие от не популяционных алгоритмов, в популяционных алгоритмах реализуется одновременный поиск не одной, а большого числа недоминируемых точек, близких к множеству Парето. В настоящее время в вычислительной практике наиболее широкое применение находят популяционные алгоритмы. Ограничиваемся поэтому рассмотрением этих алгоритмов.
В силу высокой практической значимости МКО-задач разработано большое число популяционных алгоритмов Парето-аппроксимации [1]. Поэтому актуальной является задача сравнительной оценки эффективности этих алгоритмов.
В практически значимых МКО-задачах, как правило, используется более двух целевых функций, и поэтому визуальный анализ качества соответствующих Парето-аппроксимаций затруднён. В содержательных терминах качество Парето-аппроксимации может быть оценено с помощью следующих характеристик: близость найденных решений к точному множеству Парето рассматриваемой МКО-задачи; равномерность распределения решений в полученной Парето-аппроксимации; мощность найденного множества решений. Разработано большое число характеристик (индикаторов) качества Парето-аппроксимации, формализующих указанные характеристики [2, 3]. Таким образом, задача оценки качества Парето-аппроксимации сама является многокритериальной (многоиндикаторной).
Известен ряд программных систем [4], которые в разной степени решают задачу оценки качества Парето-аппроксимации. Общим недостатком этих систем является отсутствие ЖЕб-интерфейса. а также отсутствие поддержки многоиндикаторной оценки качества Парето-аппроксимации (хотя поддержка вычисления значений большого числа этих индикаторов имеется). Представляемая в данной работе программная система PARETO RATING призвана устранить указанные недостатки известных систем.
Популяционные алгоритмы Парето-аппроксимации являются, как правило, стохастическими. Поэтому в случае многократного запуска такого алгоритма для одной и той же МКО-задачи, каждый раз получается, вообще говоря, новая аппроксимация. Известны три основных класса статистических методов оценки качества двух и более Парето-аппроксимаций: методы на основе ранжирования указанных аппроксимаций; методы на основе индикаторов качества; методы на основе так называемых эмпирических функций достижимости [5].
В первом разделе работы приводим формальную постановку МКО-задачи и общую схему популяционных алгоритмов её решения. Второй раздел содержит обзор известных индикаторов качества Парето-аппроксимации. В третьем разделе представлен обзор статистических методов оценки качества Парето-аппроксимаций. Четвёртый и пятый разделы посвящены описанию архитектуры системы PARETO RATING и основным особенностям её программной реализации соответственно. Шестой раздел иллюстрирует эффективность принятых алгоритмических и программных решений. В заключении формулируем основные результаты работы и перспективы её развития.
1. Постановка МКО-задачи и общая схема алгоритмов её решения
Запись вида |A|, где A - счётное множество, далее означает мощность (число элементов) этого множества; запись вида |В|, где B - вектор, означает его размерность.
Полагаем, что множеством допустимых значений вектора варьируемых параметров X является множество
Dx = {X | G(X) > 0} с {X} = RX1,
где G(X) - ограничивающая вектор-функция.
Критериальная вектор-функция F(X) = f (X), f(X). .f^(X)J со значениями
в критериальном пространстве {F} = R^F' определена в области Dx . Лицо, принимающее решения (ЛПР), стремится минимизировать в этой области каждую из частных критериальных функций f (XX f2 (X), ...f (X) .
Множество достижимости МКО-задачи обозначаем DF с {F}, фронт Парето -DP с Df , а множество Парето - DX с DX [6].
Пусть A F , AX - так называемые, архивные множества, содержащие не доминируемые точки FA и соответствующие им точки XA ; j е [1 : | A|]. Идея популяционных алгоритмов Парето-аппроксимации состоит в итерационном уточнении множеств точек в архивах A F, AX. Если при этом на данной итерации появляется новая точка F , доминирующая некоторые точки из архива A F , то все доминируемые точки, а также соответствующие им точки из архива AX удаляем. При удовлетворении некоторого критерия ос. f X
танова, текущее содержимое архивов A , AX полагаем искомой аппроксимацией фрон-
* _ *
та D F* и множества Парето D*X соответственно.
1 2
Рассмотрим две некоторые Парето-аппроксимации A , A . Далее нам понадобятся для этих аппроксимаций отношения предпочтения, указанные в таблице 1
1 2
Таблица 1. Отношения предпочтения для Парето-аппроксимаций
A1,A2
Отношение Интерпретация в пространстве критериев
Строго доминирует A1 --A2 Каждый Р £ А строго доминируется хотя бы одним Р^ £ А
Доминирует A1 - A2 Каждый Р £ А доминируется хотя бы одним Р^ £ А
Лучше A1 < A2 Каждый F £ А слабо доминируется хотя бы одним F1 £ А и А Р А
Слабо доминирует A ]<A2 Каждый F £ А слабо доминируется хотя бы одним F1 £ А1
Несравнимы A11| A 2 Ни А1 ^А2, ни А2 <А1
Безразличны A1 ~ A2 А1 ^А2 и А2 <А1
2. Индикаторы качества Парето-аппроксимации
Унарные индикаторы. Среднее расстояние до точного фронта (Generational Distance) определяет формула
Igd ( A)
( A
z
_ V j=1
F , F *
jj
F|
E
1F
A
^ min,
Е - символ евклидовой нормы; F* - ближайшая к точке F;■ точка множества Ор .
*
Индикатор характеризует близость найденных решений к точному фронту Парето D* .
Среднее рассеяние (Spacing) IS (A) представляет собой меру равномерности распределения решений, полученных в результате Парето-аппроксимации. Индикатор задаёт формула
Is (A)
\
1— Z abs{d - dj ) ^ min
A -1
где d = min
ke[1:| A], k
F( X1), F( Xk )
M
j=i
минимальное манхеттоновское расстояние меж-
ду архивным решением F (Xj ) и остальными архивными решениями [2]; d - среднее всех этих величин.
Максимальное рассеяние (Maximum Spread) I^ (A) определяется аналогично индикатору I5 (A):
ims (a) =
\A\
Z max
j=1 ke[!:|A| ]
F > Fk
M
^ min.
Отклонение от равномерного распределения (Deviation from Uniform distribution) IDU (A), аналогично индикаторам (A), I^ (A) , определяет равномерность распреде-
ления архивных не доминируемых решений A в целевом пространстве. Индикатор задаёт формула
И absid. - d)
(A) j и ,
где dj - евклидово расстояние решения p до ближайшего из решений множества A;
d - среднее этих величин.
Мощность множества решений (Overall Nondominated Vector Generation) IONA) есть не что иное, как число элементов аппроксимации A, то есть
ionvg(a) = и ^ max.
Объем объемлющего гиперкуба (Hypercube enClosing indicator) Iнс (A) определяют величины [2]
I (A) = max (p ^ Fj , Vj e [1: | A ])=p, P = (p, p,.. .p),
1 (A) = min (Q < Fj , Vj e [1: |A|])= q, Q=(q, q,...q).
2 QeRF
Относительное число ошибочных решений (Error Ratio) I ( A) - относительное
*
число решений аппроксимации A, не принадлежащих точному фронту Парето D* рассматриваемой МКО-задачи:
г *
1, F € Dp,
1 И|
IER (A) = b|Z ej ^ min' ej =
\A j=i j
0, Fj e Dp.
Максимальная ошибка аппроксимации (Maximum Pareto front Error) I^p (A) также для своего вычисления требует знания точного фронта Парето. Индикатор определяет формула
1*1
IMPE (A) = maX je[1:|A| ]
F , F.
j ' j
^ min,
M
где, как и ранее, F* - ближайшая к точке Fj точка множества DF .
Минимальная ошибка аппроксимации (Spacing Distribution in S -area)
ISD(e) (A)= Ie(DF, A) представляет собой минимальную величину S, для которой справедливо отношение р F* для любых Fj е A и любых F* е D* [2]. Для определения значения индикатора I ( A) необходимо знание точного фронта Парето DF* .
Индикатор протяжённости (Dimensions Extent) IDE(A) позволяет оценить суммарную протяжённость Парето-аппроксимации в критериальном пространстве во всем |F| измерениям. Значения индикатора вычисляют по формуле
ide (a) =
У max f (XA ) - f (XA )
У k,/e[1:|A|Г J J
^ max.
Бинарные индикаторы. Положим, что аппроксимация A* — ^A недоминируемых решений в критериальном пространстве DF является «эталонной», а аппроксимация AF — A - аналогичной оцениваемой аппроксимацией.
S -индикатор Iе (A , A) строят на основе унарного критерия IS (A , A ). Величина IS (A , A) формализует близость аппроксимации A к аппроксимации A как минимальную величину S , при которой для любого вектора Fj £ A существует такой вектор
Fk £ A* , что имеет место отношение Fj Яs F.
S+-индикатор Ie (A , A) определяем аналогичным образом.
Индикатор Ic (A*, A), называемый покрытием (Coverage), может быть использован
в том случае, когда аппроксимация A* является счётной. Величина Ic (A*, A) имеет
смысл относительного числа решений, принадлежащих аппроксимации A* , которые до-минируются некоторыми из решений аппроксимации A:
Ifc £А,\Щ £ А: Fj Я Fk I
Ic (A, A) —J-:—:-- ^ max.
Индикатор гиперобъёма разности покрытий (HyperVolume of coverage difference) IHV (A , A) строят на основе величины, которая называется разностью покрытий (coverage differences) S( A1 , A2 ) . В качестве меры д (•) индикатор использует объем соответствующей части множества достижимости [2].
Ряд индикаторов качества Парето-аппроксимации построен Хансеном (M. P. Hansen) и Жажкевичем (A. Jaszkiewicz) в 1998 г. на основе функции предпочтений ЛПР (decisionmaker 's utility function) [7].
3. Методы оценки эффективности алгоритмов Парето-аппроксимации
Положим, что речь идёт о сравнении эффективности n — 2 стохастических алгоритмов Парето-аппроксимации. Пусть выполнено r — l запусков i-го алгоритма, в ре-
зультате чего получена коллекция аппроксимаций
С — {A1,A],...A\...Af,...An, i^[1:n]}.
r rn
Методы оценки на основе ранжирования. Отношения, представленные в таблице 1, могут быть использованы для установления частичного порядка в коллекции аппроксимаций С. На основе этого порядка можно определить показатели качества или ранги для каждой из аппроксимаций, входящих в коллекцию.
Известно несколько подходов к определению ранга (rank) аппроксимации на основе отношения доминирования. Например, ранг можно принять равным числа аппроксимаций, которые доминирует данная аппроксимация [8]. Можно использовать недоминируемую сортировку коллекции С [9]. Последний подход в сочетании с использованием отношения «Лучше» (таблица 1) определяет формула
rank(A ) — 1+1 {Aj £ C: Aj < A } |.
Здесь, напомним, символ |C| означает мощность множества C. Наименьший ранг
соответствует наилучшей аппроксимации в коллекции.
Поскольку речь идёт о стохастических алгоритмах Парето-аппроксимации, к полученным рангам алгоритмов следует применить статистический ранговый критерий [10].
Методы на основе индикаторов качества. Представленные выше индикаторы ставят в соответствие алгоритму Парето-аппроксимации A1 совокупность r. наборов вещественных чисел {Ij (A'k ), j £[1: m], k £[1: ri ]} - значений используемых индикаторов
I, I2,... Im. Рассматриваемые методы предполагают применение к указанным наборам стандартных процедур статистического тестирования.
В противовес методам, основанным на ранжировании, с помощью данного подхода можно получить количественные оценки качества алгоритмов даже для несравнимых наборов аппроксимаций. Использование нескольких Парето совместимых индикаторов [2] может в данном случае дать более полноценную оценку эффективности сравниваемых алгоритмов. Так, если два Парето совместимых индикатора оказываются по разным индикаторам противоречащими друг другу, то это означает, что рассматриваемые аппроксимации несравнимы.
Если с помощью индикаторов качества сравниваются два алгоритма Парето-аппроксимации, то может быть использован ранговый статистический критерий Манна-Уитни [10]. Если сравниваются более двух алгоритмов, то используют ранговый статистический критерий Крускала-Уоллиса [10]. В качестве альтернативы ранговым тестам может быть использован пермутационный статистический критерий Фишера [11].
Эмпирические функции достижимости. Функция достижимости алгоритма Паре-то-аппроксимации A может быть оценена на основе Парето-аппроксимаций, полученных в результате r независимых запусков этого алгоритма, с помощью эмпирической функцией достижимости (Empirical Attainment Function, EAF)
1
r
<*r(A F) = , F e DF.
rj=1
где Aj - аппроксимация, полученная на у'-том запуске алгоритма; Д.) - функция-
индикатор, равная 1, если её аргумент имеет значение true, и равная 0 в противном случае. Для каждого вектора F e DF функция EAF имеет смысл относительной частоты, с которой данный вектор достижим в наборе аппроксимаций {A ■, j e [1 : r]}, то есть слабо до-
минируется элементами этого набора [5].
Сравнение эмпирических функций достижимости различных алгоритмов Парето-аппроксимации может быть выполнено путём сравнения соответствующих статистических критериев.
Функция EAF алгоритма является обобщением одномерной эмпирической кумулятивной функции распределения (Empirical cumulative distribution function, ECDF) [5]. Для проверки того, что две ECDF различны, применяют статистический критерий Колмогорова-Смирнова (KS), который «измеряет» максимальное различие между двумя ECDF и оценивает статистическую значимость этих различий [12].
EAF могут быть использованы также для визуализации результатов запусков алгоритмов Парето-аппроксимации. Визуальное представление EAF является ценными по следующим причинам:
- ЛПР может иметь предпочтения относительно определённых частей фронта Парето, которые он может сформировать на основе этого представления;
- некоторые индикаторы качества могут неадекватно выражать количественное превосходство одной аппроксимации над другой;
- визуализация может обеспечить понимание сильных и слабых мест алгоритма;
- визуализация может обеспечить возможность быстрой проверки используемых индикаторов качества.
Для визуализации EAF может быть использован специальный метод, предложенный в работе [13].
Методы на основе эмпирических функций достижимости отличаются от двух предыдущих классов методов тем, что могут показать более тонкие различия между сравниваемыми алгоритмами. В то же время, методы требует достаточно высоких вычислительных затрат, и применимы только для задач с относительно небольшим числом критериев.
4. Архитектура программной системы
Общая структурная схема программной системы представлена на рисунке 1.
Рисунок 1. Структурная схема системы pareto rating
Структуру подсистемы оценки качества Парето-аппроксимации иллюстрирует рисунок 2.
Рисунок 2. Структура подсистемы оценки качества Парето-аппроксимации
В системе реализованы следующие основные режимы: оценка; расчёт; анализ. Режим «оценка» предоставляет ЛПР возможность передать на сервер свои аппроксимации фронтов Парето и в качестве ответа системы получить его визуализации и значения следующих индикаторов оценки качества [2].
1) Унарные индикаторы: расстояние до точного фронта IGD (0); среднее рассеяние I5 (0); максимальное рассеяние IM5(0); отклонение от равномерного распределения IDU (0); мощность множества решений Ionvg(0) ; объем объемлющего куба IHC (0); относительное число ошибочных решений Im (0); максимальная ошибка аппроксимации I^g (0); минимальная ошибка аппроксимации /Ж(-е)(0); критерий протяжённости
IDE(0); критерий гиперобъема разности покрытий Iн (0); S -критерий Ie (0); s+-критерий Ie (0); критерии на основе функции предпочтения I^ (0), Iñ (0), I^ (0).
2) Бинарные индикаторы: критерий гиперобъема разности покрытий Ihv (0 * , 0); S -критерий Ie (0*, 0) ; S+-критерий Is (0*, 0) ; критерии на основе функции предпочтения ^ (0, 0) , (0, 0), ^ (0, 0) .
Режим «расчёт» даёт ЛПР возможности выбора алгоритмов Парето-аппроксимации и тестовых задач. Также имеется возможность использовать собственные реализации алгоритмов Парето-аппроксимации и тестовых задач. Ответами системы в этом режиме являются Парето-аппроксимация выбранной тестовой задачи (в виде текстового файла), визуализация указанной аппроксимации, а так же соответствующие значения унарных индикаторов качества.
В системе реализованы широко известные алгоритмы Парето-аппроксимации NSGA-II, SPEA-2, IBEA, FEMO, SIBEA, ECEA, EPSMOEA, а также «стандартные» тестовые задачи ZDT1-ZDT6, DTLZ1-DTLZ7.
В режиме «анализ» ЛПР предоставляется возможность выбора алгоритмов Парето-аппроксимации и одной или нескольких тестовых задач оптимизации, с помощью которых выполняется анализ эффективности этих алгоритмов. В качестве ответа системы ЛПР получает результаты статистического анализа данных, полученных при многократном запуске исследуемых алгоритмов Парето-аппроксимации.
Реализованы следующие статистические методы анализа эффективности алгоритмов Парето-аппроксимации: доминантное ранжирование с последующим использованием статистического рангового критерия; методы на основе критериев Манна-Уитни, Крускала-Уоллиса, а также на основе пермутационного критерия Фишера и Т-критерий Вилкоксона.
5. Особенности программной реализации
Основные задачи, решаемые системой PARETO RATING, имеют высокую вычислительную сложность. Поэтому в силу кросс-платформенности и высокой эффективности в качестве основного языка программирования используем C+ + . В качестве библиотеки, предоставляющей доступ к обобщённым алгоритмам, стандартным контейнерам и структурам данных, применяем стандартную библиотеку шаблонов (Standard Template Library, STL). Для компиляции используется набор компиляторов GCC (GNU Compiler Collection).
Система использует следующие сторонние библиотеки:
- GNU Scientific Library (GSL) - библиотека численного анализа;
- PISA. A Platform and Programming Language Independent Interface for Search Algorithms;
- cppMetal. Object-oriented C++-based framework for multi-objective optimization with metaheuristics.
В качестве основной операционной системы выбрана Linux Ubuntu 12.04 LTS, которая обеспечивает хорошую переносимость функционирующего под её управлением программного обеспечения.
Для высокоуровневых операций с файлами, а также для объединения подпрограмм, написанных на языке программирования С++ в логические и функциональные модули использован язык командной оболочки bash. Построение ящичковых диаграмм осуществляем с помощью языка программирования R.
Все перечисленное программное обеспечение является свободным и распространяется под лицензией GPL (GNU Public License).
Каждая тестовая МКО-задача представлена в виде класса с соответствующим названием. Аналогичную структуру имеют подпрограммы, реализующие алгоритмы Парето-аппроксимации. Для создания объекта языка программирования С++, соответствующего данной МКО-задаче, используется класс-фабрика.
ЛПР предоставляется возможность гибкой настройки параметров алгоритмов Паре-то-аппроксимации и тестовых задач посредством изменения конфигурационных файлов. Формат конфигурационных файлов представляет собой упрощённый вариант общеизвестного формата .ini.
За счёт модульности программная система PARETO RATING предоставляет широкие возможности для параллельного выполнения, как одной МКО-задачи (в рамках данной ЭВМ), так и распределённого выполнения нескольких МКО-задач (в рамках одного проекта) на разных ЭВМ.
Тестирование системы выполнено на «стандартных» тестовых задачах ZDT1-ZDT6, DTLZ1-DTLZ7.
6. Вычислительные эксперименты
Исследование эффективности разработанного алгоритмического и программного обеспечения выполнено на примере широко известных алгоритмов Парето-аппроксимации NSGA-II, SPEA-2 и относительно нового алгоритма IBEA. В качестве тестовых задач использованы двухкритериальные ZDT1 - ZDT5 и трёхкритериальные DTLZ1 -DTLZ3 задачи.
Исследование проводилось при 150 итерациях каждого из указанных алгоритмов Парето-аппроксимации. Использовано нормирование аппроксимаций фронта Парето -приведение всех значений частных целевых функций к интервалу [1, 2]. В качестве опорной точки (reference point) во всех случаях выбиралась точка с координатами (2,1; 2,1),
которая в силу указанной нормализации целевых функций удовлетворяет условию доми-нируемости всеми точками аппроксимаций фронта Парето. Для каждой пары «алгоритм-задача» выполнено по 30 запусков. Уровень значимости статистических критериев принят равным ^ = 0,05.
В качестве примера приведём результаты, полученные системой для алгоритма SPEA-2 и тестовой задачи ZDT3 (рисунок 3, таблицы 2, 3).
а) аппроксимация фронта Парето: алгоритм SPEA-2; тестовая задача ZDT3
б) точный фронт Парето: тестовая задача ZDT3 Рисунок 3. Аппроксимация (а) и точный фронт Парето (б) тестовой задачи ZDT3
Таблица 2. Значения индикаторов качества для Парето-аппроксимации и точного фронта Парето: тестовая
задача ZDT3
Индикатор I н 1А, 11 1К 2 11 1К 3 I'+ II
Фронт, полученный алгоритмом £РЕЛ-2 0,78 1,0 -0,62 -4е27 -0,61 0,71
Точный фронт 0,79 1,0 -0,61 -4е27 -0,61 0,72
Доминантное ранжирование. Для тестовых задачах ZDT1, ZDT3, ZDT4, ZDT6 не было обнаружено апроксимационных наборов, которые бы доминировали остальные наборы (все аппроксимации имели ранг, равный 1). Другими словами, доминантное ранжирование не выявило различий между алгоритмами Ж80Л-И, 8РЕЛ-2, 1ВЕА. Результаты статистической обработки результатов доминантного ранжирования для задачи ZDT2 представлены в таблице 3.
Таблица 3. Результаты (^-значения) применения критерия Манна-Уитни: задача ZDT1
ШвАЛ! БРЕА-2 1ВЕА
М^А-П - 0,72 0,99
БРЕА-2 0,27 - 0,99
1ВЕЛ 0,001 0,005 -
Из данных, представленных в таблице 3, следует, что по критерию Манна-Уитни алгоритм 1ВЕЛ превосходит алгоритмы Ж5СА-П , 8РЕЛ-2 (соответствующие ^-значения меньше выбранного уровня значимости X = 0,05).
На тестовых задачах DTLZ1 - DTLZЪ различий между алгоритмами не обнаружено. Унарные индикаторы качества. К выборкам значений индикаторов качества применён непараметрический статистический критерий Крускала-Уоллиса. Для задачи ZDT1 этот критерий показал отсутствие различий между алгоритмами Ж5СА-П, 5РЕЛ-2, 1ВЕЛ с
точки зрения индикатора 11£ +, а для задачи ZDT3 - с точки зрения индикаторов Iн , I^2 . Подчеркнём, что речь идёт об уровне значимости X = 0,05.
Некоторые результаты исследования представлены в таблицах 4 - 9 и на иллюстрирующих их рисунках 4 - 6.
Таблица 4. Результаты (^-значения) применения критерия Крускала-Уоллиса: задача ZDTl; индикатор I^
8РЕА-2 1ВЕА
ыбва-и - 0,63 0,99
бреа-2 0,37 - 0,99
1веа 0,002 0,001 -
Таблица 5. Результаты (^-значения) применения критерия Крускала-Уоллиса: задача ZDTl; индикатор I Я
я 2
№ОА-\\ 8РЕА-2 1ВЕА
ШвА-П - 0,63 0,99
БРЕА-2 0,37 - 0,99
1ВЕА 0,0003 0,0005 -
Таблица 6. Результаты (^-значения) применения критерия Крускала-Уоллиса: задача ZDT3; индикатор
11
№ОА-\\ 8РЕА-2 1ВЕА
ШвА-П - 0,51 0,99
БРЕА-2 0,49 - 0,99
1ВЕА 8.1с-4 2.1с-5 -
Таблица 7. Результаты (^-значения) применения критерия Крускала-Уоллиса: задача DTLZ2; индикатор
11,
№ОА-\\ 8РЕА-2 1ВЕА
ШвА-П - 0,75 0,99
БРЕА-2 0,25 - 0,99
1ВЕА 3,9с-4 0,006 -
Таблица 8. Результаты (^-значения) применения критерия Крускала-Уоллиса: задача DTLZ2; индикатор Iн
ШвА-П 8РЕА-2 1ВЕА
ШвА-П - 0,99 0,99
БРЕА-2 2,7с-4 - 0,99
1ВЕА 1,7с-6 1,5с-7 -
Таблица 9. Результаты (р-значения) применения критерия Крускала-Уоллиса: задача DTLZ2; индикатор
11
1 Я 2
ШвА-П БРЕА-2 1ВЕА
твА-и - 2,4е-4 0,03
SPEA-2 0,99 - 0,96
1ВЕА 0,93 0,04 -
а) индикатор
II+
б) индикатор I н Рисунок 4. Ящичковые диаграммы для задачи ZDT1
в) индикатор IЯ 2
а) индикатор
п+
б) индикатор I а Рисунок 5. Ящичковые диаграммы для задачи ZDT3
в) индикатор 112
1-г
1ВЕА 1Ш-1 5РЕА-2 1ВЕА NSGA.II ЗРЕА-2 1ВЕА NSGA.II 5РЕА-2
а) индикатор I* + б) индикатор I н в) индикатор I ^ 2
Рисунок 6. Ящичковые диаграмма: для задачи DTLZ2
Из представленных результатов вытекают следующие выводы.
1) Алгоритм 1ВЕЛ превосходит алгоритмы Ж^Л-II, БРЕЛ-2 для тестовой задачи ZDT1 по индикаторам Iн , I; по индикатору 1\+ существенные различия в эффек-тивностях этих алгоритмов отсутствуют.
2) Алгоритм 1ВЕЛ превосходит алгоритмы ЖБОЛ-II, БРЕЛ-2 для тестовой задачи ZDT3 по индикатору I1 + ; по индикаторам Iн , I^ 2 существенные различия в эффек-тивностях этих алгоритмов не выявлены.
3) Алгоритм Ж^Л-II превосходит алгоритм БРЕЛ-2 для тестовой задачи
DTLZ2 по индикатору I ^ 2.
Эмпирические функции достижимости. Поверхности 50%-ой достижимости для тестовой задачи ZDT1 представлены на рисунке 7.
Рисунок 7. Поверхности 50% достижимости для тестовой задачи zdt1:ls. - алгоритм ыбоа-II; □ - брел-2;
О - 1вел
Результаты применения статистического критерия Колмогорова-Смирнова к наборам ЕА¥ представлены в таблицах 10, 11.
Таблица 10. Результаты (р-значения) применения критерия Колмогорова-Смирнова к наборам ЕЛЕ: задача
ZDT1
№ОА-\\ SPEA-2 1ВЕА
№вА-П - более 0,05 0,039
БРЕА-2 более 0,05 - более 0,05
1ВЕА 0,039 более 0,05 -
Таблица 11. Результаты (р-значения) применения критерия Колмогорова-Смирнова к наборам ЕЛЕ: задача
zdt3
ШвА-И SPEA-2 1ВЕА
ыбвл-и - более 0,05 более 0,05
брел-2 более 0,05 - 0.016
1вел более 0,05 0.016 -
Для задач ZDT2, ZDT4, ZDT6 критерий Колмагорова-Смирнова показал отсутствие значительных различий в ЕЛЕ.
Обсуждение. В результате доминантного ранжирования с последующим применением критерия Манна-Уитни было выявлено значительное превосходство алгоритма 1ВЕЛ
над алгоритмами NSGA-II, SPEA-2 с точки зрения качества Парето-аппроксимаций, полученных с помощью этих алгоритмов.
Сравнение распределений значений индикаторов качества Ils +, Iн , I]> 2 не позволило обнаружить превосходство какого-либо из исследуемых алгоритмов над остальными. Другими словами, алгоритмы NSGA-II, SPEA-2, IBEA оказались несравнимыми по данным индикаторам качества.
Сравнение эмпирических функций достижимости с применением критерия Колмогорова-Смирнова показало наличие существенных различий только в качестве Парето-аппроксимаций, полученных с помощью алгоритмов SPEA-2 и IBEA.
Заключение
Программную систему PARETO RATING отличает от подобных известных систем комплектность подхода и WEB-ориентированность. В работе представлена архитектура системы в целом, а также архитектура подсистемы, реализующей оценки качества Парето-аппроксимации. Представлены основные особенности принятых программных решений.
Функциональное тестирование системы, выполненное на «стандартных» тестовых задачах ZDT1-ZDT6, DTLZI-DTLZ1, показало корректность работы системы. Широкое исследование эффективности системы позволяет сделать вывод об адекватности принятых алгоритмических и программных решений.
Поскольку практические МКО-задачи имеют высокую вычислительную сложность, актуальным является распараллеливание алгоритмов Парето-аппроксимации для различных классов параллельных вычислительных систем. Архитектурные и программные решения, использованные в системе PARETO RATING, позволяют с небольшими затратами реализовать параллельный вариант системы.
В развитие системы авторы планируют также расширить функции системы как системы поддержки принятия многокритериальных (многоиндикаторных) решений.
Список литературы
1. Карпенко А.П., Семенихин А.С., Митина Е.В. Популяционные методы аппроксимации множества Парето в задаче многокритериальной оптимизации. Обзор // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2012. № 4. Режим доступа: http://www.technomag.edu.ru/doc/363023.html (дата обращения 01.06.2014).
2. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results // Evolutionary Computation. 2000. Vol. 8, no. 2. P. 173-195. DOI: 10.1162/106365600568202
3. Белоус В.В., Грабик А.В., Грошев С.В., Шибитов И.А. Качество Парето-аппроксимации в задаче многокритериальной оптимизации // XVIII Байкальская Всероссийская конференция «Информационные и математические технологии в науке и управлении»: материалы. Ч. 1. Иркутск: ИСЭМ СО РАН, 2013. С. 6-12.
4. Белоус В.В., Грошев С.В., Карпенко А.П., Шибитов И.А. Программные системы для оценки качества Парето-аппроксимации в задаче многокритериальной оптимизации. Обзор // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 4. DOI: 10.7463/0414.0709198
5. Fonseca C.M., Grunert da Fonseca V., Hall A.O. Inferential performance assessment of stochastic optimizers and the attainment functions // In: Evolutionary Multi-Criterion Optimization. Proc. First International Conference, EMO 2001 / Zitzler E., Deb K., Thiele L., Coello C.A.C., Corne D., eds. Springer Berlin Heidelberg, 2001. P. 213-225. DOI: 10.1007/3-540-44719-9_15
6. Лотов А. В., Поспелова И. И. Многокритериальные задачи принятия решений: учеб. пособие. М.: МАКС Пресс, 2008. 197 c.
7. Density and approximations of ^-distribution for different testproblems // System Optimization: сайт. Режим доступа: http://www.tik.ee.ethz.ch/sop/download/supplementary/testproblems/ (дата обращения 01.06.2014).
8. Fonseca C. M., Fleming P. J. Genetic Algorithms for Multiobjective Optimization: Formulation, Discussion and Generalization // Proc. of the 5th International Conference on Genetic Algorithms, San Mateo, California, 1993. P. 416-423.
9. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning. Boston, MA, USA: Addison-Wesley Longman Publishing Co., 1989. 201 p.
rd
10. Conover W.J. Practical Nonparametric Statistic. 3 ed. New York: John Wiley and Sons, 1999. 583 p.
11. Efron B., Tibshirani R. An introduction to the bootstrap. London: Chapman and Hall, 1993. 436 p.
12. Shaw K. J., Nortcliff A. L., Thompson M., Love J., Fleming P.J., Fonseca C.M. Assessing the Performance of Multiobjective Genetic Algorithms for Optimization of a Batch Process Scheduling Problem // Proc. of the 1999 Congress on Evolutionary Computation. CEC 99. Vol. 1. IEEE Service Center, 1999. P. 37-45. DOI: 10.1109/CEC.1999.781905
13. Knowles J. A summary-attainment-surface plotting method for visualizing the performance of stochastic multiobjective optimizers // Proc. of the 5th International Conference on Intelligent Systems Design and Applications, 2005. ISDA '05. IEEE, 2005. P.552-557. DOI: 10.1109/ISDA.2005.15
SCIENTIFIC PERIODICAL OF THH BAUMAN MSTU
SCIENCE and EDUCATION
EL № FS77 - 48211. N»0421200025. ISSN 1994-0408
electronic scientific and technical journal
The PARETO RATING Software System for the Pareto-
approximation Quality Assessment in Multi-criteria Optimization
Problem
# 07, July 2014
DOI: 10.7463/0714.0720253
S. V. Groshev1, A.P. Karpenko1a, I. A Sabitov2, D. R.Shibitov2
1Bauman Moscow State Technical University, 105005, Moscow, Russian Federation 2LLC "Croc", Moscow, 111033, Russia aapkarpenko@mail.ru
Keywords: multiobjective optimization, Pareto set
We consider the task to assess the quality of Pareto set (front) numerical approximation in a multi-criteria optimization (MOC) problem. We mean that Pareto-approximation is obtained by means of this or that population e.g. genetic algorithm.
Eventually, the purpose of work is a comparative assessment of the efficiency of population algorithms of Pareto-approximation. The great number of characteristics (indicators) of the Pareto-approximation quality is developed. Therefore an assessment problem of the Pareto-approximation quality is also considered as multi-criteria (multi-indicator). There are a number of well-known software systems to solve an assessment problem of the Pareto-approximation quality in different degree. Common drawback of these systems is a lack of both the WEB INTERFACE and the support of a multi-indicator assessment of Pareto-approximation quality (though there is a support to calculate the values of a large number of these indicators). The PARETO RATING software system is urged to eliminate the specified shortcomings of known systems. As population algorithms of Pareto-approximation are, as a rule, stochastic, we consider statistical methods to assess the quality of two and more Pareto-approximations (and thereby the estimates of algorithms used to obtain these approximations as well) as follows: methods based on the ranging of the specified approximations; methods based on the quality indicators; methods based on the so-called empirical functions of approachability. We give formal statement of the MOC-problem and general scheme of the population algorithms of its solution, present reviews of known indicators of Pareto-approximation quality and statistical methods for assessment of
Pareto-approximation quality. We describe the system architecture and main features of its software implementation and illustrate efficiency of made algorithmic and software solutions.
References
1. Karpenko A.P., Semenikhin A.S., Mitina E.V. Review: population methods of Pareto set approximation in multi-objective optimization problem. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2012, no. 4. Available at: http://technomag.edu.ru/en/doc/363023.html, accessed 01.06.2014. (in Russian).
2. Zitzler E., Deb K., Thiele L. Comparison of Multiobjective Evolutionary Algorithms: Empirical Results. Evolutionary Computation, 2000, vol. 8, no. 2, pp. 173-195. DOI: 10.1162/106365600568202
3. Belous V.V., Grabik A.V., Groshev S.V., Shibitov I.A. [Quality of Pareto-approximation in multicriteria optimization problem]. 15 Baykal'skaya Vserossiyskaya konferentsiya "Informatsionnye i matematicheskie tekhnologii v nauke i upravlenii": materialy [Proc. of the 18th Baikal all-Russian conference "Information and Mathematical Technologies in Science and Management]. Pt. 1. Irkutsk, Publ. of Melentiev Energy Systems Institute of Siberian Branch of the Russian Academy of Sciences (ESI SB RAS), 2013, pp. 6-12. (in Russian).
4. Belous V.V., Groshev S.V., Karpenko A.P., Shibitov I.A. Programme Systems to Estimate the Pareto-Approximation Quality in the Problem of Multi-Criteria Optimization. A Review. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no. 4. DOI: 10.7463/0414.0709198 (in Russian).
5. Fonseca C.M., Grunert da Fonseca V., Hall A.O. Inferential performance assessment of stochastic optimisers and the attainment functions. In: Zitzler E., Deb K., Thiele L., Coello C.A.C., Corne D., eds. Evolutionary Multi-Criterion Optimization. Proc. First International Conference, EMO 2001. Springer Berlin Heidelberg, 2001, pp. 213-225. DOI: 10.1007/3-54044719-9 15
6. Lotov A.V., Pospelova I.I. Mnogokriterial'nye zadachi prinyatiya resheniy [Multicriteria decision making problems]. Moscow, MAKS Press, 2008. 197 p. (in Russian).
7. System Optimization. Density and approximations of ^-distribution for different testproblems. System Optimization: website. Available at: http://www.tik.ee.ethz.ch/sop/download/supplementary/testproblems/ , accessed 01.06.2014.
8. Fonseca C. M., Fleming P. J. Genetic Algorithms for Multiobjective Optimization: Formulation, Discussion and Generalization. Proc. of the 5th International Conference on Genetic Algorithms, San Mateo, California, 1993, pp. 416-423.
9. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning. Boston, MA, USA, Addison-Wesley Longman Publishing Co., 1989. 201 p.
rd
10. Conover W.J. Practical Nonparametric Statistic. 3 ed. New York, John Wiley and Sons, 1999. 583 p.
11. Efron B., Tibshirani R. An introduction to the bootstrap. London, Chapman and Hall, 1993. 436 p.
12. Shaw K. J., Nortcliff A. L., Thompson M., Love J., Fonseca C.M., Fleming P.J. Assessing the Performance of Multiobjective Genetic Algorithms for Optimization of a Batch Process Scheduling Problem. Proc. of the 1999 Congress on Evolutionary Computation. CEC 99. Vol. 1. IEEE, 1999, pp. 37-45. DOI: 10.1109/CEC.1999.781905
13. Knowles J. A summary-attainment-surface plotting method for visualizing the performance of stochastic multiobjective optimizers. Proc. of the 5th International Conference on Intelligent Systems Design and Applications, 2005. ISDA '05. IEEE, 2005. P.552-557. DOI: 10.1109/ISDA.2005.15
