CC BY
43
Наука й Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
ISSN 1994-040В
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2016. № 08. С. 150-164.
Б01: 10.7463/0816.0844030
Представлена в редакцию: 08.07.2016 Исправлена: 22.07.2016
© МГТУ им. Н.Э. Баумана
УДК 519.6
Комбинированный метод визуализации фронта Парето в задаче многокритериальной оптимизации, основанный на диагональном пересчете гиперпространства
Грошев С. В.1'*, Карпенко А. П.1, Уо5Ьеу_&егэеу@;та11-ш
Остроушко В. А.1
:МГТУ им. Н.Э. Баумана, Москва, Россия
В работе выполнен анализ применимости метода диагонального пересчета пространства (HyperSpace Diagonal Counting, HSDC) для визуализации аппроксимации фронта Парето. Выявлен ряд недостатков данного метода и для их преодоления предложено объединение метода HSDC с методом параллельных координат (Parallel Coordinates). Комбинированный метод реализован в виде программной системы HSDC-PC. С использованием этой системы выполнено исследование эффективности предложенных алгоритмических и программных решений. Результаты исследования показали удобство их использования при не слишком большом числе критериев оптимальности.
Ключевые слова: многокритериальная оптимизация, множество Парето, парето-аппроксимация, визуализация многомерных данных
Введение
Для решения задачи многокритериальной оптимизации (МКО-задачи) используют классические алгоритмы, основанные на сведении этой задачи к совокупности задач глобальной однокритериальной оптимизации, а также алгоритмы, основанные на предварительном построении конечно-мерной аппроксимации множества (фронта) Парето этой задачи - П-аппроксимации [1].
Известно большое число популяционных и не популяционных алгоритмов П-аппроксимации [2], что порождает проблему сравнения качества решений, найденных с помощью этих алгоритмов. Качество П-аппроксимации может быть получено с помощью оценки близости найденных решений к точному множеству (фронту) Парето, равномерности распределения решений, мощности найденного множества решений и т.д. [3, 4]. Наличие большого числа индикаторов качества П-аппроксимации не исключает необходимости оценки этого качества визуальным путем. В этой связи актуальной является задача
выбора наилучших способов визуализации результатов аппроксимации многомерного фронта Парето.
Известны следующие основные методы визуализации фронта Парето и/или его аппроксимации.
Метод HSDC (Hyperspace diagonal counting) [5,6] разработан специально для поддержки принятия решений в МКО-задачах. В основе метода лежит теорема Кантора, которая утверждает, что существует взаимно однозначное соответствие между пространством произвольной размерности и одномерным пространством, так что многомерное пространство всегда можно отобразить на одномерное.
Интерактивные карты решений (Interactive Decision Maps, IDM) [7], используют интерактивно отображаемые наборы двухкритериальных сечений фронта Парето. Для построения сечения выбирают два «осевых» критерия, а оставшиеся критерии фиксируют.
Гипер-радиальная визуализация (Hyper-Radial Visualization, HRV) [8], как и метод HSDC, основывается на разделении пространства критериев на два подпространства с дальнейшим понижением размерности каждого из них до одного. В отличие от метода HSDC, понижение размерности в данном случае происходит за счет того, что на координатную ось отображаются гипер-радиусы паретовских точек, то есть расстояния от них до начала координат.
Самоорганизующиеся карты для МКО-оптимизации (Self-Organizing Map for Multi-Objective optimization, SOMMOS) [9] в своей основе используют известный тип искусственных нейронных сетей - самоорганизующиеся карты Кохонена. В методе SOMMOS используется карта в виде правильного многоугольника с числом вершин, равным числу критериев. Каждой вершине назначают свой критерий оптимальности. Карта разбивается на несколько цветовых областей в зависимости от того, какие решения они содержат: вблизи вершин располагаются точки, в которых преобладает значение критерия, соответствующего данной вершине; в центре находятся решения с близкими значениями всех критериев.
Для визуализации П-аппроксимации могут также использоваться техники визуализации многомерных данных: матрица диаграмм разброса; гипер-сечения; параллельные координаты; радиальные координаты; звездные координаты; табличные линзы; кривые Эндрюса; пиктографики и другие техники. Обзор методов визуализации многомерных данных и их применимость для визуализации П-аппроксимации представлен, например, в работе авторов [10].
Принятия решения в процессе решения МКО-задачи осуществляется путем решения следующих когнитивных задач: разведка, изучение, анализ, сравнение [11]. В ходе разведки лицо, принимающее решение (ЛИР), делает выводы о задаче, исходя из ее общей картины. Изучение направлено на оценку перспективности различных областей решений. При анализе ЛПР выбирает область решений, удовлетворяющую его требованиям, и далее в этой области сравнивает решения на основе своих предпочтений. С точки зрения этой схемы, метод HSDC обладает следующими преимуществами:
- объективность - метод отображает сразу все точки П-аппроксимации, приближенно сохраняя при этом топологию фронта Парето;
- достоверность - отображение сохраняет значительную часть информации, заключенной в П-аппроксимации;
- метод позволяет эффективно отображать П-аппроксимацию достаточно высокой размерности;
- относительная алгоритмическая простота метода.
Недостатком метода является его недостаточная «читаемость» и затрудненность навигацию ЛПР по HSDC-диаграмме аппроксимации фронта Парето.
Целью данной работы является преодоление указанных недостатков метода HSDC путем его объединения с методом параллельных координат [12].
1. Постановка МКО-задачи
Пусть множеством допустимых значений вектора варьируемых параметров X является ограниченное и замкнутое множество Их с {X} = Я'Х'. Критериальная вектор-функция Р(X) = (/ (X), / (X),..., /р|(X)) со значениями в критериальном пространстве {Р} = Я>Р' определена в области . ЛПР стремится минимизировать в этой области каждую из частных критериальных функций /(X),/(X),...,/р(X) .
Вектор-функция Р(X) выполняет отображение множества Ох в множество целевого пространства - множество достижимости. Выделяем из множества подмножество О* - фронт Парето рассматриваемой МКО-задачи, которые не доминируют-ся другими точками множества и среди которых нет доминирующих друг друга.
Множество О* е Ох, соответствующее множеству О* , называются множеством Па-
Ф X ч *
рето МКО-задачи. Таким образом, если X е Ох, то Р(X) е О*.
2. Базовые методы визуализации
Метод диагонального пересчета гиперпространства [5]. В методе HSDC пространство данных размерностью N = т + п делят на два подпространства, имеющих размерности т и п. Проецируют данные на эти подпространства, получая в результате два подмножества данных. Далее каждое из подпространств разбивают на ячейки, и с помощью диагонального пересчета одно подпространство отображают на ось абсцисс, другое -на ось ординат координатной плоскости (рисунок 1). Подчеркнем, что аппроксимация фронта Парето на этом рисунке отобразилась во множество, форма которого напоминает фронт для двухкритериальной задачи минимизации.
Рисунок 1 - Пример визуализации шестимерного фронта Парето методом HSDC [5]
Основной в методе HSDC является процедура диагонального пересчета. Пусть рассматриваемое дискретное множество {F} размерности n представляет собой множество
векторов F = С/1,/2, ■■■ ,/п), где f е N, i е [1: п]. Полагаем, что элементы множества {F} , лежащие на одной диагонали (рисунок 2), образуют уровень. Нумерация уровней начинается от начала координат.
Рисунок 2 - Пример диагонального пересчета двухмерного дискретного пространства
Легко видеть, что для произвольной двумерной точки Fi = лежащей на
уровне с номером Ь, выполняется равенство /^ + /£ = Ь — 1. Аналогичное утверждение
справедливо для пространства (Р} размерности п: уровень в этом случае определяется как набор элементов, удовлетворяющих условию { Fi = ■ ■ -,/п) ■ И ¿= 1/^ =1 — 1}.
Чтобы упорядочить точки в пределах уровня Ь , полагают
=к,к<Ь — 1.
Отбрасывая первый компонент вектора Р, получаем множество векторов (/^ ■ . .,/п), для которых справедливо равенство £¿=2 /г = Ь — 1 — к, означающее, что каждому к соответствует уровень Ь — к дискретного пространства размерности п — 1. Таким образом, при упорядочивании точек в пределах уровня по значению компоненты //" вектора Р, получаем набор из Ь — 1 уровней пространства меньшей размерности. Эти уровни рекурсивно упорядочиваем аналогичным образом до тех пор, пока размерность пространства не станет равной двум.
Метод параллельных координат представляет собой одну из самых известных и часто используемых техник визуализации многомерных данных [12]. Для отображения данных метод использует координатные оси, расположенные параллельно друг другу с некоторым интервалом. Точка многомерных данных отображается в виде ломаной линии, пересекающей координатные оси в местах, соответствующих значениям координат этой точки (рисунок 3).
Рисунок 3 - Пример параллельных координаты для пятимерных данных [12]
С помощью параллельных координат удобно изучать корреляции между данными, сравнивая положения точек пересечения кривых, соответствующих разным данным, а также исследовать распределение данных. Трудности в применении метода возникают
при высокой размерности данных, когда координатные оси оказываются расположены настолько близко друг к другу, что становится трудно различать указанные ломаные линии.
3. Комбинация методов И50С и параллельных координат
Схема метода НББС применительно к визуализации П-аппроксимации имеет следующий вид.
1) Получить аппроксимацию фронта Парето в виде набора точек Pj = (р/, р2Р" ) в пространстве критериев Д,/2 ,. ..,/п; } = 1, 2,....
2) Найти минимальное (рг- )т^ и максимальное (рг- )тах значения для каждого критерия среди всех точек Определить по каждому из критериев интервал длиной [(Р )тт ; (Р )тах] ; 1 е [1: п].
3) Разбить найденные интервалы на конечное число одинаковых подынтервалов.
4) Разделить критерии на два набора
= {/8 : £ е О], р = {/к : к е Н],
где О, Н с [1: п], Ои Н = [1: п] , вр Н = 0
5) Взять из П-аппроксимации очередную точку . Для каждой координаты этой точки определить порядковый номер ( подынтервала, в который она попадает. В результате получаем координаты ячейки дискретного пространства
( й?, й?,.■ ■, й?), в которую попадает данная точка П-аппроксимации.
6) Соответственно полученному разбиению критериев, разделить координаты точек П-аппроксимации на два набора Бх, Оу. С помощью процедуры диагонального пересчета для каждого из этих наборов получить значения индексов х, у. Отобразить их в виде точки на координатной плоскости.
7) Если не все точки просмотрены, то перейти к шагу 5. Иначе — завершить вычисления.
Методом НББС в точку на плоскости отображаются не сами данные, а содержащие их ячейки подпространств. Поэтому одной точке на плоскости, вообще говоря, соответствует некоторый набор данных, принадлежащих соответствующий ячейке. Для дифференциации данных такого набора предлагается использовать метод параллельных координат.
4. Исследование эффективности комбинированного метода
Предложенный комбинированный метод визуализации реализован в виде приложения НЕБС-РС, имеющего клиент-серверную архитектуру. В качестве клиента выступает браузер пользователя, а в качестве сервера - веб-сервер или локальный сервер, установленный на компьютере пользователя. Для визуализации данных в браузере пользователя
применена библиотека D3.js. В качестве платформы для разработки серверной части использована свободно распространяемая программная платформа Node.js.
Основная экранная форма приложения представлена на рисунке 4. В левой части формы отображаются собственно результаты работы метода HSDC. Каждая точка изображается в виде синего прямоугольника. Под осью абсцисс и слева от оси ординат находятся цветовые диаграммы значений критериев. При наведении курсора на прямоугольник он и соответствующие ему столбики цветовых диаграмм выделяются цветом, а возле каждого столбика диаграммы отображаются соответствующие значения критериев. Одновременно в окне отображения точек с помощью метода параллельных координат изображается набор точек П-аппроксимации, которые входят в соответствующую подобласть данных. При наведении курсора на какую-либо линию этого изображения, она выделяется цветом, и в местах ее пересечения с осями координат высвечиваются соответствующие значения критериев.
Рисунок 4 - Главное окно приложения: 1 - ЖБС-диаграмма; 2 - цветовые диаграммы критериев; 3 — окно
отображения точек; 4 — панель настроек
Под окном отображения точек находится панель настроек, с помощью которой можно задать порядок и распределение критериев по осям X и Y (простым перетаскиванием серых плашек с их названиями). В поле levels задается требуемое число уровней метода HSDC.
Для исследования эффективности предложенного комбинированного метода и реализующего его программного приложения используем набор из 1000 недоминируемых точек, расположенных случайным образом на поверхности гиперсферы в пространстве шести критериев. Для удобства интерпретации данных полагаем, что это - данные о моделях автомобилей и критериями являются следующие характеристики автомобилей: скорость (slow), ускорение (acc), расход топлива (fuel), масса (weight), размер (big), стоимость (exp). Критерии выбраны таким образом, что их меньшие значения являются более предпочтительными, например, критерий slow подразумевает, что его меньшим значениям соответствуют более быстрые модели автомобилей.
Визуализация указанных данных с помощью приложения HSDC-PC представлена на рисунке 5. Рисунок показывает, что данные имеют кластерную структуру, в которой каждому из кластеров принадлежат точки аппроксимации фронта Парето, лежащие на одной диагонали в подпространствах критериев X и Y (рисунок 6).
" 'У? В-"м**-
*■ С? bfjlhnhl l-.Vij,'qnnh I. f:
I & J* £ J^ ^ У ? ^
i t ' ' »t
Рисунок 5 - Визуализация с помощью приложения HSDC-PC тестовых шестимерных данных
По аналогии с двумерным случаем (рисунок 6), в многомерном случае сечение фронта Парето диагональной гиперплоскостью дает «полный» набор компромиссных решений с точки зрения разнообразия баланса между значениями критериев. Чем выше уровень гиперплоскости, тем дальше она находится от начала координат и тем больше разброс значений критериев в соответствующем кластере. Наоборот, средние значения критериев соответствуют более низким уровням гипердиагонали и расположению ее ближе к началу координат. Данные утверждения иллюстрирует дифференциация кластеров с помощью параллельных координат, представленная на рисунке 7.
Рисунок 6 - Сечения двумерного фронта Парето диагоналями: синие точки представляют набор компромиссов с большим разбросом значений критериев, чем красные
9
Рисунок 7 - Дифференциация кластеров с помощью параллельных координат
Поскольку каждый из HSDC-кластеров содержит некоторый набор компромиссных решений, переходя от одного кластера к другому, можно менять набор компромиссов в зависимости от того, значения каких критериев необходимо улучшить. Рисунок 8 иллюстрирует, например, как существенно меняются значения критерия slow при выборе кластеров, расположенных выше кластера, выделенного красным цветом.
Рисунок 8 - К стратегии изменения набора компромиссов
Таким образом, поиск компромисса с помощью предложенного комбинированного метода и реализующего его приложения HSDC-PC целесообразно производить в три этапа:
отыскание компромиссного кластера решений; отыскание компромисса внутри кластера; уточнение решения путем исследования соседних кластеров.
Заключение
В работе предложен метод визуализации результатов аппроксимации фронта Парето МКО-задачи, основанный на комбинировании метода HSDC (HyperSpace Diagonal Counting) и метода параллельных координат (Parallel Coordinates). Представлена программная реализация указанного комбинированного метода в виде приложения HSDC-PC. С использованием этого приложения выполнено исследование эффективности предложенных алгоритмических и программных решений. Результаты исследования показали удобство использования приложения при не слишком большом числе критериев оптимальности.
Научная новизна работы заключается в разработке указанного комбинированного метода визуализации, а также в результатах исследования его эффективности.
Авторы выполнили исследование также комбинации метода HSDC с методом табличных линз [13], идея которой заключается в следующем. На оси абсцисс линз откладываем индекс HSDC, а на оси ординат - соответствующие значения критериев. Исследование показало перспективность разработки такого комбинированного метода. Предполагается, что это станет одним из направлений развития данной работы. В развитие работы авторы планируют также интеграцию этого приложения в разрабатываемую программную систему оценки качества Парето-аппроксимации Pareto-Q [14,15].
Работа поддержана РФФИ (проекты № 16-07-00287,15-07-01764).
Список литературы
1. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Физматлит. 2007. 256 с.
2. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой / А.П. Карпенко. М.: Изд-во МГТУ им. Н.Э. Баумана. 2014. 446 с.
3. Zitzler E., Thiele L. Multiobjective evolutionary algorithms: a comparative case study and the strength Pareto approach // IEEE Transactions on Evolutionary Computation 3. 1999. Vol. 3. Pp. 257-271. DOI: 10.1109/4235.797969
4. Белоус В.В., Грошев С.В., Карпенко А.П., Шибитов И.А. Оценка качества Парето-аппроксимации в задаче многокритериальной оптимизации. Обзор программных систем // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. №4. С. 300-320. DOI: 10.7463/0414.0709198
5. Agrawal G., Lewis K., Chugh K., Huang C.-H., Parashar S., Bloebaum C.L. Intuitive visualization of Pareto frontier for Multi-objective optimization in n-dimensional performance // Structural Dynamics & Materials Conference AIAA. 2005. DOI: 10.2514/6.2004-4434
6. Agrawal G., Parashar S., Bloebaum C.L. Estimation of Multi-Objective Pareto Frontier using Hyperspace Diagonal Counting // 11th AIAA/ISSMO Multidisciplinary Analysis and Optimization Conference. 2006. DOI: 10.2514/6.2006-6959
7. Lotov V., Efremov R., Insua D.R. A framework for participatory decision support using Pareto frontier visualization, goal identification and arbitration // European Journal of Operational Research. 2009. Vol.199. No. 2. Pp. 459-467. DOI: 10.1016/j.ejor.2008.10.034
8. Po-Wen Chiu, Bloebaum C.L. Hyper-Radial Visualization (HRV) method with range-based preferences for multiobjective decision making // Journal of Structural and Multidisciplinary Optimization. 2010. Vol.40. No. 1. Pp. 97-115. DOI: 10.1007/s00158-009-0361 -9
9. Moor D., Shir O.M., Chen Sh., Amid D., Boaz D., Anaby-Tavor A. Pareto Optimization and Tradeoff analysis applied to Meta-Learning of Multiple Simulation Criteria // Simulation Conference. 2013. Pp. 89-100.
10. Белоус В.В., Грошев С.В., Карпенко А.П., Остроушко В.А. Методы визуализации фронта Парето в задаче многокритериальной оптимизации. Обзор // Труды XX Бай-
кальской Всероссийской конференции «Информационные и математические технологии в науке и управлении», 1-7 июля 2015. Часть I. Иркутск: ИСЭМСОРАН. 2015. C. 22-29.
11. Chen S., Amid D., Shir O.M, Limonad L., Boaz D., Anaby-Tavor A., Schreck T. Self-organizing maps for multi-objective Pareto frontiers // Proceedings of Pacific Vis. 2013. Pp. 153-160.
12. Inselberg A., Dimsdale B. Parallel Coordinates: a tool for visualizing multidimensional geometry // Proceedings of the 1st IEEE Conference on Visualization. 1990. Pp. 31-375.
13. Fao R., Card S.K. The Table Lens: Merging Graphical and Symbolic Representations in an Interactive Focus + Context Visualization for Tabular Information // Proceedings of the SIGCHI Conference on Human Factors in Computer Systems: Celebrating Interdependence. 1994. Pp. 318-322.
14. Грошев С.В., Карпенко А.П., Сабитов Д.Р., Шибитов И.А. Программная система PARETO-RATING для оценки качества Парето-аппроксимации в задаче многокритериальной оптимизации Наука и Образование. МГТУ им. Баумана. Электрон. журн. 2014. №7. C. 193-214. DOI: 10.7463/0714.0720253
15. Грошев С.В., Сабитов Д.Р. Архитектура и программная реализация системы для оценки качества Парето-аппроксимации в задаче многокритериальной оптимизации // Инженерный вестник. Электрон. журн. 2014. №12. C. 512-530. Режим доступа: http://engbul.bmstu.ru/doc/745746.html (дата обращения 30.07.16)
Science ¿Education
of the Baumail MSTU
Science and Education of the Bauman MSTU, 2016, no. 08, pp. 150-164.
DOI: 10.7463/0816.0844030
Received: 08.07.2016
Revised: 22.07.2016
© Bauman Moscow State Technical Unversity
Combined Pareto Front Visualization Method in Multi-Criteria Optimization Based on Hyperspace Diagonal Counting
S.V. Groshev1*, A.P. Karpenko1, V.A. Ostroushko1
gro 5h&v_s&ra&y@mail ju
bauman Moscow State Technical University, Moscow, Russia
Keywords: multicriteria optimization, Pareto set, Pareto approximation, visualization of multidimensional data
The large number of population and non-population algorithms of Pareto front approximation (P-approximation) engenders a problem to compare the quality of solutions, which use these algorithms. There are a variety of indicators that are used to estimate the P-approximation quality, which leave open the need for a visual estimate of the quality. In this regard, is relevant a task of choosing the best visualization methods of the P-approximation results. One of these methods is the so-called HyperSpace Diagonal Counting (HSDC).
The paper proposes a visualization method of the P-approximation results as a combination of HSDC and Parallel Coordinates methods and presents the software implementation of this combined method as the HSDC-PC application. The application has been used to study the effectiveness of the proposed algorithmic and software solutions. The results have shown the application usability in case there are no many optimality criteria.
The scientific novelty of the work involves development of this combined visualization method, as well as research results of its effectiveness.
References
1. Podinovskiy V.V., Nogin V.D. Pareto-optimal'nye resheniya mnogokriterial'nykh zadach [Optimal Pareto decisions of multiobjective problems]. Moscow, Fizmatlit Publ. 2007. 256 p. (in Russian).
2. Karpenko A.P. Sovremennye algoritmy poiskovoy optimizatsii. Algoritmy, vdokhnovlennye prirodoy [Modern search optimization algorithms. Algorythms inspired by nature]. Moscow, Bauman MSTU Publ. 2014. 446 p. (in Russian).
3. Zitzler E., Thiele L. Multiobjective evolutionary algorithms: a comparative case study and the strength Pareto approach. IEEE Transactions on Evolutionary Computation 3. 1999. Vol. 3. Pp. 257-271. DOI: 10.1109/4235.797969
4. Belous V.V., Groshev S.V., Karpenko A.P., Shibitov I.A. Estimate the Pareto-Approximation Quality in the Problem of Multi-Criteria Optimization. A Review of Programme Systems. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no. 4, pp. 300-320. (in Russian). DOI: 10.7463/0414.0709198
5. Agrawal G., Lewis K., Chugh K., Huang C.-H., Parashar S., Bloebaum C.L. Intuitive visualization of Pareto frontier for Multi-objective optimization in n-dimensional performance. Structural Dynamics & Materials Conference AIAA, 2005. DOI: 10.2514/6.2004-4434
6. Agrawal G., Parashar S., Bloebaum C.L. Estimation of Multi-Objective Pareto Frontier using Hyperspace Diagonal Counting. 11th AIAA/ISSMO Multidisciplinary Analysis and Optimization Conference, 2006. DOI: 10.2514/6.2006-6959
7. Lotov V., Efremov R., Insua D.R. A framework for participatory decision support using Pa-reto frontier visualization, goal identification and arbitration. European Journal of Opera-tionalResearch, 2009, vol.199, no. 2, Pp. 459-467. DOI: 10.1016/j.ejor.2008.10.034
8. Po-Wen Chiu, Bloebaum C.L. Hyper-Radial Visualization (HRV) method with range-based preferences for multiobjective decision making. Journal of Structural and Multidisciplinary Optimization, 2010, vol.40, no.1, pp. 97-115. DOI: 10.1007/s00158-009-0361 -9
9. Moor D., Shir O.M., Chen Sh., Amid D., Boaz D., Anaby-Tavor A. Pareto Optimization and Tradeoff analysis applied to Meta-Learning of Multiple Simulation Criteria. Simulation Conference, 2013, pp. 89-100.
10. Belous V.V., Groshev S.V., Karpenko A.P., Ostroushko V.A. [Vizualization methods for Pareto frontier in problem of multiobjective optimization. Review]. Trudy XXBaykal'skoy Vserossiyskoy konferentsii «Informatsionnye i matematicheskie tekhnologii v nauke i upravlenii». 1-7 iyulya 2015. Chast' I [Proc. XX Baykal Russian conf. «Information and math technologies in science and control». July 1-7. Part I]. Irkutsk, ISEMSORAN Publ., 2015, pp. 22-29. (in Russian).
11. Chen S., Amid D., Shir O.M, Limonad L., Boaz D., Anaby-Tavor A., Schreck T. Self-organizing maps for multi-objective Pareto frontiers. Proceedings of Pacific Vis, 2013, pp. 153-160.
12. Inselberg A., Dimsdale B. Parallel Coordinates: a tool for visualizing multidimensional geometry. Proceedings of the 1st IEEE Conference on Visualization, 1990, pp. 31-375.
13. Fao R., Card S.K. The Table Lens: Merging Graphical and Symbolic Representations in an Interactive Focus + Context Visualization for Tabular Information. Proceedings of the SIGCHI Conference on Human Factors in Computer Systems: Celebrating Interdependence, 1994, pp. 318-322.
14. Groshev S.V., Karpenko A.P., Sabitov D.R., Shibitov I.A. The PARETO RATING Software System for the Pareto-approximation Quality Assessment in Multi-criteria Optimization Problem. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no.7, pp. 193-214. (in Russian). DOI: 10.7463/0714.0720253
15. Groshev S.V., Sabitov D.R. Arkhitektura i programmnaya realizatsiya sistemy dlya otsenki kachestva Pareto-approksimatsii v zadache mnogokriterial'noy optimizatsii. Inzhenernyy vestnik = Engineering bulletin, 2014, no. 12, pp. 512-530. Available at: http://engbul.bmstu.ru/doc/745746.html (accessed 30.07.16). (in Russian).
