CC BY
856
Наука и Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
133М 1994-0406 УДК 14.02.2016
Современные методы визуализации многомерных данных: анализ, классификация, реализация, приложения в технических системах
Романова И. К.1'* ^т2003@уап{Дех:ш
1МГТУ им. Н.Э. Баумана, Москва, Россия
Рассмотрены теоретические и практические аспекты решения задачи визуализации многомерных данных как одного из эффективных средств многовариантного анализа систем. Предложено несколько видов классификации методов визуализации, в том числе классификация по типам данных, по объектам визуализации, по способу преобразования координат и данных. Предложена также классификация современных направлений в технологиях визуализации. Показано комплексирование методов визуализации как одна из современных тенденций развития, наряду с внедрением интерактивных технологий и учета динамики развития процессов. Приведено описание некоторых подходов к задаче визуализации, связанных с реализацией потребностей, формируемых актуальными задачами поиска информации в глобальных сетях, развития биоинформатики, изучения и управления бизнес - процессами, развития регионов и т.п. Отмечено не только внешнее, но и внутреннее родство задач визуализации и оптимизации, заключающееся в активном использовании методов оптимизации в решении задач визуализации и наоборот. Сделан обзор программных средств, в том числе в открытом коде, которые на практике не только позволяют применять методы визуализации, но и совершенствовать имеющиеся базовые методики. Отмечено, что богатство современных методов визуализации необходимо более активно внедрять в технические приложения, в том числе для проведения многовариантного анализа и поиска решений в многокритериальной оптимизации технических систем.
Ключевые слова: многовариантный анализ технических систем, визуализация многомерных данных, восприятие, параллельные координаты, тепловые карты, матрицы диаграмм рассеяния, оптимизация, язык R
Введение
Проектирование технических систем опирается на использование процедур анализа и синтеза. Одним из важных этапов исследований является параметрический анализ системы. Его можно трактовать как многовариантный анализ, направленный на изучение влияния внешних и внутренних параметров системы на качество ее функционирования,
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2016. № 03. С. 133-167.
Б01: 10.7463/0316.0834876
Представлена в редакцию: 14.02.2016
© МГТУ им. Н.Э. Баумана
определяемое с помощью прямых и косвенных критериев качества, конечной целью которого является выявление областей в пространстве параметров, обеспечивающих приемлемое качество системы. В некоторых случаях возможны аналитические подходы к решению задач определения оптимальных технических решений [1]. Однако в общем случае приходится проводить вычислительные эксперименты. При этом выдвигается требование вычислительной эффективности процедур реализации параметрического анализа. Основные виды параметрического анализа применительно к задачам построения систем управления объектов мехатроники были представлены в программном комплексе автора настоящей статьи «Параметрический анализ систем»
(http://bigor.bmstu.ru/?cnt/?doc=Paransys/base.cou, http://window.edu.ru/resource/396/79396). Помимо специальных технологий исследования систем управления достаточно активно использовались технологии визуализации. Однако за последние годы визуализация многомерных данных, к которой относится и многовариантный многопараметрических анализ качества и эффективности систем управления, достигла впечатляющих успехов. Поэтому возникла потребность в анализе современных технологий с точки зрения возможности их применения в указанной предметной области.
Задача визуализации информации в широком смысле слова насчитывает десятки тысяч лет. Наскальные изображения, первые карты местности, современная картография и климатология, томографические исследования, экономика регионов, системы хранения и поиска информации в сетях, распознавание образов, навигация в мобильной робототехнике, многовариантный анализ при проектировании технических систем - вот диапазон задач, которые объединены общим понятием визуализации. В основном будем рассматривать методы визуализации применительно к обработке массивов данных в виде чисел, действительных или комплексных, на непрерывной или дискретной шкале, полученных в процессе проведения натурных или вычислительных экспериментов. Тем не менее, нельзя отрицать важность междисциплинарных связей, когда решение задачи одной предметной области плодотворно решается методами и средствами из другой области. Поэтому необходим обзор современных подходов к визуализации в широкой постановке.
Первым аспектом задачи визуализации является ее практическое назначение, а именно, облегчение восприятия данных для их последующего анализа, например, получения закономерностей влияния параметров исследуемой системы. В этом смысле визуализация по существу является поддержкой принятия решений. Поэтому имеется неразрывная связь между прикладной задачей и способом визуализации. Для визуализации могут использоваться как первичные данные, так и данные, прошедшие предварительную обработку. Эти второй аспект визуализации. Его следует отличать от третьего аспекта - разработки собственно программных алгоритмов и кодов для реализации визуализации на средствах вычислительной техники.
Визуализация данных в самом простейшем случае предполагает изображение зависимости некоторой функции от одного параметра и может быть решена даже без применения вычислительных средств. Более сложной и практически важной задачей является
получение функциональных зависимостей от нескольких и даже многих параметров. В двумерном случае для визуализации достаточно построить трехмерный график, однако при большем количестве аргументов визуализация становится весьма проблематичной. Поэтому усилия современных разработчиков направлены именно на решение визуализации многомерных данных. Это можно считать четвертым аспектом проблемы визуализации данных.
В данной статье проведем обзор современных подходов к решению практических задач визуализации многомерных данных и сделаем выводы о возможности применения методов к более узкой задаче многовариантного параметрического анализа технических систем.
1. Классификация методов визуализации многомерных данных
Обширнейший круг методов визуализации, отличающихся друг от друга теоретическими основами, алгоритмами, программными реализациями, и, конечно, областью использования, нуждается в классификации, которая в целом пока не была построена именно в силу великого разнообразия перечисленных составляющих.
Первый вид классификации может быть сделан по видам используемых данных. Данные, в том числе и те, что используются для визуализации, всегда могут быть представлены как совокупности, т. е. множество кортежей или многокомпонентных объектов данных. Каждая совокупность представляет собой подмножество векторного произведения независимых переменных Di и зависимых переменных Д:
R с Д х... х Dn х B х • ••х BM
Некоторые совокупности могут быть интерпретированы как функции.
Каждая переменная имеет масштаб. Простая типология шкал включает в себя следующие варианты:
• номинальные шкалы - значения могут быть сравнены между собой в терминах равенства/неравенства;
• порядковые шкалы - значения могут быть отсортированы или выстроены в определенном порядке;
• количественные или непрерывные шкалы - значения позволяют выполнять над ними арифметические операции.
Более сложная классификация предполагает деление на качественные (номинальные, порядковые и бинарные) и количественные (дискретные и непрерывные) переменные (http://www.stats.stackexchange.com/questions/159902 , дата обращения 08.02.2016).
Поскольку достаточно часто на практике визуализируемые данные имеют статистическую природу, полезно связать тип шкал и соответствующий статистический анализ:
■ номинальные шкалы - определение моды как наиболее часто встречающегося варианта в изучаемой совокупности;
■ порядковые шкалы - определение минимумов, максимумов, медиан, процентилей, квантилей и т.д.;
■ количественные или непрерывные шкалы - среднее значение, дисперсия и т.д.
Шкалы между собой находятся в следующих отношениях:
количественные ^ порядковые ^ номинальные.
Для заданного набора данных уровень переменной - это количество значений этой переменной, которые имеются в наборе данных.
Разнообразие объектов и средств визуализации, можно объединить концепцией, предложенной Бертином. Суть ее в том, что каждый график состоит из маркеров, которые позиционированы на плоскости и имеют 6 визуальных варьируемых атрибутов: размер, форма, ориентация, цвет (оттенок), текстура (повторяемость узора), значение (светлость цвета). Эти атрибуты также имеют тип шкалы и уровень (количество распознаваемых предметов). Имеются и другие свойства, относящиеся к восприятию образов человеком. Поскольку визуализация многих рядов данных безусловно предполагает их различимость, т.е. возможность отделить одни данные от других, наличие маркеров позволяет это сделать самым простым способом. На рис. 1 приведены возможные виды маркировки и соответствующие иллюстрации, отражающие современный подход к маркировке графиков. В частности, основные атрибуты дополнены динамикой.
-- _ _ - _ - - _ _ »
*" ™ — _** "**
- ~ - ~ _ — — ** ^ к _ м н «
- _ - - _ Г ' " _ _ " - - - ~ ~
Размер Длина Ориентация Кривизна
с £ ОГ) с с О с с о с сг> с о с о С Со о 0 ОС Ос с " ■ - - - " т " ** "* Р. ✓ _ - - - Гг г гг г гг г гг г ггг г гг Гг+ГГ гг г г г г г г ггг гг
Замкнутость Плотность Число Пересечение
— - - - - ------ , 1 » 1 * * » * * » • • • * ** * * • • • * ■ ♦
Оттенок Яркость мернание ЗЭ глуби на
ггггг г гг ггт г ГГГГГГ г гг г г> ггг> г г ГГ г г гг
* » * * * * * ---- ™ — .
* ч * % * * 1 ■ «
» 1 ** 4 * % И в
Признак окончаний Т Направляли подсветки Направление движения Скорость движения
Рис.1. Виды маркировки
Важно отметить, что применение тех или иных видов атрибутов маркеров зависит от вида используемых шкал. Классификация приведена на рис. 2
Положение Положение Положение
ч Р
Длина К 77 Плотность г Оттенок цвета
Угол Л Насыщен ность цвета г. 4 ^ Текстура
Наклон Оттенок цвета Соединение
Площадь Текстура Оболочка
Объем Соединение Плотность
Плотность адлл^ Оболочка Насыщенность цвета
Насыщенность цвета Длина ______ 7 Форма
Оттенок цвета ^/ЛХУ*1 Угол <-— Длина
Текстура /// \\4 Наклон / Угол
Соединение V Площадь Наклон
Оболочка Объем Площадь
Форма <-> Форма Объем
Рис.2. Соответствие атрибутов и шкал
Вторая классификация может быть сделана по визуализируемым объектам (рис. 3)
Рис.3. Классификация по объектам визуализации
Важно отметить, что исходные данные для визуализации часто подвергаются дополнительным преобразованиям. Это связано и с необходимостью извлечения информации для получения новых характеристик изучаемого процесса или явления и собственно проблемами подготовки данных для лучшего восприятия. Поэтому третья классификация основана на способах преобразования координат и данных (рис. 4)
Визуализация по способу преобразования координат и данных
_I_
Классические Декартовы координаты
■ ч 2Ц ЗБ Графики
-1-
Параллельные координаты
Полярные координаты
Кривые Энпрюса
Динамические временные графики
Оптимизация порядка осей
Фильтрация ■Звездные координаты
Сочетание с круговой компановкой Кольцевые диаграммы
Комбинация с Лепестковые
диаграммами диаграммы
Редукция размерности
Проекционные методы на пло скос тъ :це л енап раЕленное проецирование
С ам оорг анизунжш еся карты Кохонена
Обобщенные турнирные матрицы
Методы многомерного шкалнроЕашн
Метод нелинейной редукции размерности
Рис. 4. Классификация видов визуализации по способу преобразования координат и данных.
Несмотря на то, что история современной визуализации по существу насчитывает не одно десятилетие, а в широком толковании и не одно столетие, совершенствование технологий визуализации происходит непрерывно и в наше время. Классификация направлений представлена на рис.5, где также приводятся ссылки на литературу из списка к данной статье.
Рис. 5. Классификация современных направлений в технологиях визуализации.
2. Особенности восприятия визуальной информации
Для того, чтобы провести сравнительный анализ методов визуализации, необходимо учесть ее назначение как метода познания, а в практическом смысле предназначенной, по сути, для облегчения восприятия многомерных данных человеком, в то числе, ЛПР (лицом, принимающим решения). Поэтому невозможно не учитывать эти особенности (см. рис. 5 - линия учета личностных, в том числе перцептивных аспектов).
Позиции, с которых возможно проводить такие анализы, следующие. Наше понимание данных происходит за счет использования возможностей зрительной системы человека, в частности, способности видеть закономерности, выявлять тенденции и отклонения. Хорошо продуманные визуальные представления могут заменить когнитивные вычисления с простыми перцептивными различиями и улучшить восприятие, память, принятие решений. Делая информацию более доступной и привлекательной, визуальные представления могут также привлечь более разнообразную аудиторию для проведения исследований и анализов. Задача состоит в том, чтобы создать эффективные и привлекательные ви-зуализаторы, которые соответствуют конкретным представляемым данным [3].
Между тем, в настоящее время для практически любого заданного набора данных число визуальных кодировок и таким образом, пространство возможных технологий визуализации - чрезвычайно большое. Проводятся исследования по сравнительному анализу разных кодировок с точки зрения облегчения восприятия таких типов данных, как числа, категории и сети. При этом надо иметь в виду, что все зрительные образы имеют общие "ДНК"— множество отображений между свойствами данных и визуальными атрибутами, такими как положение, размер, форму и цвет, и что индивидуальные виды визуализации могут всегда быть построены путем варьирования этих кодировок (см. рис. 1 и 2).
В работе [4] отмечается, что графики передают числовую информацию очень эффективно, но полагаются на отличную от табличного отображения совокупность психических процессов. В статье представлены результаты исследования, касающегося демографических особенностей и навыков визуального восприятия наборов графических объектов. Показано, что эффективность методов формирования визуальных отображений данных связана скорее с общими способностями, а не конкретными реализациями, такими как вращение графических объектов и некими другими пространственных манипуляциями. Открытым для исследователей остается вопрос о том, какие визуальные навыки необходимы для того, чтобы воспринимать определенные типы графиков.
В статье [5] показано, как лингвистическая информация о характеристиках данных может быть использована для генерации семантически значимых цветов. Используются N-граммы от Google, в которых задаются измерения частот названий цветов. С их помощью определяется мера для окрашиваемости, которая описывает, насколько прочно ассоциируется данный термин с элементами какого-либо набора основных цветов. Чтобы создать визуально различимые цветовые палитры, используется кластеризации по методу k-средних. По мере необходимости итеративно перераспределяют условия на основании нескольких базовых цветовых ассоциаций.
Сравнительному анализу восприятий различных представлений данных посвящена работа [6], результаты которой также подтверждаются [7].
Еще одним настраиваемым параметром при визуализации данных на плоскости является соотношение ширины и высоты графиков, которое весьма существенно влияет на восприятие визуальной информации. Математически обоснованные рекомендации предложены в [8], а именно - максимизировать общую длину триангуляции Делоне.
В работе [9] представлена новая технология изменения размеров визуализации, учитывающая ее содержание, что обычно не учитывается в таких общепринятых технологиях, как равномерное масштабирование. Формируется энергетическая функция на основе восприятия модели (функция тесноты или перенаселенности), цель создания которой - определить оптимальные деформации для каждой локальной области. Проблема изменения размера последовательно трансформируется в нелинейную оптимизационную задачу с помощью этой функции энергии. Вводится эффективный алгоритм оптимизации, который позволяет итеративно решить проблему, и подходит для автоматического изменения размеров визуализации.
Трудности также возникают при одновременном восприятии информации категориальных и количественных типов [10].
В работе [11], написанной достаточно давно, но не потерявшей своей актуальности и по сей день, представлена методика с использованием текстуры и цвета для визуализации многомерных данных. Применяются разноцветные текстуры перцептивных элементов (или pexels) для представления каждого элемента данных, которые построены путем варьирования трех отдельных элементов текстуры: высота, плотность и регулярность. Отмечено, что вариации высоты и плотности не оказывают никакого влияния на цветовую сегментацию, но случайные цвета структуры могут мешать текстурной сегментации.
Особые трудности возникают при переходе в визуализации цветом от оттенков серого, для которых очевидным является градация по светлости, к цветным объектам. Преимущество цветных палитр (их многообразие) может быть реализовано при сочетании вариаций оттенков и изменений в цвете. В табл. 1 показаны удачные и неудачные палитры.
Таблица 1. Палитры и их характеристики.
Палитра Характеристики
Не рекомендуется
Последовательные палитры
■
Расходящиеся палитры
^тш
ш
3. Некоторые актуальные средства визуализации многомерных
данных
Эксперименты по графическому восприятию, о которых говорилось выше, также показали, что пространственное положение (как в точечной диаграмме или линейчатой диаграмме) приводит к наиболее точной расшифровки числовых данных и, как правило, предпочтительнее визуальных переменных, таких как угол, одномерная длина, двумерная область, трехмерный объем, и насыщенность цвета. Таким образом, не стоит удивляться тому, что наиболее распространены графики данных, использующие кодировки положения, включая гистограммы, линейные графики и точечные диаграммы [3]. Однако нельзя сбрасывать со счетов и эстетическую составляющую, без которой наше понимание образного восприятия остается неполным, поэтому должны быть правильным образом сбалансированы дизайн и эстетика.
Среди методов, представленных на рис. 3-5, имеются заслуживающие более пристального внимания и не так известные в обычных приложениях визуализации. Остановимся на этих методах, отметим их достоинства и недостатки. Особое внимание уделим графикам, которые могут быть использованы в многопараметрическом анализе систем.
Временные ряды данных (Time-Series Data), т.е. наборы значений, которые меняются с течением времени, являются одними из наиболее распространенных форм фиксируемых тем или иным способом данных. Часто необходимо сравнить большое количество временных рядов одновременно. Для этого используются горизонтальные графики (Horizon Graphs) как метод увеличения плотности записи данных из временных рядов для предварительного просмотра. Можно привести три вида таких графиков (рис.6). Во первых, это стандартная диаграмма с областями, где положительные значения окрашена в синий цвет, а отрицательные значения-красным (рис.ба). Второй график - "зеркало", в котором отрицательные значения располагаются в той же области, что и положительные значения, в результате получается удвоение плотности записи данных в области диаграммы (рис.бб). Третий вид диаграммы удваивает плотность данных еще раз путем деления графа на группы и слои, для создания вложенных форм. В результате получается диаграмма, которая сохраняет разрешение данных, но использует лишь четверть пространства (рис.6в). Хотя горизонтальный график требует некоторого времени на изучение, он признан более эффективным, чем стандартный, поскольку размер диаграммы получить весьма небольшим.
Рис.6. Горизонтальные графики
Графики «Стебель и листья» (Stem-and-Leaf Plots). Цифры размещаются по вертикали в соответствии с первой переменной, а затем по горизонтали размещаются также в виде цифр в каждой ячейки для второй переменной. Это минималистское представление использует сами данные для представления частотного распределения, заменив "информационно-пустые" бары традиционной столбчатой гистограммы и диаграммы. Это позволяет оценивать как общее распределение, так и содержание каждой ячейки с данными (см. рис. 7).
t 1 1 t ? ! J a 3 3 ? 3 4 J 4 4
1 ■п а А 1 1 i p 2 } 3 J i 3 4 4 J
i а а т t 1 s j в ■J
) D 0 t 2 ] J 3 t 6 fl 3 3
4 о в t 1 1 I з 3 4 a ъ я t f &
D г t 5 (■ 7 7 1
а 1 2 в 7 а 9 9 t
j € а j Е Е- T
R С а i z 3 4 4 1 I 4 4 4 i f 7 7 Г
Ч 1 э 3 5 j Ш a 3 9 * 9 9 9 9 9
1 D fl » и Р » 4 0 в о 0 0 9 i 0 0 о
i 6
7 3
f 9 В >
via « f «
) 3 1 9 ? 9 9
Рис.7. Графики «Стебель и листья»
График «квантиль-квантиль» (Q-Q, quantile - quantile plot) (см. рис.8) сравнивает два вероятностных распределения путем построения графиков квантилей друг против друга. Если они схожи, нанесенные значения будут располагаться примерно вдоль центральной диагонали. Если две величины линейно связанные, то они будет снова лежать вдоль линии, хотя и с разным наклоном и интерсептом. На рис.8 показаны три вида распределений - равномерное распределение (рис. 8а), гауссово распределение (рис.8б) смешанное из трех гауссовых (рис.8в).
а) б) в)
Рис.8. Графики «квантиль-квантиль»
Если применение графиков 6-8 для визуализации данных в многовариантном анализе не требует особой мотивации, оригинальным для представления в пространстве параметров распределений нескольких критериев одновременно может явиться использование Хороплет-карт (Choropleth Maps). Заметим, что традиционно эти виды визуализации применяются для отображения интенсивности какого-либо показателя в исследуемой области, например географическом регионе с помощью визуального оформления (цвет, точки или линии разной густоты, см. рис.9).
Рис.9. Хороплет-карты
Особую группу представляют средства визуализации иерархий (рис.10). Диаграммы «узлы - связи» (Node-link diagrams) - это тип визуализации данных, в котором объединяют входы как узлы и соотношения как связи. Слово дерево используется взаимозаменяемо с иерархией, так как фрактальные ветви дуба могут отразить вложенность данных. Альтернативной схемой визуализации является дендрограмма (или кластер) - алгоритм, который помещает листовые узлы дерева на одном уровне. Возможно применение как декартовых, так и полярных координат (см. рис.10а,б). Диаграммы смежности (Adjacency Diagrams) - это диаграммы «узлы - связи», сделанные с заполнением пространства, связь между родителями и детьми в иерархии не устанавливается, узлы изображаются в виде сплошной зоны (либо кругов или столбиков), и их размещение относительно соседних узлов выявляет их позиции в иерархии. Диаграммы в виде слоя сосулек (Icicle tree layout-см. рис.10в) похожи на диаграмму узлы-связи, так что корневой узел отображается в верхней части, а дочерние узлы снизу. Хотя узлы заполняют пространства, тем не менее, можно использовать кодирование длины для указания размеров. Тем самым получается еще одно измерение, которое будет сложно показать в диаграмме узлы-связи. Возможно также представление в полярных координатах (рис.10г), называемое Санберст или солнечные лучи (Sunburst,radial space-filling layout).
Диаграммы с огораживанием Enclosure Diagrams (рис.10д) также имеют заполнение пространства, но используют огороженные участки, а не смежности для представления иерархии. Разместив круги вместо деления прямоугольниками (рис.10е), можем получить другой вид этой диаграммы, которая имеет почти органический вид. Хотя она не использует пространство настолько эффективно, насколько древовидное представление, "неиспользуемое пространство" круга эффективно выявляет иерархию. В то же время, размеры узла могут быть быстро сравнены по площади узлов.
Рис.10. Диаграммы для визуализации иерархий: а,б - диаграмма узлы -связи в декартовых координатах (Cartesian node-link) и в полярных координатах (Radial node-link); в,г - диаграммы Icicle tree layout в декартовых и полярных координатах; д,е - диаграммы с огораживанием (прямоугольники и круги)
При исследовании систем управления используется теория графов. В последнее время метод графов применяется и при описании сетей. Интересным примером является использование графов с силами взаимодействия (Force-directed Layouts), в которых принимается представление графов как физической системы (рис.11а). При этом узлы - это заряженные частицы, которые отталкивают друг друга, и связи - это демпфирующие пружины, которые связывают узлы вместе. Физическое моделирование этих сил определяет положение узла; используются методы аппроксимации, что избежать вычисления всех попарных сил для включения в схему с большим числом узлов. Кроме того, интерактивность позволяет пользователю исправлять схему и смещать узлы для устранения неоднозначности ссылок. Такие графы с силами взаимодействия являются хорошей отправной точкой для понимания структуры общего неориентированного графа.
Дуговая диаграмма Arc Diagrams (рис.11 б) использует одномерную компоновку узлов, с круговыми дугами, чтобы представить связи. Хотя дуговая диаграмма не может передать общую структуру графа так же как эффектно, как двумерная схема, но для подходящего порядка легко определить группировки и перемычки. Многомерные данные могут быть представлены вместе с рядом находящимися узлами. Проблема сортировки узлов способом, раскрывающим лежащие в основе схемы кластерные структуры, формально называется сериация seriation и имеет разнообразные применения в визуализации, статистики, и даже археологии.
Попытки визуализировать графы в терминах матрицы смежности, так что каждое значение в строке I и столбце J матрицы соответствует связи от узла I к узлу J привели к очевидной идее в рамках визуализации просто показать матрицу. Так появились матрицы изображений (Matrix Views). Использование цвета или насыщенность цвета вместо текстовых значений позволяет ассоциировать значения со связями, что воспринимается более динамично. Эти матрицы являются частью особой группы визуализации с помощью матричных представлений.
Тепловые карты (heatmap), история которых приведена в [12], относятся к визуализации с помощью цветных индикаторов, при этом сохраняется табличное представление информации, но числа в ячейках заменяются на заливку этих ячеек цветом по определенному принципу. Если цветное представление не доступно, используется текстура в оттенках серого. Рекомендуется по возможности проводить сортировку строк и столбцов для группировки информации (так называемая перестраиваемая матрица). Хотя в своей исходной постановке (использование базовой палитры) метод существует уже более ста сорока лет, в настоящее время он претерпел усовершенствования и широко используется для визуализации данных, связанных с экспрессией (активностью) генов. Принято, что если экспрессия гена находится на невысоком уровне, то он окрашивается в один из цветов зеленой части спектра. Ген с высокой активностью окрашивается в цвета красной части спектра. Очевидно, перенесение этих принципов на данные другой природы, например, графического представления чувствительности критериев качества системы при вариации параметров (многовариантном анализе систем) будет весьма плодотворной. Более того, такой подход полезен и при визуализации хода работы генетических алгоритмов многокритериальной оптимизации.
Не вполне решенной при этом, как для Matrix view, является задача упорядочивания строк и столбцов (проблема серийности), которая вычислительно весьма затратна. Актуальные реализации метода используют комбинацию кластеризации и так называемого совершенного порядка перебора. Поскольку кластеризация уже выделяет группы, матрица указывает на то, почему данные принадлежат той или иной группе. Проблема выбора палитр, отмеченная выше, актуальна и для тепловых карт.
Следует отметить широкий спектр применения тепловых карт. Так в [13] предлагается использовать их для визуализации процесса значения метрик коллекций бизнес-процессов. Достигается новый взгляд на распределение значений показателя между процессами. Кроме того, используется кластеризации для анализа (1) корреляции между различными метриками процесса и (2) поиска (структурно) аналогичных процессов среди коллекций бизнес-процессов. Развитие методов тепловых карт (рис.12а) предпринято в работе [14], где описаны супервизорные тепловые карты (рис.12б) интенсивности для визуализации комплексных данных. Они имеют две основные цели: предоставить средства визуального извлечения информации, содержащейся в высоко размерных наборах данных, и обеспечить визуальную оценку эффективности функционирования модели, подобранной для этих наборов данных. Задача в такой постановке вполне перекликается с задачей оценки идентификации в построении моделей систем.
Рис.12. Визуализация в матричной форме: а - тепловые карты; б - супервизорные тепловые карты
(Supervised heatmaps).
Матрицы графиков появились для преодоления трудностей перехода от случая двух и трех переменных к большему числу параметров и их функций, которые в общем случае могут быть многомерными объектами, традиционно иллюстрируются так называемыми ирисами Фишера (Андерсена). Общий подход к отображению многомерных данных состоит в том, чтобы свести задачу к показу различных подмножеств данных в нескольких видах. Как правило, берется одна переменная и строится набор графиков исследуемой скалярной функции для каждого ее значения при сохранении остальных переменных. Совокупность получающегося набора графиков в MS Excel также называется trellis plots. Очевидной является идея показать диаграмму рассеяния для каждого парного сочетания переменных. В результате получается матрица диаграмм рассеяния, которая имеет определенную структуру, включающую использование ячеек на главной диагонали для отображения названий свойств (например, цвета маркеров могут соответствуют трем видам
объектов). Анализ графиков позволяет сделать выводы о взаимной корреляции изучаемых объектов. Можно также решить вопрос о понижении размерности задачи путем исключения одного из параметров при последующих исследованиях. Такая постановка перекликается с задачей редукции моделей систем [15]. Метод является весьма полезным и для многовариантного анализа влияния параметров технической системы на критерии качества, в том числе для понижения размерности векторного критерия качества, а также для анализов чувствительности. Псевдослучайные точки в многомерном пространстве параметров генерируются, например, с помощью LTPau последовательности, применение которой, как известно, резко повышает эффективность вычислительных экспериментов при многопараметрическом зондировании [15].
Применение матриц диаграмм рассеяния может быть сопряжено с определенными трудностями, которые появляются в таком парном сравнении при проведении анализа рассеяния. Пусть имеется достаточно много номинальных переменных, которые мы должны включать в исследования как количественные объекты, тогда уже просто не хватит разных видов маркеров.
Авторами [ 16] было предложено выбирать тип графика для каждой ячейки матрицы, базируясь на типе сопоставления (технология GPLOM). На основе анализа этой статьи получена компактная таблица 2.
Таблица 2. Связь «пара шкал - тип визуализации»
Пара шкал Тип визуализации
Номинальная шкала х Номинальная шкала Тепловая карта, показывающая частоту
Номинальная шкала х Количественная шкала Гистограмма, показывающая средние
Количественная шкала х Количественная шкала Диаграммы рассеяния (только нижняя треугольная матрица)
В [10] парадигмы матрица SPLOM распространяются на одновременное визуализирование нескольких категориальных и непрерывных переменных, отображение многих типов диаграмм в матрице в зависимости от вида задействованных переменных используют полную матрицу и более сложные типы графиков. Предлагаемая авторами система выбора может быть компактно представлена в виде таблицы 3.
Таблица 3. Формирование матрицы графиков по [10]
Вне диагонали На главной диагонали
Пара шкал Вид диаграммы Дополнительно Пара шкал Вид диаграммы
Количественная шкала х Количественная шкала Диаграммы рассеяния Коэффициент корреляции Номинальная шкала Гистограмма
Количественная шкалах Номинальная шкала Boxplot (биржевые диаграммы) Оценка одномерной плотности Количественная шкала Гистограмма
Номинальная шкалах Номинальная шкала Мозаичные графики (mosaic plot) Переупорядочиваемая матрица Указываются названия свойств, и одинаковые шкалы, которые в свою очередь симметрированы по местной главной диагонали данной ячейки
Матрица не обязательно должна быть симметричной, поэтому возможно дополнительно проводить попарные сравнения. Кроме того, возможно дополнительное использование цветных маркировок для каждого из рядов данных, которые используются для всех ячеек матрицы.
Объединенные диаграммы представлены в [17] и [10]. Они позволяют сделать гибридные комбинации из линейчатых диаграмм, диаграмм рассеивания, и узлов параллельных координат, с нарисованными кривыми, чтобы показать концептуальную связь между диаграммами. Графики можно рассматривать как согласованную визуализацию, где связывание достигается не только через интерактивные кисти, но также явно нарисованные кривые, соединяющие соответствующие последовательности данных или оси. В частности, статья [17] показывает технологию объединенных диаграмм ConnectedCharts как технику для показа отношений между несколькими диаграммами. В [10] обобщенный парный график предлагает целый ассортимент изображений для парных комбинаций категориальных и количественных переменных. Мозаичный график, диаграмма флуктуаций, или facetted bar chart граненые гистограмма могут использоваться для отображения двух категориальных переменных. Блочный график side- by -side , ленточные диаграммы, граненые гистограммы stripplot или график плотности помогают визуализировать категориальные и количественные переменные. Традиционная диаграмма рассеивания предназначена для отображения пары числовых переменных, но также дополнительно поддерживается плотность контуров или аннотирует суммарные статистики, такие, например, как корреляция и количество пропущенных значений.
Все перечисленные виды матриц показаны на рис. 13.
Преобразования систем координат - одно из специальных направлений визуализации. Методы целенаправленного проецирования projecting pursuit в пространства малой размерности - это один из способов поставить задачу представления данных в виде двумерной картинки. Находится такое отображение (способ проецирования) из исходного пространства на двумерную плоскость, которое бы оптимизировало заданный критерий качества - некоторый функционал от координат точек данных до и после процедуры проецирования [18], [19]. Поскольку данная статья направлена на обзор с точки зрения пользователя средств визуализации, а не разработчика, просто укажем ссылку на русскоязычную книгу [18], которая позднее вошла в англоязычный курс лекций [20].
Параллельные координаты - еще один популярный способ визуализации многомерных данных. Вместо рисования ортогональных осей (декартовых координат), оси рисуются вертикально и масштабируются каждая для своего диапазона значений. Ряд данных затем рисуется в виде последовательности точек на каждой оси согласно значению отображаемой переменной. Точки визуально соединяются ломаной. Применение процедуры для всех кортежей данных дает окончательный график в параллельных координатах. С помощью параллельных координат могут быть получены непосредственные ответы на следующие вопросы: как данные распределены вдоль одной оси? Каковы часто и нечасто встречающиеся значения? Какие переменные являются дискретными, какие непрерыв-
ными? Каково соотношение между „соседними" переменными? Метод позволяет рассматривать более двух переменных и в этом его преимущество. Однако проблемой является определение приемлемого для выделения структуры данных порядка осей. В некоторых работах предлагается автоматически определять оптимальный порядок следования осей, например, на основе: максимизации корреляции и минимизации пограничных переходов.
4
ш
ш
iidJf.
! $
6)
Дли ян шшяктш ... : Л' . • if. г1 & J h" > M fr'4-
Ни Ширни* ЧЛШСЛИ cniu 1 s
■ Ж'" г-^Г Д-тппа лаиеты & E
Л*"' Ли #..... ШЛриН ft леяести
в)
Montti
froduct
Sa:«
Equipment costs
Laboi costs
■ ■ ■
no III .it.....ilii ll
?in I.I 750 „1...Н1+.. JSO-■1 35 t '
III 730 pim Pill llll )H 11 Ji
|Jl 1 f i F l
w
в 5
ЙМ 1 i ■ к I i i ~i ш
В В .л. Л С_30 ■i i'i -iirpi"tg : inn: 1 1111 IJ
••га: ED"! -1 - 1, «■IIWII Щ . nil IIIMUIII .IILUIiiH
- ? i ap •m * .f-
№1flr 1 1 > < 1 1 jf.< a a a tCOMTtH j-
««ИТЭММ
Рис.13. Визуализация в матричной форме: а - Matrix view; б- матрицы диаграмм рассеяния (scatterplot matrix); в- технология визуализации SPLOM; г - технология визуализации GPLOM (обобщенные парные
графики)
Примером модификаций метода параллельных координат может служить работа [21], в которой описан ориентационно - расширенный метод параллельных координат (OPCPs) . Он улучшает структуру рисунка и различимость отклонений (выбросов), визуально увеличивая части каждой полилинии в параллельных координатах относительно ее
наклона. Это усовершенствование также позволяет ввести новый и эффективный метод отбора, а именно, ориентационно усовершенствованную ретушь (O- Brushing).
Подробный анализ, том числе, обзор и классификация исследований метода параллельных координат проведен в новейшей статье [22]. Предлагается рисование линий с прозрачностью, выполнением кластеризации с последующим показом групп кластеров, и даже выполнение оценки плотности и непрерывности линий. Отмечается, что методы, основанные на использовании цвета, смешивания и изогнутых линий, обычно рассматриваются в литературе как предложения по улучшению визуального качества.
Выбор порядка осей может формулироваться как задача оптимизации. Новые способы перестановки осей в методе визуализации параллельных координат приводятся в [23]. Отмечается, что оптимизация порядка осей является NP-полной задачей (в теории алгоритмов задача из класса NP , к которой можно свести любую другую задачу этого класса за полиномиальное время). Предлагаемый метод изменения порядка координат для метода визуализации в параллельных координатах, в основе имеет сочетание алгоритмов нелинейного коэффициента корреляции (НКК NCC) и Сингулярного разложения (СВД SVD).
Примеры модифицированных параллельных координат приводятся на рис. 1 4.
Рис.14. Модификации метода параллельных координат [21]-[23]
Однако, несмотря на многочисленные модификации, вопрос о качестве восприятия информации в рамках метода параллельных координат остается по-прежнему открытым. В [22] были выполнены работы по изучению восприятия корреляций в параллельных координатах по сравнению с восемью другими методами визуализации: диаграммы рассеяния, диаграммы с областями, линейчатые диаграммы, гистограмма с накоплением, коль-
цевые диаграммы, лепестковые диаграммы, линейные графики, и линейные отсортированные графики. Полученные результаты находятся в согласии с работой [7], и состоят в том, что точечные диаграммы изображают корреляции в целом лучше, чем параллельные координаты. Отмечено, что для задачи идентификации кластера никакой пользы в плане улучшения производительности не было найдено при использовании любой из вариаций, основанных на использовании цвета, смешивания и изогнутых линий. С точки зрения авторов указанных статей только сочетание стандартных 2D параллельных координат и диаграммы рассеяния является полезным. По сравнению со стандартными параллельными координатами, комплексная техника делает визуальную идентификацию кластеров данных проще и выгоднее для оценки корреляции и для трассировки подмножества данных нескольких переменных. Об идее комплексирования технологий визуализации также будет сказано ниже.
Лепестковые (звездчатые, радарные) диаграммы имеют оси, расположенные по кругу, начинающиеся в центре диаграммы и заканчивающиеся на внешнем кольце. Для каждого кортежа данных рисуется своя полилиния аналогично методу параллельных координат. Недостатки этого представления также схожи, а именно, структура диаграммы зависит от порядка осей, график быстро становится беспорядочным, высокие значения «торчат» над более низкими значениями. Альтернативным способом является метод RadViz (Radial Coordinate Vizualization) [19] который также использует точки по кругу для каждой переменной и отображает данные каждого кортежа через взвешенное среднее. Одним из недостатков метода является то, что можно получить похожие прогнозы от весьма различных основных свойств данных, и поэтому интерпретация RadViz нуждается в некоторой осторожности. Сравнительный анализ RadViz и Звездных координат проведен в [24]. Формально, основное различие между ними состоит в нелинейной нормализации шага, что присуще RadViz. В работе показывается, что, хотя RadViz может быть полезен при анализе редких (разбросанных) данных, но в общем, конструкция этого метода ограничивает пределы его применимости, а также приводит к ряду недостатков для анализа исследуемых данных. В частности, наблюдается, что нормализация шага вводит нелинейные искажения, может затруднять обнаружения выбросов, делает невозможным установление связи между графиками и полезными линейными отображениями, и препятствует точной оценке атрибутов исходных данных. Кроме того, пользователи имеют большую гибкость при выборе различных схемах и представлений данных в звездных координатах. Делается предположение о том, что аналитики и исследователи должны тщательно обдумать, является ли нормализация шага по методу RadViz выгодной для решения задач анализа и определения характеристик наборов данных. Примеры графиков по указанным технологиям приведены на рис.15.
Рис.15. Графики в звездных координатах (8С) и а- линейные зависимости; б- круги (потеря
концентричности для
Особого внимания заслуживают работы, направленные на отражение не только статики, но и динамики процессов. Например, в [19] описана методика географически взвешенной регрессии, которая полезна с точки зрения возможности визуализации нестационарности в регрессионных оценках параметров. Выход метода представляет собой карты пространственного дрейфа в оценках параметров, которые могут быть использованы для исследования пространственных вариаций в отношениях исследуемых данных или для модели развития, потому что карты могут указать эффекты от пропуска переменных.
Сверхбольшие объемы данных, отражающих динамику процесса и полученных, например, в ходе экспериментов над системой, послужили темой статьи [25]. Во многих случаях можно наблюдать как входные, так и выходные параметры системы, и характеризовать систему как многомерную функцию. Такие ряды данных возникают, например, в большом численном моделировании, как топологии распределения значений целевых функций в задачах оптимизации, или при анализе изображения данных в биологических или медицинских параметрических исследованиях. В основе метода лежит разделение пространства параметров с использованием аппроксимации комплексов Морса-Смейла на облако точечных проб. Для каждого кристалла комплексов Морса-Смейла, регрессия параметров системы по отношению к выходу дает кривую в пространстве параметров. В результате получается упрощенное геометрическое представление комплекса Морса-Смейла в области ввода высокой размерности. Наконец, геометрическое представление перестраивается в размерность 2D, используя методы сокращения размерности, для обеспечения плоской платформы визуализации.
В статье [26] рассмотрена проблема визуализации динамически изменяющихся сетей (графов). Предлагается прототип, называемый DiffAni, позволяющий визуализацию графа в виде последовательности трех видов плиток (мозаик): плитки сравнения показывают отличия карт в течение некоторого временного интервала, анимации плиток, которые показывают эволюцию графа в течение определенного промежутка времени, и несколько мелких плиток, которые отображают состояние графа на индивидуальном временном срезе. Эта последовательность плиток упорядочена по времени и охватывает все временные срезы данных. В [27] представлены системы визуализации для пространства и времени. Разработанная методология и инструменты помогут аналитикам исследовать сложные структуры многомерных, пространственных и временных измерениях через кластеризации, сортировки и визуализации. В частности, этот подход предусматривает использование таких методов, как самоорганизующиеся карты, графики в параллельных координатах, несколько форм перестраиваемых матриц (включая несколько методов сортировки), географические мелкие множественные отображения, и 2-мерный картографический цветной метод проектирования. Объединение этих методов использует их сильные независимые стороны и облегчает визуальное исследование структуры, которые трудно обнаружить иначе.
Современные методы визуализации также отличает широкое применение интерактивных средств. Налицо неразрывная связь визуализации и Интернет-технологий, которые взаимообогащают друг друга как с точки зрения формирования новых потребностей, так и с точки зрения развития программных средств. В [28] описывается и анализируется визуальный аналитический процесс, основанный на интерактивных методах визуализации, кластеризации, а также различных форм участия знаний пользователя. Метод особенно подходит для ситуаций, в которых доступны данные неполные и низкого качества и должны быть дополнены знаниями пользователя. Прозрачность процесса делает метод подходящим в ситуациях, когда результаты должны быть получены на основе различных пользовательских мнений и целей. Такая постановка близка к задаче многокритериальной оптимизации с участием ЛПР. В статье [29] представлен новый и расширяемый набор приемов взаимодействия для манипулирования визуализации сетей путем выбора подграфов и затем применяя различных команд модифицирования их структуры или графических свойств.
В заключении несколько слов о таких известных методах, как графики Эндрюса и лица Чернова, которые, как отмечается в [19], имеют некоторые проблемы в использовании. В случае графиков Эндрюса выбор используемых функций субъективен, и становится очень трудно изучать графики, когда число наблюдений становится выше 30. При ис-
пользовании лиц Чернова, переменные, которым сопоставляются определенные атрибуты лица, например, глаза, получают больший вес в субъективном определении "необычных" случаев. Тем не менее, интерес к кривым Эндрюса не снижается. Примером служит оригинальное использование кривых Эндрюса в качестве нового указателя для выявления любого возможного повреждения в структуре [30]. На первом шаге, используя пьезоэлектрические приводы и датчики, распространяется соответствующая волна Лэмба и пропускается через структуру. Затем применяется анализ главных компонент к записанной информации, и подготавливаются необходимые данные для кривых Эндрюса, которые изображаются на основе расчета главных компонент. В статье показано, что сравнение по кривым Эндрюса, построенными на основе данных от исходной структуры без повреждений, и по исследуемой структуре может выявлять любые возможные повреждения в структуре. Развитию методов Эндрюса также посвящена недавняя статья [31].
Сравнительный анализ трех популярных методов визуализации показывает следующее. Тепловые карты предоставляют возможность выделять группы при использовании подходящей цветовой палитры и сортировки строк и столбцов и они компактные: занимают очень мало места. Матрицы графиков хорошо работают вплоть до 10-15 переменных, количественных и номинальных (несколько значений), предоставляют возможность выделять двумерные структуры: корреляция, распределение, группирование, разделение, выбросы; используется большое пространство, причем площадь растет квадратично с числом переменных взаимодействия: порядок переменных, чистка и связывание. Параллельные координаты хорошо работают вплоть до 10-15 переменных, только количественные; использование подходящего порядка следования осей переменных порядка предоставляют возможность выделять одномерные распределения, двумерная корреляция, многомерную группировку и выбросы; используют умеренное пространство, но беспорядок -это большая проблема метода.
При анализе методов визуализации прослеживается четкая связь с методами оптимизации, что обобщается в следующей таблице 4.
Приведем ряд примеров. В [32] демонстрируются четыре метода для визуализации многоцелевых популяций, формируемых в соответствии с Генетическим алгоритмом. Два из этих методов используют полный набор целевых функций для представления решения в ясной и понятной форме и два свертывают целевые функции популяций в двух измерениях при минимизации информации, которая теряется. Для визуализации по второму варианту применяются методы сокращения размерности популяции путем проекций на ряд новых координат и последующей визуализации: методы многомерного шкалирования
(MDS) и метод Isomap - метод нелинейной редукции размерности. После этого выполняется визуализация на плоскости.
Таблица 4. Взаимосвязь методов визуализации и оптимизации
№ Метод визуализации Отношение Метод оптимизации
1. Тепловые карты —> Генетические алгоритмы
2. Матрицы графиков —> Зондирование пространства параметров и его применение в в многокритериальной оптимизации (МКО)
3. Геометрические методы: смесь гауссовых компонент, построение оптимального многообразия, методы целенаправленного проецирование —— Методы оптимизации функционала
4 Самоорганизующиеся карты Кохонена —— Нейросетевые алгоритмы
5 Изображение на графах —— Теория графов
6 Лепестковые диаграммы —> МКО
7 Диаграммы рассеяния —> МКО - изучение зависимости критериев
В статье [33] решается нетривиальная задача визуализации и отслеживание хода выполнения алгоритма метод Роя частиц (РБО). Представлен SwarmViz, инструмент визуализации с открытым исходным кодом для РБО. Используя SwarmViz, пользователи смогут провести эксперименты с РБО по каноническим эталонным функциям или вводить данные из внешних экспериментов (например, обучение роботизированных контроллеров), и визуализировать процесс оптимизации с помощью самых современных средств визуализации. SwarmViz ставит достижение двух основных целей. Во-первых, чтобы дать возможность исследователям контролировать ход их конкретные задачи оптимизации и настраивать соответствующие параметры РБО. Во-вторых, чтобы дать наглядное представление о РБО для студентов в рамках преподавания методов оптимизации. Демонстрируются возможности программы на примерах хорошо известных эталонных функций и изучения оптимизации роботизированного контроллера
4. Направления повышения эффективности методов визуализации
Результат обобщения информации в цитируемых источниках позволил создать классификацию, представленную на рис. 5. Дополнительный анализ показал, что имеется взаимное обогащение методов, что отражает таблица 5.
Параллельные координаты Радиальные координаты Диаграммы рассеяния Матрицы рассеяний Линейчатые диаграммы Тепловые карты Преобразование данных 3D и 2D графики функций
Визуализация популяций Генетического алгоритма [32] У У Иерархические методы кластеризации спектральные методы упорядочивания
Метод Springview [34] У У Radviz
Визуализация и кластеризация коллекций [13] У У Метрики процесса
Совершенствование метода параллельных координат [22] У У
Визуализация дискретных скалярных полей пробных точек [25] У Аппроксимации комплексов Морса-Смейла У
Визуальная оценка повреждений в структуре [30] УРасчет главных компонент У Графики Эндрюса
Cоставной метод многомерной визуализации [35] У У Круговая компоновка У У Графики Эндрюса
Объединенные диаграммы Connected Charts [17] У У У У Нарисованные кривые
Обобщенные парные графики [10] У У У
Обобщенные матрицы графиков (GPLOM) [16] У У У
Геовизуальный аналитический подход [27] У У Перестраиваемые матрицы У Картографический цветной метод проектирования
■ У
Супервизорные тепловые карты [14]
Пример такого комплексного использования показан на рис из [34]. В работе интегрируется метод RadViz и метод параллельных координат, два метода способны обрабатывать многомерные наборы данных, опираясь на их контрастные характеристики. Со стороне RadViz предлагаются хорошие прямые методы манипулирования данными (т. е. очистки) и низкая захламленность, но они дают сбои в обеспечении визуализации количественной информации; и наоборот, параллельные координаты четко показывают значения атрибутов данных и их значений, но страдают от высокой захламление также на небольших наборах данных и представлены утомительными методиками манипуляции. В работе разработан прототип, называемый SpringView, который позволяет выполнять одновременный просмотр с использованием обоих методов, т.е. RadViz и параллельных координат (рис. 16) и реализует несколько полезных методов для манипуляции данными, как интерактивно, так и, что более интересно, автоматически.
Рис. 16. SprmgView: Объединение Radviz и параллельных координат для оптимизации просмотра и
сокращения хаоса
На рис. 17 из [35] показан результат работы составного метода многомерной визуализации, который основан на расширенной круговой компоновке параллельных координат (eCLPCs) и интегрирован с точками и линиями. Используются преимущества параллельных координат, кривых Эндрюса, диаграмм рассеивания и радиальных координат. Следуя схеме круговой компоновки параллельных координат, создается новая схема, включающая три слоя, от внешнего слоя к внутреннему в отдельности. Во-первых, это кривые Эндрюса, объединяемые с параллельными координатами для визуализации линейной зависимости нескольких выбранных размерностей, далее соединения линий или совокупности точек, чтобы проиллюстрировать отношения выбранного измерения с другими
измерениями, и радиальные координаты реализуются с моделью Spring Model для повышения общих эффектов кластеризации.
Рис. 17. Расширенная круговая компоновка параллельных координат
5. Программное обеспечение
В настоящее время существует большое количество ППП, в которых реализуются средства визуализации многомерных данных. Коммерческие продукты - это MATLAB, MS Excel. Также общемировая тенденция предоставления открытого кода коснулась и рассматриваемой проблемы. В настоящее время практическая реализация методов реализации доступна пользователям, как на уровне коммерческих продуктов, так и программ в открытом коде.
Среди часто используемых пакетов прикладных программ, в которых имеются базовые средства визуализации - MS Office, где реализованы методы построения традиционных диаграмм, и MATLAB, палитра которого намного шире: (http://www.mathworks.com/help/stats/examples.html#d0e166) и http://www.mathworks.com/help/stats/examples/visualizing-multivariate-data.html#stats product-mvplotdemoamples)
Однако, как показал обзор литературы, следует признать актуальным использование R — языка программирования для статистической обработки данных и работы с графикой, а также свободной программной среды вычислений с открытым исходным кодом в рамках проекта GNU. Ссылкой на доступ к языку и пакетам расширения является CRAN -Comprehensive R Archive Network (http://cran.r-project.org/) и десятки зеркал, в том числе российское зеркало (https ://cran .gis-lab.info).
Пакет Ggally (https://ggobi.github.io/ggally), (https://github.com/ggobi/ggally) является расширением R пакета ggplot2 (http://docs.ggplot2.org/current) - системы построения графиков, в который добавлены нескольку функций для сокращения сложности геометриче-
ских объектов путем преобразования данных. Также добавлены такие средства визуализации, как матрицы парных графиков, матрицы диаграмм, представления в параллельных координатах, функции для отображения сетей.
Для построения супертепловых карт имеется свой ресурс (https:// github. com/rlbarter/superheat).
Для русскоязычных пользователей будет интересен ресурс, на котором размещаются актуальные ссылки, связанные с языком R как средством анализа и визуализации данных и пакетами расширения (https://r-analytics.blogspot)
Приложения для визуализации также создаются на языке Python. Для этого языка имеется библиотека Matplotlib - для визуализации данных 2D и 3D графики (Python's Matplot lib— https://matplotlib.org). Имеется также русскоязычный ресурс по Matplotlib (https://jenyay.net/Matplotlib/Matplotlib). Одна из основных визуализаций - кривые Эндрю-са, также представлена в виде примера на языке Matplotlib ( glowingpython.blogspot.ru/2014/10/andrews-curves.html ).
Такие методы, как параллельные координаты, реализуются на Java приложении ParVis (http://www.mediavirus.org/parvis) и Protovis http ://vis.stanford.edu/protovi s/ex/cars .html.
Интерактивная визуализация создается на сайте https://exposetada.com/nutrient. Для создания мультимедиа приложений - графики, анимации, разнообразных визуализаций и интерактивных приложений используется Processing- открытый язык программирования, основанный на Java (основной ресурс https://processing.org/ и русскоязычный ресурс https://habrahabr.ru/blogs/programming/58314/)
Визуализация методов оптимизации отражена на таких ресурсах, как: визуализация оптимизационного метода роя частиц - используется платформа на открытом коде SwarmViz (https://github .com/epfl-disal/SwarmVi z.git)
Для Генетического алгоритма для визуализации имеется тулбокс MATLAB GEATbx
Заключение
Бурное развитие методов визуализации связано как с совершенствованием программно - аппаратных средств, так и появлением новых задач, таких, как представление и поиск информации в Интернете, генетические исследования, новые алгоритмы многокритериальной оптимизации, визуализация бизнес-процессов, социальных исследований и многое другое. Методы визуализации многомерных данных не просто активно совершенствуются, но в настоящее время имеют доступную программную реализацию, в том числе в открытом коде. Это делает их чрезвычайно привлекательными для практического применения прикладными специалистами, однако отсутствие базовых представлений о преимуществах и недостатках того или иного метода, в частности особенностей восприятия, адекватной кластеризации, отсутствия серьёзных искажений информации и т.п. может принести скорее вред, чем пользу. Весьма полезны в связи с этим не только обзоры по прикладным аспектам методов визуализации, но и разработка сквозных примеров в определенной предметной области, например, при проведении всеобъемлющего многовариантного анализа технических систем. Знание достоинств и недостатков методов и их связь
с конкретными задачами позволяет выбрать адекватные поставленной задаче методы визуализации. Применение таких технологий не только в анализе, но и синтезе систем, опирающееся на связь методов визуализации и оптимизации, позволяет не просто совместно использовать указанные методы, но и взаимообогащать и искать новые подходы в решении альтернативных методов исследований.
Список литературы
1. Романова И.К. Применение аналитических методов к исследованию парето - оптимальных систем управления // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 4. С. 238-266. DOI: 10.7463/0414.0704897
2. Card S.K., Mackinlay J.D., Shneiderman B. Readings in information visualization: using vision to think. San Francisco: Morgan Kaufmann Publishers, 1999. 686 p.
3. Heer J., Bostock M., Ogievetsky V. A tour through the visualization zoo // Communications of the ACM. 2010. Vol. 53, iss. 6. P. 59-67. DOI: 10.1145/1743546.1743567
4. VanderPlas S., Hofmann Н. Spatial Reasoning and Data Displays // IEEE Transactions on Visualization and Computer Graphics. 2016. Vol. 22, iss. 1. P. 459-468. DOI: 10.1109/TVCG.2015.2469125
5. Setlur V., Stone M.C. A Linguistic Approach to Categorical Color Assignment for Data Visualization // IEEE Transactions on Visualization and Computer Graphics. 2016. Vol. 22, iss. 1. P. 698-707. DOI: 10.1109/TVCG.2015.2467471
6. Harrison L., Yang F., Franconeri S., Chang R. Ranking Visualizations of Correlation Using Weber's Law // IEEE Transactions on Visualization and Computer Graphics. 2014. Vol. 20, iss. 12. P. 1943-1952. DOI: 10.1109/TVCG.2014.2346979
7. Li J., Martens J.-B.,Wijk van J.J. Judging Correlation from Scatterplots and Parallel Coordinate Plots // Information Visualization. 2010. Vol. 9, no. 1. P. 13-30. DOI: 10.1057/ivs.2008.13
8. Fink M., Haunert J.-H., Spoerhase J., Wolff A. Selecting the Aspect Ratio of a Scatter Plot Based on Its Delaunay Triangulation // Proc. of the 29th European Workshop on Computational Geometry (EuroCG'13), 2013, 17-20 March, Braunschweig, Germany. Braunschweig, 2013. Режим доступа: http://www1.pub.informatik.uni-wuerzburg.de/pub/fink/paper/fhsw-sarsp-EuroCG13.pdf (дата обращения 02.02.2016).
9. Wu Y., Liu X., Liu S., Ma K.L. ViSizer: A Visualization Resizing Framework // IEEE Transactions on Visualization and Computer Graphics. 2013. Vol. 19, iss. 2. P. 278-290. DOI: 10.1109/TVCG.2012.114
10. Emerson J.W., Green W.A., Schloerke B., Crowley J., Cook D., Hofmann H., Wickham H. The Generalized Pairs Plot // Journal of Computational and Graphical Statistics. 2013. Vol. 22, iss. 1. P. 79-91. DOI: 10.1080/10618600.2012.694762
11. Healey C.G., Enns J.T. Large datasets at a glance: combining textures and colors in scientific visualization // IEEE Transactions on Visualization and Computer Graphics. 1999. Vol. 5, iss. 2. P. 145-167. DOI: 10.1109/2945.773807
12. Wilkinson L., Friendly M. The History of the Cluster Heat Map // American Statistician. 2009. Vol. 63, no. 2. P. 179-184.
13. Melcher J., Seese D. Visualization and Clustering of Business Process Collections Based on Process Metric Values // Proc. 10th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing (SYNASC '08). IEEE Publ., 2008. P. 572-575. DOI: 10.1109/SYNASC.2008.37
14. Barter R.L., Yu B. Superheat: Supervised heatmaps for visualizing complex data // ArXiv.org: website. Режим доступа: http://arxiv.org/abs/1512.01524 (дата обращения 01.02.2016).
15. Романова И.К. Формирование упрощенных нелинейных моделей для задач исследования движения тел сложной формы // Инженерный вестник. МГТУ им. Н.Э. Баумана. Электрон. журн. 2013. № 10. С. 581-594.
16. Im J.F., McGuffin M.J., Leung R. GPLOM: The Generalized Plot Matrix for Visualizing Multidimensional Multivariate Data // IEEE Transactions on Visualization and Computer Graphics. 2013. Vol. 19, iss. 12. P. 2606-2614. DOI: 10.1109/TVCG.2013.160
17. Viau C., McGuffin M.J. ConnectedCharts: Explicit Visualization of Relationships between Data Graphics // Computer graphics forum. 2012. Vol. 31, iss. 3. P. 1285-1294. DOI: 10.1111/j .1467-8659.2012.03121.x
18. Зиновьев А.Ю. Визуализация многомерных данных. Красноярск: Изд-во КГТУ, 2000. 180 с.
19. Brunsdon C., Fotheringham A.S., Charlton M.E. An Investigation of Methods for Visualising Highly Multivariate Datasets. Case Studies of Visualization in the Social Sciences / ed. by D. Unwin, P. Fisher. Technical Report Series 43. Joint Information Systems Committee, 1998. P. 55-80.
20. Principal Manifolds for Data Visualization and Dimension Reduction / Gorban A.N., Kégl B., Wunsch D.C., Zinovyev A., eds. Springer, 2007. 340 p. (Ser. Lecture Notes in Computational Science and Engineering; vol. 58).
21. Raidou R.G., Eisemann M., Breeuwer M., Eisemann E., Vilanova A. Orientation-Enhanced Parallel Coordinate Plots // IEEE Transactions on Visualization and Computer Graphics. 2016. Vol. 22, iss. 1. P. 589-598. DOI: 10.1109/TVCG.2015.2467872
22. Johansson J., Forsell C. Evaluation of Parallel Coordinates: Overview, Categorization and Guidelines for Future Research // IEEE Transactions on Visualization and Computer Graphics. 2016. Vol. 22, iss. 1. P. 579-588. DOI: 10.1109/TVCG.2015.2466992
23. Lu L.F., Huang M.L., Huang Т.Н. A New Axes Re-ordering Method in Parallel Coordinates Visualization // Proc. of the 11th International Conference on Machine Learning and Applications (ICMLA), 2012, 12-15 December, Boca Raton, USA. Boca Raton, 2012. P. 252-257. DOI: 10.1109/ICMLA.2012.148
24. Rubio-Sánchez M., Raya L., Diaz F., Sanchez A. A comparative study between RadViz and Star Coordinates // IEEE Transactions on Visualization and Computer Graphics. 2016. Vol. 22, iss. 1. P. 619-628. DOI: 10.1109/TVCG.2015.2467324
25. Gerber S., Bremer P.T., Pascucci V., Whitaker R. Visual Exploration of High Dimensional Scalar Functions // IEEE Transactions on Visualization and Computer Graphics. 2010. Vol. 16, iss. 6. P. 1271-1280. DOI: 10.1109/TVCG.2010.213
26. Rufiange S., McGuffin M.J. DiffAni: Visualizing Dynamic Graphs with a Hybrid of Difference Maps and Animation // IEEE Transactions on Visualization and Computer Graphics. 2013. Vol. 19, iss. 12. P. 2556-2565. DOI: 10.1109/TVCG.2013.149
27. Guo D., Chen J., MacEachren A.M., Liao K. A Visualization System for Space-Time and Multivariate Patterns (VIS-STAMP) // IEEE Transactions on Visualization and Computer Graphics. 2006. Vol. 12, iss. 6. P. 1461-1474. DOI: 10.1109/TVCG.2006.84
28. Nikander J., Kantola T., Virrantaus K. Exploratory vs. Model-Based Mobility Analysis // Nordic Journal of Surveying and Real Estate Research. 2012. Vol. 9, no. 1. P. 7-29.
29. McGuffin M.J., Jurisica I. Interaction Techniques for Selecting and Manipulating Subgraphs in Network Visualizations // IEEE Transactions on Visualization and Computer Graphics. 2009. Vol. 15, iss. 6. P. 937-944. DOI: 10.1109/TVCG.2009.151
30. Gharibnezhad F., Mujica Delgado L.E., Rodellar Benedé J. Damage detection using Andrew plots // Proc. of the 8th International workshop on structural health monitoring: inference lecture, 2011, 13-15 September, Stanford, USA. Stanford, 2011. Режим доступа: http://hdl.handle.net/2117/15392 (дата обращения 01.02.2016).
31. Грошев С.В., Пивоварова Н.В. Использование кривых Эндрюса для визуализации многомерных данных в задачах многокритериальной оптимизации // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 12. С. 197-214. DOI: 10.7463/1215.0825627
32. Walker D.J., Fieldsend J.E., Everson R.M. Visualising many-objective populations // Proc. of the 14th annual conference companion on Genetic and evolutionary computation (GECCO '12), 2012, New York, USA. New York, 2012. P. 451-458. DOI: 10.1145/2330784.2330853
33. Jornod G., Di Mario E., Navarro I., Martinoli A. SwarmViz: An open-source visualization tool for Particle Swarm Optimization // IEEE Congress on Evolutionary Computation (CEC), 2015, 25-28 May, Sendai, Japan. Sendai, 2015. P. 179-186. DOI: 10.1109/CEC.2015.7256890
34. Bertini E., Dell'Aquila L., Santucci G. SpringView: cooperation of radviz and parallel coor-
rH
dinates for view optimization and clutter reduction // Proc. of the 3 International Conference on Coordinated and Multiple Views in Exploratory Visualization (CMV 2005), 2005, 5 July, London, UK. London, 2005. P. 22-29. DOI: 10.1109/CMV.2005.17
35. Li M., Zhu M., Gan Q., Liang T. A Composite Multidimensional Visualization Method Based on eCLPCs // Journal of Computational Information Systems. 2015. Vol. 11, no. 16. P.5853-5864.
Science ¿Education
of the Bauinan MSTU
Science and Education of the Bauman MSTU, 2016, no. 03, pp. 133-167.
El
tft
tronic journa
iSSH 1994-0408
/
DOI: 10.7463/0316.0834876
Received:
14.02.2016
© Bauman Moscow State Technical Unversity
Modern Methods of Multidimensional Data Visualization: Analysis, Classification, Implementation, and Applications in Technical Systems
I.K. Romanova
1,*
maiti2003@y3ndes.ju :Bauman Moscow State Technical University, Moscow, Russia
Keywords: multivariate analysis of technical systems, visualization of multidimensional data,
perception, parallel coordinates, heat maps, scatter plots of the matrix, optimization, language R
The article deals with theoretical and practical aspects of solving the problem of visualization of multidimensional data as an effective means of multivariate analysis of systems. Several classifications are proposed for visualization techniques, according to data types, visualization objects, the method of transformation of coordinates and data. To represent classification are used charts with links to the relevant work. The article also proposes two classifications of modern trends in display technology, including integration of visualization techniques as one of the modern trends of development, along with the introduction of interactive technologies and the dynamics of development processes. It describes some approaches to the visualization problem, which are concerned with fulfilling the needs. The needs are generated by the relevant tasks such as information retrieval in global networks, development of bioinformatics, study and control of business processes, development of regions, etc. The article highlights modern visualization tools, which are capable of improving the efficiency of the multivariate analysis and searching for solutions in multi-objective optimization of technical systems, but are not very actively used for such studies. These are horizontal graphs, graphics "quantile-quantile", etc. The paper proposes to use Choropleth cards traditionally used in cartography for simultaneous presentation of the distribution parameters of several criteria in the space. It notes that visualizations of graphs in network applications can be more actively used to describe the control system. The article suggests using the heat maps to provide graphical representation of the sensitivity of the system quality criteria under variations of options (multivariate analysis of technical systems). It also mentions that it is useful to extend the supervising heat maps to the task of estimating quality of identify in constructing system models. A proposal is put forward to use the matrix scatter plots for a multivariate analysis of influence of technical system parameters on the criteria of quality, including those for reducing a dimension of the vector quality criterion and sensitivity analyses.
The paper marks not only external, but also internal relationship of visualization and optimization tasks that consists in the active use of optimization techniques in solving the problems
of visualization, and vice versa. We have presented an overview of software tools, including open code, which in practice not only allow us to apply visualization techniques, but also to improve the existing baseline methodology. The conclusions are made that the end-to-end visualization systems are to be built to study specific technical objects.
References
1. Romanova I.K. The application of analytical methods to the study of Pareto - optimal control systems. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the BaumanMSTU, 2014, no. 4, pp. 238-266. DOI: 10.7463/0414.0704897 (in Russian).
2. Card S.K., Mackinlay J.D., Shneiderman B. Readings in information visualization: using vision to think. San Francisco, Morgan Kaufmann Publishers, 1999. 686 p.
3. Heer J., Bostock M., Ogievetsky V. A tour through the visualization zoo. Communications of the ACM, 2010, vol. 53, iss. 6, pp. 59-67. DOI: 10.1145/1743546.1743567
4. VanderPlas S., Hofmann H. Spatial Reasoning and Data Displays. IEEE Transactions on Visualization and Computer Graphics, 2016, vol. 22, iss. 1, pp. 459-468. DOI: 10.1109/TVCG.2015.2469125
5. Setlur V., Stone M.C. A Linguistic Approach to Categorical Color Assignment for Data Visualization. IEEE Transactions on Visualization and Computer Graphics, 2016, vol. 22, iss. 1, pp. 698-707. DOI: 10.1109/TVCG.2015.2467471
6. Harrison L., Yang F., Franconeri S., Chang R. Ranking Visualizations of Correlation Using Weber's Law. IEEE Transactions on Visualization and Computer Graphics, 2014, vol. 20, iss. 12, pp. 1943-1952. DOI: 10.1109/TVCG.2014.2346979
7. Li J., Martens J.-B.,Wijk van J.J. Judging Correlation from Scatterplots and Parallel Coordinate Plots. Information Visualization, 2010, vol. 9, no. 1, pp. 13-30. DOI: 10.1057/ivs.2008.13
8. Fink M., Haunert J.-H., Spoerhase J., Wolff A. Selecting the Aspect Ratio of a Scatter Plot Based on Its Delaunay Triangulation. Proc. of the 29th European Workshop on Computational Geometry (EuroCG'13). 2013, 17-20 March, Braunschweig, Germany. Braunschweig, 2013. Available at: http://www1.pub.informatik.uni-wuerzburg.de/pub/fink/paper/fhsw-sarsp-EuroCG13.pdf , accessed 02.02.2016.
9. Wu Y., Liu X., Liu S., Ma K.L. ViSizer: A Visualization Resizing Framework. IEEE Transactions on Visualization and Computer Graphics, 2013, vol. 19, iss. 2, pp. 278-290. DOI: 10.1109/TVCG.2012.114
10. Emerson J.W., Green W.A., Schloerke B., Crowley J., Cook D., Hofmann H., Wickham H. The Generalized Pairs Plot. Journal of Computational and Graphical Statistics, 2013, vol. 22, iss. 1, pp. 79-91. DOI: 10.1080/10618600.2012.694762
11. Healey C.G., Enns J.T. Large datasets at a glance: combining textures and colors in scientific visualization. IEEE Transactions on Visualization and Computer Graphics, 1999, vol. 5, iss. 2, pp. 145-167. DOI: 10.1109/2945.773807
12. Wilkinson L., Friendly M. The History of the Cluster Heat Map. American Statistician, 2009, vol. 63, no. 2, pp. 179-184.
13. Melcher J., Seese D. Visualization and Clustering of Business Process Collections Based on Process Metric Values. Proc. 10th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing (SYNASC '08). IEEE Publ., 2008, pp. 572-575. DOI: 10.1109/SYNASC.2008.37
14. Barter R.L., Yu B. Superheat: Supervised heatmaps for visualizing complex data. ArXiv.org: website. Available at: http://arxiv.org/abs/1512.01524 , accessed 01.02.2016.
15. Romanova I.K. Formation of simplified nonlinear models for problems of research of motion of bodies of complex shape. Inzhenernyi vestnik MGTU im. N.E. Baumana = Engineering Herald of the Bauman MSTU, 2013, no. 10, pp. 581-594. (in Russian).
16. Im J.F., McGuffin M.J., Leung R. GPLOM: The Generalized Plot Matrix for Visualizing Multidimensional Multivariate Data. IEEE Transactions on Visualization and Computer Graphics, 2013, vol. 19, iss. 12, pp. 2606-2614. DOI: 10.1109/TVCG.2013.160
17. Viau C., McGuffin M.J. ConnectedCharts: Explicit Visualization of Relationships between Data Graphics. Computer graphics forum, 2012, vol. 31, iss. 3, pp. 1285-1294. DOI: 10.1111/j .1467-8659.2012.03121.x
18. Zinov'ev A.Yu. Vizualizatsiya mnogomernykh dannykh [Visualization of multidimensional data]. Krasnoyarsk, KGTU Publ., 2000. 180 p. (in Russian).
19. Brunsdon C., Fotheringham A.S., Charlton M.E.; Unwin D., Fisher P., eds. An Investigation of Methods for Visualising Highly Multivariate Datasets. Case Studies of Visualization in the Social Sciences. Technical Report Series 43. Joint Information Systems Committee, 1998, pp. 55-80.
20. Gorban A.N., Kégl B., Wunsch D.C., Zinovyev A., eds. Principal Manifolds for Data Visualization and Dimension Reduction. Springer, 2007, 340 p. (Ser. Lecture Notes in Computational Science and Engineering; vol. 58).
21. Raidou R.G., Eisemann M., Breeuwer M., Eisemann E., Vilanova A. Orientation-Enhanced Parallel Coordinate Plots. IEEE Transactions on Visualization and Computer Graphics, 2016, vol. 22, iss. 1, pp. 589-598. DOI: 10.1109/TVCG.2015.2467872
22. Johansson J., Forsell C. Evaluation of Parallel Coordinates: Overview, Categorization and Guidelines for Future Research. IEEE Transactions on Visualization and Computer Graphics, 2016, vol. 22, iss. 1, pp. 579-588. DOI: 10.1109/TVCG.2015.2466992
23. Lu L.F., Huang M.L., Huang T.H. A New Axes Re-ordering Method in Parallel Coordinates Visualization. Proc. of the 11th International Conference on Machine Learning and Applications (ICMLA). 2012, 12-15 December, Boca Raton, USA. Boca Raton, 2012, pp. 252-257. DOI: 10.1109/ICMLA.2012.148
24. Rubio-Sánchez M., Raya L., Diaz F., Sanchez A. A comparative study between RadViz and Star Coordinates. IEEE Transactions on Visualization and Computer Graphics, 2016, vol. 22, iss. 1, pp. 619-628. DOI: 10.1109/TVCG.2015.2467324
25. Gerber S., Bremer P.T., Pascucci V., Whitaker R. Visual Exploration of High Dimensional Scalar Functions. IEEE Transactions on Visualization and Computer Graphics, 2010, vol. 16, iss. 6, pp. 1271-1280. DOI: 10.1109/TVCG.2010.213
26. Rufiange S., McGuffin M.J. DiffAni: Visualizing Dynamic Graphs with a Hybrid of Difference Maps and Animation. IEEE Transactions on Visualization and Computer Graphics, 2013, vol. 19, iss. 12, pp. 2556-2565. DOI: 10.1109/TVCG.2013.149
27. Guo D., Chen J., MacEachren A.M., Liao K. A Visualization System for Space-Time and Multivariate Patterns (VIS-STAMP). IEEE Transactions on Visualization and Computer Graphics, 2006, vol. 12, iss. 6, pp. 1461-1474. DOI: 10.1109/TVCG.2006.84
28. Nikander J., Kantola T., Virrantaus K. Exploratory vs. Model-Based Mobility Analysis. Nordic Journal of Surveying and Real Estate Research, 2012, vol. 9, no. 1, pp. 7-29.
29. McGuffin M.J., Jurisica I. Interaction Techniques for Selecting and Manipulating Subgraphs in Network Visualizations. IEEE Transactions on Visualization and Computer Graphics, 2009, vol. 15, iss. 6, pp. 937-944. DOI: 10.1109/TVCG.2009.151
30. Gharibnezhad F., Mujica Delgado L.E., Rodellar Benedé J. Damage detection using Andrew plots. Proc. of the 8th International workshop on structural health monitoring: œnference lecture. 2011, 13-15 September, Stanford, USA. Stanford, 2011. Available at: http://hdl.handle.net/2117/15392 , accessed 01.02.2016.
31. Groshev S.V., Pivovarova N.V. Using the Andrews Plotss to Visualize Multidimensional Data in Multi-criteria Optimization. Nauka i obrazovanie MGTUim. N.E. Baumana = Science and Education of the Bauman MSTU, 2015, no. 12, pp. 197-214. DOI: 10.7463/1215.0825627
32. Walker D.J., Fieldsend J.E., Everson R.M. Visualising many-objective populations. Proc. of the 14th annual conference companion on Genetic and evolutionary computation (GECCO '12). 2012, New York, USA. New York, 2012, pp. 451-458. DOI: 10.1145/2330784.2330853
33. Jornod G., Di Mario E., Navarro I., Martinoli A. SwarmViz: An open-source visualization tool for Particle Swarm Optimization. IEEE Congress on Evolutionary Computation (CEC). 2015, 25-28 May, Sendai, Japan. Sendai, 2015, pp. 179-186. DOI: 10.1109/CEC.2015.7256890
34. Bertini E., Dell'Aquila L., Santucci G. SpringView: cooperation of radviz and parallel coordinates for view optimization and clutter reduction. Proc. of the 3rd International Conference on Coordinated and Multiple Views in Exploratory Visualization (CMV 2005). 2005, 5 July, London, UK. London, 2005, pp. 22-29. DOI: 10.1109/CMV.2005.17
35. Li M., Zhu M., Gan Q., Liang T. A Composite Multidimensional Visualization Method Based on eCLPCs. Journal of Computational Information Systems, 2015, vol. 11, no. 16, pp. 5853-5864.
