CC BY
533
УДК 004.4:519.81 Дата подачи статьи: 29.04.2013
СИСТЕМА МНОГОКРИТЕРИАЛЬНОГО АНАЛИЗА РЕШЕНИЙ DecernsMCDA И ЕЕ ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ
(Работа выполнена в рамках международного проекта МНТЦ№ 3549, а также при финансовой поддержке Минобрнауки РФ в рамках проекта ФЦП (Информатика) 14.740.11.0360)
Б.И. Яцало, д.т.н., зав. кафедрой; С.В. Грицюк, к.т.н., ведущий программист; В.И. Диденко, зав. центром информационных технологий; О.А. Мирзеабасов, к.т.н., доцент (Обнинский институт атомной энергетики - филиал «Национального исследовательского ядерного университета «МИФИ», Студгородок, 1, г. Обнинск, 249040, Россия, [email protected], [email protected], [email protected], [email protected])
Планирование землепользования, охрана окружающей среды, управление техногенными, финансовыми и другими рисками требуют применения современных компьютерных систем поддержки принятия решений. Такие системы базируются на эффективном использовании элементов геоинформационных систем для анализа и представления пространственных данных, а также методов поддержки принятия решений, зачастую основанных на использовании моделей и средств многокритериального анализа решений. В работе представлена компьютерная система поддержки принятия решений DecernsMCDA, включающая основные классические и ряд оригинальных методов решения (дискретных) многокритериальных задач. Приведен обзор разработанных ранее компьютерных систем многокритериального анализа решений (указаны используемые методы многокритериального анализа решений и соответствующие ссылки). Даны описание структуры DecernsMCDA, ее основных компонент и отличий от существующих систем, а также краткое описание входящих в систему моделей многокритериального анализа, в том числе методов учета неопределенностей с применением вероятностных алгоритмов и нечетких множеств. Приведены ссылки на практическое использование DecernsMCDA для решения широкого круга многокритериальных задач планирования землепользования, реабилитации техногенно загрязненных территорий и управления рисками различной природы.
Ключевые слова: система поддержки принятия решений, многокритериальный анализ решений, анализ неопределенностей, управление рисками, планирование землепользования, проект DECERNS.
THE SYSTEM FOR MULTI-CRITERIA DECISION ANALYSIS DecernsMCDA AND ITS PRACTICAL APPLICATION
(The work was done in the frame of international project ISTC № 3549, and with financial support from the Ministry of Education and Science of the Russian Federation in the frame of the project Federal Target Program
(Computer Science) 14.740.11.0360) Yatsalo B.I., Dr.Sc. (Engineering), Head of Chair; GritsyukS. V. , Ph.D. (Engineering), Leading Programmer;
Didenko V. I., Head of IT Lab; Mirzeabasov O. A., Ph.D. (Engineering), Associate Professor (Obninsk Institute for Nuclear Power Engineering - branch of National Research Nuclear University MEPhI, Studgorodok, 1, Obninsk 249040, Russian Federation; OINPE NRNUMEPhI, [email protected], [email protected]., [email protected], [email protected])
Received 29.04.2013
Abstract. Land-use planning, environmental protection, and risk management require the use of up-to-date decision support systems. Such systems are based on effective implementation of geographic information systems (GIS) to analyse and represent spatial data as well as on multicriteria decision analysis (MCDA) methods and tools. The paper describes DecernsMCDA decision support system. It includes different well-known and several original methods to analyse discrete multicriteria problems. The authors present a survey of MCDA software. There is a description of the DecernsMCDA structure. Its difference from existing systems is pointed out. A brief description of multicriteria models included in DecernsMCDA is presented. It includes the methods for uncertainty analysis based on probabilistic approaches and fuzzy sets. The paper presents the references to the examples of DecernsMCDA practical application for solving multicriteria problems related to land-use planning and risk management.
Keywords: decision support system, multi-criteria decision analysis, uncertainty analysis, risk management, land-use planning, Decerns project.
Подходы к решению широкого круга управленческих задач, основанные на принципах транспарентности, обоснованности и учета компромиссов между различными заинтересованными в принятии решений сторонами, невозможны без использования современных методов поддержки принятия решений (ППР) и систем ППР (СППР) [1-4]. Планирование землепользования, управление рисками в рамках защиты населения и реабилитации техногенно загрязненных территорий, охраны окружающей среды и сохранения биоразнообразия, расположения мест строительства промышленных и социальных объектов и многие другие научно-практические задачи требуют использования не только геоинформационных (ГИС) технологий для обработки и представления пространственных данных, но и методов многокритериального анализа решений (МКАР; Multi-Criteria Decision Analysis, MCDA) для всесторонней оценки множества альтернатив [5-13].
В данной работе приведено краткое описание оригинальной системы DecernsMCDA, предназначенной для многокритериального анализа широкого спектра научно-практических задач с возможностью использования различных методов/ моделей МКАР; необходимо отметить, что методы и средства DecernsMCDA являются также компонентом интегрированной пространственной СППР (ПСППР, Spatial Decision Support System, SDSS) DecernsSDSS [14-18], разработанной в рамках международного проекта DECERNS (Decision Evaluation in Complex Risk Network Systems) для решения задач управления рисками и планирования землепользования [14, 15].
Цели и задачи МКАР
В рамках современных представлений различных школ в области анализа решений целью
МКАР в широком смысле является содействие ЛПР в изучении и понимании рассматриваемой проблемы, включая вопросы структурирования множества целей/критериев и альтернатив; последовательная реализация процедур МКАР способствует конкретизации целей, ценностей и предпочтений ЛПР, экспертов и других заинтересованных лиц или сторон [19, 20].
Методы МКАР представляют собой систематизированную процедуру анализа множества альтернатив с использованием нескольких критериев с целью преодоления ограничений неструктурированного индивидуального или группового принятия решений [20]. МКАР направлен на процесс ППР, целями которого являются интеграция объективных показателей с субъективными оценками и управление процессами, активно использующими субъективные суждения и объективные показатели, в том числе управление транспарентностью всех основных шагов и этапов решения многокритериальных задач.
Таким образом, в рамках современной трактовки многокритериальный анализ представляет собой методологию, в которой исследование проблемы с уже сформированным множеством альтернатив и критериев представляет собой только составную часть процесса многокритериального анализа; на рисунке 1 дана обобщенная схема процесса МКАР (для дискретных многокритериальных задач класса MADM (Multi-Attribute Decision Making)).
Необходимо подчеркнуть важность учета неопределенностей в процессе решения многокритериальных задач. При этом используются как методы анализа чувствительности результатов оценок к изменению параметров выбранной модели (или группы моделей) конкретной многокритериальной задачи, так и комплексный анализ неопределенностей объективных и субъективных значе-
ний используемых критериев и предпочтений (в рамках определенной модели МКАР) c применением методов теории вероятностей и нечетких множеств [20-22].
Наиболее востребованными являются следующие категории проблем, решаемых с использованием методов МКАР [20]:
- отбор альтернатив (screening) - процесс отсеивания (отбраковки) альтернатив из множества возможных/заданных, то есть формирование су-
женного/меньшего множества альтернатив, которое содержит допустимые или лучшие альтернативы;
- поиск наиболее предпочтительной альтернативы из множества рассматриваемых (choice problem);
- ранжирование (ranking) альтернатив (от наиболее предпочтительной до наименее предпочтительной с учетом всех оценок и предпочтений);
- классификация/сортировка альтернатив по классам/категориям (sorting problem; например, неприемлемые, возможно приемлемые, определенно приемлемые альтернативы и т.п.).
В ряде работ рассматриваются также и другие виды многокритериальных задач, в том числе проектирование или поиск новых альтернатив, изучение проблемы с целью более глубокого понимания допустимых или достижимых решений, а также формирование портфеля альтернатив (portfolio problems) с учетом их взаимосвязей [20, 21].
В рамках МКАР можно выделить следующие основные дихотомии [8, 20]:
- многоатрибутивный анализ решений MADM (многокритериальный анализ нескольких заданных явным образом альтернатив) против многоцелевого анализа решений MODM (Multi-Objective Decision Making, исследуется потенциально бесконечное или очень большое множество неявно заданных альтернатив с использованием нескольких критериев);
- анализ решений в условиях определенности против анализа решений в условиях неопределенности;
- индивидуальный анализ решений против группового.
Краткий обзор компьютерных систем МКАР
Методы МКАР и соответствующие им компьютерные системы (КС) предлагают широкий спектр подходов к анализу и сравнению альтернатив с использованием объективных и субъективных, количественных и качественных значений критериев и суждений. В данной статье обсуждаются КС, реализующие модели/методы MADM.
К настоящему времени разработан целый ряд академических и коммерческих КС, реализующих различные модели и дополнительные средства для решения всех основных задач МКАР (многокритериальных задач выбора, ранжирования, сортировки и др.), в том числе для всех указанных выше дихотомий [20, 21].
Перечислим наиболее известные и востребованные КС, реализующие те или иные модели МКАР, и опишем их особенности.
1. КС для структурирования задач.
Decision Explorer (www.banxia.com), Mind Manager 4.0 (www.mind-map.com) - средства
структурирования задач, включая средства визуальной поддержки процесса формирование идей, концепций, критериев и их взаимосвязей с использованием 2D/3D-графики. Не содержат методов МКАP.
2. КС для МКАР.
Criterium DecisionPlus (www.infoharvest.com). Pеализация методов MAVT и AHP; поддержка методов структурирования (дерево критериев); анализ неопределенности/чувствительности. Pазрабо-таны версии веб-системы поддержки группового метода анализа решений с ограниченными возможностями.
Decision Lab (www.visualdecision.com). Pеали-зация метода PROMETHEE; поддержка геометрического метода анализа векторов значения альтернатив в пространстве критериев GAIA; анализ чувствительности; поддержка различных сценариев в рамках решения задачи; наличие версии с поддержкой группового метода анализа решений.
Expert Choice (www.expertchoice.com). Pеализа-ция метода AHP; поддержка методов структурирования (дерево критериев); анализ чувствительности. Pазработаны версии веб-систем поддержки группового метода анализа решений (Team Expert Choice).
HIPRE (www.hipre.hut.fi). Pеализация методов MAVT и AHP; возможность использования интервальных значений; анализ неопределенности/чувствительности. Pазработана веб-версия (Web-HIPRE) поддержки группового метода анализа решений.
SANNA (http://nb.vse.cz/~jablon/sanna.htm). Представляет собой приложение для MS Excel, реализующее методы TOPSIS, ELECTRE I, PRO-METHEE-II.
Decision Deck (www.decision-deck.org). В рамках проекта Decision Deck разрабатываются стандарты и платформа для создания открытого ПО (Open Source software), реализующего различные этапы разработки и использования средств МКАP.
JSMAA (www.smaa.fi). Открытое ПО, реализующее методы SMAA-2 и SMAA-TRI («стохастическая реализация методов MAVT и ELECTRE-TRI» для выбора и сортировки альтернатив на основе концепции приемлемости).
DecernsMCDA (www.deesoft.ru). Открытое ПО, реализованы методы MADM для выбора, сортировки и ранжирования альтернатив, в том числе анализа чувствительности и учета неопределенностей: MAVT, MAUT, AHP, TOPSIS, PROME-THEE, FlowSort, ProMAA, FMAA, F-MAVT.
3. Другие системы МКАР, которые могут быть найдены в публикациях [20, 21] и в Интернете (http://www. isy. vcu. edu/~hweistro/mcdmchapter. htm, http://www. cs.put.poznan.pl/ewgmcda/) : ELECTRE IS, III-IV, TRI; Equity; HIVIEW; MACBETH; MIIDAS; MINORA; NAIADE; PRIAM; REMBRANDT; UTA Plus; IRIS; PREFDIS; TOMASO;
AGAP; MEDIATOR; SCDAS; GMCR; VISA; ACA-DEA; DIMITRA; ESY; INVEX, MARKEX; MEDICS; SANEX; FINCLASS...
При всем разнообразии указанных КС необходимо отметить, что значительная часть из них не поддерживаются разработчиками, другие предназначены для реализации специфических методов и фактически могут быть использованы только специалистами или применяются для решения определенного круга прикладных задач (финансовых, экологических, медицинских и др.). В то же время ряд КС являются востребованными и весьма популярными у широкого круга пользователей. Среди таких систем можно выделить Criterium DecisionPlus, Expert Choice и Decision Lab.
Criterium DecisionPlus - это удобный инструмент как для структурирования многокритериальной задачи с использованием дерева критериев (value tree), так и для реализации дальнейшего процесса МКАР с применением методов (по выбору пользователя) MAVT или AHP [20, 21, 23]; пользователю предоставлены также ограниченные возможности учета неопределенностей значения критериев и проведения анализа чувствительности результатов ранжирования альтернатив к изменению весовых коэффициентов критериев.
Expert Choice представляет собой классический вариант системы, реализующей метод AHP [20, 21] и ряд средств, включая вопросы иерархической структуры целей/критериев многокритериальной задачи и анализа чувствительности результатов к изменению весовых коэффициентов.
В рамках КС Decision Lab реализован один из наиболее популярных методов МКАР из семейства моделей оценки превосходства (outranking) -PROMETHEE, включая PROMETHEE-I и PRO-METHEE-II [20, 21, 24]. Гибкий интерфейс системы предоставляет пользователю удобный инструментарий для задания всех параметров модели PROMETHEE и анализа чувствительности к изменению весов критериев, геометрическую поддержку анализа векторных значений моделируемых величин для многокритериальной оценки альтернатив с использованием встроенного приложения GAIA, а также возможность анализа нескольких сценариев исследования многокритериальной задачи.
Особое место в списке используемых для решения научно-прикладных многокритериальных задач занимает КС JSMAA. Система представляет собой java-реализацию методов SMAA (Stochastic Multicriteria Acceptability Analysis) с применением алгоритмов Монте-Карло для учета неопределенностей значений критериев и весовых коэффициентов и выбора лучших альтернатив (метод SMAA-2, основанный на использовании модели MAVT), а также сортировки альтернатив (метод SMAA-TRI, представляющий собой стохастическую реализацию модели ELECTRE-TRI) [25-27].
КС DecernsMCDA
Представляемая КС DecernsMCDA разработана авторами в рамках международного проекта DECERNS (Decision Evaluation in Complex Risk Network Systems) [14, 15]. Реализованы следующие варианты использования данной системы: автономная/настольная (desktop) система, веб-система, расположенная на сервере пользователя или разработчика, а также как компонент Веб-ПСППР DecernsSDSS, интегрирующий функции ГИС и средства МКАР для решения широкого класса задач управления рисками (включая задачи охраны окружающей среды и защиты населения, реабилитации техногенно загрязненных территорий, планирования землепользования и размещения различного рода промышленных и социальных объектов) [15-18].
Входящие в DecernsMCDA методы и средства позволяют последовательно реализовать процесс решения многокритериальной задачи, указанный на рисунке 1; при этом пользователи системы могут выбрать одну или несколько моделей МКАР для решения конкретной задачи. Обобщенная структура DecernsMCDA с указанием основных входящих в систему методов и средств анализа представлена на рисунке 2.
В рамках DecernsMCDA реализованы базовые и продвинутые модели класса MADM (модели анализа дискретных задач МКАР).
К базовым моделям MADM относятся следующие.
• MAVT (Multi-Attribute Value Theory) [20, 23]. Реализованная в системе аддитивная модель MAVT основана в том числе и на выборе экспертами/пользователями (линейной или над/под-линейной) функции ценности (partial value function) для каждого критерия по данным значений критерия для всех альтернатив, а также на задании весовых коэффициентов критериев (коэффициентов масштабирования) на основе метода swing с использованием соответствующих средств задания весов. Метод позволяет ранжировать альтернативы на основе вычисленных значений интегральной ценности исследуемых альтернатив.
• AHP (Analytic Hierarchy Process) [20, 21]. Метод основан на попарном сравнении экспертами/пользователями альтернатив для каждого критерия в заданной шкале отношений, а также на попарном сравнении критериев с учетом их иерархической структуры (дерева критериев). При этом заполняются соответствующие матрицы попарного сравнения. Метод AHP также позволяет
rC
Инструменты
Дерево критериев
Таблица характеристик
Value Path
Scatter Plot
Доминирование
rC
Значения критериев и весов
Действительное число
Плотность распределения
^ Нечеткое число
{
Взвешивание
Прямое
^ Ранжирование
^ Рейтинг
Попарное сравнение
^ Swing
1
Анализ
Весовые коэффициенты
^ Функция ценности
Рис. 2. Схематичное представление методов и средств DecernsMCDA Fig. 2. A sceme representing DecernsMCDA methods and tools
ранжировать альтернативы на основе вычисленных значений интегральной ценности.
• TOPSIS (Technique for Order Preference by Similarity to the Ideal Solution) [8, 28]. По заданным в таблице характеристик данным определяются идеальная и антиидеальная альтернативы. После этого с использованием реализованной в системе метрики, заданной в многомерном пространстве критериев, определяется (взвешенное) расстояние от каждой из альтернатив до идеальной и антиидеальной точки/альтернативы. На основе комплексного критерия метода проводится ранжирование альтернатив.
• PROMETHEE (Preference Ranking Organization METHod for Enrichment Evaluations) [24]. Это один из самых востребованных методов МКАР из класса методов ORT (Outranking Relation Theory) [20, 21]. В системе реализован как метод PROME-THEE-I (допускающий частичное ранжирование альтернатив в рамках выбранной модели), так и метод PROMETHEE-II с возможностями полного упорядочения/ранжирования альтернатив.
• FlowSort [29]. Многокритериальный метод сортировки альтернатив по заданным категориям/группам (например, зона высокого риска, зона среднего риска, зона низкого риска). Используемые и реализованные в системе алгоритмы близки по своему содержанию к алгоритмам PROME-THEE, обобщенным и модифицированным для решения задач многокритериальной сортировки.
Продвинутые модели MADM требуют более сложной структуры входных данных и соответствующих компьютерных средств их реализации, к их числу относятся следующие.
• MAUT (Multi-Attribute Utility Theory) [21, 23]. Представляет собой фактически обобщение/расширение модели MAVT, в рамках которой значения критериев могут описываться случайными величинами. В системе реализована аддитивная модель MAUT. Ранжирование альтернатив основано на вычислении математического ожидания интегральной полезности каждой альтернативы.
• ProMAA (Probabilistic Multi-criteria Acceptability Analysis). Разработанный авторами метод [30, 31], основанный на модификации модели MAVT с переходом на концепцию приемлемости альтернатив, предназначен для учета/усвоения неопределенностей значений критериев и весовых коэффициентов. В системе разработаны средства задания различных видов плотностей случайных/распределенных величин - значений критериев и весовых коэффициентов. На основе заданных распределений вероятностей вычисляется матрица индексов приемлемости {Pik} - вероятностей того, что альтернатива i может иметь ранг k. Метод ProMAA предназначен для выбора лучшей (лучших) альтернативы на основе концепции приемлемости (в отличие от классических методов
MAUT/MAVT, основанных на концепции определения значений ожидаемой полезности/ценности) и является родственным методу SMAA-2 [25-27]. Отличие состоит в трактовке исходных распределений (прежде всего весовых коэффициентов) и методов реализации: SMAA основан на реализации алгоритмов Монте-Карло [25], в то время как в ProMAA используются алгоритмы оценки распределений функций от случайных величин (на основе вычисления соответствующих интегралов без применения методов Монте-Карло) [30, 31]. Отметим, что КС DecernsMCDA является более гибкой, чем КС JSMAA: в Decerns нет ограничений на возможность задания распределений весов и более широкий выбор возможных распределений случайных величин. В отличие от JSMAA в Decerns можно задавать нелинейные частные функции ценности, в том числе проводить анализ чувствительности результатов оценки к изменению функций ценности для заданных критериев. При одинаковых условиях (и линейных функциях ценности) различия между оценками по методам ProMAA и SMAA-2 (полученными по Decerns-MCDA и JSMAA) не являются практически значимыми.
• FMAA (Fuzzy Multi-criteria Acceptability Analysis). Разработанный авторами метод [31] фактически представляет собой модификацию метода ProMAA при использовании нечетких значений критериев и весовых коэффициентов. С использованием нечетких чисел и нечеткой логики вычисляется матрица индексов приемлемости {Fit} - нечеткой меры того, что альтернатива i может иметь ранг k. Метод FMAA предназначен также для выбора лучшей (лучших) альтернативы на основе концепции (нечеткой) приемлемости. В системе разработаны средства задания различных видов нечетких чисел - значений критериев и весовых коэффициентов. Метод FMAA и соответствующий, реализованный в DecernsMCDA модуль не имеют аналогов.
• F-MAVT (Fuzzy MAVT). Разработанный авторами метод и модуль системы DecernsMCDA фактически являются расширением аддитивной модели MAVT с возможностью использования нечетких значений критериев и весов. В нем реализованы алгоритмы вычисления функций от нечетких чисел. Вычисляемые нечеткие значения (нечеткие числа) интегральной ценности альтернатив могут сравниваться как визуально, так и с использованием нескольких методов сравнения нечетких чисел.
Реализация методов МКАР, в которых используются распределения вероятностей (MAUT и ProMAA), базируется на применении оригинальной библиотеки программных модулей для вычисления распределений функций от случайных величин (без применения методов Монте-Карло); аналогично для реализации нечетких методов
(FMAA, F-MAVT) разработана оригинальная библиотека для вычисления функций от нечетких величин.
Для эффективного использования входящих в DecernsMCDA методов и реализации процесса ППР используются следующие средства анализа решений:
- дерево критериев (value tree) - незаменимый инструмент в процессе структурирования многокритериальной задачи, транспарентности хода ее обсуждения, задания и редактирования (иерархии) целей/критериев и альтернатив; в системе реализованы и возможности выбора модели для решения исследуемой многокритериальной задачи через интерфейс дерева критериев, включая ввод данных для заданных критериев и альтернатив, а также задание модельных параметров, в том числе весовых коэффициентов, характеристик функций ценности и др. (рис. 3);
Цена
vf \ 'V <;* ,■ A3 - Lancer
Выбор автомобиля
Расход vf
Разгон vf
A4 - Sportage
Рис. 3. Дерево критериев в DecernsMCDA Fig. 3. A criteria tree for DecernsMCDA
- таблица характеристик (performance table) -инструмент для ввода, анализа и редактирования данных критериев для рассматриваемых альтернатив (все подобные функции/данные дерева критериев и матрицы характеристик сопряжены); в системе реализована расширенная таблица характеристик, включающая значения весов критериев, размерности данных, а также описание характеристик модели (рис. 4);
- графики значения критериев для рассматриваемых альтернатив (value path) (см. рис. 5), а также графики разброса значений критериев (scatter plot) на двухмерной плоскости заданных критериев;
- средства анализа чувствительности результатов ранжирования альтернатив к изменению весовых коэффициентов (рис. 6) (для методов MAVT, MAUT, AHP, TOPSIS, PROMETHEE) и к изменению функции ценности/полезности (рис. 7) (для методов MAVT, MAUT, ProMAA, FMAA, F-MAVT).
Согласно проведенному выше описанию методов и средств, анализ неопределенностей в широком смысле в рамках DecernsMCDA реализуется через применение анализа чувствительности к изменению весовых коэффициентов и/или функций ценностей в соответствующих методах, а также через учет неопределенности критериев и весовых коэффициентов (при использовании РгоМАА, FMAA и F-MAVT) с применением вероятностных методов и нечетких множеств.
Решая конкретную многокритериальную задачу, пользователи DecernsMCDA имеют возможность выбрать подходящий метод МКАР и при доступности необходимых данных и корректности применения сравнить решения, полученные с использованием различных методов МКАР [30]. Такой подход может рассматриваться как расширенный анализ неопределенностей к выбору модели анализа решений [13, 30]. Переход от одного метода к другому является простым и гибким - дерево критериев общее, таблица характеристик сопряжена с выбранным методом (в том числе и веса критериев). В то же время при первом переходе от одного метода к другому весовые коэффициенты
Лучшая 519,00 \ / \ '' \ \ ' \ ' 385,00 \ / \ / \ / \ / \ / 1 / 3,90 \ / \ ! \ / \ / \ / \ / 5,20 А7 - Jaguar А5 - Q7
\Vx / .. h ■-"" ЛЛ-<\ч 4 \ / , / / 1 / •■*' \ Л 4 /" / V. ' A \\ ! ; ' -i Л.- A3 - Lancer A6 - Prius age
/ Л ' ч / ' Ч ' \\ . .-■" ■»% / '""Ч / /' v- л\ '■' \\ / À ."/ \\
Худшая ' *V / v' /♦*/ /1 \ ■•• * ' v // \Ч ' ' v \ ! A2 - Astra
4770,00 75,00 11,20 14,50 A1 - Р207
Цена Мощность Расход Разгон
Рис. 5. График значения альтернатив по критериям (Value Path) в DecernsMCDA
Fig. 5. A Value Path in DecernsMCDA
А1 - Р207
А2 - Astra
Dw
А5 - Q7
А6 - Prius
А7 - Jaguar
Рис. 6. Анализ чувствительности рангов альтернатив к изменению значения весовых коэффициентов в DecernsMCDA
Fig. 6. Sensitivity analysis of alternatives ranks comparing to value changes of weight coefficient in DecernsMCDA
Рис. 7. Анализ чувствительности рангов альтернатив к изменению вида функции ценности в DecernsMCDA
Fig. 7. Sensitivity analysis of alternatives ranks comparing to changes of value function type in DecernsMCDA
и (средние) значения критериев в таблице характеристик сохраняются (при необходимости, работая с другим методом, пользователь может менять весовые коэффициенты).
DecernsMCDA разработана на базе Java-техно-логий, что позволяет использовать приложение на различных программных платформах, включая Windows и Linux/Unix. Веб-версия системы Decerns может быть запущена с удаленного сервера и является компонентой распределенной ПСППР,
работающей в среде веб-браузера в виде Java-ап-плета.
Интерфейс системы состоит из ряда визуальных интерактивных компонентов, которые основаны на разработанных в рамках проекта DECERNS библиотеках jSimpleCharts (для представления диаграмм) и jSimpleViz (для сложных визуальных взаимодействий). Пользовательский интерфейс работает с упрощенной структурой данных модели ППР, которая переадресует запросы пользователя на сервер и выполняет промежуточное хранение данных и ответов сервера («срез модели» - результаты расчетов и т.п.). Расчеты по всем методам МКАР, которые поддерживаются системой, производятся с помощью библиотеки dsmlib, при этом для работы с вероятностными распределениями и нечеткими числами библиотека использует специализированные библиотеки jrandom и fuzzylib соответственно. Библиотека dsmlib является ядром подсистемы ППР; она проектировалась и разрабатывалась таким образом, чтобы разделять данные и реализации методов МКАР, что позволяет гибко расширять библиотеку новыми методами.
Применение DecernsMCDA
DecernsMCDA, как автономная КС, так и в составе ПСППР DecernsSDSS, является эффективным инструментом для многокритериального анализа альтернатив при решении широкого круга научно-прикладных задач.
Приведем работы, посвященные многокритериальным задачам, для исследования которых применялась КС DecernsMCDA (как автономная или веб-система).
В [15] DecernsMCDA используется в рамках процесса ППР по выбору места для строительства загородного поселка. С применением ГИС-средств, входящих в DecernsSDSS, проводится скрининг потенциальных альтернатив (территории заданного региона) с использованием девяти критериев (расстояние до дорог, рек и озер/прудов, населенных пунктов, химически опасных объектов, уровня загрязнения территории и др.). Далее полученные результаты скрининга передаются в DecernsMCDA, где осуществляется анализ пяти подходящих для строительства участков территории/альтернатив на основе данных по пяти критериям. Результаты проведенного анализа, включая анализ чувствительности ранжирования альтернатив к изменению весовых коэффициентов и функций ценности, представлены заинтересованным сторонам/ЛПР.
В [18] DecernsMCDA применяется для анализа реабилитационных мероприятий на радиоактивно загрязненных территориях; рассматриваются шесть альтернатив (защитных стратегий) и пять критериев их оценки (экономический, радиаци-
онный, два радиационно-гигиенических и социально-экономический критерии). Результаты ранжирования альтернатив, полученные на основе проведенного исследования с использованием нескольких методов МКАР и анализа неопределенностей, представлены группе заинтересованных лиц для дальнейшего принятия решений.
Вопросы применения различных версий системы Decerns для решения задач охраны окружающей среды и управления рисками обсуждались на специализированных международных конференциях [32-40].
В книге [41] рассмотрены более десяти научно-практических задач (научных подходов к решению практически важных задач) охраны окружающей среды и защиты населения, очистки донных отложений рек и заливов, выбора технологий производства наноматериалов и других задач управления рисками на основе многокритериального анализа решений; при этом все задачи в [41] исследуются с применением DecernsMCDA.
Система DecernsMCDA эффективно использовалась в рамках курсов «Методы и средства поддержки принятия решений» и «Управленческие решения», читаемых авторами в университете ИАТЭ НИЯУ МИФИ. При этом студенты осваивали различные методы МКАР, а также формулировали и решали широкий спектр многокритериальных задач с использованием DecernsMCDA.
В заключение необходимо подчеркнуть, что представленная в данной работе компьютерная система DecernsMCDA является оригинальной и не имеет аналогов в классе систем многокритериального анализа решений. Одно из ключевых отличий DecernsMCDA от других КС МКАР заключается в том, что DecernsMCDA является в настоящее время единственной КС, в которой фактически реализованы все основные методы для решения дискретных задач МКАР (многокритериальных задач класса MADM). Гибкая архитектура системы позволяет эффективно и мгновенно переходить от одного метода МКАР к другому и после выполнения соответствующих методу процедур анализа проводить сравнение полученных результатов (при условии корректного применения каждого из методов и доступности данных, используемых в рамках выбранных моделей МКАР). Кроме того, в рамках DecernsMCDA реализован ряд оригинальных методов МКАР (ProMAA, FMAA, F-MAVT) для учета неопределенностей объективных значений критериев и субъективных суждений с использованием вероятностных методов и нечетких множеств [30, 31, 38].
Представленная система является эффективным средством поддержки принятия решений при проведении анализа широкого круга научно-практических задач, включая задачи охраны окружающей среды и защиты населения, реабилитации загрязненных территорий и управления радиаци-
онными/техногенными, финансовыми и другими рисками, планирования землепользования и управления территориями в рамках устойчивого развития региона (специализированная версия DecernsMCDA является составной частью распределенной пространственной системы поддержки принятия решений DecernsSDSS) [14-18, 32-40]. DecernsMCDA также является удобным инструментом для образования студентов и тренинга специалистов в рамках курсов по методам и системам поддержки принятия решений, теории принятия решений, управленческим решениям, исследованию операций, ГИС, охраны окружающей среды, планированию землепользования, анализу и управлению рисками и др.
В работе [41] проведен анализ количества публикаций и научно-практического использования методов МКАР для решения прикладных задач, в том числе по разным континентам и странам. Необходимо отметить, что в отечественной школе МКАР значительно преобладают подходы, основанные на поиске Парето-оптимальных решений [42-44] (см. также [3, 4, 45]); при этом нередко подчеркивается негативное отношение, концентрированно выраженное, например, в [46], к методам, использующим концепцию субъективности (извлечение и обработку субъективных суждений с учетом различного рода неопределенностей [47]). Авторы данной работы, признавая право других исследователей на мнение по поводу тех или иных концепций и моделей МКАР, рассматривают подход к развитию разных школ и моделей/методов/систем в рамках МКАР обоснованным и оправданным научными и практическими достижениями в данной области анализа решений.
Авторы полагают, что наличие разноплановых по своей структуре и возможностям автономных и веб-систем, в которых реализованы различные методы МКАР, и их продвижение в рамках образования и тренинга будут способствовать востребованности применения методов анализа решений, что может и должно привести к росту культуры и практических навыков структурированного/системного подхода к проработке решений на основе многокритериальности и многоальтернативности, а также к внедрению транспарентности и толерантности при обосновании выбора решений с учетом компромиссов и согласования различных точек зрения заинтересованных сторон.
Литература
1. Simon H.A. The new science of management decisions. NY: Random House, 1960, 50 p.
2. Sprague R.H. A framework for the development of decisión support systems. Management Information Sciences Quarterly, 1980, no. 4, pp. 1-25.
3. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998. 460 с.
4. Ларичев О.И. Теория и методы принятия решений. М.: Логос: Физматкнига, 2006. 392 c.
5. Densham P.J., & Goodchild M.F. Spatial Decision Support Systems: a research agenda. Proc. of GIS/LIS'89, Orlando, FL, 1989, pp. 706-716.
6. Carver S.J. Integrating multicriteria evaluation with geographical information systems. Intern. Journ. of Geographical Information Systems, 1991, vol. 5 (3), pp. 321-339.
7. Jankowski P. Integrating geographical information systems and multiple criteria decision making methods. Intern. Journ. of Geographical Information Systems, 1995, no. 9, pp. 251-273.
8. Malczewski J. GIS and Multicriteria Decision Analysis. NY, Wiley & Sons Publ., 1999, 392 p.
9. Chakhar S., & Martel J.-M. Enhancing Geographical Information Systems Capabilities with Multi-Criteria Evaluation Functions. Journ. of Geographic Information and Decision Analysis, 2003, vol. 7 (2), pp. 47-71.
10. Rinner C. Web-based Spatial Decision Support: Status and Research Directions. Journ. of Geographic Information and Decision Analysis, 2003, vol. 7 (1), pp. 14-31.
11. Malczewski J. GIS-based land-use suitability analysis: a critical overview. Progress in Planning, 2004, no. 62, pp. 3-65.
12. Malczewski J. GIS-based multicriteria decision analysis: a survey of the literature. Intern. Journ. of Geographical Information Science, 2006, vol. 20 (7), pp. 703-726.
13. Yatsalo B., Kiker G., Kim J., Bridges T., Seager T., Gardner K., Satterstrom K., Linkov I. Application of Multi-Criteria Decision Analysis Tools for Management of Contaminated Sediments. Integrated Environmental Assessment and Management, 2007, vol. 3 (2), pp. 223-233.
14. Sullivan T., Yatsalo B., Grebenkov A. and Linkov I. DECERNS Software Tool. Chapter 12 in: A. Marcomini, et al. (eds.), Decision Support Systems for Risk-Based Management of Contaminated Sites. Springer Science. Business Media, 2009, 436 p.
15. Yatsalo B., Didenko V., Gritsyuk S., et.al. Multi-Criteria Spatial Decision Support System DECERNS: Application to Land Use Planning. Intern. Journ. of Information Systems and Social Change, 2010, vol. 1 (1), pp. 11-30.
16. Yatsalo B., Gritsyuk S., Didenko V., Vasilevskaya M., Mirzeabasov O., Babutski A. Land-Use Planning and Risk Management with the Use of Web-based Multi-Criteria Spatial Decision Support System DECERNS. Proc. of the 25th Mini-Euro Conf. "URPDM 2010". Univ. of Coimbra, Portugal, 15-17 April, 2010, 9 p.
17. Yatsalo B., Sullivan T., Didenko V. and Linkov I. Environmental risk management for radiological accidents: Integrating risk assessment and decision analysis for remediation at different spatial scales. Integrated Environmental Assessment and Management, 2011, vol. 7, no. 3, pp. 393-395.
18. Yatsalo B., Sullivan T., Didenko V., Gritsyuk S., Mirzea-basov O., Pichugina I., Linkov I. Environmental risk management with the use of multi-criteria spatial decision support system DECERNS. Intern. Journ. of Risk Assessment and Management, 2012, vol. 16, no. 4, pp. 175-198.
19. von Winterfeldt D., Edwards W. Decision Analysis and Behavioral Research. Cambridge: Cambridge Univ. Press, 1986, 604 p.
20. Belton V., & Steward T. Multiple Criteria Decision Analysis: An Integrated Approach. Kluwer Academic Publishers. 2002, 372 p.
21. Figueira J., Greco S., & Ehrgott M., (Eds). Multiple Criteria Decision Analysis: State of the Art Surveys. NY, Springer, 2005, 1048 p.
22. Kahraman C. (Ed). Fuzzy Multi-Criteria Decision Making. Theory and Applications with Recent Developments. Series: Springer, Optimization and its Applications, 2008, vol. 16, 600 p.
23. Keeney R.L., & Raiffa H. Decision with Multiple Objectives. NY, J.Wiley & Sons Publ., 1976, 569 p.
24. Brans J.P., & Vincke P. A preference ranking organization method: the PROMETHEE method for multiple criteria decision-making. Management Science, 1985, no. 31, pp. 647-656.
25. Lahdelma R., Hokkanen J., & Salminen P. SMAA - Stochastic Multiobjective Acceptability Analysis. European Journ. of Operational Research, 1998, vol. 106, pp. 137-143.
26. Lahdelma R., Salminen P. SMAA-2: stochastic multicri-
teria acceptability analysis for group decision making. Operations Research, 2001, vol. 49 (3), pp. 444-454.
27. Tervonen T., & Figueira J.R. A Survey on Stochastic Multicriteria Acceptability Analysis Methods. Journ. of Multi-Criteria Decision Analysis, 2008, no. 15, pp. 1-14.
28. Hwang C.-L., & Yoon K. Multiple Attribute Decision Making: Methods and Applications. Lecture notes in economics and mathematical systems. Berlin, Springer-Verlag, 1981, 259 p.
29. Nemery Ph. & Lamboray Cl. FlowSort: a flow-based sorting method with limiting and central profiles, 2008, TOP 16, pp. 90-113.
30. Yatsalo B., Gritsyuk S., Tkachuk A., Mirzeabasov O. Multicriteria Acceptability Analysis: ProMAA Approach. Proc. of the 25th Mini-EURO Conf. "Uncertainty and Robustness in Planning and Decision Making, URPDM 2010". Univ. of Coimbra, Portugal, 15-17 April, 2010, 9 p.
31. Яцало Б.И., Грицюк С.В., Мирзеабасов О.А., Василевская М.В. Учет неопределенностей в рамках многокритериального анализа решений с использованием концепции приемлемости // Управление большими системами. М.: ИПУ РАН, 2011. Вып. 32. С. 5-30.
32. Yatsalo B., Didenko V., Tkachuk A., Mirzeabasov O., Grebenkov A., Sullivan T., Linkov I. DECERNS WebSDSS: multicriteria spatial decision support system for risk based land management. Abstracts of 2007 SRA Annual Meeting "Risk 007: Agent of Analysis". San Antonio, Tx, SRA Final Program. M5. Dec. 9-12, 2007, no. 43, p. 151.
33. Yatsalo B., Didenko V., Tkachuk A., Mirzeabasov O., Gritsyuk S., Sullivan T. DecernsSDSS - spatial decision support system for landuse planning and management. SRA 2nd World Congress on Risk, Guadalajara, June 8-11, 2008, p. 35.
34. Yatsalo B., Didenko V., Tkachuk A., Mirzeabasov O., Gritsuk S., Shipilov D., Slipenkaya V., Grebenkov A., Sullivan T. Multicriteria Spatial Decision Support System DECERNS WebSDSS for Risk Based Land Management. Abstracts of 2008 SRA Annual Meeting "Risk Analysis: The Science and the Art". Boston, USA. SRA Final Program, Dec. 7-10, 2008, P. 73, p. 155.
35. Yatsalo B., Gritsyuk S. Multi-Criteria Decision Aiding with the Use of DECERNS WebSDSS. The 20th Intern. Conf. on MCDM. Chengdu, China, June 21-26, 2009.
36. Yatsalo B., Gritsyuk S. DECERNS SDSS: Multi-Criteria Decision Support System for Analysis of Spatial Alternative. The 23rd European Conf. on Operational Research, Bonn, July 5-8, 2009 (TE-37).
37. Yatsalo B., Didenko V., Gritsyuk S., Mirzeabasov O., Sullivan T. Risk-based Land Management with the Use of Spatial Decision Support System DECERNS WebSDSS. Abstracts of 2009 SRA Annual Meeting "Risk Analysis: The Evolution of a Science". Dec. 6-10, 2009, Baltimore, USA, SRA Final Program, 2009.
38. Yatsalo B., Gritsyuk S., Mirzeabasov O. New Approach to Multi-Criteria Acceptability Analysis. Proc. of the VI-th Moscow Intern. Conf. on Operations research (ORM-2010), Moscow, Oct. 19-23, 2010, pp. 174-176.
39. Gritsyuk S., Yatsalo B., Babutski A., Mirzeabasov O., Didenko V. Multicriteria Decision Analysis with the Use of DE-CERNS DSS. The 21st Intern. Conf. on Multiple Criteria Decision Making. Jyvaskyla, Finland. Univ. of Jyvaskyla, June 13-17, 2011, pp. 148-149.
40. Gritsyuk S., Yatsalo B., Didenko V., Babutski A., Mirzeabasov O. Web-based Multi-Criteria Spatial Decision Support System DECERNS. INFORMS 2012 Intern. Annual Meeting, Phoenix, AZ, USA, Oct. 14-17, 2012, p. 367.
41. Linkov I., Moberg E. Multi-Criteria Decision Analysis: Environmental Applications and Case Studies. CRC Press. Boca Raton, NY, 2012, 186 p.
42. Лотов А.В., Бушенков В.А., Каменев Г.К., Черных О.Л. Компьютер и поиск компромисса. Метод достижимых целей. М.: Наука, 1997. 239 c.
43. Лотов А.В. Компьютерная визуализация оболочки Эд-жворта-Парето и ее применение в интеллектуальных системах поддержки принятия решений // Информационные технологии и вычислительные системы. 2002. № 1. С. 83-100.
44. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Физматлит, 2007. 256 с.
45. Подиновский В.В. Введение в теорию важности критериев. М.: Физматлит, 2007. 64 с.
46. Вентцель Е.С. Исследование операций. Задачи, принципы, методология: учеб. пособие для вузов. М.: Дрофа, 2004. 208 с.
47. Morgan M.G., Henrion M. Uncertainty. A Guide to Dealing with Uncertainty in Quantitative Risk and Policy Analysis. Cambridge. Cambridge Univ. Press, 2003, 332 p.
References
1. Simon H.A. The new science of management decisions. New York, Random House Publ., 1960, 50 p.
2. Sprague R.H. A framework for the development of decision support systems. Management Information Sciences Quarterly. 1980, no. 4, pp. 1-25.
3. Trahtengerc Ye.A. Kompyuternaya podderzhka prinyatiya resheniy [Computer supported decision-making]. Moscow, SINTEG Publ., 1998, 460 p.
4. Larichev O.I. Teoriya i metody prinyatiya resheniy [The theory and practice of decision-making]. Moscow, Logos, Fizmat-kniga Publ., 2006, 392 p.
5. Densham P.J., Goodchild M.F. Spatial Decision Support Systems: a research agenda. Proc. of GIS/LIS'89. Orlando, FL, 1989, pp. 706-716
6. Carver S.J. Integrating multicriteria evaluation with geographical information systems. Int. Journ. of Geographical Information Systems. 1991, vol. 5 (3), pp. 321-339.
7. Jankowski P. Integrating geographical information systems and multiple criteria decision making methods. Int. Journ. of Geographical Information Systems. 1995, no. 9, pp. 251-273.
8. Malczewski J. GIS and Multicriteria Decision Analysis. NY, John Wiley & Sons Inc. Publ., 1999, 392 p.
9. Chakhar S., Martel J.-M. Enhancing Geographical Information Systems Capabilities with Multi-Criteria Evaluation Functions. Journ. of Geographic Information and Decision Analysis. 2003, no. 7 (2), pp. 47-71.
10. Rinner C. Web-based Spatial Decision Support: Status and Research Directions. Journ. of Geographic Information and Decision Analysis. 2003, no. 7 (1), pp. 14-31.
11. Malczewski J. GIS-based land-use suitability analysis: a critical overview. Progress in Planning. 2004, no. 62, pp. 3-65.
12. Malczewski J. GIS-based multicriteria decision analysis: a survey of the literature. Int. Journ. of Geographical Information Science. 2006, no. 20 (7), pp. 703-726.
13. Yatsalo B., Kiker G., Kim J., Bridges T., Seager T., Gardner K., Satterstrom K., Linkov I. Application of Multi-Criteria Decision Analysis Tools for Management of Contaminated Sediments. Integrated Environmental Assessment and Management. 2007, no. 3 (2), pp. 223-233.
14. Marcomini A., Suter II G.W., Critto A., eds. Decision Support Systems for Risk-Based Management of Contaminated Sites. Springer Science Publ., 2009, 436 p.
15. Yatsalo B., Didenko V., Gritsyuk S., Vasilevskaya M., Mirzeabasov O., Babutski A. Multi-Criteria Spatial Decision Support System DECERNS: Application to Land Use Planning. Int. Journ. of Information Systems and Social Change. 2010, no. 1 (1), pp. 11-30.
16. Yatsalo B., Gritsyuk S., Didenko V., Vasilevskaya M., Mirzeabasov O., Babutski A. Land-Use Planning and Risk Management with the Use of Web-based Multi-Criteria Spatial Decision Support System DECERNS. Proc. of the 25th Mini-EURO conf. "Uncertainty and Robustness in Planning and Decision Making, URPDM2010". Portugal, Univ. of Coimbra Publ., 2010, 9 p.
17. Yatsalo B., Sullivan T., Didenko V., Linkov I. Environmental risk management for radiological accidents: Integrating risk assessment and decision analysis for remediation at different spatial scales. Integrated Environmental Assessment and Management. 2011, vol. 7, no. 3, p. 393-395.
18. Yatsalo B., Sullivan T., Didenko V., Gritsyuk S., Mirzea-basov O., Pichugina I., Linkov I.. Environmental risk management with the use of multi-criteria spatial decision support system DECERNS. Int. Journ. of Risk Assessment and Management. 2012, vol. 16, no. 4, pp. 175-198.
19. von Winterfeldt D., Edwards W. Decision Analysis and Behavioral Research. Cambridge, Cambridge University Press, 1986, 604 p.
20. Belton V., Steward T. Multiple criteria decision analysis: an integrated approach. Kluwer Academic Publ., 2002, 372 p.
21. Figueira J., Greco S., Ehrgott M., eds. Multiple Criteria Decision Analysis: State of the Art Surveys. NY, Springer Publ., 2005, 1048 p.
22. Kahraman C., ed. Fuzzy multi-criteria decision making. Theory and applications with recent developments. Optimization and its Applications series. Springer Publ., 2008, vol. 16, 600 p.
23. Keeney R.L., Raiffa H. Decision with Multiple Objectives. NY, J.Wiley & Sons Publ., 1976, 569 p.
24. Brans J.P., Vincke P. A preference ranking organization method: the PROMETHEE method for multiple criteria decisionmaking. Management Science. 1985, vol. 31, pp. 647-656.
25. Lahdelma R., Hokkanen J., Salminen P. SMAA - Stochastic Multiobjective Acceptability Analysis. European Journ. of Operational Research. 1998, vol. 106, pp. 137-143.
26. Lahdelma R., Salminen P. SMAA-2: stochastic multi-criteria acceptability analysis for group decision making. Operations Research. 2001, vol. 49 (3), pp. 444-454.
27. Tervonen T., Figueira J.R. A Survey on Stochastic Multi-criteria Acceptability Analysis Methods. Journ. of Multi-Criteria Decision Analysis. 2008, no. 15, pp. 1-14.
28. Hwang C.-L., Yoon K. Multiple Attribute Decision Making: Methods and Applications. Lecture notes in economics and mathematical systems. Berlin, Springer-Verlag Publ., 1981, 259 p.
29. Nemery Ph., Lamboray Cl. FlowSort: a flow-based sorting method with limiting and central profiles. 2008, vol. 16, pp. 90-113.
30. Yatsalo B., Gritsyuk S., Tkachuk A., Mirzeabasov O. Multicriteria Acceptability Analysis: ProMAA Approach. Proc. of the 25th Mini-EURO conf. "Uncertainty and Robustness in Planning and Decision Making, URPDM 2010". Portugal, Univ. of Coimbra Publ., 2010, 9 p.
31. Yatsalo B.I., Gritsyuk S.V., Mirzeabasov O.A., Vasilev-skaya M.V. Uchet neopredelennostej v ramkah mnogokriterialnogo analiza reshenij s ispolzovaniem koncepcii priemlemosti. Upravle-nie bolshimi sistemami [Large-scale systems control]. Moscow, IPU RAN Publ., 2011, iss. 32, pp. 5-30.
32. Yatsalo B., Didenko V., Tkachuk A., Mirzeabasov O., Grebenkov A., Sullivan T., Linkov I. DECERNS WebSDSS: multicriteria spatial decision support system for risk based land management. Abstracts of 2007 SRA Annual Meeting "Risk 007: Agent of Analysis". San Antonio, Tx, SRA Final Program. 2007, T3-H.1, 151 p.
33. Yatsalo B., Didenko V., Tkachuk A., Mirzeabasov O., Gritsyuk S., Sullivan T. DecernsSDSS - spatial decision support system for landuse planning and management. SRA 2nd World Congress on Risk. Guadalajara, 2008, p. 35.
34. Yatsalo B., Didenko V., Tkachuk A., Mirzeabasov O., Gri-tsuk S., Shipilov D., Slipenkaya V., Grebenkov A., Sullivan T. Multicriteria Spatial Decision Support System DECERNS WebSDSS for Risk Based Land Management. Abstracts of 2008 SRA Annual Meeting "Risk Analysis: The Science and the Art". Boston, USA, SRA Final Program, 2008, P. 73, p. 155.
35. Yatsalo B., Gritsyuk S. Multi-Criteria Decision Aiding with the Use of DECERNS WebSDSS. The 20th int. conf. on MCDM. Chengdu, China, 2009.
36. Yatsalo B., Gritsyuk S. DECERNS SDSS: Multi-Criteria Decision Support System for Analysis of Spatial Alternatives. The 23rd European conf. on Operational Research. Bonn, 2009 (TE-37).
37. Yatsalo B., Didenko V., Gritsyuk S., Mirzeabasov O., Sullivan T. Risk-based Land Management with the Use of Spatial Decision Support System DECERNS WebSDSS. Abstracts of 2009 SRA Annual Meeting "Risk Analysis: The evolution of a science". Baltimore, USA, SRA Final Program, 2009.
38. Yatsalo B., Gritsyuk S., Mirzeabasov O. New Approach to Multi-Criteria Acceptability Analysis. Proc. of the 6th Moscow int. conf. on operations research (ORM-2010). Moscow, 2010, pp. 174-176.
39. Gritsyuk S., Yatsalo B., Babutski A., Mirzeabasov O., Didenko V. Multicriteria Decision Analysis with the Use of
DECERNS DSS. The 21st int. conf. on Multiple Criteria Decision Making. Jyvaskyla, Finland, Univ. of Jyvaskyla Publ., 2011, pp. 148-149.
40. Gritsyuk S., Yatsalo B., Didenko V., Babutski A., Mirzea-basov O. Web-based Multi-Criteria Spatial Decision Support System DECERNS. INFORMS 2012 Int. Annual Meeting. Phoenix, AZ, USA, 2012, p. 367.
41. Linkov I., Moberg E. Multi-Criteria Decision Analysis: Environmental Applications and Case Studies. CRC Press, Boca Raton, NY, 2012, 186 p.
42. Lotov A.V., Bushenkov V.A., Kamenev G.K., Cher-nykh O.L. Kompyuter i poisk kompromissa. Metod dostizhimykh tseley [A computer and compromise search. A method of attainable goals]. Moscow, Nauka Publ., 1997, 239 p.
43. Lotov A.V. Computer visualization of Edgeworth-Pareto cover and its application in intelligent decision-making systems.
Informatsionnye tekhnologii i vychislitelnye sistemy [Information Technologies and Computing Systems]. 2002, no. 1, pp. 83-100 (in Russ.).
44. Podinovskiy V.V., Nogin V.D. Pareto-optimalnye reshe-niya mnogokriterialnykh zadach [Pareto-optimal decisions for multy-criteria tasks]. Moscow, Fizmatlit Publ., 2007, 256 p.
45. Podinovskiy V.V. Vvedenie v teoriyu vazhnosti kriteriev [Introduction to the theory of criteria importance]. Moscow, Fizmatlit Publ., 2007, 64 p.
46. Ventcel E.S. Issledovanie operatsiy. Zadachi, printsipy, metodologiya [Operations research. Tasks, principles, methodology]. Study guide for universities. Moscow, Drofa Publ., 2004, 208 p.
47. Morgan M.G., Henrion M. Uncertainty. A Guide to Dealing with Uncertainty in Quantitative Risk and Policy Analysis. Cambridge, Cambridge University Press, 2003, 332 p.
