Научная статья на тему 'Учет неопределенностей в рамках многокритериального анализа решений с использованием концепции приемлемости'

Учет неопределенностей в рамках многокритериального анализа решений с использованием концепции приемлемости Текст научной статьи по специальности «Математика»

CC BY
842
208
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МНОГОКРИТЕРИАЛЬНЫЙ АНАЛИЗ РЕШЕНИЙ / АНАЛИЗ НЕОПРЕДЕЛЕННОСТЕЙ / МНОГОКРИТЕРИАЛЬНЫЙ АНАЛИЗ ПРИЕМЛЕМОСТИ / СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ / DECERNS WEBSDSS / MULTI-CRITERIA DECISION ANALYSIS / UNCERTAINTY ANALYSIS / MULTICRITERIA ACCEPTABILITY ANALYSIS / DECISION SUPPORT SYSTEMS / DECERNS WEBSDSS

Аннотация научной статьи по математике, автор научной работы — Яцало Борис Иванович, Грицюк Сергей Витальевич, Мирзеабасов Олег Ахмедбекович, Василевская Мария Викторовна

Представлен подход к учету неопределенностей критериев и весовых коэффициентов в рамках многокритериального анализа решений с использованием теории нечетких множеств и вероятностных методов. Предлагаемые методы (FMAA – Fuzzy Multicriteria Acceptability Analysis, ProMAA – Probabilistic Multicriteria Acceptability Analysis) базируются на вычислении индексов приемлемости рангов альтернатив. Обсуждается общий подход к реализации указанных методов и его конкретизация на примере многокритериальной аддитивной модели. Реализация методов FMAA и ProMAA основана на использовании численных методов для оценки функций от нечетких/случайных величин без применения методов Монте-Карло. Описана система поддержки принятия решений DECERNS WebSDSS, реализующая методы FMAA и ProMAA, а также ряд других методов многокритериального анализа решений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Яцало Борис Иванович, Грицюк Сергей Витальевич, Мирзеабасов Олег Ахмедбекович, Василевская Мария Викторовна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The new approach to uncertainty treatment within multicriteria decision analysis taking into account uncertainties of criteria values and subjective judgments has been presented. The methods suggested (FMAA, Fuzzy Multicriteria Acceptability Analysis, and ProMAA, Probabilistic MAA) are based on assessing rank acceptability indices. The general approach to FMAA/ProMAA implementation along with its specification for multicriteria additive utility models is discussed. Realization of FMAA/ProMAA/is based on the numerical approximation of functions of random/fuzzy variables and the numerical assessment of integrals without Monte Carlo simulations. The decision support system DECERNS WebSDSS which implements FMAA and ProMAA as well as several other multicriteria decision analysis methods has been briefly described.

Текст научной работы на тему «Учет неопределенностей в рамках многокритериального анализа решений с использованием концепции приемлемости»

УДК 519.81 ББК 22.18

УЧЕТ НЕОПРЕДЕЛЕННОСТЕЙ В РАМКАХ МНОГОКРИТЕРИАЛЬНОГО АНАЛИЗА РЕШЕНИЙ С ИСПОЛЬЗОВАНИЕМ КОНЦЕПЦИИ ПРИЕМЛЕМОСТИ

Яцало Б. И.1, Грицюк С. В.2,

Мирзеабасов О. А.3, Василевская М. В.4

(Национальный исследовательский ядерный университет ИАТЭМИФИ, Обнинск)

Представлен подход к учету неопределенностей критериев и весовых коэффициентов в рамках многокритериального анализа решений с использованием теории нечетких множеств и вероятностных методов. Предлагаемые методы (FMAA -Fuzzy Multicriteria Acceptability Analysis, ProMAA - Probabilistic Multicriteria Acceptability Analysis) базируются на вычислении индексов приемлемости рангов альтернатив. Обсуждается общий подход к реализации указанных методов и его конкретизация на примере многокритериальной аддитивной модели. Реализация методов FMAA и ProMAA основана на использовании численных методов для оценки функций от нечетких/случайных величин без применения методов Монте-Карло. Описана система поддержки принятия решений DECERNS WebSDSS, реализующая методы FMAA и ProMAA, а также ряд других методов многокритериального анализа решений.

1 Борис Иванович Яцало, доктор технических наук (уаі8аІо@їаіе. obninsk.ru).

2 Сергей Витальевич Грицюк, аспирант (s.gritsyuk@gmail.com).

3 Олег Ахмедбекович Мирзеабасов, кандидат технических наук, доцент (oam@iate.obninsk.ru).

4 Мария Викторовна Василевская, магистр информатики,

(mvvasilevskaya@gmail.com).

Ключевые слова: Многокритериальный анализ решений; анализ неопределенностей; многокритериальный анализ приемлемости; системы поддержки принятия решений; DECERNS WebSDSS.

1. Введение

Многокритериальный анализ решений (МКАР; MultiCriteria Decision Analysis, MCDA) на практике, как правило, сталкивается с неопределенностями объективных и субъективных значений критериев и предпочтений. Для анализа различного рода неопределенностей внешнего и внутреннего происхождения [1, 4, 5, 12, 30], включая неполноту, неточность и нечеткость данных, а также их случайный/вероятностный характер, используются соответствующие модели/методы МКАР. Наиболее часто для учета указанных выше неопределенностей в рамках анализа решений и многокритериального анализа в частности используется (однопараметрический) анализ чувствительности (прежде всего влияние изменения весовых коэффициентов на результаты ранжирования альтернатив), вероятностные методы, а также, в ряде случаев, нечеткие множества.

Выделим следующие методы МКАР, учитывающие неопределенности используемых в рамках метода величин.

В рамках классического метода MAUT (Multi-Attribute Utility Theory) случайные значения критериев, нормированные с использованием частных функций полезности, агрегируются в интегральное значение полезности альтернативы с помощью вычисления ожидаемой полезности; при этом используются точные (т.е. не распределенные) значения весовых коэффициентов (так называемые коэффициенты шкалирования, scaling factors) [10, 16, 33]. В ряде задач используется также стохастический метод UTA (UTilites Additives) с целью извлечения информации из заданного (эталонного) ранжирования альтернатив для построения функций полезности в рамках аддитивной модели [12, 14].

Предложен ряд вариантов стохастических моделей обобщенного метода аналитической иерархии (AHP, Analytic Hierar-

chy Process) [29] для учета неопределенностей рассматриваемых критериев и методов их сравнения [13, 21, 26].

Ряд обобщений классических моделей из класса ORT (теория отношения превосходства, Outranking Relation Theory, или outranking methods) [27,12] также базируется на применении вероятностных методов и нечетких множеств. В работе [9] дискретные распределения вероятностей используются для описания оценок альтернатив по критериям; для каждой пары альтернатив оценивается распределение степени предпочтения по каждому критерию с последующим вычислением распределения степени превосходства (с использованием медиан распределений) для полного или частичного упорядочения/ранжирования альтернатив. В работе [23] анализ неопределенностей в рамках методов ORT базируется на оценках предпочтения пар альтернатив по каждому критерию с использованием методов стохастического доминирования [12, 23]. В работе [25] представлен вероятностный метод Flow-SortPro для учета неопределенностей, представляющий собой расширение базового метода многокритериальной сортировки альтернатив FlowSort [24]; в рамках FlowSortPro основные используемые величины (исходные профили, весовые коэффициенты, а также значения альтернатив для рассматриваемых критериев) могут описываться соответствующими распределениями вероятностей с последующим вычислением распределения потока (net flow) для каждой альтернативы и ее назначения в одну из предопределенных категорий альтернатив.

В рамках семейства методов SMAA (Stochastic Multicriteria Acceptability Analysis) реализуется стохастический подход к многокритериальному анализу приемлемости альтернатив на основе вычисляемых индексов приемлемости ранга альтернативы с применением методов Монте-Карло [17-19, 31]; в методах SMAA пользователь может задать как распределения значений критериев для рассматриваемых альтернатив, так и распределения весовых коэффициентов.

Многокритериальные методы анализа решений с использованием нечетких величин (нечетких множеств), как расширения соответствующих классических (четких) моделей, представлены

нечеткими версиями многокритериальных методов AHP, MAVT, PROMETHEE, FlowSort и ряда других [7, 8, 11, 15].

Детальный обзор методов МКАР, в том числе с учетом различного рода неопределенностей, можно найти, например, в [5, 12], см. также [15, 35, 36].

В данной работе рассматриваются два новых подхода к многокритериальному анализу приемлемости (multicriteria acceptability analysis, MAA): метод FMAA (Fuzzy MAA), в котором значения критериев и весовые коэффициенты описываются нечеткими величинами, а оценки приемлемости альтернатив реализованы с использованием методов нечеткой логики, а также метод ProMAA (Probabilistic MAA ), в котором реализован вероятностный алгоритм оценки приемлемости на базе аналитической модели сравнения альтернатив без использования методов Монте-Карло.

2. Учет неопределенностей в рамках

многокритериального анализа приемлемости

Попарное сравнение альтернатив часто применяется в методах многокритериального анализа решений, в том числе в методах AHP, ORT, см, например, [12, 29], а также в ряде методов голосования, например, в методе Кондорсе [28]. В предлагаемом подходе к анализу приемлемости попарное сравнение используется для оценки индексов приемлемости рангов альтернатив.

2.1. БАЗОВЫЙ АЛГОРИТМ ОЦЕНКИ ПРИЕМЛЕМОСТИ

В рамках базового алгоритма, положенного в основу методов FMAA и ProMAA, конструируются «события ранга» для всех рассматриваемых альтернатив с использованием логических операций «И/AND» (знак л в формулах ниже), а также «ИЛИ/OR» (v) на основе попарного сравнения альтернатив. Учет и анализ неопределенностей в рамках предлагаемых методов основан на оценке меры «события ранга».

Рассматривается дискретная многокритериальная задача, в которой выделено множество альтернатив A = {ai, i = 1, ..., n} и

множество критериев С = {Cj,j = 1, m}. Обозначим через hi = h(ai) оценку альтернативы ai, i = 1, n, в некоторой выбранной шкале, например, в интегральной шкале полезности/utility (детализация выбора интегрального критерия обсуждается в разделе 2.2); при этом чем выше значение (полезность) h в ряду значений hi, h2, •••, hn, тем лучше альтернатива ai (относительно заданного множества альтернатив) и тем выше ее ранг. Под рангом альтернативы будем понимать ее место в упорядоченном по предпочтению списке альтернатив (ранг 1 присваивается лучшей альтернативе, ранг n - худшей).

Принимая во внимание различные источники неопределенностей и подходы к их описанию и использованию, ниже будем рассматривать hi, i = 1, ., n, как нечеткие числа (при описании алгоритма FMAA) или случайные величины (алгоритм ProMAA). Рассмотрим событие ранга Sik:

Sik = {Альтернатива i имеет ранг k; i, k = 1, ., n}.

События Sik могут быть сформированы следующим образом с использованием логических выражений:

n

(1) Si1 = {Л(hi * h j)},

j ф i

(2) S,2 = Mfo < h). л. (h * hj))},

1ф. .Фг, .ф\ J

Xli<l2 <-<l^-i) s=1 s >

І3Фі,з=\,..,к-\ s=1,..,k-1

n

(4) S,n = {A(h,■ < hj)}•

j*i

Выражение (1) представляет собой утверждение того, что альтернатива a¡ превосходит все другие альтернативы, т.е. имеет ранг 1; в выражении (2) утверждается, что может найтись только одна альтернатива, полезность которой превосходит полезность альтернативы аг, и т.д.; в (4), соответственно, утверждается, что полезность альтернативы ai ниже полезностей всех других альтернатив.

В случае применения модели приемлемости альтернатив без учета неопределенностей (без учета распределений, напри-

мер, при использовании интегральной ценности в классической модели MAVT [5]), только одно из выражений Sik, k = 1, ..., n, является истинным (принимает значение 1).

Основной задачей учета/анализа неопределенностей с использованием нечетких или случайных величин (значений hi = h(ai), i = 1, ., n) в рамках концепции приемлемости на базе модели (1)-(4) является оценка меры (степени уверенности или вероятности) высказываний/событий Sik.

2.2. ВЫБОР ИНТЕГРАЛЬНОГО КРИТЕРИЯ ДЛЯ РЕАЛИЗАЦИИ MAA

Пусть в рамках дискретной многокритериальной задачи выделено множество альтернатив A = (аг-, i = 1, ..., n} и множество критериев С = {Cj, j = 1, ..., m}. В общем случае многокритериальная задача выбора/ранжирования альтернатив может быть представлена следующим образом (с некоторыми уточнениями для отдельных многокритериальных моделей; методы Парето-оптимизации [1, 2] в данной работе не рассматриваются):

(5) h(a) = flC(a), w) ® max

(6) g(C(a), w) e G; a e A.

Здесь C(a) = (Ci(a), ..., Cm(a)) - вектор оценок альтернативы a e A по критериям Cj, j = 1, ..., m; w = (wb ..., wm) - вектор используемых (при решении конкретной многокритериальной задачи) весовых коэффициентов; g(-, ) - векторная функция, содержащая все используемые в рамках модели, а также конкретной многокритериальной задачи, требования и ограничения (например, Zwi = 1, Wj e [w’”in, w™1™], ограничения на критерии,

С_ г min max i z

j e [Cj , Cj ], используемые при скрининге (т.е.

отбраковке/отсеивании) альтернатив); h(a) в (5) представляет собой интегральную оценку альтернативы a (в соответствующей шкале) с использованием функции/модели агрегирования f( ) (например, аддитивная M4VT/M4UT-функция оценки интегральной ценности/полезности [1, 4, 5, 12, 16, 33] или оценка чистого потока в методе PROMETHEE [6, 12] и др.).

В рамках классических детерминистских методов дискретного многокритериального анализа (методы MADM [5, 12, 22]), например, в рамках методов MAVT, ELECTRE, PROMETHEE, TOPSIS, значения критериев Cj(a) и весов Wj, j = 1, ..., m, являются действительными нераспределенными (т.е. четкими, неслучайными) числами. Анализ неопределенностей в таких моделях проводится с использованием методов анализа чувствительности; как правило, используются средства анализа чувствительности к изменению весов.

В большинстве практических задач значение альтернативы a по критерию j, Cj(a), j = 1, ..., m, определяется неоднозначно, что вызвано различного рода неопределенностями.

В рамках многокритериального метода MAUT [12, 16, 33], например, значения критериев могут описываться случайными величинами Xj = Cj(a), j = 1, ..., m; величина Xj характеризуется соответствующей плотностью распределения вероятностей j(x) (функцией распределения F/x)). Интегральная полезность альтернатив, например, в рамках аддитивной модели MAUT (корректное применение которой сопряжено с необходимостью проверки ряда условий независимости критериев) [16, 33], может быть представлена следующей конкретизацией модели

(5), (6):

m

(7) U (a)=£ Wj Uj (Xj ),

j=1

m_

(8) Wj > 0, j = 1,..., m ; £ Wj = 1,

j=1

где Uj(x) - частная функция полезности для критерия (атрибута) j, j = 1, ..., m; как правило, 0 < U(x) < 1 (см. обсуждения о сходстве и возможном различии функций ценности и полезности и рекомендации об использовании функций ценности при практическом применении аддитивных методов MAVT/MAUT, [5, 12, 33]); весовые коэффициенты Wj представляют собой коэффициенты масштабирования (scaling factors)

[5, 10, 16, 33], являющиеся точными/нераспределенными положительными числами. В то же время, вместо оценки распреде-

ления интегральной полезности U(a) в рамках метода MAUT вычисляются значения ожидаемой полезности (expected utility)

m

(9) E(U(a))=£W. E(Uj(Xj)),

j=1

где E(X) - математическое ожидание случайной величины X. Ранжирование альтернатив в рамках метода MAUT базируется на ранжировании значений ожидаемой полезности альтернатив: альтернатива a1 превосходит альтернативу a2 (a1 > a2) тогда и только тогда, когда

(10) E(U(ai)) > E(U(a2)),

Поскольку, согласно (7), (9), невысокие показатели полезности альтернативы по одним критериям могут быть компенсированы более высокими значениями по другим критериям, метод MAUT принадлежит к множеству так называемых компенсаторных методов многокритериального анализа [5, 16].

Несмотря на повсеместное использование категории ожидаемой полезности, отношение к ней как к универсальному методологическому принципу для обоснования предпочтения, выбора или ранжирования альтернатив не является однозначным [33]. В связи с этим предлагаются и другие методы многокритериального анализа, не ограничивающиеся оценками ожидаемой полезности.

Для реализации базового алгоритма МАА (многокритериального анализа приемлемости) в данной работе используется аддитивная модель (7), в которой значения критериев Xj = Q(a), j = 1, ..., m, могут описываться нечеткими или случайными величинами. В то же время, весовые коэффициенты Wj также могут рассматриваться неопределенными и описываться нечеткими числами (в FMAA) или случайными величинами (в Pro-MAA). Методы задания весовых коэффициентов в этих случаях описываются в разделе 2.5.

Для анализа альтернатив в рамках моделей вида (7), (8) предлагаются и другие подходы, не основанные на применении категории ожидаемой полезности. Один из таких методов, SMAA (Stochastic Multicriteria Acceptability Analysis), предложен в работах [17-19, 31] и реализован как для модели (7),(8), так и

для ряда других дискретных моделей МКАР. Методы семейства SMAA представляют собой реализацию концепции приемлемости (MAA) на базе экстенсивного использования методов Монте-Карло для (приближенного) вычисления статистики рангов альтернатив, учитывая стохастическую (вероятностную) природу значения критериев и весовых коэффициентов (с сохранением для случайных значений весов соотношения нормировки

(8)).

Ниже предложен методологически другой подход к оценке приемлемости альтернатив, базирующийся на реализации аналитической модели приемлемости (1)-(4), позволяющей последовательно реализовать концепцию приемлемости (без применения методов Монте-Карло) как для вероятностной природы неопределенностей объективных значений критериев и субъективных предпочтений (в том числе вероятностных значений весовых коэффициентов), так и для случаев альтернативного подхода к анализу неопределенностей с использованием теории нечетких множеств.

2.3. МНОГОКРИТЕРИАЛЬНЫЙ АНАЛИЗ ПРИЕМЛЕМОСТИ С ИСПОЛЬЗОВАНИЕМ НЕЧЕТКИХ ДАННЫХ И ПРЕДПОЧТЕНИЙ: FMAA

В целом ряде сценариев значения объективных и субъективных показателей многокритериальных задач не могут быть адекватно представлены ни средними значениями (когда выбор среднего ведет к существенной потере информации о возможных значениях критериев и/или росту несогласия среди экспертов по выбору значений), ни распределением вероятностей соответствующих случайных величин (ввиду отсутствия статистических данных и/или несогласия в задании субъективных распределений вероятностей). В этих случаях использование нечетких множеств (fuzzy sets) может способствовать решению проблемы формирования значений критериев для множества альтернатив A = {a, i = 1, ..., n}, а также значений весовых коэффициентов Wj, j = 1, ..., m [4, 7, 8, 11, 15, 22].

Нечеткие числа Z, используемые в рамках данного метода, представляют собой нормализованные, выпуклые и ограничен-

ные нечеткие множества, заданные на универсальном множестве действительных чисел • с непрерывной функцией принадлежности [20], т.е.

(11) Z = {(х, mZ (x)): mZ (x) > 0, c1 <x <c2; mZ (x) = 0, xi (c1,c2)},

где m(x) - непрерывная функция принадлежности элемента/четкого числа x множеству Z, с е • ; для синглтона (одноэлементного множества) z имеем соответственно C1 = c2 = c, m(c) = 1.

Ниже обсуждается подход к реализации многокритериального анализа приемлемости на базе использования нечетких величин (FMAA, сокращенно от Fuzzy MAA). В излагаемом подходе значения критериев aij- = Xj(a), значения частных функций ценности Vj(aij), а также весовые коэффициенты Wj и интегральная ценность V(ai) альтернатив ai, i = 1, ..., n, j = 1, ..., m, описываются нечеткими числами в соответствии с моделью (7). В качестве функции Vj(x) используется обычная/четкая функция ценности Vj( ), заданная на множестве изменения критерия Cj (для всего множества рассматриваемых альтернатив) в соответствии с принципом расширения [20].

Предлагаемый метод FMAA (точнее, FMAA-V, учитывая использование аддитивной функции ценности вида (7), расширенной до функции от нечетких аргументов) является адаптацией анализа приемлемости (1)-(4) по отношению к множеству ценностей {V(ai), i = 1, ..., n}, выражаемых нечеткими числами.

Как и в разделе 2.1, будем использовать обозначение h для нечеткого числа V(ai), положим также Щ = h - hj, i = 1, •••, n, j = 1, ..., m. Функция принадлежности нечеткого числа щ определяется формулой

(12) (z) = v (Мx)аj(y)),

x, У: z=x - У

где x а y = min(x, y), x v y = max(x, y).

В настоящее время существует несколько десятков подходов к сравнению нечетких чисел, основанных как на методах дефаззификации, так и на реализации более сложных процедур сравнения [15, 32]. Для описания степени различия значений

ценностей л, и Лр альтернатив а, и а., представленных нечеткими числами, реализован следующий интегральный метод сравнения.

Степень/меру принадлежности нечеткого числа г (11) множеству неотрицательных (нечетких) чисел •. >0 можно определить следующим образом, используя функцию принадлежности

М?(х):

С2

(13) м.. >0(?) = | т? (х)^х /1 т? (х)лх

х>0 Сі

(в (13) предполагается, как и указано в (11), с1 < с2; для синглтона г мера принадлежности к •. >0 равна 1 для г > 0 и 0 для г < 0).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Определим меру того, что значение ценности л, альтернативы аі превосходит ценность Л] альтернативы ар (] Ф і) формулой

(14) т,] = т.. >0( Лр) (= тл>л = т Л >0)).

Из (13), (14) следует, что /Л] + М], = 1 и

т(Лр < 0) = 1 - ц(Лу > 0) (в данной работе не обсуждаются вопросы транзитивности сравнения альтернатив по предпочтению на основе введенной меры тл >л ).

В рамках БЫЛА мера событий Бік, см. (1)-(4), определяет так называемый индекс приемлемости ранга /і(і, к) или степень уверенности в том, что альтернатива і имеет ранг к. Индексы приемлемости ранга /і(і, к) могут быть определены с использованием методов нечеткой логики (например, с использованием одного из наиболее часто используемых вариантов Лукашевича)

[20]:

п

(15) м(і,1) = м(£) = м(д(л,. > 0)) = тіп(т(Л,р > 0)} = },

■) ]іі ■) Ііі ■)

]і, ' '

(16)м(і,2)=м($2)=т(у((лй < 0) л ((Лр > 0)))=тах{тіп {т,М„-}},

ІіІ ]іІ, ]і1 Ш }іі,}і1

к-1

п

т(і,к) = т(^)=т( V ) ((Мщ, < о)) л; (щ ^ о)))=

И <]. < <1 .) ,=1 , і*, і*1 -1

(11 </2 <...</к-і) ,=1

1, *1, ,=1,..,к-1

1*1. 1*4. ,=1,..,к-1

(17)

(¡і <

1, *і,,=1 ,. .,к-1

,=1,..,к-1

(18) т(і, п) = т(ят) = т іп{(1 - ту)} = тіп{т }.

ітЬІ ■> ітЬІ ■>

Располагая данными о мерах (матрице) ц(1, к) = т(Бк) событий 5гк, эксперты/ЛПР могут выбирать наиболее приемлемую альтернативу. Для интеграции имеющихся показателей приемлемости альтернативы, если эксперты видят в этом необходимость, может быть также использован метод взвешенного суммирования (19) для определения индекса Я, интегральной приемлемости альтернативы щ (предложенного для стохастического метода БЫЛА [17]):

,, ас ~

где - веса относительной важности рангов, задаваемые

экспертами/ЛПР. В то же время, рекомендации по использованию индекса Я, приемлемости альтернативы являются достаточно ограниченными. Возможны также и другие (комплексные) подходы по интеграции индексов приемлемости ранга {^0, к)} и степени предпочтения альтернатив {Ду}.

Метод задания весовых коэффициентов Wi для моделей БЫЛА вида (7) обсуждается в разделе 2.5.

2.4. ВЕРОЯТНОСТНЫЙ ПОДХОД К МНОГОКРИТЕРИАЛЬНОМУ АНАЛИЗУ ПРИЕМЛЕМОСТИ: РЯОМАА

Вероятностный подход к анализу неопределенностей в рамках МКАР основан на трактовке используемых в (5), (7) величин Ху = Су(а) (значения критериев), а также, для некоторых методов, Wj (значения весовых коэффициентов) как случайных с известными/заданными законами распределения. Дальнейшие процедуры состоят в определении законов распределения интегральных величин Цг = Л(а), г = 1, •••, п (для модели (7), например, в предположении независимости используемых случайных

п

к=1

величин, это эффективно достигается с использованием численных методов).

Пусть интегральная оценка альтернативы Ц7 = Ц(а7), полученная на основе (5)/(7), характеризуется соответствующей плотностью распределения вероятностей <р7(х) (функцией распределения Р7(х)). В предположении независимости (в рамках модели сравнения интегральных полезностей альтернатив) рассматриваемых случайных величин Ц7, 7 = 1, •••, п, вероятности событий ранга Б7к (1)-(4) могут быть оценены следующим образом.

Нетрудно показать, что

(20) р. = Р(цг > V.) = | Р (х) ц>г (х)йх = | (х) (х) = | ¿¥г,

а также

(21) Р(Ц >ц2)л(VI >Цз)) = |РВД;

подчеркнем при этом, что события (VI > Ц2) и (VI > Ц3) в общем случае являются зависимыми, при этом (21) является корректной формулой в случае независимых Ц7.

Исходя из выражений (20), (21), для вероятностей событий рангов Р7к = Р(Б7к), 7, к = 1, ..., п, называемых индексами приемлемости рангов, имеем следующие оценки:

(22) р^р^нЩ Р (х)^ (х) = Щ Р} ^,

3 *7 3 *7

п п

(23) Р. 2 = Р{ Бг,}= (1 -Р ) П ,

1 *7 .* 7,.*1

(24) Р» =Р{ Б» }= £ | (П (1 - Р) П ,

( 11 < 12 <...< 1к-1) 5 = 1 . * 7', . * 13

13 *7,5=1,..,к-1 5=1,..,к-1

(25) Рт =Р{Б1п}= ЦП (1 - Р.) Ж,.

3 *7'

Можно доказать также, что для матрицы {Р7к} 7, к = 1, ..., п, выполняются условия

п п

<26> £ р, = £ р» = 1.

к=1 7=1

В ряде случаев, если эксперты находят это возможным (обоснованным или согласованным), может также использоваться интегральный индекс Я7 приемлемости альтернативы

[17]:

(27) % =£,

к=1

где w‘ac - задаваемые экспертами/ЛПР веса относительной

важности рангов.

Таким образом, выбор лучшей альтернативы, ранжирование или скрининг альтернатив в рамках РгоМАА (аналогично БЫЛА) базируется на комплексном анализе матрицы {Р7к} и/или оценке интегральных показателей приемлемости Я7 (27). При этом, например, в рамках РгоМЛА-и/У (метода РгоМАА, основанного на использовании интегральной функции полезности/ценности (7)), эксперты могут также учитывать значения ожидаемых полезностей (9).

Метод задания весовых коэффициентов w7 для РгоМАА-У, обсуждается в разделе 2.5.

Подчеркнем, что перед выводом формул (20) и (21), на основе которых получены оценки (22)-(25), сделано предположение о независимости случайных величин Ц7,7 = 1, ..., п; в случае зависимости необходимо использование совместных распределений или других подходов к корректной оценке индексов приемлемости зависимых величин.

При использовании РгоМАА , когда для определения интегральной полезности альтернативы а7, Ц7 = Ща), применяется аддитивная модель (7), а весовые коэффициенты w7 (см. раздел 2.5) при этом также могут рассматриваться распределенными/случайными величинами с заданными законами распределения, случайные величины Ц7, 7 = 1, ..., п, не являются

независимыми. Действительно, в предположении независимости всех используемых исходных случайных величин (значений критериев X.з = С](а7) и, соответственно, случайных величин и.7 = Щ^Ху), а также весовых коэффициентов w;, 7 = 1, ..., п,

І = 1, т) получаем следующую оценку ковариации для ц

и Пь

т

(28) Соу(п, ,Цк ) = £ Е (и]г )Е (и к )^.,

І =1

где и ¡і = и,(Сі(аі)); отметим также, что в рамках БЫЛА и Рго-МАА 0 < из(х) < 1 и (после нормализации распределений весов, см. 2.5) 0 < Wj < 1.

Таким образом, учитывая приведенное выше замечание, оценки индексов приемлемости рангов на основе (22)-(25) являются в общем случае приближенными (точными для случая нераспределенных/постоянных значений весовых коэффициентов в (7)). Дополнительные исследования показывают, что при решении практических задач различие между оценками

(22)-(25) и оценками вероятности «событий рангов» на основе методов Монте-Карло при реализации (7) не превышает 2-3%.

В то же время, оценка вероятностей событий (1)-(4) на основе (22)-(25) может иметь свое обоснование. Получая распределения полезностей альтернатив ц = Щаг) с использованием модели (7) (в том числе с распределенными коэффициентами), эксперты сравнивают случайные величины Т]ь і = 1, •••, п, на основе (1)-(4) исходя только из оцененных законов распределения Ці без учета их возможной зависимости.

2.5. ЗАДАНИЕ ВЕСОВ В БЫЛА И РЯОМАА

В моделяхМАУТ/МАиТ, так же как и в рамках других классических методов МКАР, весовые коэффициенты wi рассматриваются как постоянные (нераспределенные) положительные величины. В этих случаях для анализа неопределенностей применяется, как правило, однопараметрический анализ чувствительности к изменению заданного весового коэффициента (с пропорциональным изменением оставшихся весов для сохранения соотношения нормализации весов (8)). В то же время, расширенный анализ неопределенностей, когда веса не рассматриваются постоянными/средними, а распределены в рамках некоторых интервалов, является актуальным и востребованным при решении большинства практических задач МКАР.

Весовые коэффициенты (коэффициенты относительной важности критериев) в рамках методов МКАР могут быть оценены различными методами, включая свинг (swing) [5, 10, 33] -метод для определения коэффициентов масштабирования в моделях MAVT (с возможностью их практического применения в модели MAUT [5,12]), методы голосования для определения весов в методах ELECTRE/PROMETHEE и др. [3, 5, 22, 27, 33]. При этом весовые коэффициенты в большинстве случаев характеризуются своими неопределенностями, являющимися следствием групповых или индивидуальных субъективных оценок и предпочтений, а также выбранного метода.

При задании числовых значений оценок и предпочтений экспертам в большинстве случаев легче указать диапазон изменения относительной важности весового коэффициента в сравнении с заданием его точного значения. Например, при реализации метода взвешивания свинг/swing [5] утверждение «относительная важность/ценность изменения от худшего значения до лучшего для второго по важности критерия составляет 30-60% от соответствующего изменения (от худшего до лучшего значения) для наиболее важного критерия» является более вероятным, чем утверждение, что указанная величина равна в точности 45%. Указанные неопределенности весовых коэффициентом могут быть также естественным следствием группового анализа (как распределение оценок, данных различными членами группы).

Рекомендуемым методом задания весовых коэффициентов в FMAA/ProMAA (основанных на аддитивной модели с использованием частных функций ценностей) является метод свинг, являющийся обоснованным методом задания весов/коэффициентов масштабирования для методов MAVT (который также может быть использован в рамках MAUT вместо применения концептуально более сложных методов лотерей

[5]):

- наиболее значимому критерию присваивается вес w1 = 1, принимая во внимание значимость свинга/амплитуды (изменения в рамках границ), т.е. увеличение интегральной ценности

при изменении значения критерия от худшего к лучшему (обозначим этот критерий как C1);

Г- - min _, max ~\ а -о" -..min ^ ^,max л

- интервал изменения [W2 , W2 ], 0 £ W2 £ W2 £ 1 на-

значается весовому коэффициенту w2 (второму по важности критерию C2) на основе оценки изменения относительной ценности от худшего значения к лучшему для критерия С2 в сравнении с соответствующей ценностью изменения для наиболее важного критерия;

- предыдущий шаг повторяется для третьего по важности критерия и т.д.;

- распределения вероятностей (для ProMAA) как результат задания субъективных вероятностей (или как результат статистического анализа весов, заданных членами группы экспертов) или (для FMAA) функции принадлежности задаются экспертами для всех весовых коэффициентов wj в интервалах изменения

Y^.min ■ Л

w ,w} ],j = 2, ..., m.

В рамках классических методов MAVT/MAUT заданные веса нормируются согласно (8). Такой подход является обоснованным, включая возможность интерпретации важности весов в процентах, представление интегральной функции ценности и др. [3, 5, 33]. В ряде случаев эксперты могут посчитать более естественным задание базового критерия, чей вес определяется равным 1, а веса относительной важности остальных критериев определяются в долях от заданного веса [5, 22]. Очевидно также, что пропорциональное изменение всех весов wj, j = 1, ..., m, (wj ® dwj, где d - действительное положительное число) не изменяет порядка ранжирования альтернатив в методах MAVT/MAUT, а также FMAA/ProMAA.

В текущей реализации методов FMAA и ProMAA в рамках DECERNS SDSS (см. раздел 3.) оригинальные весовые коэффициенты, полученные согласно указанному выше свинг-методу, нормализуются на сумму их средних значений; таким образом, сумма средних значений весовых коэффициентов после нормализации равна 1. Такой подход позволяет сравнивать веса в FMAA и ProMAA с весами, используемыми в других методах

при реализации различных подходов к решению исследуемой многокритериальной задачи.

3. Реализация FMAA и ProMAA

В рамках веб-системы поддержки принятия решений DECERNS WebSDSS [34] реализован ряд методов многокритериального анализа, включая MAVT, TOPSIS, AHP, PROMETHEE, MAUT, F-MAVT, FlowSort, а также методы ProMAA и FMAA.

Реализация ProMAA основана на эффективном использовании оригинальной библиотеки компьютерных модулей RandFunction (без применения методов Монте-Карло) для оценки плотности/функции распределения случайной величины X = fX\, ..., Xm) для широкого класса функций f() (включая арифметические и алгебраические функции, а также exp(), ln()) и всех основных типов распределений (независимых) случайных величин (равномерное, нормальное, логнормальное,

дельта-распределение и гистограммы).

Randfunction представляет собой библиотеку Java-модулей, разработанных в рамках DECERNS и ФЦП проекта [33, 36]. На базе библиотеки Randfunction создано также веб-приложение RandCalculator для реализации пользователями функций от независимых случайных величин.

Для реализации FMAA (и F-MAVT) разработана библиотека FuzzyLib, на базе которой реализуются функции от нечетких переменных, X = АХ\, ..., Xm) для того же класса функций f(), указанных выше для случайных величин, и основных типов (входных) нечетких чисел Xi. (синглтоны, треугольные, трапецевидные и кусочно-линейные нечеткие числа). На базе библиотеки FuzzyLib создано также веб-приложение FuzzyCalculator для реализации пользователями функций от нечетких переменных.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Интерфейс ProMAA/FMAA и реализованные на базе библиотеки программных модулей Randfunction/FuzzyLib функции позволяют:

- задать плотности распределения/функции принадлежности исходных критериев Xj(a), j = \, ..., m, исследуемой многокри-

териальной задачи для рассматриваемого множества альтернатив А = {а7, 7 = 1, ..п};

- задать плотности распределения/функции принадлежности

весовых коэффициентов м3,] = 1, т, (см. раздел 2.5 выше);

- вычислить распределения/функции принадлежности величин интегральной ценности/полезности щ = и(а,), 7 = 1, ..., п, согласно используемой модели;

- вычислить индексы приемлемости рангов Р7к /ц(7, к) (вероятность/нечеткая мера того, что альтернатива а7, 7 = 1, ..., п, будет иметь ранг к: к = 1 - «лучшая», к = п - «худшая» альтернативы);

кроме того,

- проводить графический и табличный анализ полученных оценок для последующего принятия соответствующих решений;

- проводить анализ чувствительности получаемых результатов к изменению формы используемых частных функций ценности/полезности;

- редактировать значения критериев и весов (диапазоны изменения весов и их распределения) в рамках дополнительного анализа неопределенностей.

Для эффективного вычисления выражений вида (17) и (24) реализованы оригинальные алгоритмы с использованием методов двоичного кодирования входящих в формулу компонентов.

Вычисление выходных результатов в рамках распределенной веб-системы ОЕСЕКЫБ ЖеЬБОББ выполняются на стороне сервера. При использовании РгоМАА, например, время расчета задачи с 5-ю критериями и 5-ю альтернативами (все критерии и веса, за исключением максимального, рассматриваются распределенными) составляет менее 0,4 секунды (для 10 критериев и 10 альтернатив - менее 1,8 секунды); указанные оценки зависят от характеристик компьютера и включают только время работы процессора (в указанном случае использовался сервер с частотой 3 ГГц).

4. Заключение

Предложенные методы БМАА и РгоМАА, основанные на оценке индексов приемлемости рангов, представляют собой один из подходов к учету неопределенностей объективных значений и субъективных предпочтений в рамках многокритериального анализа решений. Являясь фактически расширением методов МАУТ/МАиТ, описанные варианты многокритериального анализа приемлемости БМАА и РгоМАА не используют концепцию ожидаемой полезности. Указанные методы могут быть эффективным средством анализа решений в случаях существенной неопределенности значений критериев и/или весовых коэффициентов; при этом неопределенности могут быть представлены как с использованием вероятностных методов (РгоМАА), так и с использованием нечетких величин (БМАА).

Метод БМАА представляет собой оригинальный подход к анализу приемлемости альтернатив, основанный на применении базового алгоритма (1)-(4) и определения меры приемлемости рангов с использованием аппарата нечеткой логики.

Использование нечетких значений объективных показателей и субъективных предпочтений (значения критериев и/или весовых коэффициентов) и их интеграция в рамках методов многокритериального анализа (БМАА, Б-МАУТ и др.) в целом ряде случаев может быть более обоснованным, чем моделирование процесса многокритериального анализа с использованием случайных величин/вероятностных методов. Что касается непосредственно использования методологии нечетких чисел и нечеткой логики в рамках многокритериального анализа приемлемости для решения конкретных практических задач, то здесь необходимо проведение дополнительных исследований.

РгоМАА также представляет собой оригинальную реализацию многокритериального анализа приемлемости с использованием методов теории вероятностей, и является альтернативным по отношению к БМАА-2 подходом к оценке индексов приемлемости рангов [17]. Методы БМАА базируются на использовании процедур Монте-Карло; в РгоМАА вычисляются распределения функций от (независимых) случайных величин на основе реали-

зации соответствующих теоретико-вероятностных методов. Процедуры задания весовых коэффициентов в SMAA-2 и Pro-MAA-V (ProMAA, основанном на аддитивной модели MAVT/MAUT (7) и частных функций ценности) являются различными: в ProMAA веса задаются в соответствии с методом задания весовых коэффициентов swing (раздел 2.5); в SMAA-2 веса выбираются из заданных (m - 1) интервалов возможного изменения весов в соответствии с законами распределения, где m - число критериев; последний вес определяется из соотношения нормировки весов (8), если при этом выборка из (m - 1) весов является допустимой (т.е. допускает вычисление последнего неотрицательного весового коэффициента, лежащего в соответствующем интервале). Указанные различия в алгоритмах задания весов являются одной из причин различия оценок индексов приемлемости в SMAA и ProMAA (проведенные исследования показывают, что это различие составляет менее 3%).

При использовании ProMAA/FMAA в рамках многокритериальной системы поддержки принятия решений DECERNS WebSDSS [34] пользователи/эксперты могут также сравнивать результаты проведенного анализа (ранжирование альтернатив, результаты анализа неопределенностей, рекомендации для принятия решений или проведения дальнейших исследований), полученные с использованием других методов. В DECERNS WebSDSS, кроме ProMAA и FMAA, реализованы также многокритериальные методы анализа решений MAVT, MAUT, AHP, TOPSIS, PEOMETHEE, Fuzzy-MAVT, FlowSort. При этом в рамках DECERNS WebSDSS используется одна и та же базовая структура таблицы для задания входных значений (performance table), автоматически расширяемая до необходимой степени при выборе метода с более сложной структурой входных данных. Это позволяет (при наличии возможности, необходимости и/или при желании пользователей/экспертов) эффективно переходить от одного метода МКАР к другому и сравнивать полученные результаты в процессе поддержки принятия решений. Безусловно, параметризация субъективных предпочтений, в том числе задание весовых коэффициентов при использовании каждого из

выбираемых методов, является задачей экспертов, участвующих в решении многокритериальной задачи.

Возможности реализованных в рамках DECERNS WebSDSS методов ProMAA и FMAA прорабатываются авторами в рамках решения конкретных многокритериальных задач.

Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации в рамках проекта ФЦП (Информатика) 14.740.11.0360, а также проекта РФФИ 11-07-97529. Авторы выражают благодарность участникам проектов за обсуждение работы и предложения по реализации представленных методов в рамках DECERNS WebSDSS.

Литература

1. ЛАРИЧЕВ О.И. Теория и методы принятия решений. - М.: Физматкнига, 2006.

2. ЛОТОВ А.В., БУШЕНКОВ В.А., КАМЕНЕВ Г.К.,

ЧЕРНЫХ О.Л. Компьютер и поиск компромисса. Метод достижимых целей. - М.: Наука, 1997.

3. ПОДИНОВСКИИ ВВ. Введение в теорию важности критериев. - М.: Физматлит, 2007.

4. ТРАХТЕНГЕРЦ Э.А. Компьютерная поддержка принятия решений. - М.: Синтег, 1998.

5. BELTON V., STEWART T. Multiple Criteria Decision Analysis: An Integrated Approach. - Dordrecht: Kluwer Academic Publishers, 2002.

6. BRANS J.P., VINCKE P. A preference ranking organization

method: the PROMETHEE method for multiple criteria decision-making // Management Science. - 1985. -Vol. 31. -

P. 647-656.

7. CARLSSON C., FULLER R. Fuzzy multiple criteria decision making: Recent developments // Fuzzy Sets and Systems. -1996. - Vol. 78. - P. 139-153.

8. CHANG D.Y. Applications of the extent analysis method on fuzzy AHP // European Journal of Operational Research. -1996. - Vol. 95. - P. 649-655.

9. D’AVIGNON G.R., VINCKE P. An outranking methods under uncertainty // European Journal of Operational Research. -1988. - Vol. 36. - P. 311-321.

10. EDWARDS W., BARRON F.H. SMARTS and SMARTER: improved simple methods for multiattribute utility measurement // Organization Behavior and Human Processes. -1994. - Vol. 60. -P. 306-325.

11. FERNÁNDEZ-CASTRO A.S, JIMÉNEZ M. PROMETHEE: An Extension through Fuzzy Mathematical Programming // The Journal of the Operational Research Society. - 2005. - Vol. 56, No. 1. - P. 119-122.

12. FIGUEIRA J., GRECO S., EHRGOTT M. (Eds). Multiple criteria decision analysis: State of the art surveys. - New York: Springer Science, Business Media, Inc, 2005.

13. HAINES L.M. A statistical approach to the analytic hierarchy process with interval judgments // European Journal of Operational Research. - 1998. - Vol. 110. - P. 112-125.

14. JACQUET-LAGREZE E., SISKOS Y. Assessing a set of additive utility functions for multicriteria decision making: The UTA method // European Journal of Operational Research. - 1982. -Vol. 10, No. 2. - P. 151-164.

15. KAHRAMAN C. (Ed). Fuzzy Multi-Criteria Decision Making. Theory and Applications with Recent Developments // Series: Springer, Optimization and Its Applications. - 2008. - Vol.16.

16. KEENEY R.L., RAIFFA H. Decision with Multiple Objectives. - New York: LJ.Wiley & Sons, 1976.

17. LAHDELMA R., HOKKANEN J., SALMINEN P. SMAA -Stochastic Multiobjective Acceptability Analysis // European Journal of Operational Research. - 1998. - Vol. 106. -P.137-143.

18. LAHDELMA R., SALMINEN P. SMAA-2: stochastic multicriteria acceptability analysis for group decision making // Operations Research. - 2001. - Vol. 49, No. 3. -P.444-454.

19. LAHDELMA R., MAKKONEN S., SALMINEN P. Multivariate Gaussian criteria in SMAA // European Journal of Operational Research. - 2006. - Vol. 170, No. 3. - P. 957-970.

20. LEE K.H. First Course on Fuzzy Theory and Applications. -Berlin-Heidelberg: Springer-Verlag, 2005.

21. LEVARY R.R., WAN K. A simulation approach for handling uncertainty in the analytic hierarchy process // European Journal of Operational Research. - 1998. - Vol. 106. - P. 116-122.

22. MALCZEWSKI J. GIS and Multicriteria Decision Analysis. -New York: John Wiley & Sons Inc, 1999.

23. MARTEL J.-M., ZARAS K. Stochastic dominance in multicriterion analysis under risk // Theory and Decision. - 1995. -Vol. 39. - P. 31-49.

24. NEMERY Ph., LAMBORAY Cl. FlowSort: a flow-based sorting method with limiting and central profiles. - 2008, TOP 16, 90-113.

25. NEMERY Ph. FlowSortPro: a probabilistic extension of the multicriteria sorting method FlowSort // Technical Paper. -2009. - URL: http://userweb.port.ac.uk/~nemeryp/ (дата обращения 10.08.2010).

26. ROSENBLOOM E.S. A probabilistic interpretation of the final rankings in AHP // European Journal of Operational Research. -1996. - Vol. 96. - P. 371-378.

27. ROY B. Multicriteria Methodology for Decision Aiding. -Dordrecht: Kluwer Academic Publishers, 1996.

28. SAARI D.G. Basic Geometry of Voting. - Berlin-Heidelberg: Springer-Verlag, 1995.

29. SAATY T.L. The Analytic Hierarchy Process. - New York: McGraw-Hill, 1980.

30. STEWART T.J. Simplified approaches for multi-criteria decision making under uncertainty // Journal of Multi-Criteria Decision Analysis. - 1995. - Vol. 4. - P. 246-258.

31. TERVONEN T., FIGUEIRA J R. A Survey on Stochastic Multicriteria Acceptability Analysis Methods // Journal of MultiCriteria Decision Analysis. - 2008. - Vol. 15. - P. 1-14.

32. WANG X., KERRE E. Reasonable Properties for the Ordering of Fuzzy Quantities // Fuzzy Sets and Systems. - 2001. -Vol. 118. - P. 375-405.

33. VON WINTERFELDT D., EDWARDS W. Decision Analysis and Behavioral Research. - Cambridge: Cambridge University Press, 1986.

34. YATSALO B., DIDENKO V., GRITSYUK S., MIRZE-ABASOV O. Multi-Criteria Spatial Decision Support System DECERNS: Application to Land Use Planning // International Journal of Information Systems and Social Change. - 2010. -Vol. 1, No. 1. -P. 11-30.

35. ZADEH L.A. Generalized theory of uncertainty (GTU) - principal concepts and ideas // Computational Statistics & Data Analysis. - 2006. - Vol. 51. - P. 15-46.

36. ZIMMERMANN H. An application-oriented view of modeling uncertainty // European Journal of Operational Research. -2000. - Vol. 122. - P. 190-198.

UNCERTAINTY TREATMENT WITHIN MULTICRITERIA DECISION ANALYSIS WITH THE USE OF ACCEPTABILITY CONCEPT

Boris Yatsalo, National Research Nuclear University IATE MEPHI, Obninsk, Russia, Doctor of science (yatsalo@iate.obninsk.ru). Sergey Gritsyuk, National Research Nuclear University IATE MEPHI, Obninsk, Russia, PhD student (s.gritsyuk@gmail.com).

Oleg Mirzeabasov, National Research Nuclear University IATE MEPHI, Obninsk, Russia, Cand.Sc. (oam@iate.obninsk.ru).

Maria Vasilevskaya, National Research Nuclear University IATE MEPHI, Obninsk, Russia, Master of informatics (mvvasilevskaya@gmail.com).

Abstract: The new approach to uncertainty treatment within multicriteria decision analysis taking into account uncertainties of criteria values and subjective judgments has been presented. The methods suggested (FMAA, Fuzzy Multicriteria Acceptability Analysis, and ProMAA, Probabilistic MAA) are based on assessing rank acceptability indices. The general approach to FMAA/ProMAA implementation along with its specification for multicriteria additive utility models is discussed. Realization of FMAA/ProMAA/is based on the numerical approximation offunctions of random/fuzzy variables and the numerical assessment of integrals without Monte Carlo simulations. The decision support system DECERNS WebSDSS which implements FMAA and ProMAA as well as several other multicriteria decision analysis methods has been briefly described.

Keywords: multi-criteria decision analysis; uncertainty analysis; multicriteria acceptability analysis; decision support systems; DECERNS WebSDSS.

Статья представлена к публикации членом редакционной коллегии Д. А. Новиковым

i Надоели баннеры? Вы всегда можете отключить рекламу.