CC BY
271
X СИСТЕМНЫЙ АНАЛИЗ
УДК 519.816
КРИТЕРИЙ СОГЛАСОВАННОСТИ ПАРНЫХ СРАВНЕНИЙ
П. И. Падерно,
доктор техн. наук, профессор Е. А. Бурков,
аспирант
Санкт-Петербургский государственный электротехнический университет «ЛЭТИ»
В. Г. Евграфов,
доктор техн. наук, профессор Санкт-Петербургский военный инженерно-технический университет
Предложен критерий согласованности экспертов, который представляет собой коэффициент значимости противоречивости парных сравнений. Данный критерий позволяет оценить возможность корректного комплекси-рования экспертных мнений при использовании модифицированного метода анализа иерархий.
Ключевые слова — комплексирование мнений, критерий согласованности, метод анализа иерархий.
Введение
Одной из важнейших проблем, возникающих при обработке экспертных оценок, является анализ согласованности экспертов. Он необходим для решения таких задач, как определение результирующих значений, максимально близких к оценкам, которые выставили все эксперты, и разбиение экспертной группы на коалиции в соответствии с разделяемыми экспертами мнениями.
Подход к определению согласованности экспертов в основном зависит от того, каким образом опрошенные эксперты должны были высказать свое мнение — в виде балльных оценок, ранжирований, парных сравнений и т. д. Достаточно известным и показавшим свою эффективность на практике является метод анализа иерархий (МАИ) [1]. Данный метод экспертного оценивания основан на том, что экспертные мнения представлены в виде матриц парных сравнений. К сожалению, недостаточно развит анализ согласованности матриц парных сравнений и отсутствует критерий, позволяющий оценить согласованность матриц парных сравнений с учетом компетентности экспертов.
Модифицированный МАИ
В статье [2] был предложен подход к комплек-сированию мнений групп разнородных экспертов различной компетентности при оценке значимо-
сти показателей, представляющих иерархическую структуру, который позволяет расширить возможности применения классического МАИ. С его помощью можно проводить обработку не конкретных мнений экспертов, представленных в виде матриц парных сравнений, а результирующих матриц, отражающих мнения и компетентность групп экспертов, что значительно упрощает процедуру обработки, особенно в тех случаях, когда каждая группа экспертов работает обособленно. Однако перед комплексированием мнений различных экспертных групп необходимо определить, достаточно ли они согласованы между собой. Если представления групп о сравниваемых элементах иерархии сильно противоречат друг другу, это может привести к резкому снижению достоверности результатов экспертизы.
Возникает необходимость в критерии, который бы позволил оценить согласованность мнений экспертных групп. МАИ предполагает, что мнения экспертов представлены в виде матриц парных сравнений элементов иерархии (для упрощения далее рассматривается двухуровневая иерархия с одним элементом на первом и п элементами на втором уровнях, причем п < 9 [1]). В рассматриваемой модификации МАИ обобщенное мнение экспертов каждой группы формируется путем комплексирования мнений всех экспертов группы, при этом также возникает проблема согласованности их мнений. Поскольку комплек-сирование мнений экспертных групп выполняется аналогично комплексированию мнений экс-
пертов одной группы, то далее будем говорить не о группах, а об экспертах.
Обобщенное мнение экспертов группы представляет собой обобщенную матрицу парных сравнений следующего вида:
к 'Ра,~[ь
Л =П®А?«' ={а,,}, а,, = йЧ П-Ф, (1)
1=1 V '=1
где символ «®» после знака произведения обозначает адамарово (поэлементное) произведение матриц, а в показателе степени — обобщенную ада-марову степень; Л1 = {а^} — матрица парных сравнений п элементов иерархии 1-м экспертом; Ql = = {^}, 1е[1; Щ], £е[1; п], уе[1; п] — матрица компетентности 1-го эксперта, элемент которой qij — коэффициент компетентности эксперта при сравнении £-го элемента иерархии с j-м, причем qij = qji
и qij6[0; 1].
Подходы к определению согласованности парных сравнений
Для определения возможности комплексиро-вания необходим критерий, который позволит определить согласованность матриц парных сравнений. Рекомендуется [3] либо осуществить переход от парных сравнений элементов иерархии к их ранжированиям, либо рассчитать на основе каждой матрицы парных сравнений вектор приоритетов и лишь затем производить оценку согласованности: в первом случае — с помощью коэффициентов ранговой корреляции Кендэлла или Спирмена, а также коэффициента конкордации; во втором — коэффициентов вариации значимости и интерквартильной вариации. Недостатком данных подходов является невозможность произвести оценку согласованности непосредственно самих матриц парных сравнений. Кроме того, при оценке согласованности на основе ранжирований учитывается не информация о степени превосходства одного элемента иерархии над другим, а лишь сам факт превосходства.
Также для оценки согласованности экспертных мнений предлагается [3, 4] использовать коэффициент согласия, для вычисления которого необходимо сделать переход от матриц парных сравнений, элементы которых несут информацию о степени превосходства элементов иерархии друг над другом, к матрицам, элементы которых несут информацию лишь о факте превосходства или эквивалентности элементов иерархии. При такой оценке согласованности учитывается информация о транзитивности, но не о кардинальности предпочтений экспертов.
В работе [5] предложено условие некомплек-сируемости матриц парных сравнений, однако в нем, как и в рассмотренных выше подходах
к оценке согласованности, не учитывается информация о компетентности экспертов, а рассматриваемая модификация МАИ предполагает, что устроители экспертизы ею располагают.
Предлагаемый критерий оценки согласованности парных сравнений
Можно сформулировать ряд требований к критерию оценки согласованности экспертных мнений. Критерий должен:
1.1) производить оценку согласованности матриц парных сравнений на уровне элементов;
1.2) учитывать транзитивность и кардинальность предпочтений экспертов;
1.3) учитывать информацию о компетентности экспертов.
Введем в качестве критерия согласованности коэффициент противоречивости экспертных оценок, который представляет собой функцию вида
= 1 (а1^ a2ij), М1; п1 а1^ а2чеК’ (2)
где а^ — результат сравнения 1-м экспертом £-го элемента иерархии с j-м; а2^ — результат сравнения 2-м экспертом £-го элемента иерархии с j-м; Я — шкала относительной важности. Потребуем, чтобы функция (2) для V I, уе[1; п], а^, а2^еЯ удовлетворяла следующему ряду условий:
2.1) / а2ф = / (a2ij, аи);
2.2) 1 (а1ij, а2ф = 1 (ауР а2у^);
2.3) 1 (a1ij, а2^)е[0; 1];
2.4) а1у = а2у ^ 1 (a1ij, а2ф = °
Рассмотрим в качестве функции, удовлетворяющей условиям 2.1-2.4, коэффициент противоречивости парных сравнений, который имеет вид
kij =
г alij
logr2 -----L
, i, j e [1, n], (3)
а2,,
где г подбирается так, чтобы выполнялось условие 2.3 и для МАИ со шкалой относительной важности г равнялось девяти.
Что касается условий 1.1-1.3, то предложенный в качестве критерия согласованности коэффициент противоречивости (3) удовлетворяет лишь условию 1.2. Модифицируем коэффициент (3) так, чтобы он удовлетворял условию 1.3, для этого введем в него коэффициенты компетентности экспертов:
а1,,
kij = qij
logr--------
a2ij
qij = minj ^-------------1, i,ie[1,n], (4)
[q1ij + q2ij q1ij + q2ij J
где qij e [0,0,5] — задающий значимость имеющегося противоречия между оценками экспертов
весовой коэффициент, введенный из следующих соображений: в выражении (1) оценка высококомпетентного эксперта имеет большую значимость и при комплексировании оказывает большее влияние на обобщенную оценку. Фактически подобная процедура позволяет разрешить имеющееся противоречие в оценках экспертов в пользу более компетентного эксперта тем надежнее, чем больше разница в их компетентности и чем меньше это противоречие. Например, при проведении комплексирования оценка высококомпетентного эксперта (qUj ^ 1) нивелирует оценку мало компетентного (q2jj ^ 0) коллеги. Максимума qij достигает, когда qUj = q2i, так как разрешить имеющееся в этом случае серьезное противоречие между оценками экспертов невозможно, потому что неясно, какой из экспертов заслуживает большего доверия, а комплексирование приведет к взаимному «уничтожению» оценок, и значит, будет потеряна важная информация о сравниваемых элементах иерархии. Следовательно, чем меньше разрыв в компетентности между экспертами, тем более важным является противоречие между их мнениями.
Полученный критерий согласованности (4) назовем коэффициентом значимости противоречивости парных сравнений, который удовлетворяет условиям 1.2 и 1.3, однако пока не удовлетворяет условию 1.1, так как позволяет оценить значимость противоречивости двух экспертных оценок (которые представляют собой результаты парных сравнений), но не матриц в целом. Поэтому приведем способ применения коэффициента (4) для двух матриц парных сравнений в целом.
Пусть A1 = {аЦ Q1 = {q^}, i, je[1; n] — матрица парных сравнений и матрица компетентности 1-го эксперта, а A2 = ^ц}, Q2 = fej}, i, n] — аналогичные матрицы 2-го эксперта. Перед ком-плексированием матриц A1 и A2 необходимо определить их согласованность, т. е. значимость противоречивости составляющих их оценок. Рассчитаем для этого матрицу коэффициентов значимости противоречивости парных сравнений двух экспертов
K1,2 = {kij Ь kij = q
1 a1ij
logr--------
a2ij
= ЧцЦц, ,,, е [1, п]. (5)
Выведем условие комплексируемости матриц Л1 и Л2 на основе матрицы (5). Коэффициент к, представляет собой противоречивость экспертных оценок и изменяется в диапазоне от 0 до 2, при этом наибольшее его значение достигается при аИц = 9, а2ц = 1/9 (либо наоборот), а наименьшее — при аХц = a2ij. Из условия
kij (a1ij, a2ij ) > kij (alij, a2ij ),
- (a1ij < 1,a2ij > 1)Л ((a*ij > 1, a*ij > 1) V V (a*ij < 1 a*ij < 1)), (6)
есть единственное исключение: a1ij = 2, a2ij = 1/2,
a1ij = 9 a2ij = 2. Если qnj = q2i^, ащ=2 a2ij=1/2, то
при комплексировании по формуле (1) обобщенная оценка будет равна единице (йц = 1), т. е. получим, что i-й и j-й элементы иерархии одинаково важны. Если бы оценки экспертов лежали вне диапазона от 1/2 до 2, то такую обобщенную оценку нельзя было бы считать достоверной, так как комплексирование в подобном случае приводило бы лишь к потере информации о сравнительной важности i-го и j-го элементов иерархии по причине достаточно серьезного противоречия между экспертными оценками и невозможности его разрешить в силу равенства компетентности экспертов. Однако «2» по лингвистической шкале МАИ означает, что один из сравниваемых элементов иерархии очень незначительно превосходит второй элемент, поэтому при некотором допущении можно считать ац = 1 достоверной оценкой. Будем полагать, что это крайний и единственный случай, когда при том, что aUj и а2ц лежат по разные стороны единицы, а также qUj = q2i, полученная при комплексировании обобщенная оценка ац = 1 является достоверной и коэффициент значимости противоречивости (4) имеет предельно допустимое значение kij и 0,315. Распространив это положение на матрицу (5), потребуем, чтобы среднее значение элементов каждого ее столбца не превышало 0,315. Тогда условие комплексируемости двух матриц парных сравнений будет иметь вид
kj =-Ц- V kij < 0,315, j e [1; n]. (7)
П — 1.ТГ. ‘ i=1, i^ j
Если при каком-либо значении j условие (7) не выполняется, то это говорит о том, что между экспертами имеется существенное противоречие в оценке j-го элемента иерархии, поэтому их мнения, т. е. матрицы A1 и A2, комплексировать нельзя.
Выполнение комплексирования мнений экспертов
Опишем процесс получения обобщенного мнения всех экспертов группы. Необходимо проверить условие (7) для каждой пары экспертов, и все эксперты группы разобьются на коалиции в соответствии с тем, можно ли комплексировать их мнения или нет. Можно выделить четыре основных варианта разбиения на коалиции: 1) почти все эксперты группы составят одну коалицию;
2) эксперты разобьются на 2-3 коалиции, суммарный состав которых охватит большую часть экспертов; 3) эксперты разобьются на множество небольших коалиций; 4) почти все эксперты не попадут ни в одну коалицию. В первом случае мнениями экспертов, которые не попали в общую коалицию, можно пренебречь, особенно если они малокомпетентны, и получить путем комплекси-рования обобщенное мнение коалиции. Во втором случае получают обобщенное мнение каждой коалиции (мнением не попавших ни в одну из крупных коалиций экспертов также можно пренебречь), а затем обобщенные мнения коалиций вновь проверяются на возможность комплекси-рования. В том случае, если реализовался третий вариант, необходимо проанализировать сложившуюся ситуацию: возможно, на одном из этапов подготовки экспертизы [6] была допущена ошибка, что-то не учли и следует провести экспертизу снова или хотя бы вернуться к этому этапу и устранить недоработку. Если это невозможно (например, все деньги, отпущенные на проведе-
1. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993. — 278 с.
2. Падерно П. И. Комплексирование мнений экспертов при экспертной оценке с применением метода анализа иерархий // Человеческий фактор. Проблемы психологии и эргономики. Тверь, 2007. № 3. С. 122-127.
3. Анохин А. Н. Методы экспертных оценок (применение в задачах эргономического обеспечения деятельности оператора АЭС): учеб. пособие / ИАТЭ. — Обнинск, 1996. — 148 с.
ние экспертизы, уже потрачены или нет времени), то можно несколько увеличить значение, стоящее в правой части неравенства (7), но при этом следует понимать, что это негативно скажется на достоверности результатов экспертизы. В четвертом случае возможные действия в общем аналогичны предыдущему случаю с той разницей, что следует более внимательно рассмотреть возможность повторного проведения экспертизы.
Заключение
При проведении экспертиз с использованием методов группового выбора возникает необходимость комплексирования мнений экспертов и получения достоверного обобщенного мнения. Предложенная модификация МАИ дает возможность повысить эффективность проведения экспертизы и надежность получаемых результатов за счет введения критерия согласованности, позволяющего оценить корректность комплексирования экспертных мнений, представленных в виде матриц парных сравнений.
4. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — М.: Статистика, 1980. — 263 с.
5. Пахарьков Г. Н., Хаймур М. О медико-техническом оснащении службы скорой медицинской помощи // Информационно-управляющие системы. 2008. № 5. С. 45-53.
6. Падерно П. И., Попечителев Е. П. Надежность и эргономика биотехнических систем / Под общ. ред. проф. Е. П. Попечителева. — СПб.: СПбГЭТУ. 2007. — 288 с.
