CC BY
193
Коробов В. Б. Некоторые проблемы применения экспертных методов на практике / В. Б. Коробов // Научный диалог - 2013. - N° 3(15) : Естествознание. Экология. Науки о земле. - С. 94-108.
УДК 550.8.01
Некоторые проблемы применения экспертных методов на практике
В. Б. Коробов
Современные методы экспертного оценивания представляют собой набор процедур, практика применения которых выявила целый ряд проблем. Некоторые из них, влияющие самым непосредственным образом на конечный результат, обсуждаются в настоящей публикации. Автором предлагаются подходы, направленные на совершенствование процедур экспертного оценивания.
Ключевые слова: экспертные методы; весовые коэффициенты; шкала отношений; метод анализа иерархий; метод аналитических сетей.
Введение. Всё большее число факторов, которые приходится учитывать при анализе природных и социальных объектов, привело к широкому распространению экспертных методов, которые используются как для установления связей между компонентами, формирующими объекты, так и для оценки показателей самих влияющих факторов. Причина такой популярности экспертных методов заключается главным образом в отсутствии достаточного количества эмпирических данных, позволяющих установить надёжные статистические зависимости между абсолютно всеми компонентами системы, а также в принципиальной невозможности получить количественные оценки для некоторых из них.
Спектр экспертных методов и методологий достаточно широк, но каждому методу присущи свои достоинства и недостатки. Обычно при выборе того или иного метода отталкиваются от его достоинств, а к недостаткам относятся как к неизбежному злу, тем более что идеальный метод исследования, какую бы отрасль науки мы ни взяли, ещё никому разработать не удалось и вряд ли удастся в обозримом будущем.
Тем не менее недостатки метода могут иметь решающее влияние на качество и достоверность получаемых с его помощью результатов. В полной мере это касается экспертных методов. Рассмотрение достоинств и недостатков некоторых из них является целью настоящей публикации.
Чаще всего экспертные суждения для определения значимости компонентов, составляющих объект, формализуются в виде весовых коэффициентов влияющих факторов или посредством применения к ним метода ранжирования по значимости. Принципиальной роли это не играет, поскольку весовые коэффициенты легко перевести в ранги, а ранги пересчитать в весовые коэффициенты. Различия в этих подходах, естественно, имеются, но в данном случае они носят частный характер. Поэтому далее речь будет идти только о весовых коэффициентах.
Под весовым коэффициентом понимается доля вклада фактора в конечный результат, выраженная в числовом виде в долях единицы или в процентах. Например, влияние на здоровье населения неблагоприятных условий, таких как жилье, некачественное питание, загрязнение окружающей среды, тяжелые условия работы и другие факторы воздействия, можно оценить путем присвоения этим факторам соответствующих весовых коэффициентов, анализ которых может позволить выработать приоритеты в уменьшении их влияния путём первоочередного финансирования мер, направленных на снижение негативного воздействия этих факторов.
Прямая расстановка. Этот метод наиболее прост и привлекателен. Экспертам необходимо присвоить весовые коэффициенты каждому фактору исходя из единственного требования - равенства их суммы единице, или 100 %. Но эта простота кажущаяся: как только число оцениваемых факторов достигает 6-7, начинается подгонка результата, поскольку добиться того, чтобы сумма была равной единице (100 %), не удается.
Мною неоднократно проводились такие эксперименты, но всякий раз результаты были одинаковы. Сначала эксперт уверенно писал числа перед первыми по порядку факторами, одновременно подсчитывая - в уме или на бумаге - текущую сумму, затем - остановка. Становилось видно, что для последующих факторов весов «не хватает» либо, наоборот, текущий остаток суммы слишком большой для оставшихся факторов.
Что делать? Реакция естественная: пересмотреть уже расставленные числа, что и делалось, после чего эксперт продолжал работу, оценивая оставшиеся факторы до следующей остановки, если число факторов превышало десяток. Одним словом, процесс становился итеративным. Это означает, что оценки некоторых факторов подвергаются деформации, причём ее величину трудно оценить. Не меняло сути и изменение порядка оценки факторов: в некоторых случаях эксперты расставляли весовые коэффициенты по их убыванию, т. е. сначала оценивался наиболее значимый, по мнению эксперта, фактор, независимо от его расположения в списке, затем следующий и т. д., но переоценку всё же приходилось делать, как и при последовательном оценивании.
Парное сравнение. Модель объекта, в особенности природного, можно представить в виде вектора, составленного из показателей влияющих факторов. А раз так, то вектора можно сравнивать между собой по степени близости их компонентов. Поскольку критерии близости выбираются произвольно, такую задачу - решить,
относятся ли два выбранных объекта к одному классу, - и предлагают экспертам. Использование различных метрик, например, Евклида или Хемминга, помогает далеко не всегда, поскольку неясно, как разграничивать классы.
Случаи совпадения показателей объектов чрезвычайно редки ввиду пространственно-временной изменчивости всех без исключения природных процессов: их измеряемые характеристики изменяются в широких диапазонах. Именно поэтому есть необходимость в привлечении экспертов к исследованию.
С какими же трудностями приходится сталкиваться экспертам при парном сравнении объектов? Покажем их на примере одного далеко не самого сложного алгоритма. Прежде всего, требуется установить правило идентичности двух объектов (хотя и не обязательно, но правила, пусть и несовершенные, всё же облегчают работу и позволяют понять логику принятия решения экспертом). Поскольку, как отмечено выше, полное совпадение показателей объектов невозможно, то интуитивно напрашивается введение простых числовых критериев для максимальной степени расхождения соответствующих показателей и числа таких расхождений. Допустим, измеряемые показатели должны различаться не более чем на 10 %, а количество таких совпадений должно быть не менее 80 %. Если эти условия выполняются, то такие объекты экспертом относятся к одному классу.
Но и в данном случае не всё так просто. Первая трудность состоит в том, что эксперт обнаруживает следующее: согласно принятым им критериям близости объект Х совпадает с объектом Y, в свою очередь, объект Y совпадает с объектом Z, но объекты X и Z не совпадают, и все три объекта нельзя отнести к одному классу. Такая ситуация встречается довольно часто, если у сравниваемых трёх векторов не совпадают различные пары компонентов или хотя бы часть из них. Так, в первой паре XY, допустим, не совпадают два
первых компонента из десяти, а во второй паре YZ - два последних. Но в третьей паре XX таких несовпадений может быть уже четыре. Другими словами, число близких показателей будет всего 60 %. Остается нерешенным вопрос: что предпринять, столкнувшись с подобным препятствием?
Вторая трудность обусловлена неравноценностью факторов (компонентов) сравниваемых пар. С формальных позиций нет разницы, какие именно пары не совпадают - первые, средние или последние; главное, чтобы число несовпадений не превышало заданный критерий. Но, во-первых, важно, выявляется ли расхождение по главным показателям или по второстепенным, а во-вторых, степень расхождения может иметь и принципиальное значение. Поясним это обстоятельство более подробно.
Пусть сравниваются несколько объектов, причём выбрать нужно лучший из них. Целью может быть выбор места жительства. Одним из факторов может являться экологическая ситуация. Теперь допустим, что по этому показателю существуют различия между объектами, но в одном случае это различие будет относительно небольшое - 15-20 % (впрочем, их нельзя будет считать близкими), а в другом уровни загрязнения будут различаться в разы. Понятно, что даже при большей близости - по формальным критериям - такого объекта к некоторому эталону (сравнивать можно ведь и с идеализированным объектом) вряд ли следует отдавать ему предпочтение.
Перечисленные сложности (а есть и другие) в ряде случаев создают экспертам немалые трудности при парном сравнении объектов. Как следствие, совсем не просто провести классификацию этих объектов и однозначно интерпретировать результаты сравнения.
Метод анализа иерархий (МАИ). Метод, о котором далее пойдёт речь, разработан американским математиком Томасом Са-
ати [Саати, 2009]. Он завоевал огромную популярность, является одним из немногих методов, безоговорочно признанных мировым научным сообществом. По сути это набор процедур, в основу которых положено сравнение факторов, формирующих объекты, и их показателей, а собственно объекты сравниваются уже на основании найденных экспертами оценок.
Делается это следующим образом. Все факторы сравниваются между собой по парам при помощи специально разработанной Т Саати шкалы отношений (табл. 1):
Таблица 1
Иерархия экспертных сравнений соотношения факторов
№ Суждение Пояснение
1 Равная предпочтительность Две альтернативы одинаково предпочтительны с точки зрения цели
2 Слабая степень предпочтения Промежуточная градация между равным и средним предпочтением
3 Средняя степень предпочтения Опыт эксперта позволяет считать одну из альтернатив немного предпочтительнее другой
4 Предпочтение выше среднего Промежуточная градация между средним и умеренно сильным предпочтением
5 Умеренно сильное предпочтение Опыт эксперта позволяет считать одну из альтернатив явно предпочтительнее другой
6 Сильное предпочтение Промежуточная градация между умеренно сильным и очень сильным предпочтением
7 Очень сильное (очевидное) предпочтение Опыт эксперта позволяет считать одну из альтернатив гораздо предпочтительнее другой: доминирование альтернативы подтверждено практикой
8 Очень, очень сильное предпочтение Промежуточная градация между очень сильным и абсолютным предпочтением
9 Абсолютное предпочтение Очевидность подавляющей предпочтительности одной альтернативы над другой имеет неоспоримое подтверждение
Результаты парных сравнений представляются в виде квадратной матрицы А = (а.) с единичной диагональю (сравнение фактора самого с собой равно единице). Здесь а.. означает отношение весов соответствующих элементов; индексы / и у изменяются от единицы до величины, равной количеству факторов. Поскольку при последовательном переборе всех возможных пар факторы сравниваются между собой дважды - сначала фактор а. с фактором ау, затем в обратном порядке, при составлении матрицы должно выполняться условие «антисимметричности»: °у. Следовательно, достаточно
V
заполнять только одну часть матрицы - лежащую выше или ниже диагонали, что не имеет принципиального значения ввиду элементарного пересчета взаимно обратных значений. Если рассматривается п факторов, то всего возможно п ^ п значащих сочетаний.
В МАИ для кодирования используется номер соответствующей строки этой шкалы. Каждое из приведенных суждений кодируется числом от 1/9 до 9. Например, если придано существенное превосходство элемента А. над элементом А, то полагают в матрице парных сравнений а, = 5, и, соответственно, а,. = 1/5 Пример такого рода матрицы приведен в табл. 2.
Таблица 2
Матрица парных сравнений факторов
А.А. 1 2 3 4 5 6 7
1 1 2 1 3 4 3 8
2 1/2 1 1 3 5 2 7
3 1 1 1 3 4 2 7
4 1/3 1/3 1/3 1 1/2 1/4 5
5 1/4 1/5 1/4 2 1 1/3 4
6 1/3 1/2 1/2 4 3 1 8
7 1/8 1/7 1/7 1/5 1/4 1/8 1
Весовые коэффициенты факторов находятся как значения собственного вектора этой матрицы, и вычисления можно провести разными способами. Ещё одним достоинством данного метода яв-
ляется то обстоятельство, что в него встроен числовой критерий оценки качества работы самого эксперта - так называемое соотношение согласованности. Не вдаваясь в подробности его вычисления, скажем только, что он основан на сопоставлении результатов работы эксперта с неким идеальным экспертом. Но что такое «идеальный» эксперт в данном случае? Это либо результат многочисленных повторных опросов, что не всегда имеет место, а для новых задач и вообще невозможно, либо некий критерий, полученный путём имитационного моделирования. По второму пути пошел и Саати, сгенерировав при помощи генератора случайных чисел множество обратносимметричных матриц и усреднив полученные результаты расчётов предложенного им критерия для матриц разного размера.
Численные эксперименты с этим критерием, проведенные автором [Коробов, Тутыгин, 2010], дали странные результаты: чем логичнее работал эксперт, тем хуже он выглядел по сравнению с «идеальным». У меня сложилось впечатление, которое необходимо ещё тщательно проверить: выбранная Саати модель построения «идеального» эксперта некорректна. Скорее всего, в ней распределение экспертных оценок задавалось по нормальному закону, что, по меньшей мере, не бесспорно. Во всяком случае, мне с сотрудниками воспроизвести результаты Саати не удалось.
Второй вопрос, который вызывает МАИ, это сама шкала отношений (табл. 1). Дело в том, что она по своей сути представляет ранговую шкалу: каждая градация, включая промежуточные, увеличивается на единицу. Но кто может утверждать, что это соответствует принятым в этой шкале вербальным соотношениям? Почему, допустим, «средняя степень предпочтения» должна отличаться от «предпочтения выше среднего» всего на один ранг, а не на три, или, скажем, в 2,84? От ответа на этот вопрос зависит корректность кодировки ответов экспертов, составляющих оценочную матрицу.
Аналитические сети. Естественным развитием МАИ стали аналитические сети. В кратком изложении идеология метода аналитических сетей (МАС) заключается в следующем. В рассмотренных выше методах в явном виде не учитывается влияние факторов друг на друга. Предполагается, что эксперт должен их учитывать при оценке факторов. Так это или не так - никто не знает, хотя доля истины в таком предположении есть. Чтобы снять все вопросы, Томас Саати предложил обозначить влияние одних факторов на другие, в том числе и обратные связи, графически. Такой рисунок напоминает сеть, откуда и происходит название метода. Далее эксперты посредством всё той же шкалы парных сравнений должны оценить степень важности обозначенных связей и построить соответствующие матрицы.
Связи могут существовать как внутри групп факторов, так и между отдельными факторами из различных групп. Из новых матриц формируется новая матрица, так называемая суперматрица, поскольку её элементами являются также матрицы, включая нулевые для случаев отсутствия связей - такое тоже бывает, и не столь уж редко. По этой суперматрице вычисляют новые весовые коэффициенты, которые, теоретически, должны быть более точными, чем в МАИ, поскольку учитывают влияния компонентов объекта друг на друга (конечно, в случаях, когда это влияние имеет место).
Но всё гладко лишь на бумаге. Практика применения МАС принесла и некоторые весьма неприятные сюрпризы. Во-первых, выяснилось, что из-за соблюдения требования равенства суммы весовых коэффициентов единице внутри группы в результате проведения частных перенормировок нередко возникает ситуация, когда фактор, влияющий на другие факторы, не увеличивается (что было бы естественным, поскольку его роль становится более значимой), а уменьшается. Вопреки ожиданиям имеет место не перетекание -такое название получил процесс увеличения значений весовых ко-
эффициентов более значимых факторов за счёт менее значимых, -а отток, что противоречит самой логике построения сетей.
Вторым минусом использования суперматрицы для расчёта весовых коэффициентов является возможное обнуление весовых коэффициентов, возникающее в некоторых случаях, в частности при наличии циклических связей. Для устранения этого явления предлагается убирать те связи, которые приводят к появлению нулевых весовых коэффициентов, то есть задачу подстраивать под алгоритм, а не наоборот! Однако это нонсенс - жертвовать реально существующими связями и тем самым сознательно ухудшать формализацию объекта в угоду формальному выполнению некоторых правил вычисления. А если эти связи важны и значимы? Ответ очевиден: качество исследований будет снижено, а результаты окажутся некорректными.
Есть и третья проблема, вытекающая из требования равенства единице суммы весовых коэффициентов внутри группы факторов. Однако насколько справедливо такое требование при наличии перетекания значений весовых коэффициентов? Ведь если одни факторы более значимы (не в смысле более высоких величин, а в силу их влияния на другие факторы в сети), то они в любом случае должны увеличиваться, причём в тем большей степени, чем на большее количество факторов они оказывают влияние. Соответственно, факторы, которые не оказывают никакого влияния на другие или же оказывают их в меньшей степени, должны уменьшать свои значения. Главное, чтобы общая сумма весовых коэффициентов всех факторов была равна единице, как того и требует сам смысл весовых коэффициентов: речь идет об оценке доли вклада фактора в конечный результат.
Пути решения выявленных проблем. Несмотря на отмеченные недостатки, правомерность применения экспертных методов для решения множества задач никто не подвергает сомнению. Во-
прос заключается в выборе и совершенствовании собственно процедур экспертного оценивания. Рассмотрим возможности улучшения качества некоторых из них.
Новый «идеальный эксперт». Идея сравнения полученных результатов с неким «идеалом» в науке не нова. Но как найти такой «идеал»? Задача далеко не тривиальная. Можно, как это сделал тот же Саати, пойти путем имитационного моделирования, генерируя выборки весовых коэффициентов, но с заданным типом их распределения. Правда, единый для всех случаев тип распределений вряд ли существует, но можно для начала обобщить имеющиеся результаты для выборок разного объёма от 2 до, скажем, 18-20. Тот тип распределения, который будет преобладать, и следует выбрать в качестве модельного.
Изменение интервалов шкалы отношений. От линейной по своей сути шкалы отношений необходимо перейти к нелинейной шкале или, по меньшей мере, к кусочно-линейной. Сделать это можно двумя путями. Самый простой способ - провести массовый опрос, целью которого будет являться установление количественных соотношений, соответствующих вербальным определениям. Тогда границы интервалов могут быть найдены как медианы полученных выборок. Можно затем подобрать аналитическую функцию, например, полиномиальную, аппроксимирующую эти медианные значения, чтобы шкала имела более гладкий вид, а можно оставить как есть, принимая внутри интервала значения постоянными.
Второй подход заключается в использовании метода нечётких множеств, который также с успехом применяется для построения шкал в естественных науках [Коробов, 2008]. Не останавливаясь на его сути, отмечу, что для его реализации обычно привлекают экспертов, но в данном случае я не считаю это принципиальным.
В порядке дискуссии предлагаю рассмотреть вопрос о замене шкалы отношений вообще. В качестве альтернативы может быть
принята шкала разностей. Возникает вопрос: почему? Дело в том, что кодирование суждений при помощи шкалы отношений не является симметричным. Если необходимо определить, насколько один фактор больше / меньше другого, то важно учитывать, с какими числами мы имеем дело: целыми или дробными. В зависимости от этого мы получим разные результаты, например, 6 - 3 = 3 и 1/6 - 1/3 = -1/6, т. е. эта разница не будет инвариантом, не говоря уже о том, что могут возникнуть отрицательные величины.
Если же воспользоваться шкалой разностей, то модуль разности будет величиной инвариантной, а матрица парных сравнений станет не обратносимметричной, а кососимметричной с нулевой диагональю, поскольку разница между одинаковыми величинами равна нулю. Алгоритмы же вычисления весовых коэффициентов остаются прежними. Построить шкалу разности можно предложенными выше способами.
Новые алгоритмы в аналитических сетях. Матрицы - не единственный путь нахождения весовых коэффициентов. В данном случае он представляется мне формальным. Так часто бывает в науке, когда решение задачи сводят к знакомым и, что не менее важно, хорошо разработанным и апробированным методам. Но здесь есть подвох: не всякий метод, успешно зарекомендовавший себя при решении целого ряда задач, окажется пригодным и для решения новой задачи, поскольку условия его реализации будут отличаться от предыдущих случаев.
Обнуление весовых коэффициентов - следствие несовершенства составления суперматрицы, причём трудно однозначно установить причину этого. Дискуссии по этому поводу в научных изданиях и Интернете ещё только ведутся, но я не буду касаться здесь этого вопроса, поскольку для этого необходимо провести специальные исследования.
Какие же альтернативы могут быть предложены? Представим одну из них, назвав ее методом прямого расчёта. Главная идея этого
подхода заключается в учёте только самого факта влияния фактора на другой фактор или факторы, если он оказывает такое влияние на несколько факторов одновременно. Наличие обратных связей роли не играет, поскольку они учитываются при рассмотрении другого фактора.
Перетекание значений весовых коэффициентов от менее значимых факторов к более значимым можно рассчитать на основании количества таких связей с учётом закона распределения весовых коэффициентов в группе, к которой принадлежит данный фактор. Обнуления весовых коэффициентов здесь быть не может в принципе, поскольку операции производятся с исходными весовыми коэффициентами, среди которых нулевых значений попросту нет.
Второй вопрос, требующий обсуждения, - когда производить перенормировку весовых коэффициентов, исходя из требования, чтобы сумма весовых коэффициентов всех факторов была равна единице или другой константе, например числу групп. Я полагаю, что такую перенормировку нужно делать в самом конце, отказавшись от требования равенства суммы весовых коэффициентов единице внутри группы (в том случае, если по условиям задачи весовые факторы разбиты на группы).
Эту точку зрения - относительно единой перенормировки - разделяют не все специалисты, с которыми мне довелось обсуждать предложенную концепцию, хотя вразумительных аргументов против я не услышал. Более того, в некоторых моделях этот отказ фактически уже произведен. Простой пример - введение межгрупповых весовых коэффициентов, когда сумма весовых коэффициентов внутри группы становится численно равной своему межгрупповому коэффициенту или кратной ему (для удобства анализа все коэффициенты умножают на некоторую константу, но это, разумеется, сути не меняет).
Разрабатываемые алгоритмы по реализации этого подхода и первое применение их на практике к некоторым задачам в геоэколо-
гии дали вполне разумные результаты, которые в ближайшее время будут опубликованы. Поскольку данные исследования ещё не закончены, сейчас можно только констатировать, что расхождения между весовыми коэффициентами, рассчитанными посредством МАИ и данным методом, имеют тот же порядок, что и полученные при помощи суперматрицы, что свидетельствует о возможности применения предложенного подхода в аналитических сетях.
Заключение. Естественно, в рамках одной публикации невозможно затронуть все проблемы, с которыми приходится сталкиваться при использовании экспертных методов на практике, - для этого потребовалось бы написать объёмную монографию. Я коснулся лишь некоторых из них, показавшимися мне наиболее актуальными. Надеюсь, что поднятые проблемы и намеченные способы их решения будут способствовать созданию более точных процедур экспертного оценивания.
Литература
1. Коробов В. Б. Классификационные методы решения эколого-эконо-мических задач / В. Б. Коробов, А. Г. Тутыгин. - Архангельск: Изд-во Поморского университета, 2010. - 310 с.
2. Коробов В. Б. Экспертные методы в географии и геоэкологии / В. Б. Коробов. - Архангельск : Изд-во Поморского государственного университета, 2008. - 244 с.
3. Саати Т. Л. Принятие решений при зависимостях и обратных связях : аналитические сети / Т. Л. Саати. - Москва : ЛИБРОКОМ, 2009. -360 с.
© Коробов В. Б., 2013
Some Problems of Practical Application of Expert Methods
V. Korobov
Modern methods of expert evaluation consist in a number of procedures which practical application has revealed a list of problems. This article discusses some of these problems, which have a direct influence on the final result. The author suggests approaches aimed at improvement of the expert evaluation procedures.
Key words: expert methods; weighted coefficients; ratio scale; hierarchy analysis method; analytic network method.
Коробов Владимир Борисович, доктор географических наук, директор Северо-западного отделения Института океанологии имени П. П. Ширшова Российской Академии наук (Архангельск), [email protected].
Korobov, V., Doctor of Geographic Sciences, Director of the North-Western Branch of P. P. Shirshov Institute of Oceanology of the Russian Academy of Sciences (Arkhangelsk), [email protected].
