CC BY
76
УДК 159.9.072.303.621.35
ВОЕВОДИНА Валентина Леонидовна, младший научный сотрудник ЦР и КИД Поморского государственного университета имени М.В. Ломоносова
КЛЕПИКОВСКАЯ Елена Владимировна, специалист по организационно-методической работе Поморского государственного университета имени М.В. Ломоносова. Автор 7 научных публикаций
КОРОБОВ Владимир Борисович, доктор географических наук, директор Северо-Западного института океанологии имени П.П. Ширшова Российской академии наук. Автор 129 научных публикаций
ВЫБОР И ОЦЕНКА ВЛИЯЮЩИХ ФАКТОРОВ СОВМЕЩЕНИЕМ МЕТОДОВ НОМИНАЛЬНЫХ ГРУПП
И АНАЛИЗА ИЕРАРХИЙ В ЗАДАЧАХ МНОГОКРИТЕРИАЛЬНОГО ОЦЕНИВАНИЯ
В статье представлена попытка совершенствования одного из методов экспертной оценки - метода номинальных групп с применением способа оценки качества работы экспертов, критерием которого выступает согласованность мнений экспертов. Показано, что совмещение процедур, заложенных в этих методах, позволяет добиться улучшения качества экспертных суждений.
Метод экспертной оценки, метод номинальных групп, метод анализа иерархий, индекс согласованности
По мере увеличения объема знаний требуется все больше информации для формализации исследуемых объектов и принятия решений. Это привело к необходимости разбиения используемой для этих целей информации на блоки и, далее, на отдельные факторы. Этот процесс получил название квантифицирования.
От того, насколько удачно будут определены факторы, зависит конечный результат. В каждой задаче присутствуют факторы, которые обусловлены самой природой исследуемой про-
© Воеводина В.Л., Коробов В.Б., Клепиковская Е.В., 2011
блемы, и их наличие носит безусловный характер. Но вот относительно включения второстепенных факторов, а также роли вклада факторов в конечный результат, мнения, как правило, расходятся. Отсюда - широкое применение экспертных оценок как при отборе факторов, так и для сопоставления их между собой.
Под методом экспертной оценки понимается комплекс логических и математических процедур, направленный на получение от экспертов информации, ее анализ и обобщение
с целью подготовки и принятия компетентного решения по тому или иному вопросу или оценки ситуации. Суть метода состоит в проведении экспертами анализа проблемы с качественной и количественной обработкой результатов полученных суждений, вследствие чего происходит формализованное выражение объективной информации об исследуемом объекте в ряде субъективных мнений и оценок. При этом под экспертной оценкой понимается мотивированное экспертное суждение.
Процедура экспертной оценки может носить индивидуальный и коллективный характер. Каждый из методов экспертной оценки имеет как свои преимущества, так и свои недостатки. Индивидуальные оценки могут быть получены с помощью ранжирования, прямого оценивания и парных сравнений. Основным ограничением индивидуального экспертного опроса является высокая вероятность несогласованности мнения экспертов ввиду влияния фактора субъективности: накопленные экспертом знания, опыт, сформированный способ мышления ограничивает рассуждения эксперта, не позволяет увидеть возможные качественные изменения. Таким образом, надежность прогноза изучаемого явления может заметно снизиться.
Коллективная работа экспертов помогает преодолевать этот недостаток в силу того, что в результате использования групповых способов экспертной оценки (метод фокус-группы, метод «Дельфи» и др.) происходит процесс объективизации субъективных оценок. Имеются данные о более высоком качестве групповых решений по сравнению с индивидуальными, т.к. члены группы в процессе свободного обмена мнениями и суждениями приходят к сближению позиций относительно того или иного вопроса. Но в то же время отмечается, что в процессе дискуссии могут возникать некоторые деформации, снижающие качество групповых решений. Такие эффекты возникают как следствие влияния феноменов конформизма, групповой поляризации, феномена группового мышления и влияния активного лидера. В результате вместо сближения суждений может
произойти резкая деформация оценок вплоть до их полной поляризации.
Экспериментальное изучение процесса группового принятия решений было начато К. Левином, рассматривавшим влияние групповой дискуссии на характер принимаемых решений. В рамках этого направления были установлены феномены сдвига к риску, или групповой поляризации (феномен Стоунера1), которые проявляются в том, что в рамках группового обсуждения появляется тенденция усиления первоначального мнения эксперта. Этот феномен происходит вследствие информационного и нормативного влияния участников обсуждения друг на друга, т.к. активное участие в дискуссии вызывает несравненно большее изменение установок, чем пассивное восприятие. Феномен сдвига к риску вслед за Стоунером был подтвержден многими авторами2. Феномен группового мышления проявляется, когда участники обсуждения начинают поддаваться групповому давлению вследствие высокого уровня лояльности к группе; в такой ситуации поиски консенсуса становятся настолько доминирующими для сплочения группы, что она склонна отбрасывать реалистические оценки альтернативного способа действия3.
В качестве компромисса был предложен метод Номинальных групп, выступающий как промежуточный между индивидуальными оценками экспертов и методами коллективного обсуждения за счет ограничения взаимодействия или общение участников группы друг с другом до определенного предела. Этот метод разработан А. Делбеком и А. Вен де Веном4 с целью упорядочивания процесса обсуждения и продуктивности работы во время производственный совещаний. В процессе проведения номинальной группы эксперты, участники обсуждения присутствуют на встрече, но действуют независимо в условиях отсутствия активного лидера. При этом под группой в представленном методе изначально понималась некоторая совокупность людей, объединенная во времени и пространстве, чье общение и влияние ограничено. Таким образом, эксперты получают возможность ориентироваться на мне-
ние других участников, однако негативные эффекты группового обсуждения, а также влияние лидера и проявление конформизма по замыслу авторов должно было нивелироваться.
Структурировано данное условие следующим образом. На первом этапе эксперты в индивидуальном порядке формулируют свои идеи относительно обозначенной проблемы. На втором этапе все идеи озвучиваются и сводятся в общий список. В случае необходимости та или иная идея комментируется, но обсуждение идей запрещается. Только на третьем этапе допускается непродолжительное обсуждение идей с целью прояснения мнений и получение ответов на возникающие вопросы участников группы. На четвертом этапе происходит индивидуальное ранжирование идей, после чего результаты доводятся до сведения всех участников группы. Пятый этап посвящен обсуждению результатов для последующего внесения уточнения в первоначальные оценки. На шестом этапе определяется окончательное решение, т.е. выбираются идеи с наиболее высоким совокупным рейтингом. Таким образом, метод номинальных групп посредством выполнения экспертами точных инструкций модератора, который ведет процесс группового обсуждения, представляет собой попытку исключить явное влияние членов группы на конечное решение каждого из экспертов, т.к. на первоначальном этапе все участники номинальной группы обладают равными возможностями для высказывания своего мнения относительно поставленной проблемы.
Как уже было сказано ранее, первоначально метод номинальных групп использовался для облегчения и структурирования процесса принятия группового решения в производственных коллективах. Однако после проведения ряда эмпирических исследований5 метод стал использоваться для проведения социологических опросов и при изучении проблем в различных областях знания, в частности в социологии. Необходимо учитывать, что в классическом использовании метода акцент делается прежде всего на сбор информации и выявление ряда ранее не учтенных мнений относительно обо-
значенной проблемы. Таким образом, при классическом использовании метода номинальных групп исследователь может получить структурированное мнение той или иной группы, однако для получения более качественных результатов необходимо оценивать уровень компетентности самих экспертов и проводить оценку качества представленных суждений6.
Надо сказать, что метод номинальных групп вообще не предусматривает оценку качества работы экспертов, что влечет за собой включение в итоговый рейтинг некорректных суждений.
В рамках данного исследования предпринята попытка совершенствования метода номинальных групп, а именно изучение вопроса, каким образом изменяется качество мнений экспертов, полученных путем индивидуального опроса, после коллективного обсуждения в условиях отсутствия активного лидера. Критерием оценки качества экспертной оценки в проведенном нами исследовании выступило отношение согласованности мнений экспертов - процедура, реализованная в методе анализа иерархий7, который широко используется для оценки значимости влияющих факторов и сравнения альтернатив.
В качестве модельной проблемы, на решение которой была направлена номинальная группа, взята проблема выбора приоритетов загрязнения окружающей среды в Архангельской агломерации. Проблема качества окружающей среды затрагивает все население. Поэтому каждый житель может высказать свое суждение о роли источников загрязнения исходя из своего обыденного опыта. В исследовании приняли участие 17 магистрантов математического факультета ПГУ в возрасте от 22 до 24 лет.
Для получения ответа на данный вопрос нами была проведена небольшая модернизация метода номинальных групп, которая заключалась в оценке уже готового списка основных источников (факторов) загрязнения указанной территории, составленного по данным статистической отчетности и научных исследований, проводимых различными ведомствами в реги-оне8.
В эту группу влияющих факторов вошли: жилищно-коммунальное хозяйство, целлюлознобумажные комбинаты, автотранспорт, космодром Плесецк, центр Атомного судостроения, нефтеперевозки на территории области, частный сектор, ТЭЦ.
В рамках метода анализа иерархий семнадцать экспертов попарно сравнивали предложенные факторы между собой по девятибалльной шкале.
В результате обработки экспертных суждений формировались матрицы отношения весов влияющих факторов (табл. 1) и рассчитывались оценки качества работы экспертов. Находятся они следующим образом.
ИС=
X- п п - 1
(1)
где Я - собственное число, п - число сравниваемых факторов. Далее ИС сравнивается с величиной, полученной при случайном выборе количественных величин, которая представлена в табличном виде и трактуется как средняя согласованность (СС). Поэтому ее рассматривают как некого идеального эксперта.
Если разделить ИС на СС для матрицы того же порядка, то получим отношение согласованности (ОС)
ИС
ОС = — • 100
СС
(2)
Таблица 1
ПРИМЕР СОСТАВЛЕНИЯ МАТРИЦЫ ПАРНЫХ СРАВНЕНИЙ ОДНИМ ИЗ ЭКСПЕРТОВ
№ Источники ■ ЦБК Автотранспорт Космодром Центр атомного судостроения т о В е р <и в е ■е Й Частный сектор ТЭЦ
1 2 3 4 5 6 7 8
1 ЖКХ 1 1/5 1/3 1/5 1/5 1 1 1/4
2 ЦБК 5 1 3 2 1 5 5 1
3 Автотранспорт 3 1/3 1 2 1 5 5 1
4 Космодром 5 1/2 1/2 1 1/3 2 2 1/3
5 Центр атомного судостроения 5 1 1 3 1 3 3 1
6 Нефтеперевозки 1 1/5 1/5 1/2 1/3 1 2 1/4
7 Частный сектор 1 1/5 1/5 1/2 1/3 1/2 1 1/5
8 ТЭЦ 4 1 1 3 1 4 5 1
Весовые коэффициенты вычисляются из матрицы парных сравнений как собственный вектор этой матрицы. Критерий согласованности суждений эксперта находится в следующей последовательности. Вначале из той же матрицы парных сравнений вычисляется так называемый индекс согласованности (ИС), который можно приближенно оценить, используя формулу:
Качество эксперта оценивается по величине ОС. При оценке степени влияния источников загрязнения окружающей среды на здоровье местного населения верхняя граница величины ОС была установлена равной 20%. Если ОС выходили из этих пределов, то результаты работы таких экспертов при оценке значимости факторов исключались из рассмотрения.
На втором этапе было проведено групповое обсуждение проблемы. При этом каждому эксперту, согласно классической процедуре проведения обсуждения методом номинальных групп, была дана возможность сформулировать и обосновать свои идеи. После представления всех идей на доске, было проведено обсуждение новых идей, при этом модератором создавались равные условия для каждого участника номинальной группы в обсуждении.
В результате проведения группового обсуждения был получен новый список источников загрязнения, который представили для индивидуального ранжирования. Данный список составили следующие факторы: железнодорожный транспорт, крупные заводы, недостаточное финансирование, городские свалки, строительство, несанкционированные свалки, автозаправки, человеческий фактор, северодвинский мясокомбинат, мобильная связь, ЛПК, авиационный транспорт, судоходство, АЛВИЗ, добыча полезных ископаемых, гидролизный завод, СМЗ, утилизация опасных отходов, городские кладбища, гранитная набережная, больницы.
После обсуждения в окончательную группу влияющих факторов были включены (табл. 2): жилищно-коммунальное хозяйство, целлюлознобумажный комбинат, транспорт, космодром Плесецк, центр Атомного судостроения, нефте-перевозки на территории области, городские свалки, ТЭЦ.
При сравнении перечней «старых» и «новых» факторов обращает на себя внимание два
обстоятельства: корректировку нельзя назвать принципиальной по смыслу - автотранспорт заменен всеми видами транспорта, частный сектор - на городские свалки; ранг факторов в некоторых случаях изменился, причем местами существенно. Это может иметь принципиальное значение в некоторых задачах, в частности при проведении балльных классификаций в экологии.
На третьем этапе исследования было проведено новое сравнение факторов методом анализа иерархий для определения приоритетов источников загрязнения окружающей среды с использованием нового списка, полученного в результате группового обсуждения.
Проведя процедуру экспертного опроса методом анализа иерархий дважды - до и во время обсуждения, получили различия в суждениях экспертов.
После первого этапа индивидуального экспертного опроса в установленные границы отношения согласованности (20%) не попали 8 экспертов. После коллективного обсуждения проблемы таких экспертов стало всего 5. Средняя оценка отношения согласованности экспертных суждений стала существенно ниже, что говорит о том, что эксперты в большей степени стали думать «в одном направлении».
Для оценки разброса суждений были рассчитаны статистические характеристики весовых коэффициентов факторов. При оценке основных статистических показателей (среднее значение, медиана, максимальное и минималь-
Таблица 2
СПИСОК ВЛИЯЮЩИХ ФАКТОРОВ ДО И ПОСЛЕ КОЛЛЕКТИВНОГО ОБСУЖДЕНИЯ
№ Предложенные факторы Сформулированные группой факторы Суммарный рейтинг
1 ЖКХ Центр Атомного судостроения 106
2 ЦБК ЦБК 104
3 Автотранспорт Транспорт 89
4 Космодром Космодром 77
5 Центр Атомного судостроения ТЭЦ 61
6 Нефтеперевозки ЖКХ 48
7 Частный сектор Городские свалки 35
8 ТЭЦ Нефтеперевозки 24
ное значения, дисперсия, коэффициент вариации) наглядно виден разброс в суждениях экспертов (табл. 3).
Так, для случая индивидуальной работы экспертов диапазон суждений отдельных факторов колеблется в пределах от 0,016 до 0,371, а коэффициент вариации достаточно велик - от 33 до почти 60%.
Медиана и среднее значение в большинстве случаев не совпадают, следовательно, выборки весовых коэффициентов существенно ассимет-ричны.
Сравнивая результаты работы экспертов до и после обсуждения идей, можно отметить следующее: практически все статистические характеристики отличаются незначительно, лишь значение коэффициента вариа-
ции уменьшилось в среднем на 10%. В табл. 3 представлены статистические характеристики, определенные при индивидуальной работе экспертов и в рамках метода номинальных групп.
Исследования показали, что на работу экспертов, принимавших участие в оценке негативного воздействия источников загрязнения окружающей среды на здоровье местного населения, оказывает влияние коллективное обсуждение. Отмеченный разброс суждений, тем не менее, не является препятствием для построения экспертно-аналитической системы для исследуемых задач, поскольку типичен для всех экспертных опросов.
Сравнение результатов оценки роли факторов до и после обсуждения показало, что зна-
Таблица 3
СТАТИСТИЧЕСКИЕ ХАРАКТЕРИСТИКИ ВЛИЯЮЩИХ ФАКТОРОВ
Факторы Среднее Медиана Минимум Максимум Дисперсия Коэффициент вариации
При индивидуальной работе экспертов
ЖКХ 0,070 0,048 0,016 0,178 0,002 53,12
ЦБК 0,158 0,158 0,062 0,317 0,004 32,86
Автотранспорт 0,150 0,102 0,035 0,360 0,010 57,23
Космодром 0,145 0,128 0,041 0,307 0,007 47,33
ЦАС 0,201 0,227 0,033 0,371 0,011 43,45
Нефтеперевозки 0,093 0,070 0,025 0,216 0,003 50,80
Частный сектор 0,054 0,041 0,017 0,148 0,002 58,54
ТЭЦ 0,129 0,123 0,045 0,268 0,004 36,56
В рамках метода номинальных групп
ЖКХ 0,060 0,042 0,017 0,198 0,003 62,95
ЦБК 0,186 0,176 0,065 0,305 0,005 30,67
Транспорт 0,149 0,132 0,037 0,361 0,009 50,79
Космодром 0,111 0,085 0,044 0,274 0,005 49,84
ЦАС 0,262 0,267 0,024 0,415 0,012 35,05
Нефтеперевозки 0,050 0,053 0,015 0,085 0,001 41,50
ТЭЦ 0,118 0,119 0,024 0,217 0,003 32,56
Городские свалки 0,064 0,055 0,015 0,213 0,002 51,52
чения весовых коэффициентов факторов изменились в результате корректировки суждений. Это особенно хорошо заметно, если представить значения весовых коэффициентов в графической форме (см. рисунок).
Введение в метод номинальных групп критерия оценки качества работы эксперта позволяет получить более обоснованные экспертные суждения путем исключения из рассмотрения некомпетентных мнений.
Совмещение процедур методов номинальных групп и анализа иерархий позволяет добиться более высокого уровня качества экспертных суждений.
В то же время разброс мнений экспертов до и после обсуждения проблемы существенно не изменился, что, видимо, имеет объективные причины.
Обсуждение идей ведет к изменению количественных оценок влияющих факторов
0,300
0,250
0,200
0,150
0,100
0,050
0,000
&
ч-Ч<*
</
Различие оценок влияющих факторов до и после обсуждения
Примечания
1 Stoner J. Risky and Cautions Shifts in Group Decisions // J. Exp. and Soc. Psychol. 1967. V 3. P 189-205.
2 Moscovici S., Zavalloni M. The Group as a Polarizer of Attitudes // J. Pers. and Soc. Psychol. 1969. V. 12. P 125-135; TegerA., Pruitt D. Components ofGroup risk Taking // J. Exp. and Soc. Psychol. 1967. V. 3. P. 189-205; WilliamsE., ClarkR. Shift toward Risk and Heterogeneity of Groups // J. Exp. and Soc. Psychol. 1971. V 7. P 304-312.
3 Егорова Е.В. Исследования феномена сдвига в выборе в американской политической психологии // Вопр. психологии. 1981. N° 6. С. 145-150.
4 Delbecq A.L., Van de Ven A.H. A Group Process Model for Identification and Program Planning // J. of Applied Behavioral Sciences. 1971.
5 Горбунова Е.М. Метод номинальных групп // Социология: методология, методы, математические модели. 2003. № 16. С. 5-25.
6 Коробов В.Б. Экспертные методы в географии и геоэкологии. Архангельск, 2008.
7 Саати Т.Л. Принятие решений при зависимостях и обратных связях: аналитические сети. М., 2009.
8 Города и районы Архангельской области. Основные социально-экономические показатели: стат. сб. Т. I. Архангельск, 2008.
Voevodina Valentina, Korobov Vladimir, Klepikovskaya Elena
CHOICE AND ESTIMATION OF INFLUENCING FACTORS BY MATCHING METHODS OF NOMINAL GROUPS AND HIERARCHY ANALYSIS IN MULTICRITERIA ESTIMATION PROBLEMS
The article reflects an attempt at improvement of one of the expert evaluation methods, the nominal group technique, by using evaluation of experts“ work quality mode the criterion of which is the consistency of experts“ opinions. The combination of procedures included in these methods is shown to improve the quality of expert judgments.
Контактная информация: Коробов Владимир Борисович e-mail: [email protected] Клепиковская Елена Владимировна e-mail: [email protected]
Рецензент -Дрегало А.А., доктор философских наук, профессор кафедры общего и специального менеджмента Поморского государственного университета имени М.В. Ломоносова
