CC BY
223
С.^Э. £рошкин, 3-3- фои&ков
АНАЛИЗ ПОДХОДОВ К ОЦЕНКЕ ЭКСПЕРТНОЙ ИНФОРМАЦИИ ПРИ ПРОГНОЗИРОВАНИИ ИННОВАЦИОННЫХ
РЕШЕНИЙ
Прогнозирование перспективных, разрабатываемых и осваиваемых технологий включает анализ технологического потенциала отраслей, оценку рейтинга технологий в отраслях и оценку рейтинга технологий по трем основным критериям: а) значимость и актуальность; б) инвестиционная привлекательность; в) коммерческий потенциал.
Сопоставление результатов технологического прогнозирования с возможностями их реализации приводит к выбору перечня технологий и к выработке соответствующей стратегии развития экономики.
Методика экспертного оценивания включает четыре основных этапа.
1. Сбор предложений по решению научных проблем и формирование исходных списков по различным направлениям.
2. Формирование экспертных комиссий по различным направлениям.
3. Формирование критериев оценки проектов (прогнозных решений).
4. Оценивание проектов по выбранным критериям и их ранжирование для последующего обсуждения и принятия окончательного решения.
После определения целей и этапов экспертизы формируется рабочая группа по проведению опросов, состоящая из руководителя работ и аналитиков, которые непосредственно занимаются обработкой экспертных суждений.
Формирование исходных списков проектов. Рабочая группа организует сбор научных предложений по представлению специалистов институтов РАН, вузов и других учреждений. Полученные предложения распределяются по определенным направлениям.
Информация о проектах должна отражать следующие позиции: 1) наименование проекта; 2) разработчики проекта; 3) решаемые задачи; 4) краткая аннотация с ретроспективным анализом проблемы; 5) особенности методики и основные научные характеристики; 6) планируемый период реализации.
* Под перспективными, разрабатываемыми и осваиваемыми технологиями далее будем понимать прогнозные решения или проекты.
Отбор экспертов. При формировании состава комиссий экспертов по определенным направлениям необходимо учитывать их: а) профессиональный уровень; б) опыт научной деятельности; в) авторитет в научной среде. Кроме того, группа не должна состоять из представителей одной узкой специальности, одной научной школы или одного учреждения.
Большую роль в оценке компетентности экспертов может сыграть анкета эксперта, содержащая персональные, профессионально-квалификационные данные и информацию об области научных интересов.
Для оценки компетентности экспертов могут быть использованы различные косвенные методы. Они подразделяются на две группы: 1) методы, основанные на оценке объективных качеств, самооценки, взаимной оценки, профессиональных признаков (таких как стаж работы, должность, ученая степень, и т.д.); 2) методы, основанные на оценке степени влияния данного эксперта на согласованность группы. Последняя группа методов эффективна лишь при достаточной однородности группы экспертов.
Практика показывает, что на этапе предварительного формирования экспертной комиссии можно использовать метод самооценки. Этот метод позволяет при минимальных затратах времени и без проведения трудоемких экспертиз на стадии отбора произвести достаточно надежную оценку компетентности. Суть процедуры заключается в подготовке специальных анкет, заполняя которые эксперт показывает свою эрудицию и аналитические способности. Важно, чтобы эксперт, заполнил анкету в короткий срок (5-10 мин.).
Примерное обращение к кандидату в эксперты может выглядеть следующим образом: «Вас просят оценить вопросы соответственно объему Ваших знаний. Прочтите внимательно все вопросы и выберете тот, который Вы знаете лучше других. Дайте этому вопросу оценку 5. Затем найдите вопрос, который Вы знаете хуже других и дайте ему оценку 1. После этого оцените оставшиеся вопросы относительно этих двух, используя баллы 1, 2, 3, 4, 5. Таким образом, вопрос, о котором Вы знаете почти столько же, как и по первому, также получит оценку 5. Вопрос, расположенный примерно в «середине» следует оценить в 3 балла и т.д.
Заметим, что оценка является относительной и зависит от объема Ваших знаний по данной проблематике. Не старайтесь улучшить оценки - руководствуйтесь Вашим личным впечатлением».
Получив эти данные, можно рассчитать суммарный численный индекс как индивидуальной компетентности эксперта, так и групповой по каждому вопросу.
Подготовка экспертизы. Подготовка экспертизы начинается с создания рабочей группы. Руководителем группы, ответственным за решение проблемы является начальник соответствующего департамента компании (организации). Далее в рабочую группу должны входить ве-
дущие специалисты компании и отраслевых институтов по данной проблематике. Рабочая группа формирует вспомогательную группу экспертизы, куда включаются специалисты, занимающиеся непосредственно подготовкой экспертизы, сбором и обработкой экспертных суждений.
Рабочая группа формирует экспертную комиссию для проведения экспертизы. В состав экспертной комиссии включаются научные работники, компетентные в соответствующей области; производственники, хорошо знающие практические и конкретные вопросы внедрения НТП на отраслевых производствах, а также представители администрации, имеющие большой опыт организации разработки и внедрения результатов НТП.
Чтобы избежать снижения точности и надежности экспертизы, в экспертную группу нужно ввести не менее 5 человек. Известный опыт проведения экспертных опросов подобного рода показывает, что оптимальным следует считать состав комиссии из 8-10 экспертов.
При составлении списка экспертов следует учитывать также и представительность группы. Желательно, чтобы экспертная группа состояла из представителей нескольких научных направлений по предметной области экспертизы.
Один из экспертов назначается (или выбирается) руководителем экспертной комиссии. Он является также членом рабочей группы. Через него осуществляется связь и взаимодействие между рабочей группой и экспертной комиссией.
Рабочая группа составляет подлежащий экспертизе исходный список оцениваемых объектов, который раздается экспертам для анализа с описанием целей экспертизы.
Работа экспертов над исходным списком состоит в том, что они исключают ненужные или добавляют недостающие, в списке объекты, т.е. устанавливают список базовых объектов (базовый список).
Базовые списки анализируются рабочей группой и затем составляется окончательный список объектов по следующему правилу: если более половины всех экспертов исключили (добавили) объект, то он не входит (входит) в окончательный список.
Формирование критериев оценки проектов. В основе методического подхода к решению этой задачи лежит метод так называемого аналитического иерархического вида с приданием весов значимости критериям на различных уровнях иерархии. Подобная структура позволяет на каждом уровне и в каждой группе близких по смыслу критериев производить отбор, ранжирование и оценивать их приоритетность.
Применительно к рассматриваемой задаче структура системы критериев представляет собой двухуровневое иерархическое дерево, на верхнем уровне которого находятся группы однотипных критериев, отвечающих различным целям оценивания. Нижний уровень дерева определяют непосредственно сами критерии, по которым эксперты оценивают
проекты. Критериально-целевая система оценивания формируется рабочей группой.
По каждому критерию разработана качественная балльная шкала из небольшого числа градаций. Это, с одной стороны, облегчает работу эксперта, а с другой, - повышает надежность и обоснованность получаемых оценок.
Для лучшей дифференциации при отборе проектов желательно определить относительную важность или приоритетность критериев как на уровне групп, так и отдельно внутри каждой группы. С этой целью применяется разработанная информационная технология экспертных исследований, опирающаяся на математический аппарат анализа и обработки суждений эксперта, который будет рассмотрен ниже.
Необходимым этапом формализации процесса выработки оптимальной стратегии научно-технического развития является идентификация критериально-целевой структуры управления. Такая идентификация возможна только в рамках ее важнейшего раздела - теории целенаправленных иерархических систем. Согласно этой теории, системный подход предполагает качественную структуризацию оптимизационной задачи путем построения так называемого «дерева целей». Для этого необходимо выяснить, что понимает лицо, принимающее решения (ЛИР), под глобальными целями, а также какие подцели и критерии обеспечат требуемую формализацию конечных целей. В рассматриваемой проблематике конечные цели должны предполагать создание и последующее внедрение новшеств, а это, в свою очередь, определяет промежуточные цели по направлениям научно-технического развития соответствующим организациям и предприятиям.
Поскольку цели дают качественное описание предпочтительности (оптимальности), нужно найти соответствующие им критерии, которые выражали бы это описание в количественном виде, т.е. были измеримы в физических шкалах, либо оценены экспертами. В теории систем цели и критерии объединяются в систему на основе задания их иерархии. Для этого используется понятие конкретизации - подразделения, разбиения цели на подцели более низкого уровня, что способствует разъяснению смысла целей вышестоящего уровня [1]. Так строится иерархия «сверху вниз» - агломеративное дерево целей. Сначала определяются новые требования к деятельности отрасли (региона и т.п.) в перспективном периоде с перечнем критериев оценки деятельности отрасли. Далее устанавливается уровень детализации целей научно-технического развития. Например: отрасль в целом; основные комплексные технологии для производства однотипной продукции; элементы комплексных технологий; составные части этих элементов, включая технологию, оборудование и кадры [2].
Важно, чтобы при разделении целей на подцели каждый из аспектов цели более высокого уровня был учтен в одной из подцелей. При этом надо предотвратить разрастание дерева, как по горизонтали, так и по вертикали.
Процесс построения иерархической системы может происходить не единственным образом. Однако в любом случае, следуя принципам иерархичности и конкретизации, система должна быть построена так, чтобы полученный на нижнем уровне набор критериев отвечал следующим условиям:
• полнота - охват всех важных сторон и аспектов проблемы;
• информативность - полезность заключенной в них информации для анализа;
• разложимость - возможность упрощения процесса оценивания результатов, т.е. независимого рассмотрения отдельных целей;
• неизбыточность - отсутствие дублирования при учете целей.
После того, как структурированы цели и критерии оценки научнотехнического развития, необходимо установить их приоритетность, что является вторым этапом рассматриваемой задачи идентификации. При этом на каждом уровне иерархии приоритетность или сравнительная важность элементов относительно элементов более высокого уровня должна быть выражена в количественной форме - в виде весовых коэффициентов или весов.
Таким образом, назначение методики состоит в использовании экспертных данных для построения критериально-целевой структуры и вычисления весов приоритетности критериев. Полученные веса в дальнейшем используются при моделировании оптимального выбора перспективных комплексных технологий.
Идентификация критериально-целевой структуры научно-технического развития социально-экономических систем предполагает существенное использование информации, получаемой от высококвалифицированных специалистов - экспертов.
Более неоднозначная ситуация имеет место при рассмотрении методов экспертного опроса для определения весов приоритетности целей и критериев в задачах принятия решений, что является предметом исследований теории экспертных оценок.
Математическая теория экспертных оценок является довольно молодым научным направлением. За последние два десятилетия экспертные методы получили бурное развитие как в теоретическом, так и в прикладном аспектах. Происходит разработка понятийного аппарата, формирование стройной логической схемы получения, анализа и обработки экспертной информации.
В ряде методов считается, что эксперт может непосредственно сравнить объекты и выставлять им численные оценки или, например, может оценить интервал между уровнями предпочтительности объектов и за-
тем попарно сравнивать эти интервалы. В интерактивной процедуре эксперт в процессе диалога должен определить, удовлетворяют ли его вычисленные на ЭВМ веса и, если нет, скорректировать управляющий параметр модели, представляющий собой отношение максимального и минимального весов.
Существует ряд распространенных методов, в которых необоснованно используются арифметические операции над экспертными оценками относительно шкал, в которых они измерены [3]. Примером может служить так называемый метод средних рангов, в котором ранги объектов, назначенные группой экспертов, усредняются и полученные величины считаются искомыми весами, хотя известно, что в порядковых шкалах операция усреднения некорректна.
Существуют подходы, в которых весовые коэффициенты определяются на основе информации о парных сравнениях многомерных объектов и их критериальных оценках [4-6]. Однако, во-первых, такие процедуры требуют решения сложных оптимизационных задач, и, во-вторых, полученные веса могут быть использованы только для данного конкретного множества объектов, что снижает их практическую ценность.
Большую группу составляют методы, основанные на вероятностной трактовке экспертных суждений. Здесь предполагается, что суждения могут изменяться под действием случайных факторов [7]. Отсюда следует, что оценка важности объекта также является случайной величиной, а эксперт оценивает каждую ее реализацию. Поскольку от одного эксперта нельзя получить набор суждений при независимых повторных испытаниях, то требуемые частоты находятся в результате опроса группы экспертов, которую считают однородной [7]. Таким образом, статистические модели требуют, как минимум, наличия больших экспертных групп и проверки их однородности.
Для рассматриваемой здесь задачи наиболее известными и разработанными являются процедуры, в основе которых лежит модель Терстоуна [4, 8], а также некоторые другие методы, использующие в качестве исходной информации, например, матрицы частот предпочтений экспертов [9].
Анализ существующих методов экспертных оценок приводит к необходимости выработки иного концептуального взгляда на характер экспертной информации. Следует исходить из того, что компетентный эксперт проводит оценку возможных вариантов предпочтений в достаточной степени субъективно и выражает свои суждения продуманно. Факторы, способные повлиять на его мнение, носят, главным образом, неслучайный характер. Они имеют природу нестатистического свойства, связанную с размытостью понятий и категорий человеческого мышления и многозначностью языка.
Говорить о распределении вероятностей индивидуальных суждений нет достаточных оснований, так как нет возможности оценить воспро-
изводимость экспертных оценок и их статистическую устойчивость. Следовательно, в условиях, не обеспечивающих предпосылки вероятностной концепции, можно применять более адекватный математический аппарат, опирающийся на идеи теории нечетких множеств [10]. Понятия нечеткого множества и лингвистической переменной позволяют исследователю моделировать неопределенности, не имеющие стохастической природы (связанные, скажем, с ошибками измерения). В частности, для описания высказываний эксперта удобно использовать термы соответствующих лингвистических переменных, которые, в свою очередь, формализуются через функции принадлежности нечетких множеств [10]. В этом случае обработка и анализ экспертных оценок сводится к оперированию с функциями принадлежности, для чего имеется развитый математический аппарат.
Обозначенный подход согласуется с трудно оспариваемой точкой зрения, согласно которой человеку значительно легче давать качественную вербальную информацию, нежели количественные оценки. Кроме того, качественные суждения, по мнению большинства психологов, являются устойчивыми к модификациям структуры целей эксперта. Таким образом, качественные оценки значительно более надежны, нежели количественные, хотя и менее информативны. Отсюда следует важный вывод: если получаемая от экспертов информация имеет качественный характер, то и найденные веса приоритетности также следует считать приближенными, так как после обработки нечеткой вербальной информации нельзя получить точные количественные результаты.
Такой подход к решению обсуждаемой проблемы идентификации целевой структуры лежит в основе разработки методики экспертного спроса и специальных экспертных процедур анализа и обработки экспертных оценок.
Методика построения критериально-целевой структуры. Первым этапом идентификации критериально-целевой структуры научнотехнического развития социально-экономической системы является построение дерева целей - агломеративной иерархической структуры целей, подцелей и критериев деятельности системы.
Анализ ситуации на основе обобщения известных подходов позволяет предложить достаточно простую процедуру решения этой задачи. Приведем описание методики работы с экспертами.
Реализуем подготовительный этап экспертизы. С этой целью образуется инициативная группа по проведению экспертного опроса, в которую могут входить ЛПР - руководитель работ, ответственный за решение проблемы; несколько экспертов, выбранных по рекомендации ЛПР; и один или несколько человек, которых условно назовем аналитиками. Задача последних - подготовка и проведение экспертизы, а также ее математическое обеспечение (анализ и обработка информации).
Инициативная группа определяет глобальные цели исследования и основные факторы, характеризующие степень достижения этой цели. Далее группа вырабатывает, так называемые базовые или первоначальные списки элементов на каждом уровне иерархии создаваемого дерева целей. При этом связи между элементами различных уровней выявляются «сверху-вниз».
Поскольку базовые списки могут быть местами неполными, а местами - избыточными, следующий этап экспертизы состоит в формировании расширенной экспертной комиссии, в которую в индивидуальном порядке передаются подготовленные списки.
Работа эксперта со списками заключается в том, что он по своему усмотрению может добавить или исключить какие-то элементы в списках, после чего скорректированные списки передаются аналитикам для обобщения и анализа.
Ввиду того, что несогласованность суждений экспертов неизбежна, для выработки и принятия окончательного решения целесообразно собрать всех экспертов за «круглым столом», чтобы обсудить все спорные моменты.
Возможна ситуация, когда за один тур обсуждения не удается прийти к единому мнению по каким-то вопросам. Поэтому следует провести повторные туры по методу «Дельфи» [4], пока не будет найдено взаимоприемлемое решение. Как правило, определенные трудности по согласованию мнений возникают на нижних уровнях дерева (критерии и показатели). В связи с этим здесь обычно имеет место избыточность элементов. Поэтому требуется провести исследование списков на избыточность с помощью специальных математических методов визуализации данных и снижения размерности. Эти исследования необходимы еще и потому, что в основе реализации второго этапа идентификации критериально-целевой структуры - определении весов приоритетности целей и критериев - лежит метод парных сравнений. Трудозатраты экспертов при исследовании данного метода существенно зависят от количества оцениваемых объектов.
Если собрать экспертов за «круглым столом» не представляется возможным, то для формирования окончательных списков следует использовать мажоритарное правило отбора, например, правило простого большинства: элемент остается или исключается из списка, если за это «проголосовало» более половины экспертов, входящих в комиссию. В сложных случаях следует оставить спорные элементы в списке и применить методы снижения размерности.
Их применение является желательным (хотя и необязательным) этапом анализа критериально-целевой структуры. Несмотря на то, что применение методов снижения размерности выходит за рамки темы настоящей работы и является самостоятельной сложной проблемой, для полноты картины дадим краткое представление о них.
Цель процедур снижения размерности - сокращение избыточности числа критериев за счет выделения наиболее информативных критериев на базе статистического анализа их структурных связей.
Методы снижения размерности пространства критериев основаны на переходе от большого числа к исходных критериев/ь...,/к к меньшему числу информативных переменных уь..., ут, т<к. В качестве исходной информации принимается матрица измерений критериев в экспериментальных точках.
В общем случае задача снижения размерности ставится как оптимизационная: необходимо определить такой набор переменных
у = (у1,...,ут) из класса допустимых преобразований критериев
/ = (/1,...,/т), при котором достигает максимума выбранная мера информативности 1т (у).
Конкретный выбор меры 1т и класса допустимых преобразований приводит к различным методам снижения размерности методом факторного анализа, главных компонент, многомерного шкалирования и дискриминантного анализа. Однако снижение размерности критериального пространства в этих методах происходит не за счет исключения части критериев из исходного набора /, а за счет использования меньшего числа новых латентных переменных у , которые являются функциями от / и плохо поддаются интерпретации.
Поэтому целесообразно использовать метод, позволяющий снизить размерность, оставаясь в той же системе критериев, т.е. перейти к системе /1,...,/ш, наилучшим образом прогнозирующих оставшиеся (к-т) критериев. Такая система критериев получается в результате решения оптимизационной задачи /т^шах.
Здесь мерой информации служит функционал
где Кщ - множественный коэффициент корреляции, характеризующий тесноту связи /щ-го критерия с совокупностью /а,., /т-
Таким образом, процедура выбора информативных критериев позволяет снизить размерность дерева целей и применять на втором этапе идентификации метод парных сравнений.
Обобщенный алгоритм экспертного опроса. Рассматриваемая задача определения приоритетности целей и критериев в виде весов в теории экспертных оценок относится к классу задач количественного оценивания вариантов. Анализ литературы по этому вопросу позволил выделить три основных этапа реализации экспертизы подобного рода. Ка-
щ=т+1
ждый из этапов представляет собой самостоятельную задачу. Решение этих задач возможно только во взаимосвязи и неразрывно связано с тем методом и теми предпосылками, которые исследователь выбирает для решения основной задачи экспертизы.
Приведем обобщенный алгоритм проведения экспертизы:
• получение исходной информации от экспертов;
• анализ приемлемости (непротиворечивости) суждений эксперта;
• агрегирование экспертных оценок и получение результирующих весов приоритетности.
Получение экспертной информации. По способам получения экспертной информации можно выделить две основные группы методов - это методы непосредственного оценивания приоритетности объектов в некоторой априорно заданной числовой или балльной шкале и методы, использующие информацию о предпочтительности в виде парных сравнений.
Между «выходными» и «входными» данными экспертизы, иными словами, между видом окончательных оценок, и теми, которые непосредственно запрашиваются у эксперта, нет взаимнооднозначного соответствия. Так, основываясь на частотах ответов типа «лучше-хуже», в которых отражается лишь порядок предпочтения, можно строить количественные оценки предпочтительности. Наоборот, нередки опросы, когда проставляемые экспертами баллы, т.е. некоторые числа непосредственно годятся лишь для ранжирования объектов. В экспертизе используются также вербальные шкалы, парные и множественные сравнения, но все они, в конечном счете, направлены на оценивание одного из перечисленных типов.
Если шкала заранее не задана, единственные вопросы, которые не связаны с сильными предположениями о способности экспертов к самостоятельной квантификации своих субъективных представлений,- это вопросы о порядке предпочтения. Порядок может устанавливаться как на различных подмножествах исходного множества объектов (парные и множественные сравнения, ранжировки), так и на комбинации объектов (сравнение «разностей», «сумм», лотерей). В зависимости от выбранного варианта получаем конкретный тип данных, которые запрашиваются у эксперта. Оценки предпочтительности, рассчитанные по этим данным, могут быть порядковыми (ранги), количественными или чем-то промежуточным (например, приближенно-количественными). С формальной точки зрения они образуют некую апостериорную шкалу, в которой измерены объекты.
Есть два принципиально разных способа для получения количественных оценок на основе «порядковой» информации (по ответам типа «лучше-хуже»): запрашивать как можно более полные сведения о предпочтениях каждого эксперта и квалифицировать или анализировать относительно простые данные, но по группе в целом, считая, что за частотами «побед» и «поражений» объектов стоят неизвестные значения их предпочтительности.
Для определения интенсивности предпочтения чаще всего используют баллы. При отсутствии априорной шкалы это может иметь два объяснения. Первое - каждый эксперт имеет свою субъективную шкалу, в которой и оцениваются объекты. Такое предположение, правда, выглядит несколько фантастично. Более правдоподобно второе - баллы рассматриваются как простой способ получения углубленной информации о предпочтениях. В этом случае опять возникает проблема проверки «достаточности» соответствующей информации для приближенноколичественного представления предпочтений. Поскольку в явном виде она нам недоступна (она «спрятана» в назначенные баллы), то решить эту проблему невозможно. Кроме того, по сравнению с методами предыдущей группы, здесь появляется такой сильный источник искажений, как «самоквантификация»: эксперт должен сам подобрать числа, отражающие его представления о качестве объектов, и вряд ли он бывает точным. Можно указать и на деформации, связанные с недостаточным числом градаций в предложенной шкале. Таким образом, хотя баллы всегда несут более богатую информацию о предпочтениях чем «порядковые» данные, они же могут содержать очень существенные искажения. Баллы не оставляют возможности проверять меру «количественно-сти» предпочтений, и в тех задачах оценивания, о которых идет речь, лишь с определенной натяжкой могут обрабатываться как числа.
Проблема баллов отягощается также необходимостью совмещения оценок разных экспертов. Если два эксперта имеют полностью совпадающие предпочтения, это еще не означает, что они используются для их выражения одинаковыми оценками шкалы и каждому объекту будут приписаны одни и те же баллы. Существующие здесь технические приемы (фиксация оценки лучшего объекта и т.д.) не решают проблемы в целом.
Представляется, что более надежные, контролируемые результаты дает подход, когда для упорядочения (выбора) и количественной оценки используются данные только о порядке предпочтения. Как уже отмечалось, для практических экспертиз больше подходят относительно простые формы: индивидуальный выбор «лучших» объектов, ранжировки, парные и множественные сравнения. «Платой» за объединение информации является то, что в отдельных случаях количественные оценки, рассчитанные с помощью «частотных» методов, лишь приблизительно отражают субъективный характер предпочтений.
Индивидуальный выбор одного или нескольких лучших объектов, наоборот, прост для эксперта, но дает бедную информацию о его предпочтениях. Это снижает надежность результата.
Наиболее подходящими для рассматриваемой задачи экспертного оценивания являются парные сравнения. Преимущество парных сравнений - в большей свободе для выражения предпочтений, простоте самой процедуры оценивания с точки зрения эксперта, особенно в ситуа-
ции плохой «различимости» объектов. Очевидно, что эксперту легче сравнивать пары объектов, нежели «разместить» на числовой шкале сразу все множество объектов. Отметим еще два важных достоинства этого способа. Во-первых, определенная «избыточность» получаемой информации позволяет провести анализ суждений эксперта и тем самым эффективно решить задачу экспертизы. Недостатком этой формы оценивания является сравнительная трудоемкость процедуры, требующей для упорядочения п объектов проведения п(п-1)/2 сравнений. На практике рекомендуется применять парные сравнения не более чем для 10-15 объектов.
Методы, основанные на парных сравнениях, получили большое распространение и довольно часто используются для нахождения весов приоритетности. При этом от эксперта фактически требуется количественная информация о предпочтительности. С точки зрения теории измерений, качественные оценки типа «лучше-хуже», как отмечалось, не позволяют произвести упорядочение объектов на числовой шкале.
Проверка состоятельности индивидуальных предпочтений. Экспертное оценивание проводится тогда, когда объективное измерение невозможно или нецелесообразно. Тем не менее, в традиционном представлении проверка состоятельности индивидуального ответа означает его сравнение с некоторым эталоном - «истинной» оценкой или ее приближением. Предлагается, например, метод сравнения с групповой средней, которая в этом случае принимается за эталон. Для того, чтобы усредненное мнение соответствовало «истинному», основная часть экспертов должна давать правильные ответы. Проверить, так ли это на самом деле в конкретной экспертизе, практически невозможно, а провести предварительное тестирование удается далеко не всегда. Вообще, надежда на использование «истинной» или близкой к ней оценки в анализе экспертных данных, который должен выявить эту оценку, вряд ли оправданы. Упомянутая и аналогичные ей идеи применимы скорее для незначительной корректировки уже известного результата. Более того, в многочисленных экспертизах, предназначенных для нахождения разумного компромисса между заведомо несовпадающими точками зрения, само понятие истинности или эталона теряет смысл.
Данный подход актуален не только для нечетко поставленных экспертных задач, которые составляют большинство в социологии и экономике, но и для задач согласования интересов, где он позволяет выделить незрелые, «хаотические» предпочтения. Впервые он был предложен С. Кендаллом и Б. Смитом для проверки возможности строгого упорядочения объектов, затем распространен на задачи группировки и нестрогого ранжирования [11]. В методе, предложенном С. Кендаллом и Б. Смитом, для определения внутренней согласованности парных сравнений в качестве меры непротиворечивости суждений эксперта используется число циклических (нетранзитивных) троек элементов в матрице.
В общем случае схема построения критерия индивидуальной согласованности эксперта имеет следующий вид:
• выбор меры согласованности экспертных оценок;
• задание «эталонной» модели образования противоречивых суждений;
• расчет распределений меры для принятой модели при некоторых предположениях о распределении модельных параметров.
В подавляющем большинстве работ в качестве «эталонной» модели рассматриваются случайные суждения эксперта. Тогда анализ согласованности состоит в проверке гипотезы о случайном формировании экспертных оценок. В качестве соответствующей статистики, для которой строятся распределения, выступает выбранная мера согласованности.
Проверка групповой согласованности. Главная цель экспертиз -получение «объективной» информации о вариантах, причем такая информация не рассматривается как директивная. Исходное соглашение состоит в том, чтобы в качестве «объективной» использовать оценку, которая получена от группы экспертов как равнодействующая их индивидуальных мнений. При этом предполагается, что разумный компромисс между различными точками зрения достижим. В ситуации согласования различных интересов экспертные методы дают возможность построить «проект» соглашения, который, в известном смысле, наиболее близок к исходным позициям всех участников.
Необходимость получения результата, обобщающего ответы нескольких теоретически равноправных экспертов, делает задачу согласования мнений центральной как для каждого конкретного опроса, так и для направления в целом.
Существуют две возможности согласования: путем последовательного сближения исходных точек зрения или применения некого формального правила, дающего «справедливый» компромисс, когда мнения различны и фиксированы. Так как в реальности полное единство взглядов - скорее исключение, чем закономерность, использование формальных методов часто является вынужденной мерой, на которую идут, когда обсуждение вопроса заходит в тупик. Простейший пример - принятие решения большинством голосов. В то же время во многих экспертизах обмен мнениями между участниками не предусматривается (дорого, бесполезно и т.д.), и формальные методы становятся основным инструментом поиска решений. При этом нагрузка на экспертов снижается, но возрастает трудоемкость сбора и обработки данных.
Промежуточное положение между неформальным обсуждением и формальным согласованием (агрегированием) занимают процедуры, которые можно назвать формализованными. Они рассчитаны на постепенное сближение мнений, но при этом регламентируются контакты между экспертами и тип экспертной информации. Краткая характери-
стика этих процедур дана ниже. Отметим основные проблемы, связанные с агрегированием предпочтений.
Основной недостаток агрегирования состоит в использовании относительно бедной информации о вариантах. Более сложные соображения и мотивы, которыми руководствуется эксперт, остаются «за кадром». В неформальном обсуждении они, наоборот, влияют на общее решение. Другая проблема, связанная с формальным согласованием - большое многообразие имеющихся методов и, как следствие, неединственность результата. Обычно рекомендуется подтверждать полученное решение проведением альтернативных расчетов. Однако в том случае, когда решение изменяется вместе с методом, выбор остается за организаторами экспертизы или самими экспертами. Эти сложности можно рассматривать как плату за «волевое» согласование.
С содержательной точки зрения существенно, чтобы любая формально построенная равнодействующая выражала то общее, что содержится в полученных ответах. Понятно, что этого можно добиться только при условии достаточной согласованности (близости) мнений в группе. Если они противоречивы, то агрегирование превращается в бессмысленное усреднение. Следовательно, в каждом конкретном опросе должен решаться вопрос о правомерности использования формальной результирующей как «представителя» группы, т.е. должна проверяться согласованность ответов.
Рассмотрим методы опроса, в которых эксперт не только указывает свои оценки, но и может корректировать их во взаимодействии с другими экспертами. Выделяются два основных типа таких процедур опроса [11]:
• процедуры с личными контактами между экспертами;
• процедуры без личных контактов, но с обратной связью.
К первому типу относится традиционная «дискуссия за круглым столом». В ходе дискуссии эксперт может неоднократно вызывать суждения, учитывая точки зрения других участников опроса. За последние 40 лет появилось лишь несколько существенно новых предложений, развивающих исходную идею дискуссии. К ним относятся, в частности, метод мозговой атаки и процедура номинальной группы. Метод мозговой атаки состоит в проведении совместного заседания экспертов по определенным правилам, направленным на создание атмосферы свободного высказывания мнений. Принципиальным является отказ экспертов от критической оценки высказанных во время заседания суждений. Процедура, как правило, применяется в ситуациях, требующих поиска нестандартных решений. В методе номинальной группы участники независимо дают свои оценки, затем следует их общее обсуждение, после чего эксперты снова проставляют оценки и т. д.
Хотя в практике экспертиз, особенно отечественных, широко применяются процедуры с прямыми контактами между экспертами, приоритет в настоящее время принадлежит процедурам второго типа. Они
глубже проработаны в научном плане и активно применяются за рубежом. Эти методы ведут свою историю от широко известной процедуры «Дельфи» [11]. Она состоит в следующем. Экспертам предъявляют оцениваемый объект (или объекты). В первом туре каждый эксперт дает объекту числовую оценку. После этого исследователь подсчитывает и сообщает всем экспертам среднюю оценку (или медиану) и показатель разброса оценок (например, интервал между крайними квартилями). Экспертов, давшие крайние оценки просят обосновать свое мнение. Эти обоснования сообщаются (при сохранении анонимности) всем экспертам, после чего аналогично проводится второй тур опроса. Итерации заканчиваются тогда, когда, по мнению исследователя, будет достигнута достаточная близость оценки экспертов. Этот исходный вариант процедуры («стандартный Дельфи») повлек за собой множество модификаций. Так, особенность метода «Дельфи П» состоит в том, что эксперт в каждом туре дает высшую, среднюю и низшую оценку: соответственно, по обратной связи передаются медианы этих трех оценок. Метод «упрощенный Дельфи» представляет компромисс между «Дельфи» и дискуссией. Эксперты сидят «за круглым столом», но устно выступают лишь те, которые представили крайние оценки. В методе Форда предлагается более изощренная схема, направленная на уменьшение конформизма. В первом туре эксперт сообщает верхнюю и нижнюю границы, между которыми, по его мнению, лежит точная оценка. Подсчитываются средние высшая и низшая оценки. Середина интервалов между ними сообщается экспертам, и их просят указать, выше или ниже ее лежит точная оценка. «Большинством голосов» выбирается одна из областей, например, верхняя. В следующем туре середина этой области предъявляется экспертам с аналогичным вопросом и т.д. Опрос заканчивается при достижении достаточно малого интервала.
Огромный опыт использования процедуры «Дельфи», широко применяемой с конца 60-х годов, убеждает, что сообщение усредненной оценки часто оказывает неоправданно сильное давление на мнения экспертов. Ведь эксперт попадает в ситуацию известных психологических опытов по выявлению конформизма. Данное обстоятельство привело к критике «Дельфи» и к разработке новых процедур опроса. В этих процедурах участник опроса с каждым шагом узнает не среднюю оценку, а мнение одного из своих коллег. Сравниваются два равноправных суждения, а не частное мнение с мнением коллектива. Перейдем к описанию таких методов.
Л.А. Панковой и М.В. Шнейдерманом предложена так называемая последовательная процедура опроса. На первом туре случайно выбирается один из экспертов. Он дает оценку объекту и отдельно от нее текст, содержащий известные эксперту сведения и мнения о различных особенностях оцениваемого объекта, которые эксперт принимает во внимание при вынесение оценки. Во втором туре та же информация посту-
пает от второго случайно выбранного эксперта. Эти два эксперта знакомятся с текстами (но не оценками) друг друга, после чего сообщают исследователю свои скорректированные оценки. В третьем туре первые два эксперта получают текст третьего эксперта, а он - их тексты, и оценки снова корректируются и т. д. Этот метод имеет характерное правило остановки, принципиально отличное от используемого в «Дель-фи». Критерием окончания опроса является не сближение, а стабилизация мнений экспертов.
В процедуре «качественной обратной связи» С. Пресса в первом туре все эксперты одновременно дают оценки и подробные текстовые обоснования своих оценок. Затем составляется и передается каждому эксперту свободная информация, суммирующая обоснования всех экспертов. Во втором туре снова каждый эксперт дает оценку и ее обоснование. Критерием остановки является стабилизация индивидуальных оценок.
С.Б. Котляром предложена процедура, согласно которой в каждом туре эксперты случайно разбиваются на пары, и обмениваются оценками. Правило остановки не указано, но, по-видимому, опрос заканчивается при достаточном сближении оценок.
Приведенный неполный перечень процедур проведения «динамических» экспертных опросов позволяет выделить основные признаки, по которым эти процедуры различаются. К таким признакам относятся способ организации обратной связи, вид передаваемой по ней информации и правило остановки процедуры.
Приведем те выводы, которые нашли подтверждение в большинстве исследований.
• В целом в описанных процедурах итерации повышают точность ответов, причем в этом отношении между процедурами нет существенного различия. Однако большую точность дает обратная связь, предусматривающая одновременную передачу и экспертных оценок и их обоснований.
• Эффект сближения оценок сильнее всего проявляется в «Дель-фи», однако достижение согласия в этом случае не гарантирует точности итоговых оценок.
• Стабилизация оценок является более надежным критерием остановки, чем их сближение.
• Субъективная удовлетворенность эксперта тем выше, чем интенсивнее в процессе опроса его взаимодействие с другими экспертами. В то же время, точность итоговой оценки не всегда положительно коррелирует с удовлетворенностью экспертов.
• По трудоемкости и затратам времени лучшей является процедура индивидуальной обратной связи.
Известные в литературе формальные методы определения групповой согласованности наиболее разработаны для проверки экспертных суж-
дений, заданных в виде неметризованных парных сравнений и ранжирований. В первую очередь к ним относится коэффициент конкордации С. Кендалла, свойства которого достаточно полно исследованы в [9]. Имеется также целый ряд аналогичных мер согласования, основанных, главным образом, на вычислении результирующей матрицы предпочтений Р = (Р у), где Ру = Шу/т, ту - число экспертов, считающих г-й объект предпочтительнее у-го (или приписавших г-му объекту ранг у), т - общее число экспертов.
Однако для рассмотрения задачи определения весов приоритетности такие меры групповой согласованности оказываются малопригодными, так как при их использовании теряется содержащая в парных сравнениях информация об интенсивности предпочтений, что приводит к слишком грубым оценкам согласованности.
Схема анализа групповой согласованности аналогична схеме проверки непротиворечивости ответов эксперта, которая описана выше. В качестве «эталонной» модели несогласованности экспертов используется модель случайного поля высказанных точек зрения экспертов с равномерным распределением. Проверка согласованности экспертной группы состоит в принятии или отклонении статистической гипотезы о случайном наборе полученных суждений. С этой целью необходимо произвести статистическое моделирование выбранной меры и согласованности, а также построить соответствующее распределение этой меры.
Агрегирование экспертных предпочтений. Задача упорядочения или количественной оценки объектов по данным в виде набора индивидуальных ранжировок или матриц парных сравнений составляет один из последних этапов обобщенного алгоритма проведения экспертизы. Обсудим также некоторые элементы теории группового выбора, предмет которой - анализ и синтез различных формальных правил агрегирования.
Предположим, что имеется конечное множество объектов х=(хь..., хп); каждый их экспертов попарно сравнивает все объекты и упорядочивает их по предпочтительности. На основании его ответов заполняется матрица парных сравнений Ак=(аук) , (к - номер эксперта), элементы которой определяются следующим образом: аук=0 при /'=/'. В случае
1, если эксперт предпочитает объект хг объекту Ху; ак _ ■< 0, если эксперт предпочитает объект Ху объекту хг ;
3 1/2, если эксперт считает хг и Ху равноценными.
Парные сравнения являются более общим типом анализа экспертной информации чем упорядочения. Действительно, если задано упорядочение, то определен результат парного сравнения любых двух объектов. С другой стороны, для множества парных сравнений, определяемого упо-
рядочением, всегда выполняется следующее условие: если объект xi предпочитается объекту xJ■, а Xj предпочитается xl, то xi предпочитается xl (это свойство называется транзитивностью, а если, напротив, xl предпочитается xi, то говоря, что xi, Xj и xl образуют цикл предпочтения). Для парных сравнений общего вида выполнение этого условия, вообще говоря не предполагается. Матрицы парных сравнений будем рассматривать как исходные данные для построения итогового упорядочения объектов.
П
Введем матрицу A = (а.)П : A = Е Ak . Элемент матрицы А:
k=1
п
а = V а* равен количеству экспертов, предпочитающих объект xi объ-. ¿—1 а
*=1
екту х, плюс половина количества экспертов, считающих X, и х. равноценными. Пользуясь спортивной аналогией, часто полезной при анализе экспертных оценок, можно сказать, что а. есть общее количество «очков», набранных объектом xi против объекта х.
Если в упорядоченности по предпочтительности нет равноценных объектов (такое упорядочивание называется строгим), будем иногда представлять его ранжировкой т.е. функцией г=г(х), которая самому предпочтительному объекту ставит в соответствие число (ранг) 1, следующему - ранг 2 и т.д. Если г=г(х,)<г=г(хД будем говорить, что в ранжировке (и в упорядочении, которое она представляет) объект X, стоит выше, чем х. (или XI превосходит X. в г).
Рассмотрим несколько распространенных методов упорядочения объектов по результатам парных сравнений. Простейший метод упорядочения состоит в следующем. Для каждого объекта X, вычисляется сумма результатов всех его сравнений с другими объектами:
п п т ___
5=1 а. = ЕЕ ак, , = 1,п, и объекты упорядочиваются по убыва-
. =1 .=1 *=1
нию величины 51. Этот метод называется методом строчных сумм.
Если мнения экспертов заменить кругами спортивного турнира, то метод сумм совпадает со стандартной процедурой распределения мест в игровых видах спорта.
Алгоритм строчных сумм имеет свою аксиоматику. Для некоторых моделей парных сравнений он может быть получен методом максимального правдоподобия или методом наименьших квадратов и обладает многими другими свойствами.
В методе строчных сумм показатель 5,-, определяющий место объекта XI в итоговом упорядочении, зависит от результатов всех сравнений X,. В работе 1785 г. Ж. А. Кондросье предложил определять взаимное положение любых двух объектов X, и X. в коллективном упорядочении в зависимости от результатов их сравнений друг с другом: X, ставится
выше, чем X, если большинство индивидуумов предпочитают Xі объекту Ху. В наших обозначениях: а^>а^ тогда г(х,)<г=г(ху).
Однако, такой метод противоречив даже в случае, когда мнения экспертов являются упорядочениями объектов.
Оценивание проектов. Оценивание проектов происходит с помощью анонимного анкетирования по всей системе критериев. В качестве оценок берутся балльные градации шкал соответствующих критериев. После опроса полученные данные представляют собой набор (по числу экспертов) таблиц типа «проекты-критерии», которые подлежат математической обработке.
Целью обработки является получение некой согласованной обобщенной оценки проекта по всей экспертной группе. Технология экспертиз предполагает анализ согласованности экспертной группы, так как результирующая оценка имеет смысл только при наличии достаточной близости мнений членов экспертной комиссии. В противном случае необходим более детальный анализ точек зрения экспертов на проблему путем определения характера расслоения группы. Так, внутри группы может оказаться представительная высокосогласованная подгруппа экспертов, на мнение которой и следует опираться. Если такой подгруппы нет, то поставленная перед экспертизой задача не может быть решена. Это означает, что при подготовке опроса были допущены серьезные просчеты, которые следует проанализировать и внести коррективы.
Предлагаемая методология оценивания для получения более обоснованных результатов предполагает использование одновременно нескольких различных методов моделирования экспертных оценок. При анализе информации применяются две группы методов обработки данных: численные и турнирные.
Первая группа содержит три процедуры. В двух из них - методе Спирмена и методе определения среднего интервального - ранжирования проектов строятся на основе статистических характеристик (среднего и уклонения). В методе обобщенных строчных сумм данные преобразуются в кососимметрические матрицы парных сравнений. Ранжирования здесь строятся по результатам решения системы линейных уравнений.
Вторая группа методов содержит четьгре турнирные процедуры, которые используют соотношения оценок между парами сравниваемых объектов (в нашем случае между проектами). Применение турнирных показателей полезно, когда важны не значения оценок экспертов, а их отношения. По балльным оценкам каждого эксперта строится матрица парных сравнений по аналогии с таблицей спортивного турнира. В качестве результатов используются турнирные показатели по сумме очков (метод Коупленда), по квадратному корню из суммы квадратов очков, по минимальному выигрышу и по среднему геометрическому очков.
Одновременно каждый метод позволяет проверять согласованность экспертной группы.
Эти же методы могут быть применены при вычислении весов приоритетности критериев. Экспертам необходимо произвести ранжирование критериев внутри групп, а также оценить важность самих групп на верхнем уровне (тоже в виде ранжирования). По этим оценкам будут вычислены веса критериев, которые учитываются в моделях оценивания проектов и их последующем упорядочении.
В результате по каждому методу получаем свои ранжирования, которые сводятся в единую таблицу и сравниваются между собой для построения окончательной ранжировки.
Литература и информационные источники
1. Месарович М., Такахара Я. Общая теория систем: математические основы. М.: Мир, 1978.
2. Александров Н.И., Комков Н.И. Моделирование организации и управления решением научно-технических проблем. М.: Наука, 1988.
3. Растригин Л А., Эйдук Я.Ю. Адаптивные методы многокритериальной оптимизации // Автоматика и телемеханика, № 1,1985.
4. Литвак Б.Г. Экспертная информация: методы получения и анализа. М.: Радио и связь, 1982.
5. Раев А.Г. Об одном способе определения весовых коэффициентов частных критериев при построении аддитивного интегрального показателя // Автоматика и телемеханика, № 5, 1984.
6. Батищев Д.И., Анучин В.Ф. Построение коэффициентов важности частных критериев на основе нечисловой информации /Нечисловая статистика, экспертные оценки и смежные вопросы. М.: ВИНИТИ, 1984.
7. Тюрин Ю.Н. О математических задачах в экспертных оценках // Вопросы кибернетики, № 58, 1979.
8. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980.
9. Шмерлинг Д.С., Дубровский С А. и др. Экспертные оценки: методы и применение // Вопросы кибернетики, № 58, 1979.
10. Обработка нечеткой информации в системах принятия решений Под ред. А.Н. Борисова. М.: Радио и связь, 1989.
11. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. М.: Наука, 1984.
