CC BY
2339
ФОРМАЛЬНЫЕ МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК
УДК 004.9
Тэя Яновна Данелян,
к.э.н, доцент, проф. каф. Прикладной информатики в экономике Московского государственного университета экономики, статистики и информатики (МЭСИ)
Тел.: (495) 442-80-98 Эл. почта: tdanelan@mesi.ru
В статье последовательно рассматриваются формальные методы экспертных оценок. Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.
Ключевые слова: эксперт, метод экспертных оценок, исследование, экспертиза, анализ.
Tea Ya. Danelyan,
PhD in Economics, Professor, the Department of Applied Informatics in Economics, Moscow State University of Economics, Statistics and Informatics (MESI) Tel.: (495) 442-80-98 E-mail: tdanelan@mesi.ru
FORMAL METHODS OF EXPERT ESTIMATIONS
This article series discusses formal methods of expert assessments. Using the Delphi method helps to formalize the procedures for the collection, compilation and analysis of the views of specialists in order to convert them into a form most convenient for making an informed decision.
Keywords: expert, expert method of expert evaluations, research, expertise, analysis.
1. Введение
Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.
Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки.
2. Экспертное оценивание
Экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).
Эксперты (от латинского «ехрегШБ» - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов.
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.
Экспертные оценки часто используются при выборе, например:
1) одного варианта технического устройства для запуска в серию из нескольких образцов;
2) группы космонавтов из многих претендентов;
3) набора проектов научно-исследовательских работ для финансирования из массы заявок;
4) получателей экологических кредитов из многих желающих;
5) при выборе инвестиционных проектов для реализации среди представленных, и т. д.
3. Этапы экспертного оценивания
3.1. Постановка цели исследования
Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:
• Выбор лучшего варианта решения среди имеющихся;
• Прогнозирование развития процесса;
• Поиска возможного решения сложных задач.
Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:
• Четкое определение условий, времени, внешних и внутренних ограничений проблемы. Возможность ответа на вопрос с доступной человеческому опыту точностью;
_
• Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций;
• Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.
3.2. Выбор формы исследования, определение бюджета проекта
Существующие виды экспертных оценок можно классифицировать по признакам:
• По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле;
• По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные;
• По решаемым задачам: генерирующие решения и оценивающие варианты;
• По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале;
• По способу обработки мнений экспертов: непосредственные и аналитические;
• По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.
Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.
3.3. Подготовка информационных материалов, бланков анкет, модератора процедуры
Эксперты перед вынесением суждения должны разносторон-
не рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные.
Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.
3.4. Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
В проблеме подбора экспертов можно выделить две составляющие -составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения.
3.5. Проведение экспертизы
Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:
• Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста);
• Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
3.6. Статистический анализ результатов
После получения ответов экспертов необходимо провести их оценку. Это позволяет:
1) Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
2) Оценить ошибку исследования;
3) Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.
4. Виды экспертных оценок
Методы экспертных оценок можно разделить на две группы:
• методы коллективной работы экспертной группы;
• методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.
Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».
Мозговая атака. Организуется он как собрание экспертов, на вы-
ступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, «заражаясь» друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на диктофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект -прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей -творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: «Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс». После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.
Метод «635» - одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.
Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экс-
пертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.
Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.
Метод совещаний («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.
Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.
Метод комиссий - один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за «круглым столом» обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.
Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интегра-
ции хозяйства стран, включающее следующие вопросы:
• от каких простейших форм к более сложным должен пройти этот процесс;
• как он повлияет на национальное хозяйство и экономические связи стран;
• каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.
Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.
Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.
Он обычно носит многовариантный характер и освещает три линии поведения:
• оптимистическую - развитие системы в наиболее благоприятной ситуации;
• пессимистическую - развитие системы в наименее благоприятной ситуации;
• рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.
В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.
Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.
Метод суда является разновидностью метода «совещаний» и ре-
ализуется по аналогии с ведением судебного процесса.
• В роли «подсудимых» выступают выбираемые варианты решения;
• в роли «судей» - лица, принимающие решение;
• в роли «прокуроров» и «защитников» - члены экспертной группы.
Роль «свидетелей» выполняют различные условия выбора и доводы экспертов. При ведении такого «судебного процесса» отклоняются или принимаются те или иные решения.
Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.
Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи». Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.
Метод «Дельфи». Цель - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение
диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:
а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);
б) возможность использования результатов предыдущего тура опроса;
в) статистическая характеристика группового мнения.
Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.
Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.
Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.
5. Обработка результатов опроса экспертов
Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.
На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.
Чаще всего при обработке результатов опроса используются методы математической статистики.
В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:
• формирование обобщенной оценки;
• определение относительных весов объектов;
• установление степени согласованности мнений экспертов и др.
Далее рассмотрим некоторые методы решения каждой из перечисленных задач.
1) Формирование обобщенной оценки.
Итак, пусть группа экспертов оценила какой-либо объект, тогда х}- - оценка '-го эксперта, у = 1, т, где т - число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (МЕ), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:
= ^
(1)
2) Определение относительных весов объектов.
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.
Один из методов определения весов состоит в следующем. Пусть
т
Хц - оценка фактора /, данная ц'-ым экспертом, ' = 1, п, у = 1, да, и - число сравниваемых объектов, т - число экспертов. Тогда вес /-го объекта, подсчитанный по оценкам всех экспертов (Уг-), равен:
У=1
(2)
да
где - вес /-го объекта, подсчитанный по оценкам '-го эксперта, равен:
у = 1, да, /' = 1, п (3)
а =
Z((-x )2
j=1
m -1
(4)
где Х' - оценка, данная '-ым экспертом; т - количество экспертов.
Коэффициент вариации (V), который обычно выражается в процентах:
V = з--100%
х„
(5)
Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.
В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта ц):
Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:
3) Установление степени согласованности мнений экспертов.
В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики -меры разброса.
Вариационный размах
С^) — Хтах - Хтт,
где хтах - максимальная оценка объекта; хтт - минимальная оценка объекта.
Среднее квадратическое отклонение, вычисляемое по известной формуле:
Р = 1 -
xk)2
=1_
n(n2 -1)
6±dl
= 1 --
(6)
ратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.
Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации -общий коэффициент ранговой корреляции для группы, состоящей из т экспертов:
12 • 5
( - n)'
где
n ! m 1
5 = Z Zxj-2m(n
i=1 j 2
■1)
(7)
(8)
г(п2 -1)
где Х/' - ранг, присвоенный /-му объекту ц'-ым экспертом; /к - ранг, присвоенный /-му объекту к-ым экспертом; / - разница между рангами, присвоенными /-му объекту.
Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.
В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об об-
Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.
Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.
Литература
1. Орлов А.И. Экспертные оценки. //Заводская лаборатория. -2008. -Т. 62. - №1. - С. 54-60.
2. Орлов А.И. Экспертные оценки. Учеб. пособие. - М.: 2002.
3. Экспертные оценки. // StatSoft: SPC Consulting. [Электронный ресурс] : http://www.spc-consulting.ru/ app/expert.htm
References
1. Orlov A.I. Expert estimates. // Zavodskaya laboratoriya. - 2008. - T. 62. - №1. - S. 54-60.
2. Orlov A.I. Expert estimates. Textbook. - M.: 2002.
3. Expert estimates. // StatSoft: SPC Consulting. [Electronic resource]: http://www.spc-consulting. ru/app/expert.htm
i=1
