CC BY
246
УДК 330.45 Т.Ю. Чернышева
Иерархическая модель оценки и отбора экспертов
Задача определения компетентности экспертов является многокритериальной. В статье рассматриваются методы оценки компетентности экспертов как объектов, критерии качеств. Предлагается использовать иерархическую модель оценки и ранжирования экспертов на основе матриц парных сравнений и балльной оценки. Ключевые слова: оценка экспертов, метод анализа иерархий, баллы.
Введение
В любой сфере деятельности человечества приходится принимать решения, особенно ответственными являются задачи социально-экономического развития субъектов. Для повышения степени объективности и качества процедуры принятия решений целесообразно учитывать мнения нескольких экспертов. С этой целью проводится групповая экспертиза, причем множество экспертов может быть подразделено на несколько подмножеств в зависимости от области экспертизы [1, 2], определяемой характером критериев, используемых в иерархии.
Типовая схема формирования экспертной комиссии включает такие этапы, как определение количественного состава экспертной комиссии, разработка формальных и профессиональных требований к эксперту, оценка степени компетентности каждого эксперта [2].
1. Обзор методов оценки экспертов
Экспертная комиссия должна включать специалистов по каждой из групп факторов социально-экономического развития города. При этом логично предположить, что в наибольшей степени должно учитываться мнение специалистов именно по тому профилю, к которому имеет отношение оцениваемый показатель. Так, например, при оценке кадрового блока показателей эксперты должны обладать знаниями экономики и социологии труда, трудового законодательства, механизма функционирования и регулирования рынка труда и иметь опыт работы в данной области. В то же время нельзя пренебрегать и мнением других членов экспертной комиссии, пусть даже не обладающих высокой степенью компетентности в данной области, поскольку нельзя допускать обособленности оценивания отдельных сфер развития города, каждая проблема должна рассматриваться во взаимосвязи и с другими. Таким образом, возникает необходимость определения весов значимости экспертов при оценивании различных блоков показателей.
Минимальное количество экспертов определяется числом функциональных сфер жизнедеятельности города. Например, в [4] выделяются шесть блоков показателей социально-экономического развития города. В [2] минимальное количество экспертов предлагается определять по формуле
N = 0,5 (3/а + 5);
где 0 < а < 1 - параметр, задающий минимальный уровень ошибки экспертизы.
Исходя из этого условия, минимальное количество экспертов равно 4 (при а = 1). Как правило, для группового оценивания необходимо привлечение не менее 7-9 экспертов [3, 5].
Рациональное решение проблемы можно найти, если разделить экспертов по направлениям - надежность, экономичность, технологичность проекта. Для каждого эксперта необходимо определить оценку уровня его компетентности по каждому блоку показателей.
В работе [6] предложена таблица компетентности экспертов, которая позволяет осуществлять отбор экспертов, оценку их компетентности по отдельным функциональным блокам показателей социально-экономического развития города: социально-экономический, кадровый, инвестиционный, инфраструктурный, производственный, финансовый. Для оценки меры согласованности экспертных оценок предлагается использовать коэффициент вариа-
ции. Если его значение больше 33% (для распределений, близких к нормальному), то оценки экспертов не согласованны, и тогда экспертам нужно пересмотреть свои оценки [6].
Социально-экономические ситуации и проекты - достаточно ответственная задача, и при оправданных затратах на экспертизу осреднение суждений экспертов проводится с учетом их квалификации («веса»). Для определения весовых коэффициентов экспертов целесообразно использовать иерархическую структуру критериев [7].
Расчет агрегированной оценки ¿-эксперта по /-критерию (качеству) в случае привлечения п экспертов, которые оценивают данного эксперта и имеют различную значимость, осуществляется по формуле
< = а/а/ >...арп,
где а / - оценка ¿-го эксперта по /-му критерию, проведенная й-м экспертом с весовым коэффициентом рк, при этомр1 + р2 + ... + рп = 1.
Самих экспертов могут оценивать субъективно по критериям: профессиональный уровень (стаж работы в сфере планирования финансов, опыт работы экспертом в финансовой области, интуиция), независимость суждений, опыт работы по профилю, творческий подход к решению проблем и опыт участия в экспертном оценивании. Например, если стаж работы экспертов 10, 15 и 20 лет, то вес этого критерия для экспертов равен 0,222; 0,333 и 0,444 соответственно. Рассчитав веса каждого критерия и усреднив их по количеству, получаем обобщенный вес значимости мнения эксперта.
В [6] называются такие основные требования к эксперту, как широкий кругозор и знание предметной области, наличие научных трудов и практического опыта, способность решать творческие задачи, независимость мышления и др. Таким образом, задача оценивания компетентности и отбора экспертов является многокритериальной.
2. Иерархический подход к оценке экспертов
Наиболее популярным и часто используемым методом многокритериальной оценки альтернатив, которыми в данной ситуации являются специалисты, является метод взвешенных сумм или средневзвешенных.
Автором предлагается использовать следующие критерии и шкалы для оценивания экспертов [7]:
1. Уровень образования: среднее (1 балл), среднее специальное (2 балла), высшее (3 балла), наличие ученой степени кандидата наук (4 балла), наличие ученой степени доктора наук (5 баллов).
2. Опыт работы по профилю предметной области: отсутствует (0 баллов), от 1 до 3 лет (1 балл), от 3 до 5 лет (2 балла), от 5 до 10 лет (3 балла), от 10 до 20 лет (4 балла), свыше 20 лет (5 баллов).
3. Административная и экономическая независимость в данной сфере: полная независимость (5 баллов), знаком с работой организации (4 балла), работает в той же организации, но непосредственно не влияет на принятие решений (3 балла), непосредственно в ходе выполнения своих организационных функций связан с организацией (2 балла), работает в том же органе принятия решения (1 балл).
4. Способность решать творческие задачи и опыт участия в экспертном оценивании: отсутствует (1 балл), низкая (2 балла), средняя (3 балла), выше среднего (4 балла), высокая (5 баллов) и т.д.
Осреднение критериев оценки экспертов может быть осуществлено и на уровне собственных векторов матриц парных сравнений Е (табл. 1). При этом результаты будут эквивалентны тем, которые получены на уровне элементов матриц, если однородность составленных матриц достаточна и меньше 0,10 [4].
Вычисление значений вектора приоритетов критерия W проводится также на основании формулы
^ = К^, (1)
где Хшах - максимальное собственное значение матрицы Е.
Рис. 1. Иерархия ранжирования экспертов
Таблица 1
Веса критериев оценки эксперта
Критерии оценки эксперта Профес- Опыт Незави- Творческий подход W
сио- работы симость к решению проблем и
нальный по суж- опыт участия в эксперт-
уровень профилю дений ном оценивании
Профессиональный уровень 1 3 5 3 0,536
Опыт работы по профилю 1/3 1 5 1/3 0,139
Независимость суждений 1/5 1/5 1 3 0,088
Творческий подход к реше-
нию проблем и опыт участия в экспертном оценива- 1/3 3 1/3 1 0,136
нии
Таблица 2
Шкала отношений (степени значимости) качества
Степень значимости Определение Объяснение
1 Одинаковая значимость Два кандидата имеют одинаковое по уровню качество
2 Некоторое преобладание значимости качества одного специалиста над другим (слабая значимость) Разница в уровне качества кандидатов равна одному баллу
3 Существенная или сильная значимость Разница в уровне качества кандидатов равна двум баллам
4 Очевидная или очень сильная значимость Разница в уровне качества кандидатов равна трем баллам
5 Абсолютная значимость Разница в уровне качества кандидатов равна четырем баллам
Обратные величины приведенных выше ненулевых величин Если качеству кандидата 1 при сравнении с качеством кандидата ] приписывается одно из определенных выше ненулевых чисел, то качеству кандидата ] при сравнении с качеством кандидата 1 приписывается обратное значение Если согласованность качеств была постулирована при получении N числовых значений для образования матрицы
Таблица 3
Ранжирование экспертов по критерию «Профессиональный уровень»
Профессиональный уровень Эксперт 1 Эксперт 2 Эксперт 3 Ж1
Эксперт 1 1 3 5 0,72
Эксперт 2 1/3 1 3 0,18
Эксперт 3 1/5 1/3 1 0,10
Далее предлагается заполнить матрицы сравнений по каждому из критериев по отношению к экспертам (например, для трёх экспертов, как показано в табл. 3). Через Ж, I = 1, 2, 3, 4, обозначены вектора приоритетов качеств специалистов.
При проведении попарных сравнений пользуются шкалой отношений (табл. 2). При компьютерной обработке таблицы заполняются автоматически, исходя из попарной разности баллов, соответствующих одинаковому качеству [7].
Значения элементов результирующего вектора приоритетов экспертов рассчитываются по формуле
Wэ = [Wl, W2, Ж8, W4] х W, где Ж1, Ж2, Ж3, Ж4 - вектора весов критериев (качеств экспертов).
Например, для рассмотренного набора критериев получили:
Жэ= {0,672; 0,218; 0,110}.
Анализ значений элементов полученного вектора показывает, что в соответствии с рассмотренными критериальными оценками наилучшим является первый эксперт, его мнение по совокупности качеств более компетентно, и окончательное решение следует принимать в соответствии с его мнением.
3. Автоматизация расчетов оценивания
Для обработки трудоемких и однотипных вычислений создана информационная система (ИС) оценки и отбора экспертов. Этапы отбора экспертов с использованием ИС приведены на рисунке 2.
Рис. 2. Этапы отбора экспертов
Рис. 3. Этап заполнения матрицы парных сравнений качеств
На первом этапе определяется список качеств, по которым будет формироваться группа. Затем заполняется анкета и проводится тестирование. По итогам тестирования выявляются оценки качеств каждого кандидата и заполняется база данных информационной системы. На следующем этапе проводится ранжирование качеств, определяется точный список качеств и выставляется оценка специалиста. Заключительный этап включает в себя оценку и отбор группы экспертов.
В информационной системе используется один из методов экспертных оценок - парное сравнение альтернатив. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар (рис. 3). Проводится ранжирование качеств экспертов путем определения их значимости.
Функции информационной системы:
- учет общих сведений и профессионально важных свойств и деловых качеств специалистов,
- анализ качеств специалистов,
- сравнение качеств специалистов,
- оценка деловых качеств специалиста с помощью экспертных методов,
- ранжирование экспертов по совокупности качеств.
Входные данные:
- анкетные данные экспертов;
- информация о личностных чертах экспертов;
- перечень качеств, выбранных как критерии оценивания. Выходные данные:
- список экспертов, соответствующих требованиям запроса пользователя;
- диаграмма важных и достаточных качеств эксперта.
Данная система предназначена для менеджера отдела кадров, который будет непосредственно вносить данные об экспертах. Для руководителя программа является системой поддержки принятия решения, так как при отборе экспертов выбираются лучшие. Как правило, в стационарной базе данных имеющиеся сведения об экспертах могут вовремя не обновляться, а внесение информации о новых специалистах проводится не своевременно, поэтому можно анкету базы данных разместить на сайт организации, где сами эксперты могут редактировать сведения о себе.
Литература
1. Ларичев О.И. Анализ процессов принятия человеком решений при альтернативах, имеющих оценки по многим критериям (обзор) // Автоматика и телемеханика. - 1981. -№8. - С. 131-141.
2. Литвак Б.Г. Экспертные оценки и принятие решений. - М. : Патент, 1996. - 298 с.
3. Саати Т. Принятие решений. Метод анализа иерархий / пер. с англ. - М. : Радио и связь, 1993. - 278 с.
4. Ветров Г.Ю. Социально-экономическое развитие малых городов России / Г.Ю. Ветров [и др.] / под ред. Г.Ю. Ветрова. - М. : Фонд «Институт экономики города», 2003. - 68 с.
5. Андрейчиков А.В. Анализ, синтез, планирование решений в экономике / А.В. Анд-рейчиков, О.Н. Андрейчикова. - М. : Финансы и статистика, 2000. - 368 с.
6. Захарова А.А. Нечеткие модели принятия решений о стратегии социально-экономического развития города : дис. ... канд. техн. наук: 05.13.10. - Томск, 2006. - 150 с.
7. Чернышева Т.Ю. Модель многокритериальной оценки экспертов // Альманах современной науки и образования. - 2008. - №9 (16). - С. 242-245.
Чернышева Татьяна Юрьевна
Ст. преподаватель кафедры информационных системы Юргинского технологического института, филиала Томского политехнического университета Тел.: 8 (38451) 649-42, Эл. почта: [email protected]
T.Y. Chernysheva
Hierarchical model of an estimation and selection of experts
The problem of definition of expert competence is many criteria. In article methods of an estimation of experts, criteria of qualities are considered. It is offered to use hierarchical model of an estimation and ranging of experts on the basis of matrixes of pair comparisons and a mark estimation. Keywords: estimation of experts, method of hierarchies analysis, points.
