CC BY
47
УДК 004; 334.724
РАЗРАБОТКА ПРОГРАММНОЙ ПОДДЕРЖКИ ИЕРАРХИЧЕСКОЙ МНОГОКРИТЕРИАЛЬНОЙ ПРОЦЕДУРЫ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
IMPLEMENTATION OF THE PROGRAM SUPPORT OF THE HIERARCHICAL MULTICRITERIA PROCEDURE OF THE EVALUATION OF EXPERTS' QUALITY
Н.П. Путивцева, Т.В. Зайцева, О.П. Пусная, С.В. Игрунова, Е.В. Нестерова,
Е.В. Калюжная, Е.А. Зайцева N.P. Putivceva, T.V. Zajceva, O.P. Pusnaja, S.V. Igrunova, E.V. Nesterova,
E.V. Kaljuzhnaja, E.A. Zajceva
Белгородский государственный национальный исследовательский университет, Россия, 308015, Белгород, ул. Победы, 85
Belgorod State National Research University, 85 Pobeda St, Belgorod, 308015, Russia
E-mail: putivzeva@bsu.edu.ru, zaitseva@bsu.edu.ru, pusnaya@bsu.edu.ru, igrunova@bsu.edu.ru, nesterova@bsu.edu.ru, kaludgnaya@bsu.edu.ru
Аннотация. Очень часто требуется принятие решений в сложных ситуациях выбора из нескольких альтернатив по многим критериям, которые имеют неодинаковую значимость. Решение таких задач требует привлечения экспертов и проведения групповой экспертизы. Одним из важных и проблемных моментов проведения экспертизы является отбор высококвалифицированных экспертов. Решение данной проблемы требует применения адекватных обоснованных процедур оценки качества экспертов.
На сегодняшний день нет единого подхода к понятию качества эксперта и оценки процедуры. В статье приведено описание программной поддержки разработанной иерархической процедуры оценки качества привлекаемых экспертов, состоящей из способов формирования групповых экспертных суждений, включая правило учета весомостей, определяющих качество эксперта, при формировании групповых экспертных суждений, и оценивания частных показателей качества и интегрального уровня качества привлекаемых экспертов. Для оценки эксперта по каждому из частных свойств, составляющих понятие качества эксперта, реализуются соответствующие методики их определения.
Resume. Very often, someone needs to make decisions in difficult situations of choice from several alternatives using many criteria, which have unequal importance. Solving of such problems requires the involvement of a group of experts and of conducting of the expertise. One of the most important and challenging aspects of the expertise is selection of highly qualified experts. The solution of this problem requires the use of adequate justified procedures assessment of experts' quality.
Nowadays, there is no unified approach to the concept of expert's quality and the assessment procedure. The article describes the program support of the developed hierarchical assessment procedures of involved experts' quality that consists of the methods of formation of the group expert judgements, including the rule of the accounting of weights, determining the quality of an expert, in the formation of the group expert judgments and assessment of private indicators of quality and integral level of quality for involved experts. For assessment of the expert with the use of each of the particular properties that make up the concept of the quality of expert, appropriate methods of their determination are implemented.
Ключевые слова: качество эксперта; программная поддержка; компетентность эксперта; иерархическая процедура; многокритериальное оценивание.
Keywords: quality of an expert; software support; expert competency; hierarchical procedure; multi-criteria evaluation.
Введение
Важную роль в обеспечении надежности информации, получаемой от экспертов при выборе наилучших вариантов решений, имеет правильная организация экспертизы: выбор целей, разработка процедуры, отбор экспертов и проведение их опроса [Азгальдов Г.Г., Райхман Э.П. 1974], поскольку она позволяет повысить качество, обоснованность, полноту и оперативность управленческих решений, принимаемых с учетом результатов, выводов и рекомендаций
экспертизы. Успешность применения методов экспертного оценивания существенно зависит от уровня профессиональных знаний участвующих в них специалистов (экспертов).
При подготовке и проведении экспертизы необходимо решить два основных вопроса -составление списка возможных экспертов и выбор из них экспертной комиссии в зависимости от уровня компетентности (либо в более широком смысле качества) кандидатов.
Существует ряд проблем, связанных с отбором экспертов. К основным из них относятся:
- выявление областей знаний, связанных с решаемой проблемой
- составление перечня областей знания по решаемой проблеме
- приемлемость каждой области, исходя из достоверности результатов
- анализ качества экспертов (оценка экспертизы, ее степень сложности и остроты; квалификация экспертов и опытность, личные качества и т.д.)
Главное требование, предъявляемое к каждому эксперту, - его компетентность в исследуемой области. Кроме того, нужно, чтобы он был также эрудирован в смежных областях, т.е. имел достаточно широкий кругозор Но это далеко не полный перечень показателей, которые необходимо учесть для определения пригодности эксперта к участию в той или иной экспертизе. Наиболее полная и иерархическая структура понятия «качество эксперта» предложена в [Азгальдов Г.Г., Райхман Э.П. 1974]. На основе опыта практической работы авторов и анализа литературных данных авторы представили свойства эксперта в виде иерархической структуры, которая отражает их взаимосвязь. Так, качество эксперта они определяют четырьмя группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью). Каждая из групп, в свою очередь содержит в себе несколько свойств.
Поскольку деятельность эксперта в любой профессиональной сфере можно представить несколькими аспектами, которые имеют различную важность для представителей разных специализаций в рамках одной укрупненной профессиональной группы, для оценивания уровня компетентности (и тем более качества) экспертов целесообразно использовать иерархическую процедуру многокритериального оценивания.
Из тех частных свойств, которые предлагается использовать в работе [Путивцева Н.П. и др., 2015], мы взяли наиболее информативные и поддающиеся оценке методы, и сформулировали критерии для их сравнения при определении важности указанных критериев для оценки качества экспертов, после чего представили проблему оценки качества экспертов в виде иерархии и разработали программную поддержку.
Для оценивания качества экспертов предлагается иерархия, представленная на рисунке 1:
Оценка Оценка
профессионалвной воспроизводимости
компетентности N
Оценка квалиметрической
компетентности
Оценка объективности х- корректировки своих
оценок
Эксперт 1
Эксперт 2
Эксперт 3
Эксперт к
Рис. 1. Иерархия для оценивания качества экспертов Fig. 1. The hierarchy for the evaluation of experts' quality
Представленная иерархия предлагается экспертам, чтоб они осуществили парные сравнения подкритериев, то есть характеристик, позволяющих всесторонне оценивать качество
эксперта с позиций, выбранных для этого критерия. Если кто-то из привлекаемых экспертов считает, что некоторые из представленных характеристик не представляют никакой дополнительной информации, позволяющей более адекватно оценить качество эксперта, они могут указать это, а также могут предложить свои характеристики, если таковые имеются [Putivtseva N.P. et al., 2016].
В результате обработки определенного уровня иерархии получаем весомости частных показателей качества экспертов. Для того чтобы сравнивать экспертов по каждому из критериев, необходимо выбрать, как рассчитать каждое частное свойство эксперта, каким образом скомплексировать «качество» каждого эксперта по каждому из указанных частных критериев, после чего вычислить «весомости» экспертов, и, в результате обработки иерархии получить интегральные весомости качества экспертов как интегральный показатель их профессионализма. Элементы МПС экспертов по каждому из частных свойств представляют собой отношение их весомостей, рассчитанных по каждому из частных свойств ^ Saaty. 1989].
Для каждого из частных свойств, составляющих понятие качества эксперта, имеется своя методика их определения.
Предлагается находить весомости частных показателей качества экспертов следующим образом, отраженном на рисунке 2.
^^^^стные nonaîaTeли качества эксперта _ П ¡Х|
Рис. 2. Определение коэффициента самооценки Fig. 2. Determination of the coefficient of self-esteem
После того, как эксперт заполнил форму, самооценка вычисляется по формуле:
n
K . =V M • K . (1)
сам ! / , г г] V-W
1=1
где Ксам] — самооценка j-го эксперта; Mi — весомость показателей информированности и
знакомства, определяемая в соответствии с данными табл. 1; Kij — оценка, зависящая от степени информированности и степени знакомства, полученный результат нормируем, для получения весомости в пределах от 0 до 1.
Взаимная оценка. При реализации взаимной оценки каждый эксперт дает количественную оценку всем остальным экспертам. При N>=15 человек рекомендуется следующая процедура определения взаимооценки (рис. 3). На специальном бланке каждый эксперт объединяет всех экспертов в три подгруппы в соответствии со своим представлением об их качестве: наиболее квалифицированные, средней квалификации и ниже средней квалификации. Затем он ранжирует экспертов в каждой подгруппе: ранг 1 получает самый квалифицированный эксперт, ранг 2 — следующий по квалификации и т. д. и заполняет соответствующую форму.
Рис. 3. Процедура определения взаимооценки Fig. 3. Procedure for determining of mutual evaluation
Определяется средняя оценка каждого эксперта:
n
Yk .
/ v pj
K . =-
вз j
N
(2)
где Квзj — средняя взаимооценка j-го эксперта; Kpj— оценка, проставленная р-м экспертом j-му;
Ni—число экспертов, оценивающих j-го эксперта, причем Ni < N (N — общая численность экспертной группы).
Оценка аргументированности и знакомства с объектами оценивания (вариант самооценки). Для оценки предлагается использовать следующую таблицу.
Таблица 1 Table 1
Шкала оценки эксперта The scale of the assessment of an expert
p=i
Количество баллов Характеристики эксперта
3 Вопрос не входит в сферу тесно связанного с его узкой специализацией направления (например, знакомство с проблемой по литературным источникам, по работе на другом предприятии и т.п.)
5 Вопрос входит в сферу тесно связанного с его узкой специализацией направления (прикладная дисциплина, смежная область практической деятельности)
8 В практическом решении данного вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации
10 Эксперт специализируется по данному вопросу, имеет по нему законченные теоретические или практические разработки (научные исследования, данный вопрос непосредственно относится к области его узкой служебной деятельности)
Результат нормируется, чтоб получить коэффициент в пределах от о до 1.
Оценка рабочей группой. Предлагаем членам рабочей группы оценивать эксперта по документальным свидетельствам его деятельности на основе следующей таблицы. Для определения весового коэффициента предлагается найти суммы баллов, проставленные эксперту каждым членом рабочей группы, усреднить соответствующие значения, проставленные членами
рабочей группы, после чего полученное значение разделить на максимально возможное значение данной характеристики (рис. 4).
Рис. 4. Оценка эксперта рабочей группой Fig. 4. Evaluation of an expert by the working group
Оценка по отклонению от среднего мнения экспертной группы. Метод оценки качества экспертов по отклонению от результирующей оценки объекта экспертной комиссией основан на расчете коэффициента отклонения Ко.
Koi =
d d
(3)
где К» - коэффициент отклонения суждений ьго эксперта, бш - расстояние индивидуальной оценки ьго эксперта от результирующей оценки, ^ах - максимально возможное расстояние оценки эксперта от результирующей оценки.
Оценка профессиональной компетентности. Для определения уровня профессиональной компетенции эксперта предлагается провести тестовое испытание по известным данным, заполнив матрицы парных сравнений для оценки предпочтительности показателей. В результате обработки МПС эксперта вычисляется вектор весомостей показателей, отражающий их предпочтительность для данного эксперта. Этот вектор сравнивается с «эталоном», в качестве которого в том числе может выступать усредненное мнение экспертов, и на основе меры Питмена определяется уровень профессиональной компетенции эксперта.
б, =
^ J ) .
(4)
Zir - интегральные весомости объекта экспертизы; yir - эталонные интегральные весомости объекта экспертизы
Градации предлагаются следующие:
Qre [0;0.2] » высокий уровень профессиональной компетентности Qre (0.2; 0.5) » средний уровень профессиональной компетентности QrS 0.5 » низкий уровень профессиональной компетентности Оценка воспроизводимости.
г
к р. =10(1 -pj) (5)
где
1 "г т
Р' = 2 Е\'у -Mj ] (6)
2 i=1
M'у и Mj — значения i-го коэффициента весомости, назначенные j-м экспертом
соответственно в первом и втором турах.
Результаты можно считать воспроизводимыми, если выполняется условие
\м1 -M2 ]= ta.SM_ (7)
где M1 и M2 - средние значения коэффициентов весомости, полученные соответственно в первом
и втором турах. s - доверительный интервал; SM^ - несмещенная оценка средней квадратической
ошибки определения Mi; ta - значение критерия Стьюдента. Оценка квалиметрической компетентности.
Для оценки квалиметрической компетентности эксперту предлагается: заполнить МПС сравнения объектов, для которых известны весомости соотнести название шкалы с описанием его характеристик расположить шкалы в порядке возрастания их «силы» соотнести шкалу с допустимыми в ней операциями
Оценка объективности корректировки своих оценок (отсутствия конформизма). Конъюнктурность эксперта проявляется в том, что эксперты, привлеченные для участия в экспертизе, прямо либо косвенно заинтересованы в ее результате. В этом случае целесообразно проведение тестовых экспертиз с заранее известным объективным результатом экспертизы. Для каждого эксперта может быть рассчитан коэффициент конъюнктурности
Ки = d(p0, p)/maxd(p0, p), i e {1,...,m), (8)
где Pi- результат ранжирования альтернативных вариантов i-ым экспертом. Для оценки конформности предлагается следующее выражение
Ккон = С2 Cl (9)
где С2 — количество ошибок испытуемого при самостоятельном вынесении им суждения;
C1 — количество ошибок испытуемого при вынесении им суждения совместно с подставной группой.
Все полученные частные весомости экспертов, приведенные к значениям из интервала [0;i], используются в иерархии для получения интегральной оценки качества экспертов.
Также для каждого эксперта составляется вектор его частных весомостей, отражающих частные компетентности экспертов по представленным выше аспектам качества, поэтому есть возможность помимо получения весомостей и отбора экспертов по их интегральной оценке качества (т.е. числу, отражающему «качество, вес» эксперта в долях единицы) подбирать экспертов в зависимости от сочетания их частных показателей качества, которые могут требоваться различные в зависимости от экспертизы и требований, предъявляемых организаторами экспертизы.
На рисунке 5 представлена форма для вычисления критериев сравнения методов вычисления частных свойств эксперта.
На рисунке 6 представлена МПС методов вычисления частных свойств экспертов по каждому из указанных критериев.
Результаты расчетов выгружаются в MS Excel. Пример результатов расчета частных показателей качества экспертов можно увидеть в таблице 2.
В результате обработки получаем значения как интегрального уровня качества, так и распределение значения частных показателей его качества, что позволяет увидеть, в каких из частных свойств эксперт не очень успешен, и отбирать экспертов более тщательно в случае, если их интегральные уровни совпадают, либо если для данной конкретной экспертизы важны только результаты, полученные с использованием некоторых из представленных частных методов.
Режим: Эксперт № 01 - Петрова Е.П.
МП частных свойств Оценка частных свойств Сохранить в Excel
МПС частным свойств МПС частных свойств j МП частных свойств 2 | МП частных свойств 3 | МП частных свойств 4 | МП частных свойств 5 | Вектор глобальных приоритетов
Количество критериев
1 критерий
2 критерий
3 критерий
4 критерий
5 критерий
Объективность
Трудоемкость
Влияние на рез.
Вычислить нормализованный вектор
Оценка кау.эксп. О&ьективность Надежность Трудоемкость Влияние на рез
Объективность 1 7 4 3
Надежность 1/7 1 7 1/5
Трудоемкость 1/4 1/7 1 2
Влияние на рез. 1/3 5 1/2 1
Vi VI Пром.зн. Imax 1С
Объективность 3.00 0.58 2.40 4.10 0,64
Надежность 0,67 0,13 0,95 7,30
Трудоемкость 0,52 0,10 0,62 6,20
Влияние на рез 0.96 0,18 1.10 6,10
Итог 5,20 0,99 5,90
ши И
Рис. 5. Усредненная МПС частных критериев качества экспертов Fig. 5. The average MPC of particular criteria of experts' quality
ЩВШ "Hi в
'■Чу Режим: Эксперт № 01 - Петрова Е.П.
I МП частных свойств Оценка частных свойств Сохранить в Excel
МПС частных свойств МПС частных свойств | МП частных свойств 2 | МП частных свойств 3 | МП частных свойств 4 [ МП частных свойств 5 | Вектор глобальных приоритетов
Объективность Взаим. оценка Оценка раб.гр. Аргумент. Откл. от ср. Проф.компет. Воспроизводим. КБал.компегент. Обьект.коррект..
Самооценка 5 1/5 4 В 3 4 2 1/5
Взаим. оценка 1 4 2 4 1/7 4 4 4
Оценка раб.гр. 1/4 1 4 1/7 4 2 5 4
Аргумет-. 1/2 1/4 1 1/2 4 3 2 2
Откл. от ср. 1/4 7 2 1 5 3 3 5
Проф.компет. 7 1/4 1/4 1/5 1 4 2 1/5
Воспроизводим. 1/4 1/2 1/3 1/3 1/4 1 3 7
Квал.компетент. 1/4 1/5 1/2 1/3 1/2 1/3 1 1/В
Объект, коррект. 1/4 1/4 1/2 1/5 5 1/7 8 1
<J а И
Вычислить нормализованный вектор
Vi VI
Самооценка 1.70 0.17
Взаим. оценка 1,60 0,16
Оценка раб.гр. 1,70 0,17
Аргумент. 0,97 0,10
Откл. от ср 1,70 0,17
1
0
Рис. 6. Усредненная МПС частных критериев качества экспертов Fig. 6. The average MPC of particular criteria of experts' quality
Таблица 2 Table 2
Частные показатели качества экспертов Private indicators of experts' quality
ФИО эксперта Весомости частных показателей качества экспертов ИнтегрПок. кач. Рейтинг эксперта
Мсам Мвз Марг Мрг Мос Мпк Мвоспр Мкк Моб
Эксперт 1 0,89 0,05 0,5 0,85 0,65 0,89 0,85 0,5 0,66 0,7 11
Эксперт 2 0,54 0,07 0,64 0,74 0,74 0,82 0,65 0,64 0,55 0,65 13
Эксперт 3 0,54 0,05 0,5 0,74 0,65 0,74 0,74 0,5 0,74 0,54 14
Эксперт 4 0,32 0,05 0,74 0,55 0,87 0,78 0,78 0,74 0,85 0,76 6
Эксперт 5 0,74 0,05 0,72 0,41 0,98 0,8 0,89 0,72 0,41 0,8 4
Эксперт 6 0,15 0,07 0,36 0,74 0,65 0,89 0,84 0,36 0,74 0,52 15
Эксперт 7 0,52 0,07 0,45 0,66 0,99 0,9 0,81 0,45 0,89 0,73 8
Эксперт 8 0,52 0,05 0,45 0,9 0,65 0,35 0,9 0,45 0,98 0,88 3
Эксперт 9 0,36 0,05 0,41 0,94 0,74 0,74 0,47 0,41 0,97 0,77 5
Эксперт 10 0,85 0,02 0,6 0,41 0,85 0,77 0,85 0,6 0,9 0,98 1
Эксперт 11 0,9 0,02 0,5 0,74 0,74 0,33 0,66 0,5 0,78 0,74 7
Эксперт 12 0,32 0,05 0,66 0,98 0,58 0,74 0,74 0,66 0,72 0,68 12
Эксперт 13 0,36 0,07 0,42 0,45 0,78 0,52 0,88 0,42 0,66 0,72 9
Эксперт 14 0,56 0,07 0,96 0,75 0,88 0,74 0,74 0,96 0,54 0,89 2
Эксперт 15 0,65 0,07 0,44 0,75 0,91 0,55 0,85 0,44 0,85 0,71 10
Заключение
Разработана иерархическая процедура оценки качества привлекаемых экспертов. Процедура включает в себя способ формирования групповых экспертных суждений, включая правило учета весомостей, определяющих качество эксперта, при формировании групповых экспертных суждений, а также способ оценивания частных показателей качества и интегрального уровня качества привлекаемых экспертов. Для оценки эксперта по каждому из частных свойств, составляющих понятие качества эксперта, реализуются соответствующие методики их определения.
Список литературы References
Азгальдов Г.Г., Райхман Э.П. 1974- Экспертные методы в оценке качества товаров М., Экономика, 151.
Azgal'dov G. G., Reichman, E. P. G 1974. Expert methods in assessing the quality of goods Moscow, Economics, 151.
Лифиренко М.В., Ломакин В.В. 2015. Система поддержки принятия решений при экспертной оценке социальных рисков, «Научные ведомости» БелГУ. Экономика. Информатика. 36(216): 132-137
Lifirenko M.V., Lomakin V.V., 2015, Decision support system for expert assessment of social risks, Belgorod State University Scientific Bulletin. Economics. Information technologies. 36(216): 132-137
Путивцева Н.П., Игрунова С.В., Бекетова Е.Ю., Капитан С.А. 2016. Разработка иерархической многокритериальной процедуры оценки качества экспертов, Сетевой журнал «Научный результат». Серия «Информационные технологии». 1(1): 39-47.
Putivtseva N. P., Igrunova S. V., Beketova E. Y., Captain S. A. 2016. Implementation of the hierarchical multicriteria procedure of the evaluation of experts' quality, the Network journal "Scientific result". Information technology". 1(1): 39-47.
Путивцева Н.П., Игрунова С.В., Нестерова Е.В., Зайцева Т.В., Пусная О.П. 2015. Многокритериальный выбор инвестиционных проектов. Verlag: LAP LAMBERT Academic Publishing ist ein Imprint der. OmniScriptum GmbH & Co. KG HeinrichBocking-Str. 6-8, 66121 Saarbrucken, Deutschland OmniScriptum GmbH & Co. KG Alle Rechte vorbehalten. Saarbrucken, 89.
Putivtseva N.P. Igrunova S.V., Nesterov E.V., Zaitseva T.V., Pusnaya O.P. 2015. Multi-criteria selection of investment projects Verlag: lap Lambert academic publishing ist Ein imprint der. publishing house omniscriptum GmbH & Ko. HeinrichBocking-up kg 6-8, 66121 Saarbrucken In Germany Publishing House Omniscriptum GmbH & Ko. Kg alle Rechte with. Saarbrucken, 89.
Saaty, Thomas; Alexander, Joyce. 1989, Conflict Resolution: The Analytic Hierarchy Process. New York, New York: Praeger.
