Методика оценки компетентности экспертов Текст научной статьи по специальности «Компьютерные и информационные науки»

Научный журнал КубГАУ, №109(05), 2015 года

1

УДК 004.7

05.00.00 Технические науки

МЕТОДИКА ОЦЕНКИ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ

Петриченко Григорий Семенович

к.т.н., профессор

РИНЦ БРШ-код=3093-4136

Кубанский государственный технологический

университет, Краснодар, Россия

Петриченко Виктория Гурьяновна

преподаватель

РИНЦ БРШ-код=5658-2694

Российский государственный университет

правосудия, Россия

Статья посвящена актуальной проблеме: повышении достоверности экспертных оценок, за счет привлечения в группу наиболее компетентных экспертов для проведения экспертизы. В статье приведен анализ применения экспертного оценивания в области эксплуатации корпоративных и телекоммуникационных сетей. Предложена методика оценки компетентности экспертов. При оценке компетентности экспертов учитываются следующие факторы: специализация эксперта, стаж и опыт его работы в данной области, научная квалификация, наличие научных трудов по проблематике проведения экспертизы. Для выявления приоритета факторов при определении компетентности экспертов предлагается использовать метод анализа иерархий. Необходимое количество экспертов для проведения экспертизы объектов определяется на основе применения статистического анализа

Ключевые слова: ЭКСПЕРТНАЯ ОЦЕНКА, КОМПЕТЕНТНОСТЬ ЭКСПЕРТОВ, ЭКСПЕРТИЗА, МЕТОД АНАЛИЗА ИЕРАРХИЙ, ФАКТОРЫ

UDC 004.7

Тесйшса1 sciences

METHODS OF ASSESSING THE COMPETENCE OF EXPERTS

Petrichenko Grigoriy Semenovich

Cand.Tech.Sci., professor

RSCI SPIN-code=3093-4136

Kuban State University of Technology, Krasnodar,

Russia

Petrichenko Victoria Guryanova lecturer

RSCI SPIN-code=5658-2694

Russian state University of justice, Russia

The article is devoted to an actual problem: increasing of reliability of expert estimates, due to attraction in group of the most competent experts for carrying out examination. The analysis of application of expert estimation in the field of operation of corporate and telecommunication networks is provided in the article. The technique of an assessment of competence of experts is offered. When assessing the competence of experts the following factors were considered: specialization of the expert, an experience and experience of its work in the field, scientific qualification, existence of scientific works on a perspective of carrying out examination. For identification of a priority of factors at determination of competence of experts it is offered to use a method of the analysis of hierarchies. The necessary number of experts for carrying out examination of objects is defined on the basis of application of the statistical analysis

Keywords: EXPERT EVALUATION,

COMPETENCE OF EXPERTS, EXPERTISE, ANALYTIC HIERARCHY PROCESS, FACTORS

Введение. Экспертное оценивание - одно из наиболее распространенных технологий привлекающее внимание широкого круга специалистов. В настоящее время сфера применения экспертного оценивания постоянно расширяется.

Экспертное оценивание - это наиболее доступный и универсальный метод получения и анализа информации о состоянии различных объектов и субъектов, а также является единственным способом получения необходимой информации для объектов, не имеющих статистической

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

2

информации функционирования и которые характеризуются своей структурно - параметрической неопределенностью.

В последнее время экспертное оценивание находит интенсивное применение в области эксплуатации корпоративных и телекоммуникационных сетей, из за простоты и оперативности получения нужных сведений о их фактически техническом состоянии. Это объясняется тем, что эксплуатация корпоративных и

телекоммуникационных сетей относительно новая сфера человеческой деятельности, в которой идет процесс накопления и осмысления разноплановой информации. Применение методов экспертного оценивания особенно распространено на задачах: проектирования корпоративных сетей [4], при построении комплексных систем защиты[5], при эксплуатации корпоративных сетей[1,2], вычисление информационных рисков и прочее [3].

При формировании экспертных оценок основным источником информации является эксперт, а для повышения степени объективности и качества процедуры принятия решения целесообразно учитывать мнения нескольких экспертов. Таким образом, экспертные методы основываются исключительно на оценках экспертов, сделанных относительно проблемы или задачи, которую они знают лучше других.

Это обуславливает особые требования по выбору состава экспертов, в частности уровнем их профессиональной компетентности, ведь недостаточный уровень компетентности эксперта может привести к появлению грубых ошибок в данных экспертизы и в последствии к большим экономическим потерям.

Поэтому актуальной проблемой является повышение достоверности экспертных оценок, за счет привлечения в группу наиболее компетентных экспертов для проведения экспертизы.

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

3

Особенно актуальна эта проблема в новых сферах человеческой деятельности, таких как корпоративные и телекоммуникационные системы. В данных системах еще недостаточно развит формальнотеоретический базис, не структурировано множество свойств и

особенностей объектов, которые изучаются, не сформировались количество специалистов, по качеству своей подготовки, адекватных требованиям, предъявляемым уровню эксперта. Если область проведения экспертизы новая, тем сложнее подобрать группу экспертов, которые имеют высокий уровень профессиональной компетентности. Для восполнения этого пробела и была написана данная статья.

Постановка задачи. В настоящее время проблема подбора экспертов для проведения экспертизы корпоративной или телекоммуникационной сети, является одной из наиболее сложных в теории и практике экспертных исследований. В качестве экспертов необходимо использовать наиболее компетентных специалистов, чьи суждения помогут

руководителю принять адекватное и наиболее приемлемое решение.

В решении проблемы подбора экспертов для проведения экспертизы можно выделить три этапа. На первом этапе составляются списки возможных N - кандидатов для проведения экспертизы R - объектов, а на втором этапе происходит выбор экспертной комиссии n с меньшей размерностью N>n. В выборку n попадают эксперты, которые набрали максимальные коэффициенты компетентности W. На третьем этапе определяется средняя ошибка выборки (p).

Решение задачи.

Если выбор экспертов для различных задач и объектов реализуется на основе их максимального коэффициента компетентности, то логичнее всего воспользоваться комбинированным методом, который бы включал в себя элементы различных методов, в том числе и метода анализа иерархий (МАИ). Суть комбинированного метода заключается в следующем.

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

4

Дано: общая цель решения задачи - это выбор экспертов с наибольшим коэффициентом компетентности; факторы (критерии) оценки экспертов; множество экспертов N.

Требуется: выбрать группу n экспертов с максимальным

коэффициентом компетентности.

Для выбора n экспертов с максимальным коэффициентом компетентности необходимо выполнить следующие действия:

- провести структуризацию задачи принятия решений в виде иерархической структуры с несколькими уровнями: первый уровень -определение факторов; второй уровень - определение объективной компетентности экспертов по факторам; третий уровень - определение значений вектора приоритетов факторов; четвертый уровень - определение глобальных коэффициентов экспертов с учетом приоритета факторов; пятый уровень - отбор экспертов n с максимальным коэффициентом компетентности; шестой уровень - определение средней ошибки выборки;

- составить лицом принимающее решение (ЛПР) тестовые вопросы, по определению компетентности эксперта, на которые эксперт будет отвечать;

- рассчитать весовые оценки i - эксперта по j - м факторам;

- вычислить значения вектора приоритетов факторов;

- вычисление глобальных коэффициентов экспертов с учетом приоритета факторов;

- рассчитать какая должна быть численность n экспертов для проведения экспертизы объектов.

Технология применения комбинированного метода для выбора экспертов с максимальным коэффициентом компетентности следующая:

1. Построение иерархии осуществляется с вершины - цели анализа (в данном случае - это выбор экспертов n из совокупности N), через промежуточные уровни (факторы, по которым производится сравнение

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

5

вариантов) к нижнему уровню (который является перечислением альтернатив).

2. При оценке компетентности экспертов необходимо учитывать следующие факторы: специализацию эксперта, стаж и опыт его работы в данной области, научная квалификация, наличие научных трудов по проблематике проведения экспертизы.

Для оценки компетентности экспертов, чаще всего можно использовать следующие коэффициенты: Коб - объективный коэффициент компетентности; Кс - коэффициент относительной самооценки; Кв -коэффициент взаимной оценки.

Для определения объективного коэффициента компетентности необходимо составить тестовые вопросы, на которые будет отвечать эксперт. Можно также сформировать специальную таблицу содержащую вопросы по всем факторам, влияющим на компетентность эксперта. В таблице 1 могут быть представлены также варианты ответов, каждый из которых имеет определенный балл. Сумма этих баллов и определяет объективный коэффициент компетентности. Например, если научная квалификация экспертов без ученой степени, ученая степень кандидата наук или доктора наук, то вес этого фактора (критерия) для экспертов равен 0; 0,4 и 0,6 соответственно. Рассчитав веса каждого фактора и усреднив их по количеству, получаем обобщённый вес значимости мнения эксперта. В таблице 2 приведен пример расчета весов каждого фактора для десяти экспертов.

3. Расчет весовой оценки i - эксперта по j - м факторам осуществляется по следующему алгоритму:

Выполняется построение матрицы А, которая определяет баллы набранные i - м экспертом по j - му фактору

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

6

A =

aiiai2"-ain

a2ia22"-a2n

a an ...a

ml m2 mn

где a. - баллы, набранные i

(1)

м экспертом по j - му фактору; n

- количество факторов; m - количество экспертов.

Таблица 1 - Профессиональная компетентность эксперта

Факторы Значение весового коэффициента

Уровень образования Среднее Среднее специальное Высшее

0,2 0,3 0,5

Стаж работы от 1 до 5 лет от 5 до 10 лет свыше 10 лет

0,2 0,3 0,5

Опыт работы по профилю проведения экспертизы отсутствует от 1 до 5 лет свыше 5 лет

0 0,4 0,6

Научная квалификация без ученой степени ученая степень кандидата наук ученая степень доктора наук

0 0,4 0,6

Наличие научных трудов за последние 5 лет. отсутствуют до 5 статей свыше 5 статей

0 0,4 0,6

Вычисляется сумма SumXt баллов набранных i - м экспертом по всем факторам, применяя следующую формулу:

n

SumXV = V ai3 .

.=1

Вычисляется сумма баллов $>итФ} - го фактора по всем экспертам, применяя следующую формулу:

m

S-ытФ. = V a. .

3 V

i=1

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

7

Вычисляется весовой коэффициент экспертов по всем факторам, применяя следующую формулу:

m n

£ £ a m

W = Ar=— ■ £ W = i .

£ “ j “

j=1

Результаты расчета весовых коэффициентов по десяти экспертам и пяти факторам приведены в таблице 2.

Таблица 2 - Расчет весов каждого эксперта

Факторы (критерии) - Ф j

Уровень образования - Фх Стаж работы - Ф 2 Опыт работы - Ф 3 Научная квалификация - Ф 4 Научные труды - Ф5 SumXi Wi

1 2 3 4 5

Экс.1 0,5 0,4 0,4 0,4 0,3 2 0,119

Экс.2 0,5 0,2 0 0,4 0,4 1,5 0,089

Экс.3 0,3 0,5 0,4 0 0,4 1,6 0,095

Экс.4 0,5 0,3 0,4 0,6 0,4 2,2 0,130

Экс.5 0,5 0,5 0,6 0,6 0,3 2,5 0,148

Экс.6 0,5 0,2 0,4 0,6 0,3 2 0,119

Экс.7 0,3 0,4 0 0 0 0,7 0,041

Экс.8 0,2 0,5 0,6 0 0 1,3 0,077

Экс.9 0,3 0,2 0,4 0 0 0,9 0,053

Экс.10 0,5 0,3 0,4 0,5 0,4 2,1 0,125

Sum0. 4,1 3,5 3,6 3,1 2,5 16,8 1

Для более точной оценки компетентности экспертов на основании

таблицы 2 рассчитывается веса экспертов по каждому фактору и заносим их в таблицу 3 используя следующее выражение:

ан

b = j

a.

У

j ЗитФ. m

j £ a

i=1

Вычисляется сумма весов экспертов по всем факторам, для расчета используется следующее выражение:

n

Sum3i = £b .

j=,

Вычисляется весовой коэффициент экспертов по всем факторам, применяя следующее выражение:

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

8

W =

8ишЭ,

j=1

1 m n

TLb YLb

i=i j=1 i=i j=1

Таблица 3 - Веса экспертов по каждому фактору

mn

Факторы (критерии) - Ф j

Уровень образования - Фх Стаж работы - Ф 2 Опыт работы -Ф 3 Научная квалификация - Ф 4 Научные труды - Ф5 Sum3i Wi

1 2 3 4 5

Экс.1 0,121951 0,11428 0,111111 0,129032 0,12 2 0,1190

Экс.2 0,121951 0,05714 0 0,129032 0,16 1,5 0,0892

Экс.3 0,073171 0,14285 0,111111 0 0,16 1,6 0,0952

Экс.4 0,121951 0,08571 0,111111 0,193548 0,16 2,2 0,1309

Экс.5 0,121951 0,14285 0,166667 0,193548 0,12 2,5 0,1488

Экс.6 0,121951 0,05714 0,111111 0,193548 0,12 2 0,1190

Экс.7 0,073171 0,11428 0 0 0 0,7 0,0416

Экс.8 0,04878 0,14285 0,166667 0 0 1,3 0,0773

Экс.9 0,073171 0,05714 0,111111 0 0 0,9 0,0535

Экс.10 0,121951 0,08571 0,111111 0,16129 0,16 2,1 0,125

Сумма баллов 1 1 1 1 1 16,8 1

На основании таблицы 2 и 3 можно про ранжировать экспертов в следующей последовательности: Экс.5, Экс.4, Экс.10, Экс.1, Экс. 6, Экс.3, Экс. 2, Экс.8, Экс.9, Экс.7.

4. Вычислить значения вектора приоритетов факторов.

В статье предлагается использовать метод анализа иерархий для определения вектора приоритетов факторов предложенный в работах[1,4,6] .

Рассмотрим МАИ на наглядном примере - вычисление значений вектора приоритетов факторов. Пусть для определения компетентности экспертов будут использоваться следующие факторы:

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

9

Ф4 - уровень образования; Ф 2 - стаж работы; Ф 3 - опыт работы; Ф 4 - научная квалификация; Ф 5 - количество научных трудов.

Из таблицы 4 видно, что Ф 4 (научная квалификация) и Ф1 (уровень образования) воспринимаются экспертной группой как наиболее важные факторы при выборе экспертов.

5. Вычисление глобальных коэффициентов экспертов с учетом приоритета факторов.

Для получения глобальных приоритетов необходимо для каждой из экспертов просуммировать нормализованные факторы (таблица 3), умноженные на свои вектора приоритетов (таблица 4).

Таблица 4 - Матрица парных сравнений факторов

Факторы Ф1 Ф 2 Ф 3 Ф 4 Ф 5 Среди. геом. Вектор приоритетов

Фх 1 3 2 0,5 2 1,43097 0,25656

Ф 2 0,333333 1 0,5 0,5 0,5 0,52961 0,09495

Ф 3 0,5 2 1 0,333333 0,333333 0,64439 0,11553

Ф 4 2 2 3 1 2 1,88818 0,33853

Ф 5 0,5 2 3 0,5 1 1,08447 0,19443

Сумма 5,57762 1

1max = 5,512182; ИС = 0,128045402; ОС = 0,114326252

Альтернативы с наибольшим значением глобального приоритета является предпочтительной для ЛПР (таблица 5).

Итак, из диаграммы 1 видно, что эксперты: Экс.5, Экс.4, Экс.6 и Экс.10 имеют наибольший глобальный приоритет. Отсюда следует, что они имеют приоритет попасть в группу для экспертизы объектов.

6. Рассчитать какая должна быть численность n экспертов для проведения экспертизы объектов, при вероятности 0,997 и ошибки выборки не более 7%.

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

10

Вычислим необходимую выборочную совокупность n экспертов по следующей формуле:

t2 * а2 * N

n = —----2-----

А2 * N +12*а2

где t=3 при вероятности 0,997; а2 = 0,003397 - выборочная дисперсия для данных, приведенных в таблице 7; N=10 - генеральная совокупность экспертов; А = 0,07 - предельная ошибка выборки.

n= 3,841898.

Таблица 5 - Результаты вычисления глобальных приоритетов

Фх Ф 2 Ф 3 Ф 4 Ф5 ГП

ВП факторов 0,25656 0,09495 0,11553 0,33853 0,19443

Экс.1 0,121951 0,114286 0,111111 0,129032 0,12 0,121989

Экс.2 0,121951 0,057143 0 0,129032 0,16 0,111503

Экс.3 0,073171 0,142857 0,111111 0 0,16 0,076283

Экс.4 0,121951 0,085714 0,111111 0,193548 0,16 0,148894

Экс.5 0,121951 0,142857 0,166667 0,193548 0,12 0,152961

Экс.6 0,121951 0,057143 0,111111 0,193548 0,12 0,138403

Экс.7 0,073171 0,114286 0 0 0 0,029624

Экс.8 0,04878 0,142857 0,166667 0 0 0,045335

Экс.9 0,073171 0,057143 0,111111 0 0 0,037035

Экс.10 0,121951 0,085714 0,111111 0,16129 0,16 0,137973

На диаграмме 1 показаны глобальные приоритеты каждого эксперта.

Таким образом, необходимое количество экспертов для проведения экспертизы объектов составит 4 человека при генеральной выборки N=10. Комбинированный метод выбора компетентных экспертов может быть успешно применен для анализа решений при многих критериях. Данный метод можно сделать более гибким и учитывающим предпочтения ЛПР.

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

11

Диаграмма 1 - Глобальные приоритеты с учетам приоритета факторов

Литература

1. Петриченко Г.С. Анализ состояния вопросов эксплуатации корпоративных сетей на современном этапе. Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 100. С. 378-395.

2. Петриченко Г.С. Выбор способа эксплуатации корпоративных сетей на основе применения экспертных оценок. Научные ведомости Белгородского государственного университета. Серия: Информатика, прикладная математика и управление. 2014. Т. 32. № 21-1 (192). С. 162-167.

3. Петриченко Г.С., Дудник Л.Н., Срур М.Ю. Методика оценки финансового риска при проектировании и монтаже компьютерной сети предприятия. Научнотехнические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2011. Т. 2. № 120. С. 1825.

4. Петриченко Г.С., Григорян Н.К., Медовщиков М.И. Методика разработки экспертной системы руководителя для принятия управленческих решений. Научнотехнические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2012. Т. 1. № 140. С. 6066.

5. Петриченко Г.С., Нарыжная Н.Ю., Гоголев В.Н. Моделирование управленческих ситуаций по защите информации с применением иерархической системы неисправностей. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2008. Т. 2. № 55. С. 103-107.

6. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь,

1993.

7.

http://ej.kubagro.ru/2015/05/pdf/04.pdf

Научный журнал КубГАУ, №109(05), 2015 года

12

References

1. 1. Petrichenko G.S. Analiz sostojanija voprosov jekspluatacii korporativnyh setej na sovremennom jetape. Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 100. S. 378-395.

2. 2. Petrichenko G.S. Vybor sposoba jekspluatacii korporativnyh setej na osnove primenenija jekspertnyh ocenok. Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta. Serija: Informatika, prikladnaja matematika i upravlenie. 2014. T. 32. № 21-1 (192). S. 162-167.

3. 3. Petrichenko G.S., Dudnik L.N., Srur M.Ju. Metodika ocenki finansovogo riska pri proektirovanii i montazhe komp'juternoj seti predprijatija. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2011. T. 2. № 120. S. 18-25.

4. 4. Petrichenko G.S., Grigorjan N.K., Medovshhikov M.I. Metodika razrabotki jekspertnoj sistemy rukovoditelja dlja prinjatija upravlencheskih reshenij. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2012. T. 1. № 140. S. 60-66.

5. 5. Petrichenko G.S., Naryzhnaja N.Ju., Gogolev V.N. Modelirovanie upravlencheskih situacij po zashhite informacii s primeneniem ierarhicheskoj sistemy neispravnostej. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2008. T. 2. № 55. S. 103-107.

6. 6. Saati T. Prinjatie reshenij. Metod analiza ierarhij. - M.: Radio i svjaz', 1993.

http://ej.kubagro.ru/2015/05/pdf/04.pdf