CC BY
264ВЕСТН. САМАР. ГОС. ТЕХН. УН-ТА. СЕР. ТЕХНИЧЕСКИЕ НАУКИ. 2018. № 4 (60)
УДК 004.891
МЕТОДИКА ОЦЕНКИ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ П.Г. Марычева
Самарский государственный технический университет Россия, 443100, г. Самара, ул. Молодогвардейская, 244
Аннотация. Рассматривается важность и эффективность оценки квалификации экспертов, их отбора для проведения экспертных оценок на этапе планирования проекта. Проведен анализ литературы, научных публикаций, существующих решений и методов оценки компетентности экспертов с применением метода иерархий. Предложены критерии, точно отражающие характеристики данного эксперта, то, насколько он подходит для проведения данной экспертной оценки, и позволяющие максимально эффективно провести оценку его компетентности. Рассмотрено применение метода анализа иерархий для решения данной задачи, его положительные и отрицательные стороны относительно применения оценки компетентности. Разработана методика оценки квалификации экспертов с применением метода анализа иерархий. Описан алгоритм принятия решения с применением разработанного метода, а также факторы, влияющие на компетентность эксперта, такие как опыт работы, количество успешно проведенных экспертиз, качество выполнения тестового задания, соответствие образования, оценка эксперта рабочей группой. Приведен пример расчета разработанным методом, отбора наиболее подходящего эксперта согласно предложенным характеристикам, проведено сравнение расчетов разработанным методом с классическим расчетом методом анализа иерархий, рассчитана точность метода и его погрешность. По результатам сравнения разработанный метод обладает большей точностью, гибкостью и быстротой расчетов по сравнению с методом анализа иерархий. Предложенный метод обладает необходимой точностью и небольшой относительной погрешностью и может применяться для оценки компетентности экспертов и других задач, к которым применим метод анализа иерархий.
Ключевые слова: компетентность экспертов, оценка квалификации, экспертная оценка, критерии оценки, критерии компетентности, квалификация эксперта, метод анализа иерархий, метод оценки компетентности.
Введение
В настоящее время метод экспертных оценок широко применяется в различных областях производства в случаях, когда стандартные методы решения неприменимы или не могут дать достаточно эффективного результата. Экспертное оценивание применяется при прогнозировании и перспективном планировании, когда нет точных и достаточных статистических данных о планируемом виде деятельности в узкой специализации, а также если существует несколько вариантов решений без существующего прецедента и требуется выбор одного наиболее эффективного решения в конкретной ситуации [1]. В данной работе рассматривается проблема определения уровня компетентности экспертов, дающих такие оценки, от которого, соответственно, напрямую зависят качество и достоверность оценок.
При использовании такого метода, как экспертные оценки, также обязательно следует учитывать тот факт, что при формировании данной оценки единственным
Марычева Полина Георгиевна, аспирант.
источником информации является сам эксперт, его знания, опыт, квалификация и субъективное мнение. Несмотря на кажущуюся необъективность подобных характеристик, зачастую в прикладном применении экспертные оценки могут являться одним из самых эффективных, быстрых и точных инструментов принятия решений. Для повышения точности оценок целесообразно учитывать мнения нескольких экспертов [2]. Однако если эксперты не обладают необходимой квалификацией или достаточным опытом в рассматриваемой области, экспертная оценка может не только не представлять никакой производственной ценности, но и существенно навредить всему производственному процессу, многократно увеличить сроки его исполнения и нанести крупный экономический ущерб [3, 4].
В связи с указанной проблемой при выборе экспертов важность и актуальность определения их компетентности для проведения экспертизы трудно переоценить. Такие факторы, как недостаточность информации, стохастический (вероятностный) характер информации, новизна области экспертизы, также дополнительно усложняют задачу экспертов и соответственно их отбор [5].
Для проведения экспертизы необходимо отобрать наиболее компетентных и опытных в рассматриваемой объектной области экспертов, чьи оценки будут обладать наивысшей точностью и объективностью, результатом чего станут наиболее эффективные и экономически выгодные решения.
Анализ существующих научных источников по данной проблеме - оценивание компетентности и качества экспертных оценок - выявил, что проблема оценки качества экспертов пока не может считаться полностью решенной. Некоторые авторы считают, что это объясняется отсутствием системного подхода к решению данной проблемы [6]. Также причина, возможно, заключается в узком спектре рассмотрения свойств, характеризующих эксперта, без их обоснования и без указания взаимосвязи между ними - например, объективность, компетентность, беспристрастность. Для количественной оценки качества эксперта нужно прежде всего получить частные оценки отдельных свойств, от которых это качество зависит. Большинство же предложенных в научной литературе и используемых на практике методов предназначено для оценки не какого-либо одного, а нескольких частных свойств [7].
В рассмотренной литературе наиболее развернутая структура понятия «качество эксперта» предложена в работе [6], в которой отражены связи между всеми факторами, влияющими на итоговую оценку.
Авторы данной работы делят характеристики оценки качества эксперта на несколько групп: объективность, надежность (достоверность), трудоемкость, влияние на результат оценивания. Каждая из групп, в свою очередь, содержит в себе несколько свойств. Авторы также описывают методы вычисления качества и получения комбинированных оценок в виде взвешенной суммы. Из вышеизложенного представляется необходимым реализовать оценку качества эксперта с использованием многокритериального оценивания. В работе [8] рассмотрены критерии сравнения наиболее применяемых методов оценки качества экспертов.
На основе исследованных источников [1, 9], а также предлагаемых критериев оценки был составлен следующий алгоритм оценки компетентности экспертов (см. рисунок).
Алгоритм, представленный на рисунке, позволяет всесторонне оценить компетентность эксперта, учитывая критерии оценки эксперта, критерии оценки квалификации эксперта и способы оценивания, отражающие то, кем именно дается данная оценка. Предложенный алгоритм отражает полный цикл оценивания ком-
петентности эксперта. Однако он не рассматривает методы, применяемые для расчетов коэффициентов компетентности экспертов и их последующего сравнения.
Оценка компетентности экспертов
Анализ существующих решений показал [3, 10], что наиболее распространенным методом для решения аналогичных задач отбора экспертов является метод анализа иерархий (МАИ) [11], который используется в большинстве таких случаев.
Метод анализа иерархий был создан в 70-х годах ХХ века. Изначально он был разработан для анализа и принятия решений в сложных условиях при многокритериальной оценке [1]. Метод получил широкое распространение и применяется во многих случаях в ситуациях принятия решений.
Принятие решений методом МАИ подразумевает постановку задачи и разделение ее на малые составные части. Обязательным элементом данного метода является построение иерархии критериев и уровней поставленной задачи [14]. Вес факторов (значимость критериев) определяется методом парных сравнений -каждый фактор сравнивается со всеми факторами поочередно и определяется их важность и значимость относительно поставленной цели [1, 15]. Для каждого фактора определяется его вес, отражающий его относительную значимость и влияние на решение поставленной задачи.
Метод подходит для решения задач такого рода, поскольку его основной чертой является расчет коэффициента для каждого кандидата, а также потому что метод позволяет учитывать произвольное количество влияющих факторов [1, 11]. В данной статье мы будем пользоваться комбинированным методом, в основе которого лежит метод анализа иерархий.
Алгоритм принятия решений разработанным методом иерархий для отбора наиболее компетентных экспертов (выборка М) с наивысшим коэффициентом компетентности Q из уже заранее определенной выборки всех подходящих для оценивания экспертов (выборка К) будет состоять из следующих этапов:
1. Определение всех факторов, влияющих на общую оценку компетентности эксперта и имеющих значение при решении поставленной практической задачи.
2. Составление лицом, принимающим решение о выборе экспертов, тестового задания для оценивания прикладных навыков эксперта в числовом значении. Тестовое задание должно охватывать все профессиональные области, для которых требуется экспертная оценка в поставленной задаче.
3. Первичное определение компетентности экспертов по вышеопределенным факторам (без вектора приоритетов): расчет весовой оценки по каждому]-фактору для каждого ¡-эксперта.
4. Вычисление значений вектора приоритетов факторов.
5. Расчет окончательного коэффициента компетентности Q с учетом вектора приоритетов факторов и расчет на его основе компетентности каждого эксперта.
6. Определение экспертов с наиболее высокими коэффициентами компетентности Q - формирование выборки М [12].
После анализа факторов, потенциально влияющих на качество эксперта и его оценки, мы предлагаем оценивать экспертов по следующим факторам:
1. Опыт работы в сфере проведения экспертизы. Здесь следует считать только опыт в узкой специализации.
2. Количество успешно проведенных экспертиз в требуемой сфере за последние 5 лет. Имеются в виду все экспертизы, которые после реализации проекта оказались достоверными и соответствовали данной экспертной оценке.
3. Соответствие образования профилю работы. Учитывается не только высшее образование, но и дополнительное образование, курсы повышения квалификации, а также возможные научные труды или ученая степень по соответствующей направленности.
4. Оценка за решение тестового задания. Данному фактору можно присвоить достаточно большой вес, поскольку он в большой степени отражает требования ЛПР к эксперту и решению поставленной задачи.
5. Оценка эксперта рабочей группой по 4-балльной шкале. Данная субъективная оценка дается специалистами, осуществляющими реализацию проекта. Это субъективная оценка соответствия данного эксперта решению поставленной задачи. В качестве ориентировочных значений можно применять следующие: 1 - совершенно не подходит; 2 - скорее не подходит; 3 - в целом подходит; 4 - совершенно точно подходит для выполнения данной оценки. Данный фактор может зависеть от личных соображений, а также быть не совсем точным, однако в ряде случаев фактически может положительно повлиять на отбор наиболее подходящих экспертов.
Для определения компетентности экспертов методом иерархий с учетом всех факторов необходимо сформировать соответствующую таблицу (табл. 1), учитывающую все факторы, принятые для определения компетентности.
Веса факторов, влияющих на компетентность экспертов
Фактор Вес фактора
Ф1. Опыт работы в сфере проведения экспертизы, лет до 1 года от 1 до 5 лет свыше 5 лет
0,1 0,4 0,5
Ф2. Количество успешно проведенных экспертиз в требуемой сфере за последние 5 лет отсутствует от 1 до 10 свыше 10
0,1 0,4 0,5
Ф3. Процент выполнения тестового задания, % от 0 до 33 от 33 до 66 от 66 до 100
0,1 0,3 0,6
Ф4. Соответствие образования сфере проведения экспертизы Не соотв., но есть соотв. курсы повышения квалификации В/о соотв., но нет курсов повышения квалификации В/о соотв., а также есть курсы повышения квалификации
0,3 0,3 0,4
Ф5. Оценка эксперта рабочей группой по 4-балльной шкале Средняя оценка от 1 до 2 Средняя оценка от 2 до 3 Средняя оценка от 3 до 4
0,1 0,4 0,5
Рассчитываем веса компетентности ¡-эксперта по (-факторам до построения вектора приоритетов. Выполняется классическое построение матрицы, определяющей баллы, набранные ¡-м экспертом по (-факторам; вычисляется сумма баллов, набранных ¡-экспертом по всем факторам [12]: = £у=1а(у. Суммируем
баллы каждого фактора по всем экспертам: SumФ¿ = Хг=1 а1] ■ Теперь с помощью этих значений мы можем вычислить весовой коэффициент компетентности Q для каждого рассматриваемого ¡-эксперта по всем учитываемым факторам по следующей формуле:
ут уп я-
_ у1=1у)=1я1) ^ уп я-- .
у1=1я1]
Для парного сравнения можно использовать девятибалльную шкалу Саати
[1]:
1 - сравниваемые факторы имеют одинаковую значимость;
3 - немного более высокая значимость одного фактора по отношению к другому;
5 - высокая значимость одного фактора по отношению к другому;
7 - значительно более высокая значимость одного фактора по отношению к другому;
9 - абсолютная значимость фактора;
2, 4, 6, 8 - промежуточные значения.
В нашей работе мы будем пользоваться аналогичной обратной шкалой Саати. Составляем матрицу сравнения и на основании нее составляем таблицу (табл. 2) весовых коэффициентов компетентности Qi для каждого ¡-эксперта по всем рассматриваемым ] -факторам.
Коэффициенты компетентности для каждого эксперта по факторам
Эксперты i Факторы Ф j Сумма баллов эксперта по всем факторам SumXi Коэффициент компетентности Qi, %
Ф1 Ф2 Ф3 Ф4 Ф5
Эксперт 1 0.4 0.4 0.6 0.3 0.4 2.1 11.93
Эксперт 2 0.4 0.4 0.3 0.4 0.4 1.9 10.80
Эксперт 3 0.5 0.4 0.3 0.4 0.4 2 11.36
Эксперт 4 0.5 0.5 0.6 0.3 0.4 2.3 13.07
Эксперт 5 0.4 0.5 0.3 0.3 0.4 1.9 10.80
Эксперт 6 0.4 0.4 0.3 0.4 0.1 1.6 9.09
Эксперт 7 0.1 0.1 0.1 0.3 0.1 0.7 3.98
Эксперт 8 0.4 0.5 0.3 0.4 0.1 1.7 9.66
Эксперт 9 0.5 0.5 0.6 0.3 0.5 2.4 13.64
Эксперт 10 0.4 0.1 0.1 0.3 0.1 1 5.68
Sum Ф] 4 3.8 3.5 3.4 2.9 17.6 100.00
Составим таблицу парных сравнений факторов (табл. 3), рассчитываем отношение факторов относительно друг друга, определяя при этом, какой из факторов имеет большее значение для построения выборки, а какой - меньшее. Далее рассчитаем среднее геометрическое для каждого фактора на основе парных сравнений согласно методу анализа иерархий. После этого можем рассчитать нормализованный вектор приоритетов V по формуле
V (Ф0=
2f=i®i •
Парное сравнение факторов и вектор приоритетов
Таблица 3
Факторы Ф1 Ф2 Ф3 Ф4 Ф5 Среднее геометр., Gi Нормализованный вектор приоритетов, Vi, %
Ф1 1 0.2 0.33 7 7 1.265 15.28
Ф2 5 1 3 9 9 4.139 50.00
Ф3 3 0.33 1 9 7 2.286 27.61
Ф4 0.14 0.11 0.11 1 0.33 0.224 2.70
Ф5 0.14 0.11 0.14 3 1 0.365 4.41
8ишФ1 9.28 1.75 4.58 29 24.33 8.278 100.00
Из приведенной таблицы видно, что наибольшим весом обладает фактор № 2, следом идут факторы № 3 и 1, а факторы № 4 и 5 обладают гораздо меньшим весом. Следовательно, эксперты, имеющие преимущество по факторам № 2, 3 и 1, будут иметь гораздо больший коэффициент компетентности, нежели эксперты, имеющие преимущество по факторам № 4 и 5.
Проверка согласованности приоритетов:
п
Атях = ^5итФ1 * V(Фi) = 5.4131.
1=1
Индекс согласованности
А тях — п
ИС = -= 0.1033.
п - 1
Отношение согласованности
ИС
ОС = — = 0.0922, СС
где СС - индекс случайной согласованности.
Значения СС в теории МАИ заранее вычислены для матриц каждого порядка, СС для матрицы порядка 5 СС = 1,12 [13]. Решение считается достоверным, если ОС<Ю-15 %, в противном случае нужно корректировать матрицы сравнения вариантов по критериям [13]. В нашем случае ОС = 9,2 %.
Далее согласно методу анализа иерархий должно следовать попарное сравнение вариантов для каждого критерия по каждому эксперту.
Однако согласно разработанной методике предлагается рассчитать приоритеты (критерии) с учетом веса факторов для каждого эксперта с учетом прямой зависимости, используя для этого рассчитанные выше коэффициенты компетентности экспертов (табл. 2) и вектор приоритетов VI (табл. 3) для каждого значения каждого эксперта по каждому фактору по следующей формуле:
Ki = Фi * Vi .
Результаты вычисления коэффициентов компетентности вышеописанным методом уже с учетом вектора приоритетов представлены в табл. 4.
Таблица 4
Коэффициенты компетентности с учетом вектора приоритетов на основе разработанного метода расчета
Эксперты i Факторы Фi Сумма баллов эксперта по всем факторам Коэффициент компетентности Qi, %
Ф1 Ф2 Ф3 Ф4 Ф5
Эксперт 1 0.0611 0.2000 0.1657 0.0081 0.0176 0.4525 12.24
Эксперт 2 0.0611 0.2000 0.0828 0.0108 0.0176 0.3724 10.07
Эксперт 3 0.0764 0.2000 0.0828 0.0108 0.0176 0.3877 10.49
Эксперт 4 0.0764 0.2500 0.1657 0.0081 0.0176 0.5178 14.01
Эксперт 5 0.0611 0.2500 0.0828 0.0081 0.0176 0.4197 11.35
Эксперты i Факторы Ф1 Сумма баллов эксперта Коэффициент компетентности О, %
Эксперт 6 0.0611 0.2000 0.0828 0.0108 0.0044 0.359)2 9.71
Эксперт 7 0.0153 0.0500 0.0276 0.0081 0.0044 0.1054 2.85
Эксперт 8 0.0611 0.2500 0.0828 0.0108 0.0044 0.4092 11.07
Эксперт 9 0.0764 0.2500 0.1657 0.0081 0.0220 0.5222 14.12
Эксперт 10 0.0611 0.0500 0.0276 0.0081 0.0044 0.1512 4.09
SumФi 0.611 1.900 0.966 0.091 0.127 3.6972 100.00
Для сравнения методов произведем расчет классическим методом анализа иерархий: проведем попарное сравнение вариантов по каждому фактору отдельно, рассчитаем вектор приоритетов для каждого фактора для каждого эксперта, и на основании векторов рассчитаем коэффициент компетентности по формуле
Ю = V(Ф1) * V1(норм) + V(Ф2) * V2(норм) + - + V(Фn) * Vn(норм), где V(норм) означает нормализованный вектор приоритетов.
Таблица 5
Расчет классическим методом анализа иерархий, сводная таблица
Эксперты Вектор приоритетов для Ф1, % Вектор приоритетов для Ф2, % Вектор приоритетов для Ф3, % Вектор приоритетов для Ф4, % Вектор приоритетов для Ф5, %
Эксперт 1 10.00 10.50 17.15 8.83 13.79
Эксперт 2 10.00 10.50 8.57 11.76 13.79
Эксперт 3 12.50 10.50 8.57 11.76 13.79
Эксперт 4 12.50 13.13 17.15 8.83 13.79
Эксперт 5 10.00 13.13 8.57 8.83 13.79
Эксперт 6 10.00 10.74 8.57 11.76 3.45
Эксперт 7 2.50 2.63 2.84 8.83 3.45
Эксперт 8 10.00 13.13 8.57 11.76 3.45
Эксперт 9 12.50 13.13 17.15 8.83 17.24
Эксперт 10 10.00 2.63 2.84 8.83 3.45
Итого 100.00 100.00 100.00 100.00 100.00
Итак, сравним результаты расчетов классического метода анализа иерархий и разработанного нового метода (табл. 6).
Сравнение рассчитанных коэффициентов компетентности
Классический расчет МАИ, % Расчет разработанным методом, %
Эксперт 9 14.21 Эксперт 9 14.12
Эксперт 4 14.05 Эксперт 4 14.01
Эксперт 1 12.36 Эксперт 1 12.24
Эксперт 5 11.31 Эксперт 5 11.35
Эксперт 8 10.93 Эксперт 8 11.07
Эксперт 3 10.45 Эксперт 3 10.49
Эксперт 2 10.07 Эксперт 2 10.07
Эксперт 6 9.73 Эксперт 6 9.71
Эксперт 10 4.02 Эксперт 10 4.09
Эксперт 7 2.87 Эксперт 7 2.85
Абсолютная погрешность между классическим методом расчетов анализа иерархий и разработанным методом составляет 0,367 %, относительная погрешность составляет 4,153 %. Как мы видим из произведенных расчетов, выборка и порядок наиболее подходящих экспертов при расчетах методом анализа иерархий и разработанным методом совпадают (в отличие от выборки до расчета вектора приоритетов). По итогам обоих расчетов выборка с учетом вектора приоритетов представляет собой следующую последовательность: № 9, 4, 1, 5, 8, 3, 2, 6, 10, 7. Наиболее подходящими являются эксперты 9, 4, 1, 5.
Как можно увидеть из вышеописанных расчетов, предложенный метод, построенный на основе метода анализа иерархий, позволяет рассчитать коэффициенты компетентности экспертов на основании поставленных критериев, сравнить экспертов и принять решение о выборе наиболее подходящего из них. Результирующая выборка в данном случае совпадает с выборкой, рассчитанной методом анализа иерархий, однако это не означает, что при других входных данных выборки также будут совпадать. Результирующие выборки рассматриваемых методов могут отличаться, однако рассчитанные погрешности позволяют предположить, что предложенный метод обладает достаточной точностью и эффективностью, а также большей скоростью расчетов по сравнению с методом анализа иерархий, и позволяет рассчитать необходимые коэффициенты компетентности каждого эксперта и определить на их основании наиболее подходящего для решения поставленной задачи.
Заключение
На основании произведенных расчетов можно судить о возможности использования разработанного метода как альтернативного методу анализа иерархий. Разработанный метод и предложенные критерии оценки подходят для оценки компетентности и квалификации экспертов с целью определения наиболее подходящего эксперта и получения достоверной и эффективной экспертной оценки. Разработанный метод отличается преимуществом перед методом анализа иерархий, выражающимся в скорости и простоте расчета, вследствие того, что для него не требуется составлять таблицы попарных сравнений для каждого фактора, а ко-
личество действий после расчета вектора приоритетов уменьшается на (n-1), где n - количество влияющих факторов (критериев). При этом погрешность данного метода позволяет предположить, что данный метод отличается достаточной для расчетов точностью и достоверностью. Метод может быть применен в широком ряде аналогичных случаев принятия решений, где требуется выбрать наиболее подходящее решение, учитывающее множество критериев, обладающих разным весом. Предложенный метод обладает гибкостью и может быстро варьироваться, учитывая новые условия и изменяя количество критериев и объектов под поставленные задачи, обладает необходимой точностью и небольшой относительной погрешностью и может применяться для оценки компетентности экспертов и других задач, к которым применим метод анализа иерархий.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 19 с.
2. Литвак Б.Г. Экспертная информация. Методы получения и анализа. - М.: Радио и связь, 1982. - 184 с.
3. Климович Л.К., ЕрмольчикЕ.В. Методы оценки персонала // Вестник ГГТУ им. П.О. Сухого. -2003. - № 2. - С. 52-54.
4. Калугин В.А., Монакова Е.А. Модели и методы мониторинга на предынвестиционной стадии жизненного цикла проекта // Научные ведомости БелГУ. - 2013. - № 22 (165). - С. 94-95.
5. Ларичев О.И. Анализ процессов принятия человеком решений при альтернативах, имеющих оценки по многим критериям (обзор) // Автоматика и телемеханика. - 1981. - № 8. - С. 131135.
6. Азгальдов Г.Г., Костин А.В. Повышение достоверности результатов национального/международного конкурса: практический пример // Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012.
7. Путивцева Н.П., Игрунова С.В., Бекетова Е.Ю. Капитан С.А. Разработка иерархической многокритериальной процедуры оценки качества экспертов // Сетевой журнал 40 «Научный результат». Сер. Информационные технологии. - 2016. - № 1(1). - С. 40-41.
8. Вендров А.М. Современные методы case-технологий и средства проектирования информационных систем. - М.: Финансы и статистика, 2008. - 176 с.
9. Азгальдов Г.Г., Костин А.В., Садовов В.В. Квалиметрия для всех: Учеб. пособие. - М.: Ин-формЗнание, 2012. - 165 с.
10. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок: 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 263 с.
11. Середенко Н.Н. Развитие метода анализа иерархий (МАИ) // Открытое образование. - 2011. -№ 2. - С. 39-41.
12. Петриченко Г.С., Петриченко В.Г. Методика оценки компетентности экспертов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. - 2015. - № 109 (05). - С. 6-8.
13. Ряскин А., Соболев С. Метод анализа иерархий при выборе программного обеспечения проектирования и производства электронных схем // Технологии в электронной промышленности. -2012. - № 2. - С. 21-23.
14. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. - М.: Мир, 1973.
15. Чернышева Т.Ю. Модель многокритериальной оценки экспертов // Альманах современной науки и образования. - 2008. - № 9 (16). - С. 242-245.
Статья поступила в редакцию 10 октября 201 г.
THE METHOD OF ASSESSMENT THE COMPETENCE OF EXPERTS
P.G. Marycheva
Samara State Technical University
244, Molodogvardeyskaya st., Samara, 443100, Russian Federation
Abstract. The paper presents experts qualification assessment, its importance and productivity, selection of experts for the expert evaluation at the project planning stage. The analysis of literature, scientific publications, existing solutions and methods for assessing the competence of experts using the hierarchy method is carried out. Criteria, accurately reflecting the characteristics of this expert are proposed, how suitable it is for this expert evaluation, which allow the most effective assessment of its competence. The application of the method of analysis of hierarchies is considered to solve this problem its positive and negative sides regarding the application of the competency assessment. The qualification assessment method was developed using analytic hierarchy process elements. Decisionmaking behavior was described with application of developed method; competence affecting factors also were described, such as work experience, number of successfully completed expert ratings, compliance of education with the scope of work, and workgroup characterization. An example of calculation by the developed method is given, selection of the most suitable expert, according to the offered characteristics the comparison of calculations by the developed method with the classical calculation method of analysis of hierarchies. Exemplified the developed-method calculation, was made a comparison with classical hierarchy analysis method. The proposed method has the necessary accuracy and a small relative error and can be used to assess the competence of experts and other tasks to which the hierarchy analysis method is applicable.
Keywords: competence of expert, qualification assessment, expert evaluation, evaluation criterion, criteria of competence, qualification of expert, analytic hierarchy process, competence assessment method.
REFERENCES
1. Saati T. (1993) Prinyatie resheniy. Metod analyza ierarhiy [Decision making. Analytic hierarchy process]. Moscow: Radio i svyaz', 19 p.
2. Litvak B. (1982) Ekspertnaya informaciya. Metodi polucheniya i analiza [Expert information. Methods of obtaining and analysis]. Moscow: Radio i svyaz', 184 p.
3. Klimovich L., Ermolchik E. (2003) Metodi ocenki personala [Methods of personnel assessment]. Vestnik GGTU im. P.O. Suhogo no. 2, pp. 52-54.
4. Kalugin V., Monakova E. (2013) Modeli i metodi monitoringa na predinvesticionnoi stadia zhiznen-nogo cikla proekta [Models and methods of monitoring at the pre-investment stage of the project life cycle]. Nauchnie vedomosti BelGU no. 22 (165), pp. 94-95.
5. Larichev O. (1981) Analiz processov prinyatiya chelovekom reshenii pri alternativah, imeushih ocenki po mnogim kriteriyam [Analysis of the processes of making human decisions when alternatives with evaluation criteria (overview)]. Avtomatika I telemehanika no. 8, pp. 131-135.
6. Azgaldov G., Kostin A. (2012) Increasing the Validity of Results of a National/International Competition: A Case Study / Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012.
7. Putivtseva N., Igrunova S., Beketova E., Capitan S. (2003) Razrabotka ierarhicheskoi mnogokriteri-alnoi procedure ocenki kachestva ekspertov [Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality]. Nauchniy resultat, seria «Informacionnie tehnologii» no. 1(1), pp. 40-42.
8. Vendrov A. (2008) Sovremennie metodi case-tehnologii i sredstva proektirovaniya informacionnih system [CASE technologies Modern methods and design tools of information systems]. Moscow: Finance and statistics, p. 176.
Marycheva G. Polina, Postgraduate Student.
9. Azgaldov G., Kostin A., Sadovov V. (2012) Kvalimetriya dlya vseh: Uchebnoe posobie [Qualimetry for everyone: a tutorial]. Moscow: InformZnanie, 165 p.
10. Beshelev S., Gurvich F. (1980) Matematicheskie i statisticheskie metodi ekspertnih ocenok 2 izd. [Mathematical and Statistical Methods of Expert Asseeements. 2nd edition, rev. and suppl.] Moscow: Statistika, p. 263.
11. Seredenko N. (2011) Razvitie metoda analiza ierarhiy (MAI) [The evolution of the analytic hierarchy process (AHP)]. Otkritoe obrazovanie no. 2, pp. 39-41.
12. Petrichenko G., Petrichenko V. (2015) Metodica ocenki kompetentnosti expertov [Methodology of expert's competence assessment]. Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Ku-banskogo gosudarstvennogo agrarnogo universiteta no. 109(05), pp. 6-8.
13. Ryaskin A., Sobolev S. (2012) Metod analiza ierarhiy pri vibore programmnogo obespecheniya pro-ectirovaniya i proizvodstva electronnih shem [Analytic hierarchy process for selection design and manufacturing software]. Zhurnal «Technologii v electronnoipromishlennosti» no. 2, pp. 21-23.
14. Mesarovich M.. Mako D., Takahara I. (1973) Teoriya ierarhicheskih mnogourovnevih system [Theory of hierarchical multilevel systems]. Moscow: Mir.
15. Chernisheva T. (2008) Model mnogokriterialnoi ocenki expertov [Model of multi-criteria expert evaluation]. Almanah sovremennoi nauki I obrazovaniya no 9 (16), pp. 242-245.
