CC BY
58
УДК 330 45 389.14:621.317 О.Н. Величко, Т.Б. Гордиенко,
А.А. Габер , П.Ф. Баранов
Применение программных средств для оценки компетентности экспертов
Рассмотрены особенности оценки компетентности экспертов в сфере высшего образования, полученные с помощью, как универсальных статистических программных средств, так и специального программного средства. Проведен сравнительный анализ количественной оценки компетентности экспертов, который показал возможность формирования наиболее компетентной группы экспертов для проведения необходимой групповой экспертной оценки в сфере высшего образования. Анализ показал высокую степень совпадения результатов, которые позволяют отклонить менее компетентных экспертов.
Ключевые слова: эксперт, высшее образование, программные средства, компетентность.
USING OF SOFTWARE FOR ESTIMATION OF EXPERT COMPETENCE
The features ofestimation ofexpert's competence in the field of higher education are considered, got with a help, both universal statistical software and special software. The comparative analysis of quantitative estimation of expert's competence is conducted, that showed possibility offorming of the most competent group of experts for realization of necessary group expert estimation in the field of higher education. An analysis showed the high degree of coincidence of results that allow declining less competent experts.
Keywords: expert, higher education, software, competence.
Введение
Эффективность экспертных оценок существенно зависит от компетентности экспертов, которые принимают в них участие. Групповые экспертные оценки позволяют получить достоверные результаты только в случае хорошо подобранной группы экспертов и согласованности их выводов. Если это не так, то возникает проблема определения количественной меры согласованности выводов экспертов, анализ которой позволяет более обосновано интерпретировать причины расхождения этих выводов [1-5].
Количественные оценки компетентности экспертов проводятся в различных сферах деятельности с целью получения независимой информации относительно компетентности эксперта. Получение достоверных оценок базируется, в основном, на специальных анкетных опросах. Для этого необходимо корректно составить анкеты опроса экспертов, которые привле-
каются для изучения или проведения научно-технической экспертизы по определенным вопросам [2, 6, 7]. Повышению достоверности оценки компетентности экспертов способствует разработка, как самого алгоритма оценивания, так и разработка специальных программных средств по автоматизации и упрощению данного процесса.
Для реализации процесса оценки компетентности экспертов можно использовать универсальные программы статистического анализа, в частности IBM SPSS Statistics 20 и Microsoft Ехсе1 2010. В результате можно получить количественные результаты такой оценки с применением специально разработанных для этого критериев оценивания компетентности. Однако, это может ограничить результирующую оценку только лишь простым средним арифметическим или частотой по всем критериям для каждого эксперта без соответствующего ранжирования полученных результатов оценки компетентнос-
ти. Кроме того, проведение такой оценки требует больших временных затрат.
Специальные программные средства для оценки компетентности экспертов позволяют существенно упростить процесс проведение такой оценки, повысить её достоверность и имеют ряд других преимуществ по сравнению с универсальными статистическими программными средствами. Их применение позволяет более обосновано осуществлять отбор наиболее компетентных экспертов для формирования группы по оцениванию определенных проблемных вопросов в определенной сфере деятельности.
1. Процедура оценивания компетентности экспертов
В [8] предложена методика количественной оценки компетентности экспертов с учетом характеристик неопределенности данных, которую можно применять для
Олег Николаевич Величко,
д.т.н., профессор, заведующий кафедрой наноизмерений и измерительной техники Тел.: +38 044 526 0335 Эл. почта: [email protected] Одесская государственная академия технического регулирования и качества www.kachestvo.od.ua
Oleg. N. Velichko,
Head of Department Tel.: +38 044 526 0335 E-mail: [email protected] Odessa State Academia of technical regulation and quality www.kachestvo.od.ua
Татьяна Богдановна Гордиенко,
к.т.н., заведующая кафедрой информационно-измерительных технологий ОГАТРК» Тел.: +38 097 1 775743 Эл. почта: [email protected] Одесская государственная академия технического регулирования и качества www.kachestvo.od.ua
Tatyana B. Gordienko,
Head of Department Tel.: +38 097 1 775743 E-mail: [email protected] Odessa State Academia of technical regulation and quality www.kachestvo.od.ua
Рис. 1. Алгоритм работы программы «Компетентность НД 2.0»
сравнительной оценки уровня компетентности экспертов в разных сферах деятельности. Для реализации данной методики устанавливаются соответствующие критерии для балльной оценки компетентности экспертов в определенной сфере деятельности.
На основе методики, описанной в [8], в среде Borland C++ Builder 6.0 разработано специальное программное средство «Компетентность НД 2.0» [9], алгоритм работы которого приведен на рис. 1 (М - общее количество оцениваемых экспертов). Дизайн интерфейса пользователя разработан с использованием пакета AlphaControls v8.20.
В методике [8] и программном средстве «Компетентность НД 2.0» рассчитывается ряд математических показателей для каждого эксперта, опорное значение оценки и ее общая стандартная неопределенность. Результатом работы программы является количественная оценка компетентности экспертов с помощью установления необходимого уровня компетентности.
В соответствии с методикой осуществляется проверка согласованности полученных данных для каждого эксперта (рис. 1) с применением критерия Хи-квадрат (х2) при уровне доверительной вероят-
Таблица 1
Критерий Оценка в баллах
K1 Неполное высшее не педагогическое - 1; неполное высшее педагогическое - 2; высшее не педагогическое - 5; высшее педагогическое - 6; аспирантура - 7, докторантура - 9
K2 Менее 5 лет - 2; от 5 до 10 лет - 3, от 10 до 15 - 4; от 15 до 20 лет - 5; от 20 до 25 лет - 6; от 25 до 30 лет - 7; от 30 до 40 лет - 8; более 40 лет - 9
K3 Менее 5 лет - 2; от 5 до 10 лет - 4, от 10 до 15 лет - 5; от 15 до 20 лет - 6; от 20 до 25 лет - 7; от 25 до 30 лет - 8; более 30 лет - 9
K4 Менее 5 лет - 2; от 5 до 10 лет - 4, от 10 до 15 лет - 5; от 15 до 20 лет - 6; от 20 до 25 лет - 7; от 25 до 30 лет - 8; более 30 лет - 9
K5 Без степени - 2; кандидат наук не педагогических - 4; кандидат наук педагогических - 5; доктор наук не педагогических - 7; доктор наук педагогических - 8; доцент, старший научный сотрудник - 6, профессор - 9
K6 Преподаватель, лаборант - 2; ст. преподаватель - 3; доцент - 4; профессор - 5; заведующий кафедрой - 6; директор - 7; проректор по научной работе или по учебной работе - 8, ректор - 9
K7 Нет - 1; ученом совете ВУЗа или научной организации - 3; государственных комиссиях ВУЗов - 4; специализированном ученом совете ВУЗа или научной организации - 6; других советах или комиссиях МОН - 7; комиссиях по аккредитации ВУЗов - 8; экспертном совете ВАК или МОН - 9
Антонина Анатолиевна Габер,
аспирант ОГАТРК Тел.: +38 048 5288022 Эл. почта: [email protected] Одесская государственная академия технического регулирования и качества www.kachestvo.od.ua
Antonina А. Gaber,
graduate student Tel.: +38 048 5288022 E-mail: [email protected] Odessa State Academia of technical regulation and quality www.kachestvo.od.ua
Павел Федорович Баранов,
к.т.н., доцент Тел.: +7 3822 420449 Эл. почта: [email protected] Национальный исследовательский Томский политехнический университет www.tpu.ru
Pavel F Baranov,
Cand.Sc., assistant professor Tel.: +7 3822 420449 E-mail: [email protected] Tomsk Polytechnic University www.tpu.ru
ности 0,95. В случае невыполнения условия согласованности повторяется ввод данных по экспертам, а в случае его выполнения осуществляется переход к следующему этапу выполнения программы. Для отбора экспертов используется принцип Парето (с применением кривой Лоренца) [5, 6].
Была проведена оценка компетентности 34 экспертов в сфере высшего образования трех ВУЗов РФ и Украины. Количественные характеристики компетентности этих экспертов оценивались с помощью как универсальных статис-
тических программных средств (Microsoft Excel 2010, IBM SPSS Statistics 20), так и специального разработанного программного средства «Компетентность НД 2.0» [9]. Все оценки были сделаны по одним и тем же критериям: K1 -образование; K2 - общий стаж работы; K3 - научный стаж работы; K4 - научно-педагогический стаж работы; K5 - научная степень, ученое звание; K6 - занимаемая должность; K7 - опыт экспертной работы. Конкретные балльные оценки для каждого критерия приведены в табл. 1.
Таблица 2
Эксперт IBM SPSS Statistics 20 Microsoft Ехсе1 2010 «Компетентность НД 2.0»
средний балл место нормированный средний балл место нормированный средний балл место
Национальный исследовательский Томский политехнический университет (ТПУ)
01 7,14 4-6 0,89 4-6 0,043 4-6
02 7,29 3 0,91 3 0,044 3
03 2,29 33-34 0,29 33-34 0,014 33-34
04 7,14 4-6 0,89 4-6 0,043 4-6
05 3,86 25 0,48 25 0,023 26
06 2,86 29-30 0,36 29-30 0,017 29-30
07 3,43 27 0,43 27 0,024 24-25
08 4,71 19 0,59 19 0,029 19
09 5,00 17-18 0,63 17-18 0,032 12-14
Одесская государственная академия технического регулирования и качества (ОГТРК)
10 7,14 4-6 0,89 4-6 0,043 4-6
11 5,00 17-18 0,63 17-18 0,030 18
12 8,00 1 1,00 1 0,048 1
13 5,57 9 0,70 9 0,033 9-11
14 5,29 12-13 0,66 12-13 0,032 12-14
15 7,00 7 0,88 7 0,042 7
16 6,43 8 0,80 8 0,039 8
17 5,43 10-11 0,68 10-11 0,033 9-11
18 7,57 2 0,95 2 0,045 2
19 3,14 28 0,39 28 0,019 28
20 5,14 14-16 0,64 14-16 0,031 15-17
21 4,00 24 0,50 24 0,024 24-25
22 2,29 33-34 0,29 33-34 0,014 33-34
23 2,57 31-32 0,32 31-32 0,015 31-32
24 2,57 31-32 0,32 31-32 0,015 31-32
25 4,14 22-23 0,52 22-23 0,027 20-21
Одесский национальный экономический университет (ОНЭУ)
26 5,29 12-13 0,66 12-13 0,032 12-14
27 4,29 21 0,54 21 0,026 22
28 5,14 14-16 0,64 14-16 0,031 15-17
29 5,43 10-11 0,68 10-11 0,033 9-11
30 3,71 26 0,46 26 0,022 27
31 5,14 14-16 0,64 14-16 0,031 15-17
32 4,14 22-23 0,52 22-23 0,025 23
33 2,86 29-30 0,36 29-30 0,017 29-30
34 4,57 20 0,55 20 0,027 20-21
Всего неудовлетворительно (количество/%): 11/32 неудовлетворительно (количество/%): 8/24 неудовлетворительно (количество/%): 11/32
Рис. 2. Вид окна программы IBM SPSS Statistics 20
2. Анализ результатов
Сравнительные результаты оценки компетентности указанных экспертов с помощью программных средств Microsoft Excel 2010, IBM SPSS Statistics 20 и «Компетентность НД 2.0» приведены в табл. 2. Вид окон этих программных средств с конечными результатами оценки приведен на рис. 2-4. По полученным результатам из общего количества оцениваемых экспертов всеми применяемыми программными средствами
были отклонены (в табл. 2 выделено серым) эксперты под номерами 03, 06, 07, 19, 22, 23, 24, 33, (8,24 %). Дополнительно программами IBM SPSS Statistics 20 и «Компетентность НД 2.0» отклонены эксперты под номерами 05, 21 и 30, (3,9 %).
На основе полученных результатов можно констатировать отклонение в целом 11 экспертов (отклонен хотя бы одной из программ). Процент отклоненных экспертов по результатам их оценки конкретными программами составляет от 24 % (7 экспертов
из 34) до 32 % (11 экспертов из 34). В целом можно сделать вывод о высоком совпадении результатов оценки: 8 из 34 (24 %) - Microsoft Ехсе! 2010; 11 из 34 (32 %) - IBM SPSS Statistics 20 и «Компетентность НД 2.0».
В программе Microsoft Ехсе! 2010 были оценены соотношения средних для применяемых для оценки компетентности экспертов критериев (рис. 5). Полученные результаты показывают небольшой разброс средних для этих критериев (от 3,7 до 6,6), что свидетельствует о их хорошем сбалансировании.
Относительные балы
Компетентность экспертов
1,00 |0,89 0,91 f 0,95 T ¡0,90 «1,00 1,00 0,95 0,95 1 j 1,00 1 1 T + 0,95
1 0,90 0,90 10,89 \ 1 1 ^0,80 1 1 J0.89. j , 1 to,85! f0,80j f 0,80 1 «.« ! 1 +°>85 1 T ►0,85 4o,85 jo,88 T { J 0,80 4 0,8(4 °>80 ! j ¿0,85^0,85 i 1 ! 1 ^O,BO| I ; ! 0,75 1 1 •0>80f 0.80
0,61 0,60 0,63 0,63 0,70 I 0,70 J t J °'68 0,66 T 0,65 0,64 ! *0 65jo,65 0,60 0,66 0,64 0,68 I 0,64 0,70, 0,60
0,56 0,60 - -0,48 - 0,59 I 0,50 0,60 Ь,52 0,54 0,52 -H 0,55
0,36 0,43 0,39 0,321 0,32 0,46 0,36
' 0,29 0,29
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
Эксперт
Рис. 3. Вид окна программы Microsoft Excel 2010
Рис. 4. Вид окна программы «Компетентность НД 2.0»
Рис. 5. Среднее значение для критериев оценки компетентности экспертов
При проведении указанного анкетирования также было предложено осуществить оценку собственной компетентности (рис. 6). По полученным результатам переоценили свою компетентность по сравнению с полученными объективными оценками 27 экспертов из 34 (79 %), расхождение составляет от 0,01 до 0,5 относительных баллов. Интересным фактом является то, что последнее касается всех 11-ти отклоненных экспертов по результатам объективной оценки (расхождение составляет от 0,24 до 0,5 относительных баллов). Из 11-ти наиболее компетентных экспертов (номера 12, 18, 02, 01, 04, 10, 15, 16,
Рис. 6. Самооценка компетентности экспертов
Рис. 7. Результаты опроса экспертов относительно стажа работы для достижения уровня эксперта
Лет для эксперта
Рис. 8. Распределение ответов экспертов относительно стажа работы для достижения уровня эксперта
Рис. 9. Распределение специалистов ВУЗов по должностям
13, 17, 29) по результатам объективной оценки эксперты 02, 10, 15, 16, 17 (5,45%) - недооценили свою компетентность, у экспертов 12 и 18 (2,18%) - такие оценки полностью совпали, а эксперты 01, 04, 13, 29 (4,36%) - переоценили свою компетентность соответственно только от
0,01 до 0,17 относительных баллов (соответственно от 0,1 до 3%).
В рамках проведенного анкетирования состоялся также опрос относительно стажа работы в сфере высшего образования, необходимого для достижения уровня эксперта (рис. 7, 8). Наиболее часто был по-
лучен ответ - 10 лет (14 экспертов, 41%), следующий по количеству полученных ответов вариант- 15 лет (6 экспертов, 18%), а все другие варианты - 41% (от 1 до 4 экспертов). Полученные результаты позволили уточнить некоторые количественные оценки по критерию «К7 - опыт экспертной работы».
Распределение проанкетированных специалистов ВУЗов по их должностям приведено на рис. 9.
Выводы
Полученные с помощью рассмотренных программных средств результаты количественной оценки уровня компетентности экспертов позволяют констатировать их полную приемлемость для осуществления таких оценок. Их применение позволяет более обосновано осуществлять отбор наиболее компетентных экспертов для формирования группы по оцениванию определенных проблемных вопросов в определенной сфере деятельности и, как следствие, получать более достоверные групповые экспертные оценки. В целом можно также констатировать высокое совпадение результатов количественной оценки уровня компетентности экспертов, проведенных с помощью программных средств, работа которых основана на разных методиках оценки.
Литература
1. Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь, 1982. -184 с.
2. Гаврилова Т.А., ЧервинскаяК.Р. Извлечение и структурирование знаний для экспертных систем. - М.: Радио и связь, 1992. - 200 с.
References
1. Litvak B.G. Jekspertnaja informacija: Metody poluchenija i analiza. - M.: Radio i svjaz', 1982. -184 s.
2. Gavrilova T.A., Chervinskaja K.R. Izvlechenie i strukturirovanie znanij dlja jekspertnyh sistem. - M.: Radio i svjaz', 1992. - 200 s.
3. Орлов А.И. Экспертные оценки. Учеб. пособие. -М., 2002. - 31 с.
4. Павлов А.Н., Соколов Б.В. Методы обработки экспертной информации: учеб.-метод. пособие. - СПб: ГУАП, 2005. - 42 с.
5. Грабовецкий Б.Е. Методы экспертных оценок: теория, методология, направления использования. -Винница: ВНТУ 2010. - 171 с. (укр.)
6. Чернышева Т.Ю. Иерархическая модель оценки и отбора экспертов // Доклады ТУСУРа. Управление, вычислительная техника и информатика. - 2009. -№ 1 (19). - Часть 1. - С. 168-173.
7. Гордиенко Т.Б., Величко О. Н., Коломиец Л. В. Отбор экспертов для методов оценки в отрасли технического регулирования // Металлургическая и горнорудная промышленность. - 2014. - № 2 (287). -С. 90-92 (укр.).
8. Величко О.Н., Гордиенко Т.Б., Коломиец Л.В. Методика оценки компетентности экспертов с учетом характеристик неопределенности данных // Металлургическая и горнорудная промышленность. -2014. - № 3 (288). - С. 135-137 (укр.).
9. Величко О.Н., Карпенко С.Р., Гордиенко Т.Б., Коломиец Л.В. Специальные программные средства для оценивания компетентности экспертов // Металлургическая и горнорудная промышленность. -2014. - № 6 (291). - С. 120-124 (укр.).
3. Orlov A.I. Jekspertnye ocenki. Ucheb. posobie. - M., 2002. - 31 s.
4. Pavlov A.N., SokolovB.VMetody obrabotkijekspertnoj informacii: ucheb.-metod. posobie. - SPb: GUAP, 2005. - 42 s.
5. Graboveckij B.E. Metody jekspertnyh ocenok: teorija, metodologija, napravlenija ispol'zovanija. - Vinnica: VNTU. 2010. - 171 s. (ukr.)
6. Chernysheva T.Ju. Ierarhicheskaja model' ocenki i otbora jekspertov // Doklady TUSURa. Upravlenie, vychislitel'naja tehnika i informatika. - 2009. - № 1 (19). - Chast' 1. - S. 168-173.
7. Gordienko T.B., Velichko O.N., Kolomiec L.V. Otbor jekspertov dlja metodov ocenki v otrasli tehnicheskogo regulirovanija // Metallurgicheskaja i gornorudnaja promyshlennost'. - 2014. - № 2 (287). - S. 90-92 (ukr.).
8. Velichko O.N., Gordienko T.B., Kolomiec L.V. Metodika ocenki kompetentnosti jekspertov s uchetom harakteristik neopredelennosti dannyh // Metallurgicheskaja i gornorudnaja promyshlennost'. -2014. - № 3 (288). - S. 135-137 (ukr.).
9. Velichko O.N., Karpenko S.R., Gordienko T.B., Kolomiec L.V. Special'nye programmnye sredstva dlja ocenivanija kompetentnosti jekspertov // Metallurgicheskaja i gornorudnaja promyshlennost'. -2014. - № 6 (291). - S. 120-124 (ukr.).
