CC BY
161
К вопросу согласованности экспертных оценок профессионально важных качеств
С. В. ГУЦЫКОВА (Институтпсихологии РАН)*
В статье представлены результаты анализа согласованности экспертных оценок профессионально важных качеств сотрудников охранных предприятий. Наименее согласованно экспертами оцениваются такие профессионально важные качества, как эмоциональная устойчивость и умение прогнозировать ход событий. Автором сделан вывод о том, что, несмотря на невысокую согласованность экспертных оценок этих профессионально важных качеств, с содержательной точки зрения они являются источником важной информации. Наиболее согласованно оцениваются профессиональные знания, выносливость и самостоятельность.
Ключевые слова: экспертные оценки, согласованность экспертов, коэффициент конкордации, профессионально важные качества.
To the Question of Concordance between Expert Evaluations of Professionally Important Qualities
S. V. Gutsykova
(The Institute of Psychology of the RAS)
The article presents results of the analysis of consistency between expert estimations of professionally important qualities of securities. Experts appraise such professionally important qualities as emotional stability and ability to predict a course of events least consistently. The author draws a conclusion that despite of poor concordance between expert evaluations of these professionally important qualities, from the substantial point of view they are a source of important information. Professional knowledge, endurance and independence are most concordantly evaluated.
Keywords: expert evaluations, consistency of experts, quotient of concordance, professionally important qualities.
В последнее время метод экспертных оценок наряду с объективными методами оценки приобретает все большее распространение при решении задач профессионального отбора и аттестации специалистов. Использование экспертных оценок вызвано неоднозначностью объективного инструментария, на который могли бы полагаться математические модели прогнозирования эффективности деятельности (Бешелев, Гур-вич, 1980). В социономических профессиях экспертные оценки используются как основной источник получения информации о потенциальном кандидате и специалисте. К числу таких профессий относится профессия охранника.
В связи с широким распространением экспертных процедур особое внимание уделяется надежности экспертной информации. Одним из показателей надежности экспертной информации служит согласованность экспертных мнений. Она является необходимым требованием вне зависимости от вида экспертизы. В ситуациях, когда экспертные оценки используются в целях профотбора или аттестации, экспертиза обретает специфические черты, связанные с межличностным познанием людьми друг друга. Экспертные оценки профессионально важных качеств (ПВК) базируются на трактовке экспертами поведенческих проявлений специалиста в ситуациях профессиональной де-
* Гуцыкова Светлана Валерьевна — соискатель лаборатории инженерной психологии и эргономики Института психологии РАН, бизнес-тренер ООО «Мармот и К». Тел.: (495) 500-80-23. Эл. адрес: gutsykova@rambler.ru
ятельности. При этом экспертные оценки представляют собой сложную, неаддитивную функцию от таких факторов, как личностные особенности эксперта, ситуация оценки и качества оцениваемого специалиста. В известной степени экспертные оценки являются результатом взаимодействия перечисленных факторов.
Изучение согласованности экспертных оценок профессионально важных качеств осуществлялось в рамках исследования взаимосвязи экспертных оценок ПВК с индивидуально-личностными характеристиками охранников. В этом исследовании приняли участие 136 сотрудников ЧОП (частного охранного предприятия) и 30 экспертов, образовавших 6 экспертных групп. Специализация деятельности обследованных сотрудников службы охраны — физическая охрана объектов. Экспертные группы формировались по профессиональному признаку. В состав экспертных групп были отобраны представители ЧОП, отличающиеся высоким уровнем профессиональных знаний и квалификации. В них вошли помощники начальников караулов, начальники караулов, старшие на объектах охраны, помощники начальников отдела охраны. Была применена схема экспертной процедуры — использование группы экспертов без взаимодействия. Фактор непосредственного наблюдения за поведенческими проявлениями сотрудника службы охраны в спектре традиционных трудовых ситуаций был призван повысить валидность экспертных оценок. При формировании экспертных групп учитывался факт, что валидность коллективной экспертной оценки с ростом количественного состава группы повышается до определенного предела из-за эффекта насыщения (Бешелев, Гурвич, 1980).
На основании профессиографического анализа трудовой деятельности сотрудников службы охраны и анализа литературных источников (Толочек, 2007) были выбраны 20 ПВК, значимых для обеспечения эффективности в изучаемом виде деятельности. Последующее ранжирование этих ПВК со-
трудниками службы охраны, чей стаж профессиональной деятельности превышал пять лет, позволило отобрать 10 ПВК. Эти качества были предложены экспертам для оценки по 5-балльной шкале. Оцениваемые экспертами ПВК представляли собой комплексные, обобщенные качества разного уровня организации. Они включали профессиональную компетентность и мотивацию профессиональной деятельности, а также качества, отражающие уровень функционирования физиологических функций организма и здоровье, имажинитивно-мыслительные и ат-тенционные способности, эмоционально-волевые и социально-психологические качества личности. Качества, предложенные для оценки экспертам, были следующие: 1 — профессиональные знания, умения, навыки; 2 — эмоциональная устойчивость; 3 — умение прогнозировать ход событий; 4 — выносливость, сохранение работоспособности; 5 — профессиональная мотивация; 6 — самоконтроль, самообладание; 7 — способность к экстренной мобилизации; 8 — наблюдательность, бдительность; 9 — самостоятельность, инициативность; 10 — умение работать в команде.
Принято считать, что групповая оценка может считаться достаточно надежной только при условии хорошей согласованности экспертных мнений. Получение групповой оценки включало в себя такие процедуры, как: 1) статистический анализ согласованности экспертных оценок отдельных ПВК и 2) отбор экспертов, удовлетворяющих требованиям высокой согласованности мнений с экспертной группой. Согласованность экспертных мнений оценивалась с помощью коэффициента конкордации Кендалла W (Бююль, Цефель, 2002: 246-248).
Исходные значения коэффициентов кон-кордации в шести экспертных группах показали, что наименьшую согласованность демонстрируют такие оцененные экспертами ПВК, как эмоциональная устойчивость ^ = 0,415-0,714; р<= 0,001) и умение прогнозировать ход событий ^ = 0,434-0,690; р<= 0,001). Процедура отбора экспертов,
демонстрирующих высокую согласованность с групповым мнением, осуществлялась в соответствии со следующим алгоритмом. Для каждого ПВК в пределах экспертной группы рассчитывалось новое значение коэффициента конкордации при последовательном исключении каждого из пяти экспертов. Далее находилась величина отклонения, равная отношению модуля разницы рассчитанного таким образом коэффициента и первоначального W к величине исходного W для всех экспертов группы. Мнение эксперта признавалось высокосогласованным с мнением группы, если величина найденного отклонения не превышала 10 процентов.
Отбор согласованных с мнением группы экспертов привел к росту численных значений коэффициента конкордации по отдельным ПВК. Однако тенденция, которая наблюдалась в отношении оценок эмоциональной устойчивости и умения прогнозировать ход событий, сохранилась. Итоговые величины коэффициента конкордации для оцененных экспертами ПВК приведены в таблице.
Ранжирование коэффициента конкорда-ции в экспертных группах, учитывая, что ранги проставлялись с максимального значения коэффициента, показало следующее. В четырех из шести экспертных групп (1-й, 4-й, 5-й, 6-й) оценка эмоциональной устойчивости занимает последнее ранговое место и является наименее согласованной среди экспертов. Во 2-й и 3-й экспертных группах последнее ранговое место принадлежит оценке умения прогнозировать ход событий, а предпоследнее ранговое место — оценке эмоциональной устойчивости. Средние ранги по всем экспертным группам для эмоциональной устойчивости и умения прогнозировать ход событий составили соответственно 9,67 и 8,50.
Анализ итогового коэффициента конкор-дации в группах вскрыл ряд фактов. В частности, было выявлено, что наибольший размах согласованности экспертных мнений в пределах шести групп наблюдается применительно к оценке профессиональных знаний, умений, навыков. Такая ситуация обусловлена оценкой этого ПВК в 3-й экспертной группе. Показательно, что данная
Таблица
ИТОГОВЫЕ КОЭФФИЦИЕНТЫ СОГЛАСОВАННОСТИ ЭКСПЕРТОВ В ГРУППАХ (№)
Оцениваемые ПВК Экспертные группы
1 2 3 4 5 6
1 0,779 0,736 0,717 0,873 0,757 0,760
2 0,546 0,588 0,714 0,521 0,561 0,479
3 0,651 0,501 0,690 0,631 0,659 0,537
4 0,710 0,667 0,794 0,665 0,818 0,661
5 0,642 0,645 0,733 0,651 0,698 0,598
6 0,683 0,729 0,756 0,657 0,651 0,741
7 0,648 0,647 0,818 0,618 0,754 0,647
8 0,720 0,736 0,813 0,638 0,694 0,620
9 0,659 0,760 0,841 0,678 0,722 0,620
10 0,673 0,596 0,790 0,672 0,572 0,627
экспертная группа представлена наиболее высокими значениями коэффициента W, и все эксперты в ней признаны согласованными с групповым мнением. Наиболее согласованно в данной группе оценивается такое ПВК, как самостоятельность, инициативность.
Качественная специфика подобной ситуации связана с тем, что 3-я экспертная группа отличается более высокой стабильностью состава работающих и как следствие — более длительным периодом совместного функционирования экспертов и оцениваемых лиц. Это привело к смещению наибольшей согласованности экспертных оценок с профессиональных знаний, умений, навыков на оценку самостоятельности, инициативности. Проявление последнего качества является хорошо известным экспертам по ситуациям трудовой деятельности, а его оценка становится результатом сформировавшегося и согласованного суждения экспертов. Это свидетельствует о влиянии на динамику экспертных представлений временного аспекта совместной деятельности экспертов и оцениваемых лиц.
Отбор высокосогласованных с группой экспертов показал, что единообразия в отношении качеств, экспертная оценка которых не удовлетворяет требованию согласованности с группой, не наблюдается. Это подтверждает представление об избирательной способности эксперта выносить взвешенные суждения в отношении сугубо определенных способностей оцениваемого специалиста.
Ранговая последовательность согласованности экспертных мнений относительно ПВК показала, что наиболее согласованными во всех шести экспертных группах являются такие качества, как профессиональные знания, умения, навыки; выносливость, сохранение работоспособности и самостоятельность, инициативность. Замыкают этот перечень умение прогнозировать ход событий и эмоциональная устойчивость. Эмоциональная устойчивость и умение прогнозировать ход событий наименее однозначно оце-
ниваются на основе поведенческих проявлений даже квалифицированными экспертами с точки зрения их имплицитного представления об эффективном профессионале. Оценки указанных качеств говорят о неоднозначности их эталонов сравнения у экспертов.
В ситуации экспертной оценки эмоциональная устойчивость, заявленная экспертам как устойчивость эмоций в сложных ситуациях, может пониматься ими и как сохранение устойчивого фона настроения, и как отсутствие ярко выраженных эмоциональных реакций. Низкая согласованность экспертов по данному ПВК свидетельствует и о сложности распознавания эмоциональных состояний человека (Бодалев, Васина, 2005). Вероятно, на оценку данного качества влияет ситуация оценивания.
Умение прогнозировать ход событий представляется также параметром оценки, допускающим множественность эталонов сравнения. Известно, что прогнозирование может осуществляться на различных уровнях психического отражения: сенсорно-перцептивном, представленческом, мыслительном. Часть исследователей говорят о личностном уровне прогнозирования, связывая его с особенностями временных аспектов самосознания, и рядополагает способность к прогнозированию с уверенностью в благоприятном исходе событий (Регуш, 2003: 265).
Часть экспертов понимают это качество как интуитивную эвристическую способность поиска правильного решения в случаях, когда в актуальном опыте личности отсутствуют соответствующие знания. В этом плане умение прогнозировать ход событий приближается к предугадыванию или предчувствию. Другая часть экспертов понимает указанное качество как когнитивную способность, основанную на логике размышления. Следовательно, для согласованной оценки эмоциональной устойчивости и умения прогнозировать ход событий должны быть предусмотрены и четко детализированы условия оценивания.
Учитывая более низкую согласованность экспертных оценок данных ПВК, с формаль-
ной точки зрения ими можно было бы пренебречь. Однако с содержательной точки зрения они способны предоставить важную для анализа информацию. Этот факт нашел подтверждение в нашем исследовании. На основании кластерного анализа всех шкал использованного в исследовании Опросника Кетелла были выделены три группы сотрудников службы охраны, различающихся по совокупности личностных качеств. Профили экспертных оценок ПВК для групп показали, что 1-я группа демонстрирует самый высокий уровень экспертных оценок по всем ПВК. Она может быть признана наиболее успешной. Вторая группа имеет средний уровень экспертных оценок по таким ПВК, как умение прогнозировать ход событий; выносливость, сохранение работоспособности; профессиональная мотивация; способность к экстренной мобилизации; наблюдательность, бдительность; самостоятельность, инициативность; умение работать в команде и низкий уровень оценок профессиональных знаний, умений, навыков; эмоциональная устойчивость и самоконтроль, самообладание. Группа 3 показывает средний уровень экспертных оценок профессиональных знаний, умений, навыков; эмоциональной устойчивости и самоконтроля, самообладания при низком уровне оценок остальных ПВК.
Показательно, что умение прогнозировать ход событий, относясь к наименее согласованным среди экспертов ПВК, обнаруживает на основании непараметрического теста Крускалла — Уоллиса статистически значимые различия в группах (р=0,002). Последующее проведение попарного сравнения групп по тесту Манна — Уитни выявило значимые различия 1-й и 2-й групп (и=676,500; р=0,003), а также 1-й и 3-й групп (и=724,000; р=0,005). Таким образом, экспертная оценка данного ПВК позволяет предполагать общий высокий — низкий профиль экспертных оценок.
Таким образом, с точки зрения согласованности различные ПВК оцениваются экспертами по-разному. Были выявлены наиболее и наименее согласованно оцененные ПВК сотрудников службы охраны. Из всего перечня ПВК экспертами наименее согласованно оцениваются эмоциональная устойчивость и умение прогнозировать ход событий. Вопрос о соблюдении формальных требований к согласованности экспертных оценок ПВК требует содержательного подхода. Более низкая согласованность отдельных ПВК свидетельствует о специфике их оценки и необходимости детализации условий оценивания. Несмотря на более низкую по сравнению с другими ПВК согласованность, экспертные оценки эмоциональной устойчивости и умения прогнозировать ход событий тем не менее являются источником качественно значимой информации. Обеспечение надежности экспертной информации диктует необходимость тщательного обучения экспертов и формирования их профессиональной компетентности.
СПИСОК ЛИТЕРАТУРЫ
Бешелев С. Д., Гурвич Ф. Г. (1980) Математико-статистические методы экспертных оценок. М. : Статистика.
Бодалев А. А., Васина Н. В. (2005) Познание человека человеком. Возрастной, гендерный, этнический и профессиональный аспекты. СПб. : Речь.
Бююль А., Цефель П. (2002) SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей. СПб. : ООО «ДиаСофт ЮП».
Регуш Л. А. (2003) Психология прогнозирования: успехи в познании будущего. СПб. : Речь.
Толочек В. А. (2007) Профессиональный отбор и психологические тесты: для частных охранных предприятий и служб безопасности. М. : Баярд.
