CC BY
158
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2. С. 92-99
www.orgpsyjournal.hse.ru
ПЕРВЫЕ ШАГИ
Сравнительный анализ эффективности числового и вербального тестов при прогнозировании результатов работы сотрудников
АББАКУМОВ Дмитрий Федорович
Студент магистерской программы «Измерения в психологии и образовании», Национальный исследовательский университет «Высшая школа экономики» (Москва) E-mail: [email protected]
Данная работа посвящена анализу критериальной валидности числового и вербального тестов - методик, наиболее часто применяемых для оценки и отбора персонала. В качестве исследовательской базы были использованы результаты тестирования сотрудников компаний различных отраслей, с одной стороны, и критериальные данные (разультаты ассессмент-центров) - с другой. Критериальная валидность представляет собой коэффициент корреляции между результатом оценки и показателем эффективности работы. В данной работе были получены важные результаты, показывающие, что из широкого спектра тестовых методик, применяемых при подборе, оценке, аттестации персонала, в ходе отборочных процедур в кадровый резерв, тесты числовых и вербальных способностей являются достаточно емким и валидным инструментом. Исследование выявило связь результатов по вербальному тесту с оценками по компетенциям, связанным с построением организационных процессов, обучаемостью и ориентацией сотрудников на развитие. Выявлена связь результатов по числовому тесту с такими компетенциями, как ориентация на достижение, обучаемость и ориентация на развитие. Результаты по двум тестам связаны с оценками по компетенции «анализ проблем, принятие решений».
Ключевые слова: вербальный тест; числовой тест; центры оценки; ассессмент-центр; критериальная валидность.
Введение
Тестирование составляет важную часть комплекса управления человеческими ресурсами. Одной из областей применения этого инструмента является отбор и распределение персонала на предприятиях. Доказательства наличия и выраженности связи между тестовыми оценками и критерием выполнения профессиональной деятельности крайне необходимы при использовании тестовых оценок для принятия организационных решений. В настоящее время имеется довольно большое количество работ в области определения критериальной валидности тестовых методик, применяемых в оценке и отборе специалистов нефтехимических и химических производств, программистов, менеджеров младшего и среднего звена [Schmidt, Hunter, 1998; Schmidt, Hunter, 2004; Schmidt et al,
92
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
1981; Pearlman et al., 1980; Schmidt et al., 1981]. Во всех перечисленных исследованиях с целью корректного обобщения коэффициентов корреляции применен метод метаанализа [Schmidt, Hunter, 1977].
Наиболее распространенными в HR-практике отечественных компаний являются вербальные и числовые тесты. Одновременно в силу отсутствия в России исследований, направленных на изучение эффективности тестовых методик, в настоящее время сложно однозначно ответить на вопрос: результаты тестирования по какой из методик дают наиболее качественный прогноз при решении конкретной задачи, стоящей перед специалистом по оценке? Именно поэтому определение критериальной валидности числовых и вербальных тестов стало целью данного исследования.
Общая характеристика тестов способностей и Центров оценки
Вербальные (или логические) тесты направлены на оценку навыков кандидата по анализу текстовой информации [www.shldirect.com]. Обычно данный тест представляет собой текстовый фрагмент и набор утверждений к нему, каждое из которых требует оценить в виде трех вариантов: «истинно» (утверждение напрямую упоминается во фрагменте или аналогично по смыслу фрагменту), «ложно» (утверждение противоречит смыслу фрагмента), «неясно» (утверждение сообщает информацию, которая не упомянута во фрагменте). При этом у каждого вопроса есть только один правильный ответ.
Числовые (или математические) тесты содержат вопросы с несколькими вариантами ответа (от 3 до 5) и направлены на оценку способностей кандидата по анализу данных, представленных в таблицах, графиках, диаграммах, гистограммах, в процентах и в виде дробей, а также навыков по конвертации валют [www.shldirect.com]. Специальных формул знать не требуется, но если в тест включены вопросы, которые используют формулы, в задании приводится и сама формула. Решение теста производится на время. Обычно это 20-60 минут в зависимости от индустрии, в среднем на решение 1 вопроса дается 1 минута.
Центр оценки (или ассессмент-центр) - комплекс методов, ориентированных на оценку реальных качеств сотрудников, их психологических и профессиональных особенностей, соответствия требованиям должностных позиций, а также на выявление потенциальных возможностей специалистов.
Методика исследования
Выборка исследования
Данные для исследования получены от шести компаний (банковский сектор, добыча и переработка минеральных ресурсов, энергетика, телекоммуникации, реализация потребительских товаров) по предварительно согласованному запросу. Каждой компанией были предоставлены результаты вербальных и числовых тестов в стандартизированных баллах с одной стороны, и результаты ассессмент-центров (в шкале от 1 до 3, соответствующей низкому, среднему и высокому уровням развития компетенции) - с другой. Вербальные и числовые тесты для всех компаний идентичны. Общий объем массива полученных данных составил 1903 респондента. В основном выборка представлена квалифицированными специалистами, менеджерами младшего и среднего звена. Информация о качественных и количественных характеристиках выборки представлена в табл. 1. Ввиду соблюдения Федерального закона «О персональных данных» социально-демографические характери-
93
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
стики, а также должности каждого конкретного респондента сотрудниками предприятий и консалтинговых компаний не предоставлялись.
Процедура исследования
Согласно общепринятой схеме исследования критериальной валидности на первом этапе необходимо определить критерий эффективности профессиональной деятельности [Крокер и др., 2010]. В настоящем исследовании в качестве критерия были выбраны результаты ассессмент-центров в виде оценок по компетенциям. Выбор в пользу данного критерия был сделан по двум причинам: во-первых, процедура ассессмент-центра является достаточно надежной процедурой, применяемой для оценки персонала [Winfred et al., 2003], второй причиной стала доступность этих данных, так как ассессмент-центр широко распространен в практике оценки персонала.
Показатель критериальной валидности - это коэффициент корреляции между результатом оценки и показателем эффективности работы. Коэффициенты корреляции рассчитывались для результатов вербального и числового тестов и оценок по компетенциям в каждой компании отдельно. Это связано с различиями в моделях компетенций, применяемых в компаниях. В случае если названия компетенций для разных компаний повторялись, они были помечены индексами 1 и 2. Рассчитанные коэффициенты корреляции, их статистическая значимость и объемы выборок, на которых были получены данные коэффициенты, приведены в Приложении А.
Для получения относительно точных характеристик валидности был применен метаанализ - метод, позволяющий объединять данные различных исследований [Schmidt, Hunter, 1977]. Для реализации метааналитических процедур критерии, представляющие собой 40 компетенций, были сгруппированы в 8 групп:
1. HR-процессы (понимание HR-процессов, развитие и организация персонала, управление людьми, развитие сотрудников, управленческая самостоятельность, руководство, лидерство в команде, ответственность) - стремление быть лидером в команде, способность вести за собой других, понимание взаимоотношений внутри коллектива и способность управлять ими, способность к обучению и развитию коллектива [Спенсер, 2005].
2. Организационные процессы (понимание организационных процессов, организация деятельности) - понимание процессов функционирования и развития организации.
Таблица 1. Качественные и количественные характеристики выборки
Объем
выборки, чел.
1 Руководители отделов по управлению персоналом 10
2 Руководители отделов по продажам 14
3 Претенденты в кадровый резерв без опыта руководства и с 39
небольшим опытом руководства
4 Ведущие специалисты по управлению персоналом 30
5 Руководители младшего и среднего звена 151
6 Топ-менеджеры, руководители среднего и младшего звена, ведущие 1659
специалисты, претенденты в кадровый резерв
Общий объем выборки 1903
Номер
компании
Характеристика респондентов
94
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
3. Анализ проблем и принятие решений (анализ и решение проблем, стратегическое мышление, системное мышление, решение проблем, принятие решений, планирование) - представляет собой прикладной или практический интеллект, т.е. способность применять свои умственные способности в профессиональной деятельности.
4. Командная работа (взаимодействие с другими, командная работа, принадлежность к крупе, сотрудничество и работа в команде, гибкость и адаптивность, межличностное понимание, построение отношений) - желание и способность работать с другими, восприятие себя как части коллектива, способность выстраивать позитивные взаимоотношения внутри команды.
5. Ориентация на достижение (стремление к достижению, нацеленность на результат) - стремление к повышению эффективности профессиональной деятельности и достижению более высоких результатов.
6. Обучаемость и ориентация на развитие (интеллектуальная любознательность, инно-вативность и проактивность, открытость новому, саморазвитие, обучаемость) - способность и желание осваивать новое (технологии, подходы, методы и т.д.).
7. Ориентация на клиента (ориентация на клиента, клиентоориентированность) -понимается как желание помочь, способность найти оптимальный подход к взаимодействию с клиентом и стремление удовлетворить интересы клиента.
8. Эффективная коммуникация (переговоры) - способность к построению эффективного обмена информацией и ведению переговоров.
При определении обобщенных коэффициентов корреляции были рассчитаны основные метааналитические поправки: на объем выборки, надежность теста и надежность критерия [Schmidt, Hunter, 2004, P. 81, 98]. Надежность обоих тестов принята равной 0.80 [Pearlman et al., 1980]. В качестве показателя надежности ассессмент-центров было принято усредненное значение коэффициентов согласованности экспертов [Schmitt, 1977].
Результаты
Обобщенные коэффициенты корреляции результатов вербального и числового тестов с оценками по группам компетенций, скорректированные на объем выборки, приведены в табл. 2. Для числового теста максимальной является корреляция с группой компетенций «анализ проблем, принятие решений» со значением 0.21, минимальное -для группы «эффективная коммуникация (переговоры)» со значением 0.03. Для вербального теста максимальное значение 0.27 соответствует группам компетенций «организационные процессы» и «анализ проблем, принятие решений», минимальное - 0.09 для «HR-процессов».
Коэффициенты корреляции результатов вербального и числового тестов с оценками по группам компетенций, скорректированные на надежность теста и надежность критерия, их стандартные отклонения и нижние границы доверительных интервалов приведены в табл. 3. Результаты числового теста имеют максимальную корреляцию с группами компетенций «анализ проблем, принятие решений», «ориентация на достижение» и «обучаемость, ориентация на развитие», которая составляет 0.28, 0.25 и 0.23 соответственно. При этом во всех рассмотренных случаях эти значения не ниже 0.27 для группы компетенций «анализ проблем, принятие решений» и 0.22 для групп «ориентация на достижение» и «обучаемость, ориентация на развитие». С группами компетенций «эффективная коммуникация (переговоры)» и «HR-процессы» корреляция минимальна и составляет 0.04 и 0.07 соответственно.
95
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
Таблица 2. Обобщенные с учетом коррекции на объем выборки коэффициенты корреляции
Коэффициент корреляции № Критерий - группа компетенций Числовой Вербальный
тест тест
1 HR-процессы .06 .09
2 Организационные процессы .10 .27
3 Анализ проблем, принятие решений .21 .27
4 Командная работа .10 .16
5 Ориентация на достижение .19 .18
6 Обучаемость, ориентация на развитие .18 .19
7 Ориентация на клиента .13 .14
8 Эффективная коммуникация (переговоры) .03 .16
Примечание: Коэффициенты корреляции результатов тестирования и оценок по отдельным компетенциям, входящим в ту или иную группу, а также объемы выборок, на которых они были получены, приведены в Приложении А.
Таблица 3. Валидность числового и вербального тестов
Числовой тест Верба; льный тест
№ Критерий -группа компетенций r S 95% доверительный интервал (нижняя граница) r S 95% доверительный интервал (нижняя граница)
1 HR-процессы .07 .01 .07 .11 .01 .11
2 Организационные процессы .13 .001 .03 .34 .07 .25
3 Анализ проблем, принятие решений .28 .02 .27 .35 .01 .34
4 Командная работа .13 .01 .11 .20 .02 .19
5 Ориентация на достижение .25 .02 .22 .23 .02 .21
6 Обучаемость, ориентация на развитие .23 .01 .22 .24 .02 .23
7 Ориентация на клиента .17 .01 .15 .18 .02 .16
8 Эффективная коммуникация (переговоры) .04 .001 .04 .20 .001 .20
Примечание: r - коэффициент корреляции, S - стандартное отклонение.
Максимальное значение коэффициентов корреляции результатов вербального теста наблюдается для групп компетенций «анализ проблем, принятие решений» и «организационные процессы» - 0.35 и 0.34 соответственно, нижняя граница доверительного интервала коэффициентов корреляции с указанными группами компетенций составляет 0.34 и 0.25 соответственно. За исключением групп компетенций «ориентация на клиента» и «HR-процессы» значения коэффициентов корреляции составляют 0.2 и выше. Минимальный коэффициент корреляции наблюдается с группой «HR-процессы» и составляет 0.11. Таким образом, видно, что результаты вербальных тестов в целом имеют более высокую корреляцию с результатами ассессмент-центров по сравнению с результатами числовых тестов.
96
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
Обсуждение результатов
Полученные результаты говорят о достаточно высокой валидности вербальных и числовых тестов, применяемых в HR-практике. Вербальные тесты являются предиктором компетенций, связанных с построением организационных процессов, обучаемостью и ориентацией сотрудников на развитие. Высокие результаты числовых тестов могут говорить о достаточно яркой выраженности ориентации на достижение, обучаемости и ориентации на развитие. Важно отметить, что и вербальные, и числовые тесты обладают максимальной критериальной валидностью по отношению к таким компетенциям, как анализ проблем и принятие решений.
В мировой практике исследования валидности тестов способностей с применением в качестве критериальных данных результатов ассессмент-центров не распространены. Именно поэтому проследить связь настоящего исследования с другими, подтверждающими или опровергающими полученные данные о критериальной валидности вербальных и числовых тестов, представляется затруднительным. Однако довольно часто в качестве критерия применяются данные об эффективности обучения сотрудников [Schmidt et al., 1998], которые напрямую связаны с оценками по таким компетенциям, как обучаемость, ориентация на развитие и ориентация на достижение. Например, результаты работ Хантера и Шмидта показывают высокую прогностическую валидность тестов общих способностей по отношению к успешности в обучении сотрудников гражданских и военных специальностей (коэффициенты валидности варьировались от 0.54 до 0.64) [Schmidt, Hunter, 2004]. В работе Пирлмана показано, что применение тестов способностей является эффективным с целью прогнозирования результатов обучения сотрудников офисных профессий (связанных со стенографией, машинописью, вычислениями, распространением информации, администрированием и др.), где в рассматриваемом множестве из 32 обобщенных коэффициентов валидности лишь пять коэффициентов меньше 0.3 и один меньше 0.2 [Pearlman et al., 1980]. Это дает основание полагать, что полученные в настоящей работе результаты согласуются с другими исследованиями.
Обладая сравнительно высокой критериальной валидностью по отношению к наиболее распространенным компетенциям сотрудников российских компаний, тесты способностей могут рассматриваться и как инструмент прогнозирования результатов производственной деятельности или эффективности корпоративного обучения. При этом необходимо провести валидизацию указанных методик, применяя в качестве критерия реальные показатели эффективности профессиональной деятельности сотрудников, такие как результаты аттестации, оценка руководителя, процент и динамика выполнения производственного плана, количество зафиксированных ошибок и сбоев в процессе выполнения служебных обязанностей, результаты обучения и др.
Литература
Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник / Пер. с англ. Н.Н. Найденовой, В.Н. Симкина, М.Б. Челышковой; под. общ. ред. В.И. Звонникова, М.Б. Челышковой. М.: Логос, 2010.
Спенсер Л.М., Спенсер С.М. Компетенции на работе. Пер. с англ. М.: HIPPO, 2005.
Arthur W., Day E.A., Mcnelly T.L., Edens P.S. A meta-analysis of the criterion-related validity of assessment center dimensions // Personnel Psychology. 2003. Vol. 56. Is. 1. P. 125-154.
Hunter J.E., Schmidt F.L. Methods of meta-analysis: Correcting Error and Bias in Research Findings. 2nd ed. SAGE Publications, Inc., 2004.
97
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
Pearlman K., Schmidt F.L., Hunter J.E. Validity Generalization Results for TestsUsed to Predict Job Proficiency and Training Success in Clerical Occupations // Journal of Applied Psychology. 1980. Vol. 65. Is. 4. P. 373-406.
Prepare yourself [www.shldirect.com] // Примеры теста речевых способностей. URL: http:// www.shldirect.com/ru/verbal.html (дата обращения 10.02.2011).
Prepare yourself [www.shldirect.com] // Примеры теста числовых способностей. URL: http:// www.shldirect.com/ru/numerical.html (дата обращения 10.02.2011).
Schmidt F.L., Hunter J.E. Development of a general solution to the problem of validity generalization // Journal of Applied Psychology. 1977. Vol. 62. Is. 5 P. 529-540.
Schmidt F.L., Hunter J.E. General Mental Ability in the World of Work: Occupational Attainment and Job Performance // Journal of Personality and Social Psychology. 2004. Vol. 86. Is. 1. Р. 162-173.
Schmidt F.L., Hunter J.E. The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Finding // Psychological Bulletin. 1998. Vol. 124. Is. 2. P. 262-274.
Schmidt F.L., Hunter J.E., Caplan J.R. Validity generalization results for two job groups in the petroleum industry // Journal of Applied Psychology. 1981. Vol. 66. Is. 3. P. 261-273.
Schmidt F.L., Hunter J.E., Gast-Rosenberg I. Validity generalization results for computer programmers // Journal of Applied Psychology. 1980. Vol. 65. Is. 6. P. 643-661.
Schmitt N. Interrater Agreement in Dimensionality and Combinationof Assessment Center Judgments // Journal of Applied Psychology. 1977. Vol. 62. Is. 2. P. 171-176.
Приложение А
Таблица А1. Значения коэффициентов корреляции результатов вербального и числового тестов и ассессмент-центра
Компетенция / Вид теста Номер компании Номер Вербальный тест группы компетенций N r Числовой тест N r
Понимание HR-процессов (1) 1 1 10 .636* 10 .266
Понимание HR-процессов (2) 4 1 30 .257 30 .192
Развитие и организация персонала 2 1 14 -.469 14 .081
Управление людьми 5 1 190 .052 190 .194**
Развитие сотрудников 5 1 192 .096 190 .137
Управленческая самостоятельность 6 1 523 .004 524 -.106**
Руководство 3 1 39 .498** 39 .29
Лидерство в команде 5 1 186 .108 189 .222*
Ответственность 6 1 1007 .114** 1008 .055
Понимание организационных 1 2 10 .74** 10 .19
процессов
Организация деятельности 4 2 30 .108 30 .071
Анализ и решение проблем (1) 1 3 10 .499 10 .558
Анализ и решение проблем (2) 4 3 30 .177 30 .21
Стратегическое мышление 2 3 14 .412 14 .411
Системное мышление 6 3 1002 .245** 1003 .155**
98
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ. 2011. Т. 1. № 2
www.orgpsyjournal.hse.ru
Компетенция / Вид теста Номер компании НомеР Вербальный тест группы компетенций N r Числовой тест N r
Решение проблем 3 3 39 .693** 39 .636**
Принятие решений 5 3 192 .295** 196 .314**
Планирование 3 3 39 .46** 39 .63**
Взаимодействие с другими 4 4 30 -.027 30 -.183
Командная работа 6 4 530 .11** 531 .035
Принадлежность к группе 1 4 10 .777** 10 .15
Сотрудничество и работа в команде 2 4 14 .276 14 .012
Гибкость и адаптивность 1 4 10 -.542 10 .194
Гибкость 5 4 195 .264** 199 .175**
Межличностное понимание 3 4 39 .39** 39 .367*
Построение отношений 5 4 195 .148* 199 .184**
Стремление к достижению 2 5 14 -.16 14 -.019
Нацеленность на результат (1) 3 5 39 .413** 39 .328*
Нацеленность на результат (2) 5 5 195 .135 199 .229**
Активность действий 4 5 30 .335 30 -.135
Интеллектуальная 2 6 14 .413 14 .472
любознательность
Инновативность и проактивность 5 6 192 .053 196 .129
Открытость новому 6 6 524 .29** 525 .214**
Саморазвитие 5 6 192 .006 196 .1
Обучаемость 1 6 10 .565 10 .571
Ориентация на клиента 3 7 39 .264 39 .311*
Клиентоориентированность(1) 4 7 29 .471** 29 -.11
Клиентоориентированность (2) 5 7 195 .064 199 .134*
Навыки переговоров 3 8 39 .365* 39 .24
Эффективная коммуникация 6 8 1008 00 * * 1009 .026
* Значимость на уровне 0.05;
** Значимость на уровне 0.01.
Примечание: r - коэффициент корреляции, N - объем выборки. В компании №6 выборки, на которых получены коэффициенты корреляции, значительно различаются по объему в зависимости от компетенции. Это объясняется тем, что перечень оцениваемых компетенций различается в зависимости от должности оцениваемого сотрудника, а также тем, что информация о результатах по числовому и вербальному тестам предоставлена не для всех сотрудников, оцениваемых в рамках ассессмент-центра.
99
