CC BY
93
Организационная психология. 2012. Т. 2. №4. С. 43-58
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ
www.orgpsyjournal.hse.ru
Те же люди, другое время: Валидность и надежность Центров оценки, динамика развития оцененных компетенций
ПОПОВ Алексей Юрьевич
канд. психол. наук, «ЭКОПСИ-Консалтинг», Пермь, Россия, [email protected]
ЛУРЬЕ Евгений Валентинович
«ЭКОПСИ-Консалтинг», Москва, Россия, [email protected]
В статье приводится обзор количественных исследований валидности Центров оценки (ЦО), особое внимание уделяется прогностической валидности. Обосновывается мнение о том, что одним из пробелов в исследованиях прогностической валидности ЦО является недоучет временного фактора и крайняя редкость лонгитюдных проектов. Описаны результаты эмпирического исследования на выборке 167 сотрудников крупных российских компаний, которые проходили ЦО дважды с временным промежутком в 6.5 года. Результаты рассматриваются в двух разрезах: тест-ретестовая надежность ЦО и динамика развития компетенций. Обнаружено, что устойчивость оценок ЦО за 6.5 года составила 0.47. Тест-ретестовая надежность для теста способностей в том же промежутке времени составила 0.63. Обнаружены также некоторые закономерности динамики развития компетенций: в частности, компетенции руководителей развиваются быстрее, чем компетенции специалистов; стаж работы в предыдущей должности может негативно сказываться на динамике развития компетенций в долгосрочной перспективе; количество пройденных тренингов положительно, но умеренно связано с оценками по некоторым из компетенций.
Ключевые слова: Центр оценки; компетенции; надежность; прогностическая валидность.
Необходимость количественных исследований валидности
Популярность Центров оценки (ЦО) в России и во всем мире растет. Но «популярное» необязательно значит «хорошее». Среди привлекательных качеств ЦО можно отметить следующие:
а) ситуации, которые предлагаются участникам ЦО, близки к ситуациям реальной профессиональной деятельности;
б) за одним участником в разные моменты времени наблюдают несколько экспертов, что позволяет снизить субъективизм в оценках;
в) для оценки используются разнообразные упражнения, которые позволяют «увидеть» кандидата с разных сторон;
г) прямое наблюдение позволяет непосредственно регистрировать поведение.
43
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Но давайте противопоставим каждому из этих достоинств одну из потенциальных опасностей:
а) необходимость «приспосабливать» программу ЦО под нужды конкретной организации и должности приводит к тому, что ЦО не может считаться полноправным стандартизированным инструментом;
б) наблюдатели-эксперты могут влиять друг на друга в ходе процедуры сведения оценок;
в) оценки могут отражать не компетенции, а упражнения, т.е. не «одна компетенция специфическим образом проявляется в разных упражнениях», а «в одном упражнении проявляется нечто, что свидетельствует об успешности действий участника именно в этом упражнении»;
г) прямое наблюдение может способствовать проявлению негативных эффектов социальной перцепции, таких как эффект ореола или эффект контраста.
Единственный способ снять подобные возражения - проводить количественные вали-дизационные исследования. Несмотря на все «победы» в исследовании Центров оценки как метода измерения, которые были описаны в некоторых зарубежных публикациях, слепо верить в силу ЦО еще очень рано. Во-первых, описанные в литературе коэффициенты валидности, хотя и удовлетворительны, далеко не «заоблачны». Во-вторых, ЦО - это метод. Говорить, что Центры оценки валидны, - то же самое, что утверждать: «тесты валидны» (наверное, да, но не все и не всегда). Таким образом, перед всеми практиками ЦО стоит важнейшая задача: не просто разработать и повести программу ЦО, но и обосновать ее качество.
Thornton & Rupp (2006) приводят основные вопросы, на которые необходимо ответить при полноценном исследовании валидности ЦО:
1. Существуют ли данные, подтверждающие, что ЦО решает те задачи, которые на него возлагает организация?
2. Измеряет ли ЦО именно те компетенции, которые он призван измерять?
3. Насколько точны прогнозы, которые ЦО дает относительно потенциала участника, его потребностей в развитии и профессиональной успешности?
4. Какие альтернативные объяснения можно дать успешной практике применения ЦО?
5. Каким образом метод ЦО связан с другими методами оценки?
6. Демонстрирует ли ЦО отдачу инвестиций в него (utility)?
7. О чем участники и эксперты думают в процессе оценки и как они относятся к самим процедурам ЦО?
Авторы подчеркивают, что по принятым в США Стандартам образовательного и психологического тестирования (AERA et al., 1999) валидность относится не к самому измерительному инструменту, а к интерпретации его данных. В связи с этим Центры оценки, предназначенные для разных целей, имеют разную логику валидизации. В свою очередь, тремя основными группами целей, для которых предназначены ЦО, являются прогноз (в целях отбора или продвижения по службе), диагностика и развитие.
В данной статье мы фокусируемся на первой группе целей и, соответственно, на проблеме прогностической валидности ЦО.
Стандарты и практики валидизации ЦО
В 2012 г. был опубликован очередной исследовательский отчет о глобальных мировых тенденциях и практиках в применении Центров оценки, подготовленный компанией A&DC совместно с Университетом Колорадо (Hughes et al., 2012). В нем выражена серьезная озабо-
44
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
ченность недостатком внимания, уделяемого проблемам валидизации Центров оценки. С одной стороны, существуют международные стандарты по разработке и применению ЦО, в которых особый акцент сделан на том, что исследование качества самой оценки должно стать краеугольным камнем при использовании этого метода (Нормативы и этические принципы..., 2011).
С другой стороны, по данным A&DC, из 381 опрошенной компании 14% сообщили, что к моменту опроса не проводили никаких исследований по эффективности разработанных ими ЦО. Среди методов, которые все же применяются для оценки эффективности ЦО, абсолютно преобладает простой опрос мнений (самих участников, экспертов или заказчика). Не очень распространены такие более серьезные практики анализа качества, как:
• экспертная оценка содержательной валидности с привлечением внешних и внутренних экспертов (26%);
• исследование прогностической валидности по отношению к будущей результативности сотрудника (16%);
• корреляция оценок ЦО с текущей результативностью сотрудника (13%);
• исследование структурной валидности с применением факторного анализа оценок (9%);
• корреляция с другими замерами - например с оценками сослуживцев (8%);
• анализ отдачи инвестиций (ROI, utility - 15%).
Есть и неожиданные тенденции. Например, анализ отдачи инвестиций в ЦО чаще всего проводится в таких географических регионах, как Южная и Центральная Америка и Африка (20 и 24% соответственно). Прогностическая валидность чаще всего исследуется в Северной Америке и опять же в Африке (25 и 21% соответственно).
Помимо указанных международных нормативов, существует ряд национальных стандартов по разработке и применению ЦО (Великобритания, Индонезия, Германия, Южная Африка). Ни один из них не обходит стороной вопрос оценки качества Центра оценки, т.е. исследования его валидности, надежности, справедливости, капиталоотдачи (utility) и т.д. Например, в немецких Стандартах по практике применения Центров оценки (German Standards., 2004) оценка качества ЦО выделена в самостоятельный раздел. Критерии оценки качества представлены в виде трех блоков: а) внутренняя структура ЦО; б) качество прогноза; в) принятие участниками и справедливость.
В частности, как нарушения стандартов квалифицируются следующие действия:
а) внедрение нового ЦО без эмпирического тестирования его внутренней структуры;
б) использование позитивных отзывов как единственного источника информации о качестве; в) проведение контроля качества тем же человеком или той же организацией, которые разрабатывали Центр оценки; г) выбор критериев успешности исходя из доступности данных.
Д.Е. Мякушкин указывает, что достоверность результатов комплексной оценки персонала организации во многом зависит от валидности процедур экспертной оценки (а именно экспертная оценка лежит в основе ЦО). Он отмечает, что экспертная оценка является вместе с тем наименее разработанной областью в технологии оценки персонала организации. Причем основные проблемы группируются вокруг содержания процедур экспертной оценки, модели формирования критериев оценки, состава экспертов, необходимости подготовки и глубины подготовки экспертов (Мякушкин, 2009).
45
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Обладают ли Центры оценки прогностической валидностью?
Как отмечают Торнтон и Рапп, «даже среди самых строгих критиков метода Центра оценки существует мало сомнений в том, что общий оценочный рейтинг стабильно прогнозирует широкий спектр проявлений успешности менеджера» (Thornton & Rupp, 2006, с. 226). Согласно обзору метаанализов, выполненному этими авторами, прогностическая валидность метода по отношению к разнообразным критериям успешности находится в границах от 0.31 до 0.43, причем авторы были особенно внимательны к недопущению искажений, связанных с коммерческими публикациями (publication bias).
Другие значимые исследования также показали положительные результаты исследования прогностической валидности ЦО. Хермелин и др. (2011) в своем метаанализе после коррекции данных получили корреляцию 0.28 между общим оценочным рейтингом в Центре оценки и рейтингом результативности. Задействовалось 26 исследований и 27 коэффициентов валидности. В метаанализе Гоглер с соавторами (Gaugler et al., 1987) задействовано 107 коэффициентов валидности из разных исследований, усредненный коэффициент составил
0.37.
Обобщая опыт исследований прогностической валидности ЦО, Цинер с коллегами (Tziner et al., 1994) отмечают, что в таких работах обычно используются критерии двух типов: а) «твердые данные», такие как премии за результативность, б) оценка руководителей.
Однако мало понять, насколько хорошо ЦО предсказывает успешность менеджера. Необходимо также уяснить, какие факторы могут уточнить/улучшить подобные прогнозы. Гоглер с соавторами (Gaugler et al., 1987) обнаружили, что к факторам, позитивно влияющим на точность прогнозов ЦО, относятся: разнообразные типы заданий и упражнений, наличие психологов среди наблюдателей-экспертов, использование оценок сослуживцев.
Существуют положительные данные о прогностической валидности ЦО, полученные в отдельных исследованиях, и в нашей стране. Правда, количество опубликованных работ по этой теме в России катастрофически мало (авторам удалось обнаружить только два источника, где приведены конкретные цифры, а не общие рассуждения и чужие данные). Так, С.К. Сергиенко (1999) получил удовлетворительные данные о прогностической валидности ЦО в рамках проекта TACIS. Анализировалась оценка стажеров принимающими их после отбора и обучения компаниями. Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев (Сергиенко, 1999).
В исследовании А.К. Ерофеева (2012) получен средний коэффициент корреляции 0.63 при р = 0.01. Сравнивался общий оценочный рейтинг, полученный в ходе ЦО, с усредненными оценками из интервью по компетенциям, которые проводили сотрудники службы персонала (Ерофеев, 2012). При этом оценки в интервью были получены приблизительно в то же время, что и оценки в ЦО.
Необходимо отметить, что полученные значения заметно выше описанных в западных источниках. Более того, по новому российскому Стандарту требований к психодиагностическим методикам полученные коэффициенты даже превышают рекомендуемый диапазон корреляции методик с внешним критерием (0.3-0.5) (Стандарт требований..., 2012). Ключевое отличие российских исследований от упомянутых западных заключается в том, что данные получены в отдельных проектах, а не в результате метаанализа. Для дальнейшего изучения особенностей российских ЦО и объяснения различий требуется большее количество эмпирических исследований и публикаций.
46
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Проблема: фактор времени в исследованиях прогностической валидности
Центров оценки
В исследованиях прогностической валидности ЦО есть еще один важный пробел: в подавляющем большинстве случаев берется некоторый одномоментный критерий. Эффективность и валидность ЦО относительно долгосрочных прогнозов исследуются крайне редко. А ведь именно долгосрочный прогноз является важнейшим преимуществом качественной оценки. Такие данные исключительно важны для заказчика ЦО, если он, например, планирует по результатам ЦО формировать кадровый резерв на ключевые управленческие позиции в организации.
В связи с этим ощущается нехватка лонгитюдных исследований ЦО. Среди небольшого количества опубликованных работ выделяются несколько. Митчел описывает лонгитюдное исследование валидности ЦО на выборке 254 менеджеров (Standard Oil Company, Ohio, США, 1966-1972). Использовалось 24 предиктора, в качестве критерия был избран прирост зарплаты через 1 год, 3 года и 5 лет после проведения оценки. Средняя корреляция общего оценочного рейтинга с критерием составила от 0.10 до 0.32. Причем можно отметить следующие закономерности (на которые почему-то недостаточно внимания обращает сам автор):
1) корреляция с критерием возрастает, если критерий становится все более отсроченным. Так, для первого поколения менеджеров, принимавшего участие в ЦО, корреляция с приростом в зарплате составила 0.22 через 1 год, 0.28 через 3 года и уже 0.32 через 5 лет. Это статистически значимые коэффициенты. Причем такой паттерн сохраняется для нескольких поколений менеджеров и для двух групп оценок (эксперты в ЦО и коллеги);
2) корреляции обобщенных оценок экспертов с критерием (с одной стороны) и корреляции обобщенных оценок коллег (с другой стороны) не уступают друг другу по величине (Mitchel, 1975, с. 575);
3) вместе с тем отдельные составляющие этой оценки (отдельно взятые 24 компетенции) у наблюдателей-экспертов гораздо более дифференцированы.
Обсуждая эффект возрастания отсроченных корреляций, автор делает вывод о том, что при валидизационных исследованиях ЦО критерий по возможности следует замерять позже (Mitchel, 1975).
Хинричс (Hinrichs, 1978) провел исследование взаимосвязи между результатами ЦО и уровнем должности менеджеров маркетинговой организации (47 человек) через 8 лет после оценки. Основные результаты этого исследования таковы.
1. Общий оценочный рейтинг коррелирует с более отсроченным критерием выше, чем с менее отсроченным (что подтверждает, в частности, результаты Дж. Митчела). Автор заключает, что для адекватной оценки предсказательной силы ЦО необходимо «подождать достаточно долго» (Hinrichs, 1978).
2. Корреляция между общим оценочным рейтингом ЦО и уровнем должности через 8 лет (скорректированная на исходный уровень должности) составила 0.40. Вместе с тем для простой оценки двух менеджеров на основе рассмотренных материалов личных дел эта корреляция составила 0.49. Другими словами, простой прогноз кадровика оказался даже более точным для предсказания уровня должности через 8 лет, чем ЦО. Встает вопрос: стоит ли «стрелять из пушки по воробьям?».
Не отвечая на этот вопрос однозначно, Хинричс приводит два аргумента: а) множественная корреляция обоих предикторов с критерием составляет 0.58, что означает, что они оценивают несколько разные аспекты продвижения по службе, а в комбинации их
47
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
прогноз сильнее, б) задачи ЦО далеко не исчерпываются прогнозом уровня должности через несколько лет (Hinrichs, 1978).
Брэй и Грант (Bray & Grant, 1966) принадлежит классический лонгитюд ЦО на выборке 355 молодых менеджеров компании AT&T (American Telephone and Telegraph Company), проведенный в рамках еще более широкого проекта по исследованию динамики развития индивидуальности молодых людей в среде бизнеса и менеджмента (The Bell System’s Management Progress Study). Временной промежуток, который охватили собранные данные, составил до 8 лет (1957-1965). Внешние критерии включали (достигнутый за эти 8 лет) уровень менеджмента и уровень заработной платы. Исследование в основном сконцентрировано вокруг сравнения прогностической силы упражнений ЦО, тестов способностей и опросников личности, но общий вывод таков: упражнения ЦО в целом предсказывают продвижение по службе, причем лучше, чем тесты способностей и особенно личностные опросники (Bray & Grant, 1966).
Ритчи (Ritchie, 1994) использует данные, полученные из проекта Advanced Management Potential Assessment Program компании AT&T 1979-1983 гг., концентрируя внимание на предсказании успеха в менеджменте высшего уровня. Среди прочего получена отсроченная корреляция общего оценочного рейтинга (ООР) в ЦО и уровня менеджмента 0.39 (без коррекции на ограничения выборки, p < 0.01).
Янсен и Ступ (Jansen & Stoop, 2001) поднимают важную проблему, связанную с тем, что коэффициенты валидности ЦО могут меняться с течением времени, поскольку изменчивыми являются и сами участники, и критерии. Кроме того, существует проблема «контаминации критерия»: ближайшие кадровые решения в компании принимаются на основе результатов ЦО. Разумеется, именно по этой причине данные результаты будут коррелировать с уровнем должности или зарплатой спустя незначительный промежуток времени.
Еще один аспект проблемы заключается в том, что факторы профессионального успеха изменчивы во времени. Следовательно, валидность оценок по разным компетенциям в разное время также может быть разной. Например, предсказательная способность академических знаний и навыков письменной речи может быть высокой на ранних стадиях карьеры, а предсказательная способность самоуверенности и коммуникативных навыков может быть высокой в долгосрочной перспективе. Янсен и Ступ исследовали предсказательную способность ЦО по отношению к параметру роста зарплаты, измеряемому ежегодно в течение 7 лет после оценки. Корреляции общего оценочного рейтинга (ООР) с заработной платой «путешествовали» по следующим значениям: 0.20 через 2 года, 0.12 через 3 года, 0.03 через 4 года,
0.08 через 5 лет, 0.20 через 6 лет, 0.39 через 7 лет (Jansen & Stoop, 2001).
Обобщая результаты предшествующих исследований, можно сделать следующие выводы:
1. Фактор времени в оценке критериальной (прогностической) валидности ЦО играет далеко не последнюю роль. Оценка кандидата в ЦО может иметь различную предсказательную силу в зависимости от дальности прогноза, причем зависимость эта, вероятно, не является линейной.
2. Прогностическая валидность ЦО в предшествующих исследованиях могла как недооцениваться, так и переоцениваться в связи с отсутствием контроля за фактором времени.
3. Лонгитюдные исследования применения ЦО являются ценным источником информации о психометрических качествах этого метода; ощущается нехватка современных исследований такого рода.
Таким образом, проблему исследования можно сформулировать следующим образом. В существующих работах по прогностической валидности ЦО используются внешние критерии
48
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
- «твердые данные» и оценки руководителей. При этом практически игнорируются закономерности динамического развития самих компетенций, а также устойчивость оценок по компетенциям во времени. Если оценки по компетенциям в настоящее время не прогнозируют оценки по компетенциям спустя несколько лет, придется утверждать, что полученные в предыдущих работах удовлетворительные показатели прогностической валидности ЦО являются не более чем артефактом. Таким образом, необходимо дополнить существующие работы данными динамического характера.
Вопросы исследования
Формулировка проблемы приводит к постановке следующих исследовательских вопросов, которые поставила перед собой команда «ЭКОПСИ-Консалтинг»:
1. Являются ли оценки по компетенциям, получаемые в Центре оценки, устойчивыми во времени? Этот вопрос можно представить и в терминах надежности (какова тест-ретестовая надежность Центра оценки?), и в терминах прогностической валидности (насколько точно результаты ЦО прогнозируют уровень выраженности компетенций у участников через 6.5 года?). Во втором случае в качестве критерия мы используем повторный Центр оценки (третий тип критериев, если возвращаться к (Tziner et al., 1994), согласно которым в качестве критерия такого рода исследований используются либо «твердые данные», либо оценки руководителей).
2. Каковы особенности динамики развития самих компетенций? Этот вопрос также напрямую связан с проблемой прогностической валидности. Ведь попытка спрогнозировать профессиональную успешность исходя из однократной оценки по компетенциям должна опираться на знания о закономерностях развития компетенций. Например, если мы знаем, что компетенции у специалистов меняются с течением времени медленнее, чем компетенции руководителей, это может дать основания для дифференцированного подхода к прогностической валидности ЦО. Скажем, мы сможем утверждать, что для специалистов прогноз более точен и долгосрочен, чем для руководителей.
Дизайн исследования
Наше исследование охватывало 167 специалистов и руководителей разного уровня, которые в 2002-2003 гг. работали в одной из крупнейших российских компаний (где проходили Центр оценки), а в 2006-2012 гг. - уже в другой компании аналогичного масштаба и индустрии, где проходили еще один Центр оценки. Данный факт является крайне важным, так как все оцененные люди в промежутке между двумя ЦО перешли в другую организацию. В частности, это означает, что они имели новые шансы и возможности для развития своих компетенций, не будучи «подвязанными» на уже сложившуюся организационную структуру и предыдущие оценки.
Среднее для всех участников время, прошедшее между двумя Центрами оценки, составило 6.5 года. Повторное попадание участников не было специально запланированным, они проходили оценку в рамках проекта по отбору в кадровый резерв новой компании. Поскольку ЦО в обеих компаниях проводились одной и той же командой оценщиков из «ЭКОПСИ-Консалтинг», данные были сведены в единую базу и проанализированы. Центры оценки, проводившиеся во время первого и второго замеров, не были полностью идентич-
49
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
ными (программы ЦО и компетенции имели отличия, однако идеологически и структурно они были достаточно близки). Оба раза, помимо собственно оценок по компетенциям, проводились тесты способностей (замер вербального и числового интеллекта).
Во время первого замера (2002-2003 гг.), помимо оценок по компетенциям и результатов теста способностей, были доступны следующие данные: категория персонала (руководи-тель/специалист), дополнительное обучение за последние 3 года (количество пройденных курсов профильного и непрофильного обучения), возраст, категория годности в кадровый резерв, основание отнесения к этой категории (ЦО, тест способностей или их сочетание), количество пройденных после оценки тренингов развития. Во время второго замера (20062012 гг.) были доступны лишь оценки по компетенциям и результаты теста способностей.
Таким образом, собранные данные можно назвать уникальными по следующим параметрам:
1) два трудоемких замера компетенций в Центрах оценки на одних и тех же людях спустя значительный промежуток времени. В отличие от исследований, описанных выше, это позволяет нам изучить устойчивость самих оценок по компетенциям («тест-ретестовую надежность ЦО»). Ведь если оценки, получаемые в ЦО, неустойчивы во времени, это снижает достоверность получаемых данных об их критериальной валидности;
2) отсроченные оценки по компетенциям можно использовать в качестве самостоятельного внешнего критерия. Прогнозируют ли решения, принимаемые нами относительно участников ЦО сегодня, уровень выраженности их компетенций спустя несколько лет? И если да, какие именно параметры (которые можно замерить сегодня) обладают наибольшей предсказательной силой?
3) характер собранных данных позволяет частично исследовать динамику развития компетенций и факторов, от которых она зависит. Подобного рода исследования в литературе нам также не встречались.
Результаты
Вопрос 1. Являются ли оценки по компетенциям, получаемые в Центре оценки,
устойчивыми во времени?
На первом этапе анализа изучались отсроченные корреляции результатов ЦО в 2002-2003 гг. и результатов ЦО в 2006-2012 гг. По результатам анализа тест-ретестовый коэффициент корреляции Спирмена для общего оценочного рейтинга (ООР) Центра оценки составил 0.47 при N = 124 и p < 0.001.
Оценки по отдельным компетенциям также обнаруживают довольно тесный паттерн корреляций друг с другом (разброс корреляций от 0.06 до 0.44). Частично такой паттерн корреляций объясняется тем, что оценки по отдельным компетенциям в ЦО могут быть связанными между собой. Вместе с тем интересно, какие конкретно компетенции по результатам оценки в 2002-2003 гг. оказываются прогностичными по отношению к каким компетенциям по результатам оценки в 2006-2012 гг. Результаты приведены в табл. 1.
Если принять допущение о том, что случайные колебания в полученных коэффициентах корреляции минимальны, можно отметить следующие закономерности.
1. Не всегда оценка по компетенции Х связана сильнее всего с оценкой по этой же компетенции спустя несколько лет. Например, оценки по компетенции «Открытость новому и адаптивность» спустя несколько лет оказываются взаимосвязанными с оценками по аналогичной компетенции («Открытость новому») на уровне 0.2, а с некоторыми другими компе-
50
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
тенциями («Командное лидерство», «Системное мышление») - на уровне 0.34 и 0.3 соответственно. В данном случае все корреляции оказываются статистически значимыми.
Если отбросить сугубо методологические соображения (случайные колебания коэффициентов корреляции, путаница между компетенциями при выставлении оценок в ЦО и т.д.), такая картина наводит на мысль о возможном явлении трансформации компетенций с течением времени. Может ли, например, «Открытость новому» трансформироваться в «Командное лидерство» или влиять на его развитие?
2. Различия в полученных коэффициентах корреляции небольшие, но все же можно говорить, что с результатами оценки в 2002-2003 гг. теснее всего оказались связаны (в 2006-2012 гг.) оценки по таким компетенциям, как «Командное лидерство» (0.34), «Управленческая самостоятельность» (0.32) и «Эффективная коммуникация» (0.31). Наименее тесно - «Управление исполнением» (0.16) и «Ответственность за результат» (0.17). Вероятно, эти результаты свидетельствуют о том, что одни компетенции развиваются более предсказуемо, а другие - в большей степени подвержены влиянию большого количества посторонних факторов.
Отдельный интерес вызывают результаты по тесту способностей (вербальный и числовой интеллекты) (см. табл. 1). Тест-ретестовая корреляция для этого теста составляет
0.63. Это дает некоторые основания для сравнения описанного выше ретестового коэффициента для ЦО (0.47). Очевидно, что Центр оценки в данном проекте демонстрирует высокую тест-ретестовую надежность, поскольку она не радикальным образом отличается от надежности теста способностей в тот же промежуток времени.
Таблица 1. Корреляции оценок по компетенциям в Центрах оценки 2002-2003 гг. и 2006-2012 гг.
Центр оценки 2006-2012
Центр оценки 2002-2003 Он О О Командная работа Эффективная коммуникация Ответственность за результат Системное мышление Открытость новому Управленческая самостоятельность Командное лидерство Управление исполнением Тест способностей
ООР .47* .32* .40* .22* .29* .37* .42* .47* .23* .02
Принятие решений .44* .31* .37* .23* .20* .33* .44* .42* .22* .08
Напористость в достижении цели .37* .21* .26* .13 .21* .34* .36* .37* .22* .10
Открытость новому и адаптивность .29* .22* .25* .17 .30* .20* .23* .34* .12 .13
Четкость изложения .41* .28* .39* .26* .22* .35* .28* .28* .25* .00
Влияние .47* .27* .41* .21* .25* .37* .34* .43* -к О .14
Мотивация подчиненных .22* .15 .26* .06 .12 .11 .23* * О .10 к О Г
Взаимодействие в многофункциональной команде .31* .20* .23* .20* .21* .23* .33* .32* .11 -.04
Корпоративность .28* .23* .25* .17 .13 .24* .35* .28* -.01 -.12
Стремление к менеджерскому росту .27 .14 .28 .09 .07 .21 .21 .06 -.02 .14
Тест способностей .10 .01 .04 .21* .18 .09 .02 .03 .05 .63*
Примечание: * - коэффициенты, значимые на уровне p < 0.05. ООР - Общий оценочный рейтинг.
51
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Вопрос 2. Каковы особенности динамики развития самих компетенций?
Собранные данные позволили исследовать три аспекта динамики развития компетенций во времени: ее зависимость от категории персонала (специалисты/руководители), от стажа работы на предыдущей должности и от количества пройденных тренингов после оценки.
2а. Одинакова ли динамика развития компетенций у разных категорий
персонала?
В табл. 2 представлены результаты сравнения групп руководителей и специалистов с использованием U-критерия Манна-Уитни по компетенциям. Общие результаты могут быть сформулированы следующим образом.
1. Руководители в 2002-2003 гг. получали более высокие (по сравнению со специалистами) оценки по компетенциям «Принятие решений», «Влияние», «Взаимодействие в многофункциональной команде», «Корпоративность». Общий оценочный рейтинг (ООР) для руководителей также был в среднем выше.
2. Участники, которые в 2002-2003 гг. были руководителями, по сравнению с участниками, которые были специалистами, получили при оценке спустя 6.5 года более высокие оценки по компетенциям «Командная работа», «Эффективная коммуникация», «Ответственность за результат», «Открытость новому», «Управленческая самостоятельность», «Командное лидерство», а также общий оценочный рейтинг.
Таким образом, различия в оценках по компетенциям между руководителями и специалистами с течением времени как бы увеличились. Другими словами, прирост в компетенциях руководителей произошел быстрее, чем прирост в компетенциях у специалистов (независимо от последующей истории назначений). Это наводит на мысль о том, что динамика развития компетенций может быть не линейной, а, например, степенной или даже экспоненциальной (т.е. темпы развития компетенции могут нарастать при условии постоянного погружения в решение менеджерских задач).
2б. Зависит ли динамика развития компетенций от стажа работы на
предыдущей должности?
Перед оценкой в 2002-2003 гг. в базу данных заносился также показатель «стаж работы на предыдущей должности». Анализ взаимосвязей этого показателя с текущими и отсроченными оценками по компетенциям выявляет следующее.
1. Есть статистически недостоверная, но приближающаяся к этой границе тенденция: чем больше стаж работы на предыдущей должности, тем выше оценки по компетенциям в текущей оценке (2002-2003 гг.). Особенно это характерно для таких компетенций, как «Корпоративность» (г = 0.28, p = 0.022), «Мотивация подчиненных» (г = 0.21, p = 0.09), «Четкость изложения» (г = 0.28, p = 0.022) и «Общий оценочный рейтинг» (г = 0.22, p = 0.08).
2. Вместе с тем для отсроченной оценки есть аналогичная по величине, но обратная тенденция: чем больше стаж работы на предыдущей должности к моменту первой оценки, тем ниже баллы по компетенциям в момент второй оценки. Особенно это характерно для компетенций «Командное лидерство» (г = -0.21, p = 0.07), «Командная работа» (г = -0.21, p = 0.07), «Открытость новому» (г = -0.19, p = 0.09) и «Общий оценочный рейтинг» (г = -0.21,
p = 0.06).
52
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Таблица 2. Сравнение оценок по компетенциям в текущем и отсроченном Центрах оценки в группах руководителей и специалистов
Среднее для руководителей Среднее для специалистов t Р
Центр оценки 2002-2003 гг. (N = 86, N = 33) 4 руководители специалисты '
ООР 1.47 1.33 2.51* .013
Принятие решений 1.56 1.33 3.07* .002
Напористость в достижении цели 1.55 1.50 .80 .419
Открытость новому и адаптивность 1.48 1.40 .96 .337
Четкость изложения 1.54 1.50 .57 .565
Влияние 1.47 1.25 2.60* .010
Мотивация подчиненных 1.30 1.15 1.83 .068
Взаимодействие в многофункциональной 1.39 1.21 2.56* .011
команде
Корпоративность 1.50 1.30 2.45* .015
Стремление к менеджерскому росту 1.43 1.35 .68 .500
Центр оценки 2006-2012 гг. (N = 104, N = 50) руководители специалисты
ООР 1.44 .88 6.16* .000
Командная работа 1.46 .94 5.53* .000
Эффективная коммуникация 1.41 1.23 3.25* .001
Ответственность за результат 1.54 1.32 3.94* .000
Системное мышление 1.36 1.25 1.67 .095
Открытость новому 1.41 .97 4.68* .000
Управленческая самостоятельность 1.34 .78 6.68* .000
Командное лидерство 1.25 .98 4.70* .000
Управление исполнением 1.44 1.34 1.28 .201
Примечание: * - статистически значимые результаты. ООР - общий оценочный рейтинг.
Одно из предположений, которое нам кажется вероятным при интерпретации этого факта: срабатывает явление инерции опыта. Другое известное название для него - принцип Питера (Питер, 2003). Сотрудник, имеющий большой стаж работы на текущей должности, хорошо справляется с заданиями ЦО и уверенно демонстрирует сформированность компетенций. В связи с этим его назначают на новую должность либо же дают новый функционал. И он начинает «буксовать» в новых условиях, поскольку привык решать старые задачи старыми способами.
Это предположение требует тщательных дополнительных исследований. Если оно подтвердится, думаем, это будет означать, что замер гибкости и открытости новому опыту должен выводиться в ЦО в отдельную оценку. Она должна иметь самостоятельное значение и не участвовать в подсчете суммарного ООР (как и тесты способностей).
53
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
2в. Зависит ли динамика развития компетенций от количества пройденных
тренингов?
Некоторые участники в момент текущей оценки проходили тренинги развития, причем достаточно часто не один, а несколько. Это позволяет скоррелировать показатель «количество пройденных тренингов» с результатами текущей и отсроченной оценки в ЦО и тем самым сделать некоторые выводы об эффективности тренингов для развития компетенций. В данном проекте количество пройденных тренингов показало статистически достоверные положительные корреляции с 4 из 9 оценок по компетенциям в текущей оценке и с 2 из 7 оценок по компетенциям в отсроченной оценке.
Таким образом, в текущей оценке прохождение тренингов развития положительно взаимосвязано с компетенциями «Принятие решений» (г = 0.18, p < 0.05), «Мотивация подчиненных» (г = 0.19, p < 0.05), «Взаимодействие в многофункциональной команде» (г = 0.24, p < 0.01), «Корпоративность» (г = 0.19, p < 0.05).
В отсроченной перспективе количество пройденных (несколько лет назад) тренингов коррелирует с компетенциями «Командное лидерство» (г = 0.20, p < 0.01) и «Управление исполнением» (г = 0.18, p < 0.05). Корреляций с результатами тестов способностей не обнаружено.
Общие выводы и обсуждение результатов
Анализ существующих публикаций по проблеме качества Центров оценки как инструмента измерения компетенций показал, что существует разрыв между стандартами и практикой применения. В целом по миру количественным исследованиям, обосновывающим качество конкретных ЦО, уделяется недостаточно внимания. Российских публикаций на эту тему еще меньше. Распространенная для наших авторов тенденция: рассуждать о Центрах оценки с позиций их методологических основ, содержания, потенциальной пользы для организаций и при этом практически полностью игнорировать цифры. Мы как бы «верим» небольшому числу авторитетных западных авторов, которые говорят, что ЦО - качественный инструмент измерения. Но ведь валидность устанавливается не для ЦО вообще, а для каждой программы ЦО, разработанной для конкретной организации и должности.
Один из основных аспектов валидности ЦО - прогностическая валидность - исследуется достаточно давно, и сегодня уже можно уверенно говорить, что прогностическая валидность ЦО составляет приблизительно 0.4. При этом не стоит забывать, во-первых, о том, что это всего лишь умеренная (а не сильная) корреляция, во-вторых, о том, что точность прогноза ЦО зависит от множества факторов, большинство которых исследованы пока слабо. Один из них - фактор времени. Именно на него мы и обратили наиболее пристальное внимание.
Психометрические исследования валидности Центров оценки в дизайнах с повторяемыми измерениями могут быть полезными в плане понимания как прогностической валидности Центров оценки, так и закономерностей динамического развития компетенций в процессе профессионального становления.
По результатам нашего исследования устойчивость общего оценочного рейтинга в Центрах оценки во времени (тест-ретестовая надежность) во временном промежутке 6.5 года оказывается равной 0.47 при N = 124 и p < 0.001. Сложно говорить о каких-либо стандартах тест-ретестовой надежности ЦО в условиях отсутствия аналогичных исследований. Некоторые общепринятые рекомендации заключаются в том, что для тестов способностей при интервале в 1-2 недели хорошим показателем тест-ретестовой надежности считается
54
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
0.7-0.8. Для тестов личности при том же временном интервале аналогичная граница составляет 0.6-0.7 (Bartram & Lindley, 2004). Вероятно, учитывая характер измеряемого явления (компетенции) и длительный промежуток времени, можно утверждать, что это достаточная устойчивость оценок. Тест-ретестовая надежность для теста способностей в том же промежутке времени составила 0.63.
Предшествующие исследования надежности ЦО сфокусированы главным образом на согласованности оценок наблюдателей-экспертов. Метаанализ Коннели и Уонса (Connelly & Ones, 2008) показал хорошие значения надежности/согласованности наблюдателей-экспертов. Конечно, этот факт следует уточнить некоторыми принципиальными соображениями. Во-первых, все эксперты могут «одинаково ошибаться». Поэтому набирают силу исследования, посвященные когнитивным процессам, протекающим во время оценки участника наблюдателем-экспертом. Среди потенциально опасных феноменов в данном случае можно назвать и явление первого впечатления, и недостаточное использование наблюдателями всего спектра критериев. Во-вторых, с согласованностью наблюдателей-экспертов тесно связана проблема методики сведения оценок в общий оценочный рейтинг (Dewberry, 2011). Таким образом, исследования надежности ЦО в аспекте согласованности оценок наблюдателей принципиально ограничены. Полученный нами коэффициент тест-ретестовой надежности подтверждает, что надежность Центров оценки может быть достаточной.
Этот результат может быть рассмотрен и в разрезе прогностической валидности. Он доказывает, что ЦО могут обладать достаточной прогностической валидностью по отношению не только к «твердым» факторам и оценкам руководителей (Tziner et al., 1994), но и к уровню сформированности самих компетенций через несколько лет.
Впрочем, при оценке прогностической валидности следует учитывать, что мы имеем дело не со стабильными, а с достаточно изменчивыми поведенческими характеристиками. Это еще один пробел, существующий в исследованиях ЦО. Сегодня компетенции одни, а завтра - другие. Чтобы прогнозировать что-то на их основе, необходимо знать закономерности их развития во временной перспективе. Описанное исследование позволило проанализировать некоторые из факторов, от которых может зависеть динамика развития компетенций.
Во-первых, обнаружено, что не всегда оценка по компетенции Х связана сильнее всего с оценкой по этой же компетенции спустя несколько лет. Это порождает гипотезу о возможном явлении трансформации компетенций с течением времени. Если это действительно так, подобные результаты могут быть важными для Центров развития. Ведь это означает, что одну компетенцию можно «вырастить» из другой либо «компенсировать» другими. Какими именно? Гипотеза нуждается в дальнейшем исследовании.
Во-вторых, обнаружено, что прирост в компетенциях у руководителей происходит быстрее, чем прирост в компетенциях у специалистов (независимо от последующей истории назначений). Это порождает еще одну гипотезу, требующую дополнительных исследований: динамика развития компетенций может быть не линейной, а, например, степенной или экспоненциальной. Это предположение кажется вполне разумным. Известно, что темпы исторического развития человечества являются далеко не линейными: прогресс за последние 100 лет и прогресс за первое тысячелетие нашей эры несопоставимы. Нечто подобное может происходить и с компетенциями.
В-третьих, стаж работы на предыдущей должности положительно коррелирует с оценками по компетенциям в «текущем» Центре оценки и уже отрицательно - с оценками по компетенциям в повторном Центре оценки через несколько лет. Такой результат порождает еще одно предположение: в динамике развития компетенций наблюдается явление инерции опыта, или принцип Питера. Опять же, если это подтвердится и в других исследователь-
55
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
ских проектах, мы сможем более точно прогнозировать индивидуальную траекторию роста сотрудника внутри компании.
В-четвертых, было обнаружено, что количество пройденных тренингов имеет умеренную положительную взаимосвязь с оценками участника по компетенциям. Причем частично этот эффект сохраняется на протяжении нескольких лет. Особенно благотворно в долгосрочной перспективе тренинги сказываются на компетенциях «Командное лидерство» и «Управление исполнением».
В целом можно утверждать, что метод ЦО и конкретные программы ЦО выдержали очередную проверку качества. Достаточные параметры прогностической валидности ЦО, которые были получены в исследованиях, описанных выше (Thornton & Rupp, 2006; Хермелин и др., 2011; Gaugler et al., 1987; Klimoski & Strickland, 1977; Сергиенко, 1999), вероятно, не являются артефактом. Поскольку оценки по компетенциям в ЦО достаточно устойчивы во времени на протяжении 6.5 года, а «компетенции прогнозируют компетенции», метод ЦО действительно может являться достаточно мощным инструментом прогноза поведения людей на рабочем месте.
В заключение хотим подчеркнуть необходимость тщательного сбора максимально подробных данных о проводимых Центрах оценки для их дальнейшего анализа. В настоящее время входит в обиход утверждение о том, что кадровые решения должны быть обоснованными и опираться на цифры. Часто в качестве такого обоснования предлагаются Центры оценки. Логично, что и сами заключения по результатам Центров оценки должны быть эмпирически обоснованными. Отечественная практика применения Центров оценки нуждается в этом особенно сильно.
Благодарности
Авторы выражают признательность Михаилу Румянцеву и Сергею Сухачеву за помощь в подготовке исследования.
Литература
Ерофеев, А.К. (2012). Диагностика психологических характеристик, причинно связанных с поведением человека в ситуациях неопределенности и риска. В сб.: Материалы международной научно-практической конференции «Экономическая психология в современном мире» (150-153). М.: Финансовый университет при Правительстве Российской Федерации. Международная комиссия по нормативам создания и проведения Центра оценки. (2011). Нормативы и этические принципы создания и проведения Центра оценки. Организационная психология, 1(2), 26-44. URL: http://orgpsyjournal.hse.ru (Дата обращения: 01.12.2012). Мякушкин, Д.Е. (2004). Социально-психологические аспекты комплексной оценки персонала организации. Челябинск: Издательство ЮУрГУ Питер, Л. (2003). Принцип Питера, или Почему дела идут вкривь и вкось. Минск: Попурри. Сергиенко, С.К. (1999). Центр оценки: групповая деятельность, управленческая технология, исследовательская лаборатория. М.: Издательский центр ГУУ Стандарт требований к психодиагностическим методикам. (2012). Челябинск: Центр сертификации НОЦ «Психодиагностика»,. URL: http://cc.psytest.ru/ru/Sertifikacija_metodik/ Standart_trebovani_k_psihodiagnosticheskim_metodikam (дата обращения: 15.12.2012)
56
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Хермелин, И., Лайвенс, Ф., Робертсон, А. (2011). Прогностическая валидность Центра оценки: метаанализ. Организационная психология, 1(1), 39-49. URL: http://orgpsyjournal.hse.ru (Дата обращения: 8.12.2012).
American Educational Research Association, American Psychological Association, & American Council on Measurement in Education. (1999). Standards for Educational and Psychological Tests. Washington, DC: American Psychological Association
Arbeitskreis Assessment Center e.V. (2004). German Standards for Assessment Center Operations. Hamburg, Germany. URL: http://www.arbeitskreis-ac.de/index.php (дата обращения:
8.12.2012).
Bartram, D. & Lindley, P.A. (2004). Psychological testing: The BPS "Level A''open learning programme. Oxford: Blackwell Publishing Ltd.
Bray, D.W., & Grant, D.L. (1966). The assessment center in the measurement of potential for business management. Psychological Monographs: General and Applied, 80(17), 1-27
Campbell, J.P., Dunnette, M.D., Lawler, E.E., & Weick, K.E., Jr. (1970). Managerial behavior, performance, and effectiveness. New York: McGraw-Hill.
Connelly, B.S., & Ones, D.S. (2008). Interrater unreliability in assessment center ratings: A metaanalysis. Paper presented at the Annual Conference of the Society for Industrial and Organizational Psychology, April, San Francisco, CA.
Dewberry, C. (2011). Integrating candidate data: Consensus or Arithmetic? In: Povah, N., & Thornton, G.C. (eds.) Assessment centers and global talent management. Farnham: Gower Publishing Limited.
Gaugler, B.B., Rosenthal, D.B., Thornton III, G.C., & Bentson, C. (1987). Meta-analysis of assessment center validity. Journal of Applied Psychology, 72(3), 493-511.
Hinrichs, J.R. (1978). An eight-year follow-up of a management assessment center. Journal of Applied Psychology, 62(5), 596-601.
Hughes, D., Riley, P., Shalfrooshan, A., Gibbons, F., & Thornton, G. (2012). A Global Survey of Assessment Centre Practices. A Research Report by a&dc and Colorado State University. URL: http://www.adc. uk.com/page.aspx/315/Global_Survey (Дата обращения: 8.12.2012).
Jansen, P.J.W., & Stoop, B.A.M. (2001). The dynamics of assessment center validity: Result of a 7-year study. Journal of Applied Psychology, 86(4), 741-753.
Klimoski, R.S., & Strickland, W. (1977). Assessment centers: Valid or merely prescient. Personnel Psychology, 30, 353-363.
Mitchel, J.O. (1975). Assessment center validity: A longitudinal study. Journal of Applied Psychology, 60(5), 573-579.
Ritchie, R.J. (1994). Using the assessment center method to predict senior management potential. Consulting Psychology Journal, 46(1), 16-23.
Sackett, P.R., & Dreher, G.F. (1982). Constructs and assessment center dimensions: Some troubling empirical findings. Journal of Applied Psychology, 67(4), 401-410.
Thornton III, G.C., & Rupp, D.E. (2006). Assessment centers in human resource management: Strategies for prediction, diagnosis, and development. London: Lawrence Erlbaum Associates.
Tziner, A., Meir, E.I., Dahan, M., & Birati, A. (1994). An investigation of the predictive validity and economic utility of the assessment center for the high-management level. Canadian Journal of Behavioral Science, 26(2), 228-45.
57
Организационная психология. 2012. Т. 2. №4
www.orgpsyjournal.hse.ru
Same people, different time: Assessment center validity and reliability in connection with dynamics of competency development
Alexey POPOV
Candidate of Psychology, ECOPSY Consulting, Perm, Russia, [email protected]
Eugene LURIE
ECOPSY Consulting, Moscow, Russia, [email protected] Abstract
The article gives an overview of quantitative research into assessment centers (AC), special emphasis is placed on issues of predictive validity. It is contended that there is a gap in AC predictive validity studies, namely lack of consideration of the temporal aspect and scarcity of longitudinal projects. Empirical study involved 167 employees of large Russian companies who participated in ACs twice within a 6.5-year interval. Results are considered in two aspects: test-retest reliability of AC and dynamics of competency development. Stability of AC scores over the 6.5-year period was found to be 0.47. For comparison, test-retest reliability of a general ability test within the same time interval was 0.63. Some peculiarities of competency development also came into light. In particular: competencies of managers develop in a faster pace than those of specialists; length of service in the previous position can have a negative long-term effect on competency development; number of trainings attended has a positive, yet moderate association with scores on some competencies.
Keywords: assessment center, competencies, reliability, predictive validity.
58
