CC BY
150
Организационная психология. 2013. Т. 3. №2. С. 8-32
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ
www.orgpsyjournal.hse.ru
Российский стандарт центра оценки
Рабочая группа по созданию стандарта центра оценки1 * * * * * * 8:
Евгений Вучетич (EXECT Partners Group)
Дмитрий Гофман (Axes Management)
Александр Ерофеев (МГУ, Assessment Center LASPI)
Евгений Лурье (ЭКОПСИ Консалтинг)
Мария Мальцева (DDI)
Юрий Михеев (ГК «Институт Тренинга - АРБ Про»)
Юлия Полетаева (SHL)
Сергей Сергиенко (ГУУ)
Светлана Симоненко (Detech)
Юлия Синицына (TalentQ)
Сергей Умнов (ЭКОПСИ Консалтинг)
Татьяна Хватинина (SHL / Председатель Федерации оценки персонала под эгидой НК РЧК) Александр Шмелев (МГУ, Гуманитарные Технологии)
Настоящий документ является первым в России профессиональным стандартом центра оценки. Стандарт был создан в 2013 г. по инициативе Национальной конфедерации «Развитие человеческого капитала» и поддержан экспертным сообществом. Метод центра оценки в России в настоящее время широко распространен. Несмотря на существование международного стандарта, а также ряда национальных стандартов центра оценки, российское профессиональное сообщество не рассматривает их в качестве нормативных документов, обязательных для выполнения. Кроме того, сами эти документы в полной мере не отражают специфику российской практики центра оценки и не соответствуют традициям отечественной теории и методологии научно-практических исследований и разработок. В силу этого очевидной стала потребность в создании отечественного стандарта, регламентирующего деятельность по разработке и применению центра оценки, а также отражающего современные российские реалии. Стандарт является общероссийским, научно обоснованным практическим руководством, описывающим метод центра оценки и задающим минимальный объем требований к нему. Стандарт содержит также и рекомендации, которые основаны на лучших практиках применения центра оценки и позволяют улучшить качество оценки. Стандарт адресован участникам, наблюдателям-экспертам, ведущим, администраторам, разработчикам и дизайнерам, продавцам, исследователям, заказчикам, консультантам и экспертам центра оценки, обучающим и обучаемым методу центра оценки.
1 Комментарии и рецензии к тексту также предоставили: Тахир Базаров, профессор (НИУ ВШЭ, МГУ ЦКТ XXI век), Марина
Барабанова (TalentQ), Владимир Столин, профессор (ЭКОПСИ Консалтинг), Юрий Шипков (SHL).
Рабочая группа благодарит международных экспертов, предоставивших ценные замечания и комментарии к тексту: Дэвид Бартрам
(SHL, Великобритания), Алиса Гиббонс (Университет штата Колорадо, США), Филип Ливенс (Гентский Университет, Бельгия), Кристоф
Оберманн (Obermann Consulting, Германия), Вина Пендит (Daya Dimensi, Индонезия), Найджел Пова (A&DC, Великобритания), Сандра Шлебуш (LeMaSa, ЮАР), Джордж Торнтон III (Университет штата Колорадо, США).
Рабочая группа и НК РЧК выражают благодарность С. Сергиенко за научно-методическое сопровождение разработки стандарта и Е. Лурье за модерацию работы над текстом.
E-mail: [email protected]. Вопросы и комментарии можно также направлять в группу на Facebook https://www.facebook.com/groups/assessment.rus/
8
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
1. Характеристика Российского стандарта центра оценки
1.1. Обоснование термина
Два наиболее распространенных названия метода «assessment center» в России: «центр оценки» и «ассессмент центр».
В мировом профессиональном сообществе, занимающимся вопросами управления персоналом, под «assessment center» понимают определенный метод оценивания людей. Продуктом такого оценивания является суждение о человеке, его качествах, компетенциях, то есть его оценка. В русском языке слово «оценка» используется как для обозначения процесса (оценивание), так и его продукта (собственно оценка). В этом смысле русское словосочетание «центр оценки» точно соответствует содержанию английского «assessment center». Поэтому рекомендуемым названием данного метода в России является «центр оценки» (ЦО). Однако название «ассессмент центр» (АЦ) (прямая калька с английского языка) также допустимо.
1.2. Обоснование необходимости разработки российского стандарта ЦО
Метод ЦО в России в настоящее время широко распространен.
Существует международный стандарт ЦО, а также ряд национальных стандартов (см. п.
1.3.). Однако данные стандарты не воспринимаются российским профессиональным сообществом как нормативные документы, обязательные к выполнению.
Кроме того, ни один из них:
• Не отражает в полной мере специфику российской практики ЦО;
• Не соответствует в полной мере традициям отечественной теории и методологии
научно-практических исследований и разработок.
Потребность в создании отечественного стандарта, регламентирующего деятельность по разработке и применению ЦО, а также отражающего современные российские реалии, сейчас стала очевидной.
1.3. Используемые прототипы
При разработке российского стандарта были учтены тексты документов, регламентирующих деятельность по разработке и применению ЦО в Великобритании, Германии и Южной Африке, а также два последних варианта общих принципов и этических норм ЦО, принятых международным Конгрессом по ЦО.
1. Arbeitskreis Assessment Center e.V. (2004). Standards der Assessment Center Technik. Hamburg, Deutschland.
2. Assessment Center Study Group. (2007). Guidelines for Assessment and Development Centers in South Africa (4th ed.).
3. International Task Force on Assessment Center Guidelines. (2000). Guidelines and ethical considerations for assessment center operations. Public Personnel Management, 29, 315-331.
4. International Task Force on Assessment Center Guidelines. (2009). Guidelines and ethical considerations for assessment center operations. International Journal of Selection and Assessment, 17(3), 243-254.
5. The British Psychological Society (2005). Design, implementation and evaluation of assessment and development centres. Best practice guidelines. 9
9
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
1.4. Статус данного стандарта
1. Стандарт является общероссийским, а не внутриорганизационным документом.
2. Стандарт является научно обоснованным документом.
3. Стандарт является культурной и этической нормой, то есть профессиональному сообществу предлагается принять правила и требования стандарта добровольно.
4. Стандарт не является юридической нормой.
5. Все положения стандарта, описывающие метод ЦО, являются практическим руководством. Они задают минимальный объем требований к ЦО. Если хотя бы одно из них не учтено при подготовке, проведении и представлении результатов оценки, то программа оценки не может называться ЦО.
Данный стандарт содержит также и определенные рекомендации, которые основаны на лучших практиках применения ЦО и позволяют улучшить качество оценки.
1.5. Назначение и цели стандарта
1. Формирование современного научно обоснованного представления о методе ЦО.
2. Регламентация деятельности по разработке и применению ЦО.
3. Повышение уровня преподавания дисциплин, связанных с оценкой персонала.
4. Методическое обеспечение процесса подготовки специалистов в области ЦО.
5. Стимулирование научных исследований, обеспечивающих развитие ЦО.
6. Информационная поддержка лиц, принимающих решения о разработке и применении ЦО.
7. Повышение статуса ЦО в сфере оценки персонала.
8. Информационное обеспечение экспертизы по оценке качества разработанных и проведенных ЦО.
1.6. Целевые группы стандарта
Стандарт адресован тем, кто:
1. Проходит ЦО (участники ЦО);
2. Проводит ЦО (наблюдатели-эксперты, ведущие, ролевые игроки, администраторы);
3. Создает ЦО (разработчики и дизайнеры ЦО);
4. Продает ЦО как услугу;
5. Исследует ЦО (ученые-исследователи в области оценки персонала);
6. Покупает ЦО как услугу (внутренние или внешние заказчики, представители государственных, коммерческих и общественных организаций);
7. Консультирует и проводит экспертизу по вопросам разработки и применения ЦО (консультанты, эксперты);
8. Руководит организацией, оказывающей услуги в области ЦО;
9. Обучает ЦО (тренеры);
10. Обучает оценке персонала (преподаватели);
11. Обучается оценке персонала и ЦО (студенты и слушатели тренингов по ЦО);
12. Является потенциальным пользователем ЦО.
Стандарт может быть полезен также профессионалам, которые используют другие оценочные методы (квалификационное тестирование, сертификационные экзамены, психометрические тесты и т.п.).
10
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
2.Понятие центра оценки
2.1. Определение ЦО
Центр оценки (ассессмент центр) - комплексный метод диагностики потенциальной успешности в профессиональной деятельности, включающий набор различных частных методов, основой которого является оценка поведения участников группой наблюдателей-экспертов в моделирующих упражнениях.
При решении задач развития вместо термина ЦО может использоваться центр развития (девелопмент центр).
2.2. Специфические признаки ЦО
1. Цель ЦО - оценка потенциальной успешности в профессиональной деятельности.
2. Оценка в ЦО проводится по компетенциям/критериям. Содержание каждой компе-тенции/критерия составляет группа образцов поведения (поведенческих индикаторов).
3. В основе оценки лежит сравнение поведения с набором его образцов (поведенческих индикаторов), а не сравнение поведения участников друг с другом.
4. В ЦО оценивается непосредственно наблюдаемое поведение участников.
5. В ЦО должен использоваться набор различных частных методов. Основным методом ЦО являются моделирующие упражнения. Возможно также использование других методов, например, интервью, квалификационных и психометрических тестов, опросников.
6. В ЦО обязательно использование упражнений, моделирующих взаимодействие (деловых игр, позволяющих воспроизводить наиболее значимые поведенческие аспекты совместной деятельности).
7. Оценка по каждой компетенции/критерию должна основываться на материалах наблюдения как минимум двух наблюдателей-экспертов, прошедших специальное обучение.
8. Основным результатом работы наблюдателей-экспертов при проведении ЦО является определение уровня выраженности компетенции/критерия.
9. Каждая итоговая оценка в ЦО должна быть согласована в ходе совместного обсуждения наблюдателей-экспертов или получена при помощи обоснованной статистической процедуры.
2.3. Цель и задачи ЦО
Цель ЦО - оценка потенциальной успешности в профессиональной деятельности. Эта деятельность может быть задана конкретно (например, должность в организации) или по типу деятельности (например, определенный уровень управления).
В ЦО не должна оцениваться эффективность выполнения человеком его текущих должностных обязанностей. Даже в ситуации отбора на конкретную должность в ЦО оценивается потенциальная успешность участника, а не его прошлые результаты.
В настоящее время ЦО используется для решения следующих задач:
1. Отбор (например: найм, ротация, отбор в кадровый резерв, управленческую команду.
2. Определение направлений индивидуального развития (например, составление индивидуальных планов развития (ИПР), профориентация).
11
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
3. Определение направлений развития совместной деятельности в организации (например, формирование управленческой команды, разработка программ корпоративного обучения, разработка «профилей должностей»).
4. Обучение в процессе ЦО (например, развитие оцениваемых в ЦО компетенций/ критериев, профессиональная адаптация). Важно, что в этом случае результаты ЦО не могут быть использованы для задач отбора.
Эти задачи не ограничиваются приведенным списком, возможно появление новых. При этом все задачи, решаемые ЦО, должны соответствовать стратегии развития организации и не ущемлять права участников ЦО.
2.4. Методы оценки, не являющиеся ЦО
Оценка не является ЦО, если она:
1. Включает в себя только одну методику оценки (независимо от того, моделирующее это упражнение или нет);
2. Не содержит моделирующих упражнений;
3. Не содержит ни одного упражнения, моделирующего взаимодействие;
4. Состоит только из батареи тестов и опросников;
5. Включает в себя только интервью или серию интервью;
6. Основана на оценке единственного наблюдателя-эксперта (даже если при этом используются разнообразные методы и методики оценки);
7. Не содержит процедуры сведения оценок, даже если используются несколько методик оценки и несколько наблюдателей-экспертов.
3.1. Подготовительный этап ЦО
3.1.1. Принятие решения об использовании ЦО
Организации, принимающие решение об использовании ЦО, должны иметь четкое представление о роли ЦО в системе управления персоналом организации. Решения по ключевым аспектам использования ЦО рекомендуется отразить во внутренних документах организации. В данные документы, как правило, включают:
1. Задачи, которые будут решаться с помощью ЦО (например, отбор, определение направлений индивидуального развития);
2. Категории кандидатов или сотрудников, рекомендованные к участию в ЦО; правила их информирования до и после проведения ЦО;
3. Требования к опыту и квалификации наблюдателей-экспертов;
4. Правила хранения и использования результатов ЦО и материалов, полученных в ходе его проведения (включая перечень лиц, имеющих к ним доступ);
5. Решения, которые могут быть приняты по результатам ЦО.
Руководству организации рекомендуется открыто поддержать проводимую процедуру оценки и предоставить гарантии того, что по результатам ЦО будут приняты заявленные управленческие решения.
3.1.2. Анализ профессиональной деятельности
Анализ профессиональной деятельности - одна из наиболее существенных составляющих подготовительного этапа ЦО. Анализ необходим для последующей разработки
12
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
или выбора компетенций/критериев, моделирующих упражнений и других методик ЦО. В результате анализа профессиональной деятельности должны быть определены:
1. Набор ключевых задач: что и в каких ситуациях делают люди в целевой профессиональной деятельности.
2. Список образцов поведения: каким образом должны решаться задачи для достижения успеха в конкретной организации или сфере деятельности.
Источниками информации при анализе являются:
• Профессиональная деятельность успешных сотрудников.
• Корпоративная культура организации, её сильные стороны и основные проблемы, стратегия развития организации.
• Модели профессиональной деятельности (например, уже существующие в организации модели компетенций, универсальные модели компетенции).
• Результаты проведенного ранее анализа прототипов целевой профессиональной деятельности. В этом случае необходимо представить доказательства, что ранее проанализированные деятельности действительно сопоставимы с новым видом.
В зависимости от ситуации могут изменяться:
1. Глубина анализа (зависит от задач ЦО, сложности анализируемой деятельности, адекватности существующей информации о ней, сходства нового вида деятельности с теми, что уже были изучены ранее, наличия существующих наработок в области ЦО и т.д.).
2. Объем анализа (см. ниже «Типичные ситуации, требующие анализа профессиональной деятельности»).
3. Источники информации и их приоритеты. Например, в ситуации оценки исполнителей уже существующей деятельности на первый план выходит анализ деятельности успешных сотрудников. В ситуации же проектируемой деятельности на первый план выходит анализ общих требований к новой деятельности, анализ стратегии организации, а также особенностей корпоративной культуры организации.
Типичные ситуации, требующие анализа профессиональной деятельности:
1. В организации отсутствует модель компетенций/критериев оцениваемой деятельности, которая может быть использована в ЦО. В этом случае необходимо проводить анализ в полном объеме.
2. Упражнения ЦО разрабатываются на основе имеющейся в организации модели компетенций/критериев. В этом случае должны быть выявлены ключевые образцы поведения, которые позволяют достигать успеха в оцениваемой деятельности. При этом анализ может быть проведен не в полном объеме (например, только интервью со всеми ключевыми руководителями и исполнителями). Полученные образцы сопоставляются с имеющейся моделью компетенций. При наличии существенных расхождений рекомендуется переработать модель для использования в ЦО.
3. Организация планирует использовать программу ЦО, разработанную для аналогичного вида деятельности в другой организации и имеющую научное обоснование (см. п. 4). В этом случае необходимо представить доказательства, что ранее проанализированные деятельности действительно сопоставимы с оцениваемой. При этом анализ может быть проведен в сокращенном виде (например, выборочные интервью с ключевыми руководителями и исполнителями). При наличии существенных расхождений рекомендуется переработать программу.
13
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
3.1.3. Определение компетенций/критериев
Наличие компетенций/критериев, пригодных для оценки целевой профессиональной деятельности, является необходимым условием разработки и проведения ЦО.
Существуют два возможных варианта определения компетенций/критериев:
1. Модель компетенций/критериев отсутствует. В этом случае требуется разработка всех компетенций/критериев. Для этого необходимо:
• Выбрать только те выделенные в ходе анализа профессиональной деятельности образцы поведения, по которым возможна оценка в ЦО.
• Сгруппировать выбранные образцы поведения. Критерий группировки образцов -их смысловое сходство или различие.
• Присвоить имя полученным группам, которое в дальнейшем будет использоваться как название компетенции/критерия. Поведение участников должно оцениваться по образцам, а не по названию компетенции/критерия, так как содержание компетен-ции/критерия задается именно образцами поведения, входящими в группу.
2. В организации имеется модель компетенций/критериев. В этом случае должны быть выявлены ключевые образцы поведения, которые позволяют достигать успеха в оцениваемой деятельности. Полученные образцы должны быть сопоставлены с имеющейся моделью компетенций. При наличии существенных расхождений рекомендуется адаптировать модель для применения в ЦО.
3.1.4. Разработка или выбор моделирующих упражнений
Моделирующие упражнения являются ключевым методом, определяющим специфику ЦО. Именно они позволяют оценивать поведение и давать наиболее точный прогноз успешности в целевой профессиональной деятельности.
Основные типы моделирующих упражнений:
1. Групповые упражнения, в которых участвуют не менее 3-х участников (дискуссии, совместные проекты, презентация для группы и др.).
2. Взаимодействие один на один (ролевые игры, упражнения по поиску информации, презентация и др.).
3. Индивидуальные упражнения (инбаскет, аналитические кейсы и др.).
Для ЦО могут применяться специально разработанные или готовые моделирующие упражнения. Необходимо придерживаться следующих правил разработки и/или выбора моделирующих упражнений:
1. Разработка и/или выбор моделирующих упражнений проводится на основе определенной модели компетенций/критериев.
2. Упражнения ЦО должны воспроизводить ключевые задачи целевой профессиональной деятельности: что и в каких ситуациях должны делать люди. Если ЦО разрабатывается для проектируемой деятельности, то моделирующие упражнения создаются на основе анализа её прототипов (схожих видов деятельности).
3. Упражнения не должны противоречить особенностям корпоративной культуры организации.
4. Рекомендуется использовать моделирующие упражнения, которые создают у участников ощущение выполнения серьезной профессиональной деятельности (обладают очевидной валидностью).
5. Перед использованием новые моделирующие упражнения должны проверяться в ходе пилотного исследования. При этом необходимо убедиться, что:
14
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
• Все образцы поведения, разработанные для упражнений ЦО, проявляются на уровне конкретных примеров поведения (см. п. 5);
• Времени на проведение упражнения достаточно, чтобы участники имели возможность продемонстрировать необходимые примеры поведения;
• Каждому участнику обеспечены равные возможности продемонстрировать необходимые примеры поведения.
6. Прежде чем начинать разработку и/или выбор отдельных упражнений, необходимо создать общий проект проводимого ЦО и согласовать его с заказчиком.
Материалы к моделирующим упражнениям могут быть представлены в виде бумажных документов, аудио- или видеозаписей, электронных документов, предъявляемых с помощью компьютера или других технических средств.
3.1.5. Использование психометрических методик в ЦО
В ЦО допускается использование тестовых психометрических методик, не предполагающих прямого наблюдения за поведением. Для их использования необходимо провести сопоставительный анализ (мэппинг) характеристик, измеряемых с помощью этих методик, и установленных компетенций/критериев. Результаты мэппинга должны быть зафиксированы в матрице «Шкалы теста/опросника - Компетенции/критерии».
В ЦО допустимо применение только тех психометрических методик, которые разработаны для использования в деловой среде (для подбора персонала, отбора в кадровый резерв, планирования карьеры и пр.). Информация об этом должна содержаться в Руководстве или Техническом отчете к методике, предоставляемыми производителем.
Результаты психометрической тестовой оценки могут использоваться в ЦО только как дополнительные. При использовании тестовых методик в ЦО в процедуре экспертного сведения обязательно должен присутствовать специалист, обученный работе с используемыми инструментами (см. п. 3.2.3.).
3.1.6. Разработка программы ЦО
Программа ЦО - это итоговый документ подготовительного этапа ЦО. Она регламентирует проведение конкретного ЦО. Программа должна включать:
1. Описание компетенций/критериев и шкалы их оценки;
2. Матрицу «Компетенции/критерии - Методики»;
3. Описание методик оценки, в том числе моделирующих упражнений;
4. Организационный план ЦО.
В основе разработки программы ЦО должны лежать особенности корпоративной культуры и нормы профессиональной деятельности организации. Однако при проведении программы ЦО в иной культуре рекомендуется также учитывать национальные, этнические особенности.
1. Описание компетенций/критериев включает в себя следующий набор материалов:
• Список компетенций/критериев;
• Набор образцов поведения в упражнениях ЦО, из которых состоит каждая компетен-ция/критерий;
• Шкалы оценки поведения в ЦО (см. Глоссарий).
2. Матрица «Компетенции/Критерии - Методики» устанавливает соответствие между компетенциями/критериями и методиками, используемыми в конкретной программе ЦО.
15
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
Первичными в матрице являются компетенции/критерии. Именно под них подбираются соответствующие методики. Матрица должна быть построена таким образом, чтобы оценка по каждой из компетенций/критериев проводилась не менее чем в двух методиках, одна из которых должна быть моделирующим упражнением. В каждом моделирующем упражнении должно оцениваться не более 5 компетенций/критериев; оптимальное количество компетенций/критериев - 3.
3. Описание моделирующих упражнений. Описание каждого моделирующего упражнения должно состоять из комплекта материалов для участников и специалистов, проводящих ЦО.
Материалы для участников:
• Инструкция;
• Текст упражнения;
• Бланки для ответов (при необходимости сбора письменных ответов участников).
Материалы для специалистов, проводящих ЦО:
• Инструкции для проводящих ЦО специалистов, включающие порядок проведения и временной регламент проведения упражнения;
• Протокол наблюдения (форма для фиксации примеров поведения);
• Оценочные бланки для наблюдателей-экспертов;
• Инструкции для ролевых игроков (при использовании ролевых игр);
• Вспомогательные материалы (например, правила выставления оценок, возможные варианты решений аналитических кейсов, вопросы к интервью по упражнению, дополнительные примеры поведения, не включенные в оценочные бланки);
• Если в программу ЦО включено интервью, то его описание и методика проведения должны быть описаны в данном разделе программы ЦО.
Комплект материалов может быть представлен на бумажных или электронных носителях, в формате аудио- и видео-записей.
4. Организационный план ЦО содержит расписание и план наблюдения.
Расписание - последовательность и точное время начала/окончания упражнений и
других методик. По возможности, при создании расписания рекомендуется чередовать индивидуальные упражнения/другие методики и упражнения, моделирующие взаимодействие. При составлении расписания должно быть учтено время на перемещение между аудиториями, где проводится ЦО. Также рекомендуется предусмотреть время для проведения наблюдателями-экспертами классификации и оценки поведения в конце каждого упражнения.
План наблюдения - это таблица, в которой указано, каких участников в каждом упражнении оценивают конкретные наблюдатели-эксперты. В плане отмечаются помещения, в которых проводится каждое упражнение, а также кто из участников и наблюдателей работает в этом помещении. План наблюдения должен быть составлен таким образом, чтобы оценка поведения участника в ходе всего ЦО проводилась как минимум двумя наблюдателями-экспертами. При этом наблюдение за участником в ходе каждого конкретного упражнения может осуществляться одним наблюдателем.
16
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
3.1.7. Обучение специалистов, готовящих и проводящих ЦО
Содержание обучения
В данном разделе описывается минимальный набор требований к обучению исполнителей основных ролей в ЦО. Если же программа ЦО проводится в других культурных или мультикультурных контекстах, членов команды ЦО необходимо специально отбирать и готовить.
В практике проведения ЦО один человек может совмещать исполнение нескольких ролей (например, роли ведущего и администратора, дизайнера и разработчика). Далее приведен набор основных ролей специалистов ЦО.
Наблюдатель-эксперт
Наблюдатель-эксперт наблюдает, описывает, классифицирует и оценивает поведение (НОКО) участников ЦО. Наблюдатель-эксперт обязан пройти специальное обучение, после которого он должен:
• Иметь общее представление о методе ЦО, его возможностях и ограничениях;
• Иметь базовые представления об организации, для которой проводится ЦО, и целевой профессиональной деятельности;
• Знать документы организации, относящиеся к проводимому ЦО (см. п. 3.1.1);
• Знать задачи, для решения которых разработана программа ЦО;
• Знать программу проводимого ЦО:
а) оцениваемые компетенции/критерии, образцы поведения/поведенческие индикаторы;
б) шкалы оценки и правила оценивания;
в) содержание всех моделирующих упражнений и других методик;
г) матрицу «Компетенции/критерии - Методики».
• Уметь наблюдать, описывать, классифицировать и оценивать поведение участников ЦО в конкретных упражнениях (см. п. 3.2.2.);
• Знать типовые ошибки НОКО (в том числе отличие описания примеров поведения участника от субъективных интерпретаций наблюдателя-эксперта);
• Владеть навыками проведения интервью (в случае, если интервью предусмотрено программой ЦО);
• Владеть навыками сведения оценок (см. п. 3.2.3.);
• Знать процедуру обратной связи и понимать её значение в ЦО (обеспечение принятия ее участником и мотивация его к изменениям в поведении) (см. п. 3.3.1);
• Знать принципы подготовки индивидуальных отчетов по результатам ЦО.
Ведущий
Ведущий отвечает за содержательную часть проведения ЦО и организацию процедуры сведения оценок. Типовые функции ведущего: формирование необходимого отношения участников к программе ЦО, инструктирование участников, организация группового взаимодействия, управление активностью участников, организация работы наблюдателей-экспертов во время проведения ЦО и в процедуре сведения. Кандидатом на роль ведущего может быть только человек, прошедший курс обучения для наблюдателей-экспертов и имеющий опыт работы в роли наблюдателя. Ведущий обязан пройти специальное обучение, после которого он должен:
• Иметь базовые представления об организации, для которой проводится ЦО, и целевой профессиональной деятельности;
17
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
• Знать документы организации, относящиеся к проводимому ЦО;
• Знать задачи, для решения которых разработана программа ЦО;
• Знать программу проводимого ЦО:
а) оцениваемые компетенции/критерии, образцы поведения/поведенческие индикаторы;
б) шкалы оценки и правила оценивания;
в) содержание всех моделирующих упражнений и других методик;
г) матрицу «Компетенции/критерии - Методики»;
• Владеть навыками организации работы других людей;
• Знать все требования, предъявляемые к итоговым результатам программы ЦО;
• Владеть навыками организации процедуры экспертного сведения оценок (см. п.
3.2.3.).
Администратор
Администратор организует техническую часть процедуры ЦО. В его обязанности входит подготовка помещений для проведения ЦО, контроль регламента ЦО, организация питания участников цо, подготовка, выдача и сбор материалов ЦО и т.п. Роль администратора не требует специальных навыков помимо общих организаторских. Администратор должен:
• Знать документы организации, относящиеся к проводимому ЦО (см. п. 3.1.1.);
• Знать перечень упражнений проводимого ЦО и их описание;
• Знать организационный план проводимого ЦО;
• Знать требования к помещениям для проведения ЦО;
• Знать правила хранения материалов ЦО.
Ролевой игрок
Ролевой игрок выступает в качестве партнера участников ЦО в упражнениях, моделирующих взаимодействие. В качестве ролевого игрока может выступать как специально подготовленный актер, так и наблюдатель-эксперт, прошедший дополнительное обучение. Ролевой игрок обязан пройти специальное обучение, после которого он должен:
• Иметь общее представление о методе ЦО, его возможностях и ограничениях;
• Знать организационный план проводимого ЦО;
• Знать сценарий ролевого упражнения, а также тексты инструкций участника;
• Досконально знать текст своей роли;
• Знать оцениваемые в упражнении компетенции/критерии;
• Уметь играть роль в соответствии со сценарием упражнения, обеспечивая равные условия для всех участников;
• Уметь демонстрировать поведение, стимулирующее участника к проявлению требуемых образцов поведения.
Дизайнер программы ЦО
Дизайнер разрабатывает программу ЦО. Дизайнер обязан пройти специальное обучение, после которого он должен:
• Знать методологию и практику ЦО;
• Знать содержание оцениваемой деятельности: набор ключевых задач, примеры эффективных и неэффективных способов их выполнения;
• Знать задачи, для решения которых разрабатывается программа ЦО;
18
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
• Знать основные типы и виды моделирующих упражнений и других методик, применяемых в ЦО;
• Знать об основных видах валидности ЦО;
• Уметь составлять общий проект ЦО;
• Уметь выбирать упражнения, обладающие конструктной валидностью по отношению к определенным компетенциям/критериям;
• Уметь определять набор упражнений ЦО, обладающий содержательной валидностью по отношению к оцениваемой деятельности;
• Уметь определять последовательность упражнений и составлять расписание ЦО, соответствующие его целям.
• Уметь поставить задачу разработчику в случае необходимости разработки или существенной переработки оригинальных моделирующих упражнений.
В ситуации разработки оригинальной программы и упражнений ЦО от дизайнера требуются навыки анализа профессиональной деятельности (см. 3.1.2).
Разработчик упражнений
Разработчик создает моделирующие упражнения для ЦО. Рекомендуется выбирать на роль разработчика специалиста с фундаментальной подготовкой в области социальной психологии или менеджмента. Разработчик обязан пройти специальное обучение, после которого он должен:
• Иметь общее представление о методе ЦО, его возможностях и ограничениях;
• Знать задачи, для решения которых разработана программа ЦО;
• Знать общий проект проводимого ЦО;
• Знать содержание оцениваемой деятельности: основные действия и способы их выполнения, примеры эффективных и неэффективных способов;
• Знать основные типы и виды моделирующих упражнений, применяемых в ЦО;
• Знать образцы поведения/поведенческие индикаторы, которые необходимо оценить в упражнении;
• Знать об основных видах валидности моделирующих упражнений ЦО;
• Уметь разрабатывать упражнения, обладающие конструктной валидностью по отношению к определенным компетенциям/критериям, а также очевидной валидностью.
Формы, продолжительность и сроки действия обучения
В данном разделе будет рассмотрен минимальный набор требований к формам, продолжительности и срокам действия обучения наблюдателей-экспертов. Формы обучения исполнителей других ключевых ролей ЦО имеют свою специфику в различных организациях и пока не подлежат стандартизации.
Обучение наблюдателей-экспертов, не имеющих опыта работы в ЦО
Программа обучения должна включать две части:
1. Информационная часть, основная задача которой дать общее представление о методе ЦО.
2. Тренинг наблюдения, описания, классификации и оценки поведения (НОКО).
19
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
a. Тренинг базовых навыков НОКО. Продолжительность такого тренинга должна составлять не менее одного дня. Особое внимание в ходе данного тренинга должно быть уделено формированию навыков наблюдения и описания в ЦО;
b. Тренинг навыков НОКО в отдельных упражнениях программы ЦО. Продолжительность такого тренинга зависит от количества и сложности упражнений в программе.
Для подготовки полноценного наблюдателя-эксперта желательно многократное участие обучаемого в процедурах ЦО под руководством коуча (опытного наблюдателя-эксперта).
Коучинг может включать несколько этапов:
1. Наблюдение за поведением участников и обсуждение с коучем выставленных им оценок. Наблюдение за работой наблюдателей-экспертов и ведущего в процедуре сведения оценок.
2. Работа в качестве «ведомого» наблюдателя-эксперта: самостоятельное НОКО поведения участников и обсуждение с коучем оснований для выставленных оценок. Участие в процедуре сведения оценок без права обсуждения оценок других наблюдателей-экспертов.
3. Работа в качестве полноправного наблюдателя-эксперта с обсуждением действий обучаемого с коучем.
Время между завершением обучения и началом работы в качестве профессионального наблюдателя-эксперта не должно превышать трех месяцев. В противном случае необходимо пройти дополнительный курс обучения.
Обучение наблюдателей-экспертов, имеющих опыт работы в ЦО
Обучение таких наблюдателей-экспертов заключается в подготовке к проведению программы конкретного ЦО (см. роль наблюдателя-эксперта). Наблюдателям-экспертам, не имевшим опыта НОКО в ЦО более одного года, следует пройти курс дополнительного обучения. Для оценки готовности наблюдателя-эксперта к участию в конкретной программе ЦО рекомендуется проверить согласованность его оценок по компетенциям/критериям в каждом из моделирующих упражнений ЦО с оценками опытных наблюдателей-экспертов.
3.1.8. Предварительное информирование участников
На подготовительном этапе ЦО организация должна проинформировать потенциальных участников о проводимом ЦО. Это позволяет создать необходимую мотивацию, а также помогает участникам принять осознанное решение о своем участии в ЦО. Рекомендуется предоставлять следующую информацию в письменном виде до начала проведения ЦО:
1. Описание специфики метода ЦО и его преимуществ.
2. Цели проводимого ЦО.
3. Критерии отбора для участия в ЦО.
4. Описание результатов ЦО.
5. Статус результатов ЦО, правила их использования.
6. Сведения о ведущих и наблюдателях-экспертах, их квалификации и опыте работы в ЦО.
7. Сведения о том, как и когда будут представлены результаты ЦО его участникам.
8. Решения, которые могут быть приняты по результатам ЦО.
9. Планируемые способы обучения (в случае если программа ЦО направлена на развитие персонала).
10. Сведения о контактных лицах.
20
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
3.2. Проведение ЦО
3.2.1. Организация процедуры проведения ЦО
Проведение ЦО должно быть организовано в соответствии с разработанной программой. Залогом успешного проведения разработанной программы ЦО является корректная организация процедуры. Невнимание к данному этапу может оказать негативное влияние на результаты ЦО и отношение участников к проводимой оценке. Кроме того, ошибки в организации могут нарушить принцип равенства условий для всех участников.
Помещения для проведения ЦО должны быть подготовлены в соответствии с программой (обеспечены необходимым оборудованием и иметь достаточно места для проведения запланированных упражнений и работы наблюдателей экспертов) (см. п. 3.1.5). Также помещения должны быть хорошо освещены и проветриваемы, изолированы от помех (шума, присутствия посторонних). Рекомендуется не использовать помещения в непосредственной близости от рабочих мест участников, так как это может отвлекать их от работы в ЦО.
Специалисты, проводящие ЦО, должны быть заранее обучены ЦО в соответствии с их ролью в программе (см. п. 3.1.6). Работа участников и специалистов, проводящих ЦО, организуется строго в соответствии с организационным планом ЦО (расписание и план наблюдения (см. п. 3.1.5)). Также следует соблюдать ряд требований к организации процедуры ЦО:
• В начале ЦО участники должны быть проинформированы о расписании ЦО и установленных правилах. Информационное вступление должно включать и все пункты из раздела 3.1.7., если участники не были предварительно проинформированы.
• Ведущий и администратор должны обеспечить условия работы участников, исключающие использование в ЦО любых вспомогательных материалов и средств за исключением предусмотренных программой.
• Специалисты, проводящие ЦО, должны жестко соблюдать и контролировать общее расписание ЦО и временной регламент каждого упражнения.
• Все участники и специалисты, проводящие ЦО, должны ограничить контакты с внешней средой (в частности, разговоры по мобильному телефону).
Должна быть обеспечена конфиденциальность процедуры проведения ЦО. Необходимо соблюдать следующие требования:
• Набор материалов для каждого упражнения ЦО не должен быть доступен участникам до начала проведения упражнения.
• В процессе работы с упражнениями ЦО необходимо вести обязательный контроль работы участников с материалами во избежание копирования и передачи третьим лицам.
• Все материалы, относящиеся к упражнениям, не должны оставаться у участников после завершения упражнений.
Также в начале процедуры ЦО рекомендуется получить письменное согласие от участников на обработку их персональных данных.
21
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
3.2.2. Правила наблюдения, описания, классификации и оценки (НОКО)
В процедуре оценки принимают участие ведущий и наблюдатели-эксперты. Наблюдатели-эксперты должны независимо друг от друга провести точную оценку поведения участников в соответствии с определенными компетенциями/критериями. Для этого они должны соблюдать следующую последовательность действий в каждом моделирующем упражнении: наблюдение (Н), описание (О), классификация (К) и оценка (О) поведения (НОКО).
1. Наблюдение - отслеживание примеров поведения участников во время проведения упражнений. Наблюдение должно вестись по единым и заранее определенным правилам, зафиксированным в программе ЦО (описание компетенций/критериев, матрица «Компетенции/Критерии - Методики»). В каждом моделирующем упражнении наблюдатель-эксперт не должен наблюдать более трех участников. Для более точной фиксации поведения участников с их согласия может использоваться видео-съемка.
2. Описание - точная регистрация примеров поведения в протоколе наблюдения. Наблюдатель-эксперт должен описывать примеры реального поведения участников, а не их интерпретацию. Запрещено использование названий компетенций/ критериев, ярлыков и оценочных суждений вместо конкретных описаний примеров поведения. Допустимы сокращения в записях, при этом рекомендуется их расшифровывать перед классификацией.
3. Классификация - отнесение описанных примеров поведения к образцам поведения и далее к компетенциям/критериям. В ходе классификации наблюдатель-эксперт должен работать только с протоколом наблюдения, не делая никаких дополнительных суждений относительно поведения участника.
4. Оценка - определение уровня выраженности компетенции/критерия на основе используемой шкалы. Сначала наблюдатель-эксперт должен провести оценку по отдельным образцам, затем на их основе - по компетенциям/критериям.
Наблюдение и описание осуществляется во время проведения упражнения, классификация и оценка должны быть проведены до этапа сведения. Ведущий ЦО должен обеспечить независимость проведения НОКО. В частности, он должен пресекать любые обсуждения поведения участников наблюдателями-экспертами до процедуры сведения. Все специалисты, проводящие ЦО, должны обеспечить конфиденциальность материалов НОКО в ходе ЦО.
3.2.3. Сведение оценок и принятие решений
Сведение оценок - процедура интеграции индивидуальных экспертных оценок. В основе экспертного сведения оценок лежит их совместное обсуждение и согласование. Допустимо также использование статистических методов при определении итоговой оценки по отдельным компетенциям/критериям и интегрального оценочного рейтинга (статистическое сведение оценок). Однако специалисты, проводящие ЦО, могут применять такие методы только при наличии научных данных, подтверждающих обоснованность их использования в конкретной программе ЦО.
Организация процедуры экспертного сведения
• Рекомендуется проводить процедуру сведения как можно раньше после окончания ЦО.
• На сведение должно быть отведено достаточно времени для получения качественных оценок. Приоритетом наблюдателей-экспертов и ведущего должно быть качество и точность, а не скорость получения итоговых оценок.
22
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
• Организатором процедуры сведения должен быть специалист, выполняющий роль ведущего ЦО. Никакие посторонние лица, кроме тех, кто непосредственно принимал участие в проведении ЦО, не имеют права влиять на принятие решений об оценках участников по компетенциям/критериям.
• Сведение оценок должно проходить в помещении, обеспечивающем конфиденциальность процедуры.
Правила проведения экспертного сведения
• Итоговая оценка по каждой компетенции/критерию, полученная участником в результате ЦО, должна быть согласована наблюдателями-экспертами в ходе совместного обсуждения.
• Итоговая оценка по каждой компетенции/критерию определяется исходя из оценок по компетенции/критерию в отдельных упражнениях. Эти оценки должны быть даны как минимум двумя разными наблюдателями-экспертами. Недопустима ситуация, когда итоговая оценка по одной компетенции/критерию основывается на материалах наблюдения только одного наблюдателя-эксперта.
• Оценки наблюдателей-экспертов, которые они выносят на совместное обсуждение, должны быть обоснованы документально. Таким обоснованием являются протоколы наблюдения, аудио или видео-записи упражнений, оценочные бланки. Ведущий должен принимать во внимание только те обоснования, которые соответствуют стандартам НОКО.
• Каждый из наблюдателей в процессе обсуждения должен аргументировать выставленную им оценку по компетенции/критерию конкретными поведенческими примерами.
• В ходе процедуры сведения должна обсуждаться и учитываться только информация, полученная при помощи методик программы ЦО. Запрещена апелляция к прошлому опыту наблюдения за участниками ЦО.
• При определении итоговой оценки первостепенную роль играют оценки поведения в моделирующих упражнениях ЦО. Информация, полученная с помощью других методик (например, психометрических тестов, интервью), рассматривается как дополнительная и менее значимая.
3.2.4. Материалы ЦО и правила их хранения
В стандарте различаются два вида продуктов ЦО: материалы и результаты (см. п. 3.3.4). Материалами ЦО являются все промежуточные продукты, используемые для получения результатов.
1. Материалы, подлежащие учёту и сохранению до окончания заключительного этапа ЦО:
• Бланки для ответов, заполненные участниками в ходе выполнения письменных упражнений;
• Видеозаписи поведения участников в отдельных упражнениях (если они есть);
• Записи наблюдателей, сделанные в ходе наблюдения за участниками (протоколы наблюдения);
• Материалы соотнесения примеров поведения с компетенциями/критериями;
• Оценочные бланки по компетенциям/критериям, заполненные для отдельных упражнений;
• Протокол обсуждения оценок поведения участников в ходе сведения (если он велся).
23
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
2. Материалы ЦО, подлежащие уничтожению:
• Все черновые записи участников;
• Все испорченные инструкции, тексты упражнений и тестовые бланки.
3. Все материалы, полученные в ходе ЦО, являются конфиденциальными. Правила хранения, использования и передачи материалов третьим лицам в процессе и после ЦО рекомендуется закреплять во внутренних документах организации (см. п. 3.1.1). Доступ к материалам ЦО может предоставляться только лицам, имеющим специальные полномочия.
3.3. Заключительный этап ЦО
3.3.1. Представление результатов ЦО участникам
Все участники ЦО должны быть проинформированы о результатах ЦО в соответствии с заявленными задачами ЦО. Представление участникам результатов возможно только по окончании проведения ЦО (после сведения).
Представление индивидуальных письменных отчетов
• Необходимость подготовки индивидуальных письменных отчетов, требования к их содержанию определяются заказчиками ЦО. Стандартных требований к содержанию отчетов в настоящее время не существует.
• Индивидуальный письменный отчет должен готовить наблюдатель-эксперт, принимавший участие в ЦО, наблюдавший поведение участника в моделирующих упражнениях и владеющий навыками подготовки подобных отчетов.
Правила хранения и предоставления информации, содержащейся в индивидуальных письменных отчетах, смотри в п. 3.2.4.
Обратная связь участникам ЦО
Процедура обратной связи - важный рекомендуемый элемент ЦО. Это механизм, с помощью которого достигается одна из целей оценки - сформировать конструктивное отношение к результатам оценки и мотивировать сотрудника использовать полученную информацию для своего дальнейшего развития. Поэтому принятие обратной связи существенно повышает эффективность управленческих решений, связанных с результатами ЦО.
1. Обратную связь рекомендуется предоставлять в устной форме (очно, по телефону, по видео-связи). В качестве дополнения к устной обратной связи может выступать индивидуальный письменный отчет.
2. Обратная связь обязательно предполагает взаимодействие наблюдателя и участника с обсуждением примеров поведения и сделанных выводов.
3. Обратная связь должна быть предоставлена как можно скорее после проведения ЦО.
4. Обратная связь должна включать:
• Объяснение специфики метода ЦО;
• Объяснение используемых компетенций/критериев;
• Оценочные суждения по отдельным компетенциям/критериям с описанием и обсуждением примеров поведения участников в упражнениях ЦО.
24
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
5. По запросу участника и по предварительной договоренности с заказчиком ЦО могут предоставляться рекомендации по развитию участника в профессиональной деятельности.
6. Обратную связь может предоставлять только наблюдатель-эксперт, наблюдавший поведение участника в моделирующих упражнениях, либо ведущий ЦО.
7. Наблюдатель-эксперт, предоставляющий обратную связь, должен владеть необходимыми навыками.
3.3.2. Обратная связь заказчику ЦО
Обратная связь заказчику об участниках ЦО может быть предоставлена только по завершении после сведения оценок. Любая информация личного характера об участнике, не соответствующая заявленным целям ЦО и оцениваемым компетенциям/критериям, не должна предоставляться заказчику. Заказчик должен быть проинформирован о возможностях и ограничениях использования результатов ЦО при принятии на их основе кадровых решений.
3.3.3. Статус результатов ЦО
• Результаты ЦО должны использоваться только при принятии решений, связанных с улучшением деятельности организации и персонала (см. п. 2.3.).
• Результаты ЦО не могут быть использованы как единственное основание для принятия кадрового решения о профессиональном несоответствии работника, принимавшего участие в ЦО.
3.3.4. Результаты ЦО и правила их использования
Результатами ЦО могут являться:
• Итоговые индивидуальные оценки по компетенциям/критериям;
• Содержательное обоснование оценок по компетенциям/критериям;
• Выводы и рекомендации (индивидуальные и групповые).
Содержание и формы результатов ЦО должны быть согласованны с заказчиком на предварительном этапе. Результаты ЦО могут быть представлены в форме индивидуальных письменных отчетов, интегральных оценочных рейтингов, групповых отчетов и т.п. Лица, имеющие доступ к результатам ЦО, должны быть зафиксированы во внутренних документах организации. Сотрудники организации, имеющие доступ к результатам ЦО, обязаны обеспечить их корректное использование в соответствии со статусом результатов ЦО (см. п. 3.3.3). Некорректно использование результатов ЦО в целях, отличных от изначально заявленных. Недопустимо такое использование результатов, которое дискредитирует участников внутри или вне организации, нарушает их права (см. п. 5). Также недопустима передача индивидуальных результатов третьим сторонам, не зафиксированным во внутренних документах организации. Результаты ЦО не рекомендуется использовать по истечении 2-х лет после проведения ЦО. После этого они могут использоваться в деперсонализированном виде и только в исследовательских целях.
25
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
4. Информационные технологии в ЦО
Технологии, использующие компьютеры, мобильные устройства и интернет, приобретают всё большую значимость в современных организациях и в ЦО как методе, моделирующем деятельность этих организаций. Использование таких технологий повышает очевидную валидность ЦО и повышает эффективность работы специалистов, готовящих и проводящих ЦО. Если организация, проводящая ЦО, территориально распределена, интернет-технологии могут позволить ей сократить затраты на переезды, проводя ЦО дистанционно.
Информационные технологии в ЦО могут быть использованы для автоматизации работы специалистов на всех этапах ЦО. Возможные области применения таких технологий:
1. Сбор и структурирование информации в ходе анализа профессиональной деятельности (системы для определения компетенций/критериев и разработки «профилей должностей»).
2. Разработка расписания и плана наблюдения для программы ЦО.
3. Организация процедуры проведения ЦО:
• Планирование оценочных мероприятий;
• Контроль времени работы участников.
4. Проведение моделирующих упражнений и других методик ЦО с помощью компьютера (например, электронный инбаскет, тестовые психометрические методики, ролевые игры в режиме онлайн).
5. Автоматизация НОКО и процедуры сведения. Наблюдатели-эксперты могут использовать компьютеры или мобильные устройства для описания, классификации и оценки поведения. Ведущие могут использовать информационные технологии для сбора оценок по упражнениям от наблюдателей и на этапе сведения.
6. Хранение материалов и результатов ЦО, включая видео-записи поведения участников.
7. Автоматизация подготовки письменных отчетов.
Если предполагается, что участники будут выполнять упражнения или другие методики на компьютере, необходимо убедиться, что:
• Анализ целевой профессиональной деятельности показал, что при решении её ключевых задач используются компьютеры;
• Используемые технологии не дают преимущества участникам с бОльшим опытом и знаниями в области компьютеров (если только соответствующие образцы поведения не заложены в модель компетенций/критериев);
• Используемые технологии автоматизации проведения ЦО не противоречат требованиям к процедуре ЦО (см. п. 3.2.1.);
• Использование информационных технологий не снижает валидность программы ЦО по сравнению с «бумажной» версией.
В случае если проводится виртуальный ЦО (все участники и наблюдатели-эксперты находятся в разных географических точках и взаимодействуют в режиме онлайн), необходимо дополнительно убедиться, что:
• Значимую часть ключевых задач профессиональной деятельности можно моделировать в данном формате;
• Каждому участнику предоставлены необходимые и сравнимые условия для работы в режиме онлайн (устойчивое интернет-соединение и аудио/видео связь, исправные компьютеры, заранее установленное и проверенное программное обеспечение);
• Исключено использование участниками посторонней помощи;
26
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
• Условия для работы позволяют обеспечить конфиденциальность процедуры проведения ЦО;
• Используемые технологии обеспечивают достаточную гибкость в организации процедуры ЦО, позволяя учитывать разницу в часовых поясах, а также возможные перебои в интернет-соединении.
5. Валидность ЦО
Под валидностью ЦО понимается обоснованность и пригодность применения программы ЦО в конкретных условиях. Очевидно, что для того, чтобы оценка валидности имела смысл, необходимо обеспечить соблюдение всех требований данного стандарта, в первую очередь, требований к этапам подготовки и проведения ЦО.
Существуют три основные типа валидности ЦО:
1. Содержательная валидность - это степень соответствия моделирующих упражнений ЦО, разработанных образцов поведения и компетенций/критериев набору ключевых действий и задач профессиональной деятельности. Подтверждение этого типа валидности является необходимым минимальным требованием при разработке программы ЦО.
2. Конструктная валидность - это степень обоснованности того, что в ЦО действительно измеряются заданные и соответствующие научным представлениям компетенции/ критерии. Конструктная валидность позволяет обосновать, что оценка, выставленная наблюдателем-экспертом, корректно спрогнозирует, насколько поведение участника будет соответствовать компетенциям/критериям, выявленным в ходе анализа профессиональной деятельности. В ЦО выделяются три вида конструктной валидности:
• Степень соответствия компетенций/критериев, оцениваемых в ЦО, и научно обоснованных моделей, используемых для описания профессиональной деятельности;
• Статистическая взаимосвязь оценок по компетенциям/критериям в ЦО и оценок, полученных с помощью научно обоснованных инструментов. К ним относятся инструменты, которые могут быть использованы для оценки компетенций/критериев;
• Степень соответствия компетенций/критериев и моделирующих упражнений, выбранных для оценки в ЦО. Подтверждение этого вида конструктной валидности является необходимым минимальным требованием при разработке программы ЦО.
3. Критериальная валидность - это определенная статистическими методами степень соответствия результатов конкретной программы ЦО и показателей успешности деятельности, которые рассматриваются как объективные в соответствующей профессиональной среде. Показатели успешности деятельности должны определяться на подготовительном этапе ЦО. Оценка критериальной валидности возможна только по прошествии определенного времени после окончания ЦО. При оценке критериальной валидности допустимо использовать принятые в организации ключевые показатели эффективности (КПЭ), экспертные оценки кадровых комитетов и другие методически обоснованные измерения, не зависящие от результатов ЦО. Обоснование критериальной валидности программы ЦО является важнейшим доказательством того, что данная программа действительно прогнозирует потенциальную успешность в профессиональной деятельности.
Валидность ЦО была ранее доказана на материале многочисленных исследований. Тем не менее каждая программа ЦО, которая применяется в новых условиях, должна быть вали-дизирована. Валидизация программы ЦО должна проводиться в следующих ситуациях:
27
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
Ситуации Содержательная валидность Конструктная валидность
Программа применяется впервые + +
Готовая программа переводится на другой язык + +
Программа применяется для решения других задач (развитие, продвижение) + +
Программа применяется в других условиях (организационных, культурных и пр.) + +
В программу внесены существенные модификации (изменен набор компетен- + +
ций/критериев, содержание упражнений и пр.) Программа применяется к другой целевой группе +
Процедуры проверки валидности
В настоящем стандарте описаны минимальные требования к валидизации ЦО: оценка содержательной и конструктной валидности. Полная проверка всех типов валидности требует соблюдения принятых профессиональных стандартов валидизации и должна проводиться подготовленными специалистами.
Для подтверждения содержательной валидности необходимо, чтобы группа экспертов по оцениваемой профессиональной деятельности документально подтвердила, что моделирующие упражнения ЦО, разработанные образцы поведения и компетенции/критерии отражают наиболее существенные задачи данной профессиональной деятельности.
Для подтверждения конструктной валидности необходимо проведение двух последовательных процедур, в которых проверяется качество программы ЦО.
1. Группа экспертов по ЦО независимо друг от друга определяют возможность измерения заданных компетенций конкретными методиками программы ЦО.
2. Группа экспертов по ЦО независимо друг от друга устанавливают соответствие разработанных для упражнений образцов поведения и компетенций/критериев.
Продуктом работы группы экспертов должен являться документ, содержащий:
1. Согласованную матрицу «Компетенции/критерии - Методики».
2. Согласованную матрицу соответствия образцов поведения, разработанных для упражнений, и компетенций/критериев.
На этапе разработки программы ЦО дополнительно рекомендуется провести проверку согласованности оценок наблюдателей-экспертов. Для проверки согласованности необходимо, чтобы группа наблюдателей-экспертов независимо друг от друга оценила поведение участников в упражнениях ЦО. В результате с помощью статистических методов должна быть подтверждена согласованность данных оценок по каждой компетенции в каждом упражнении программы ЦО.
Общие принципы и стандарты валидизации опубликованы в Стандарте требований к психодиагностическим методикам (РПО, 2012), Principles for the Validation and Use of Personnel Selection Procedures, Fourth Edition (Society for Industrial and Organizational Psychology Inc., 2003), Этическом кодексе Российского Психологического общества (РПО, 2012).
Заказчики (лица, принимающие решение о проведении ЦО) и участники имеют право получить информацию о валидности ЦО.
28
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
6. Права и обязанности участников
6.1. Права участников
• Потенциальные участники ЦО имеют право заранее получить информацию о проводимом ЦО (см. п. 3.1.7).
• Потенциальные участники ЦО имеют право отказаться от участия в ЦО до его начала.
• Все участники имеют право на равные условия в ходе проведения ЦО.
• Каждый участник ЦО имеет право получить информацию о решениях, принятых в отношении него по результатам ЦО.
• Каждый участник ЦО имеет право на апелляцию своих результатов.
• Каждый участник ЦО имеет право получить обратную связь по результатам ЦО, если она предусмотрена внутренними документами организации.
• Если материалы и результаты ЦО, касающиеся участника, планируется использовать для решения задач, не соответствующих изначально заявленным, это должно быть дополнительно согласовано с участником. В этом смысле участник имеет право на конфиденциальность информации о себе.
6.2. Обязанности участников
• Участник обязан соблюдать правила поведения в ходе ЦО, оговоренные ведущим в ходе инструктирования ЦО.
• Все материалы и программа ЦО являются интеллектуальной собственностью. Участник не имеет права копировать их, передавать третьим лицам или публиковать.
Глоссарий
Анализ профессиональной деятельности - сбор информации о ключевых задачах и образцах целевой профессиональной деятельности. Полученная информация является основой для определения набора компетенций/критериев, необходимых для успешного выполнения этой деятельности, а также для выбора или разработки методик оценки.
Валидность ЦО - пригодность и обоснованность применения программы ЦО в конкретных условиях.
Ключевые роли и зоны ответственности в ЦО:
• Администратор организует техническую часть процедуры ЦО.
• Ведущий отвечает за содержательную часть проведения ЦО и организацию процедуры сведения оценок.
• Дизайнер разрабатывает программу ЦО.
• Наблюдатель-эксперт наблюдает, описывает, классифицирует и оценивает поведение участников ЦО.
• Разработчик создает моделирующие упражнения для ЦО.
• Ролевой игрок выступает в качестве партнера участников ЦО в упражнениях, моделирующих взаимодействие. В качестве ролевого игрока может выступать как специально подготовленный актер, так и наблюдатель-эксперт, прошедший дополнительное обучение.
• Участник - человек, поведение которого оценивается в ходе ЦО.
29
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
Индикатор поведенческий - см. Образец поведения.
Компетенция/критерий - это группа образцов поведения, связанных с успешностью профессиональной деятельности. Группировка образцов делается на основе их смыслового сходства/различия. В практике ЦО понятия «компетенция» и «критерий» не различаются.
Моделирующее упражнение - метод деловой игры, который позволяет воспроизводить (моделировать) наиболее значимые поведенческие аспекты профессиональной деятельности.
Непосредственно наблюдаемое поведение - поведение (вербальное и невербальное) участника в ЦО, доступное восприятию наблюдателя-эксперта без искажения и потери информации.
НОКО - последовательность действий наблюдателя-эксперта в ходе проведения моделирующих упражнений. Состоит из четырех этапов: наблюдение (Н), описание (О), классификация (К) и оценка (О) поведения. По своему типу НОКО относится к независимой экспертной оценке.
Образец поведения (поведенческий индикатор) - типизированный (устойчивый и регулярно проявляющийся) пример успешного или неуспешного поведения. Группа образцов поведения составляет содержание компетенции/критерия.
В стандарте различаются два вида образцов поведения (см. рисунок 1):
1. Выделенные в результате анализа реальной профессиональной деятельности.
2. Разработанные для оценки поведения в моделирующих упражнениях ЦО. Создаются на основе образцов первого вида и используются в оценочных бланках.
Обратная связь - представление итоговых результатов оценки заказчикам и участникам, целью которого является обеспечение принятия результатов ЦО.
Пример поведения - способ решения задач профессиональной деятельности, доступный непосредственному наблюдению и объективной регистрации (описанию). В стандарте различаются два вида примеров поведения (см. рисунок 1):
1. Проявляющиеся в реальной профессиональной деятельности работника.
2. Демонстрируемые участником в моделирующих упражнениях ЦО.
Показатель эффективности деятельности - независимая от результатов ЦО оценка участника, которая рассматривается как объективная в соответствующей профессиональной среде.
Программа ЦО - методическое описание ЦО, включающее:
• Описание компетенций/критериев и шкалы их оценки;
• Матрицу «Компетенции/критерии - Методики»;
• Описание методик оценки, в том числе моделирующих упражнений;
• Организационный план ЦО.
Профессиональная деятельность - трудовая деятельность, соответствующая принятым в обществе нормам, в том числе требованиям к эффективности деятельности и квалификации исполнителей.
Сведение оценок - процедура интеграции индивидуальных экспертных оценок.
Упражнение - см. Моделирующее упражнение.
Центр оценки (ассессмент центр) - комплексный метод диагностики потенциальной успешности в профессиональной деятельности, включающий набор различных частных методов,
30
Организационная психология. 2013. Т. 3. №2
www.orgpsyjournal.hse.ru
основой которого является оценка поведения участников группой наблюдателей-экспертов в моделирующих упражнениях (подробнее о понятии ЦО см. п. 2.2.).
Шкалы оценки поведения в ЦО - правила определения уровня выраженности компетенции/ критерия. При оценке поведения в ЦО используются шкалы порядка.
Выделенные в результате анализа реальной профессиональной деятельности
,v дцель поведения
Наблюдаемое
поведение
Образцы поведения в профессиональной деятельности
Примеры поведения в профессиональной деятельности
Проявляющиеся в реальной профессиональной деятельности работника
Разработанные для оценки поведения в моделирующих упражнениях ЦО
Образцы поведения в ЦО
L
Примеры поведения в ЦО
Демонстрируемые участником в моделирующих упражнениях ЦО
Рисунок 1. Примеры и образцы поведения.
31
Organizational Psychology - Russia. 2013. Vol. 3. No 2
www.orgpsyjournal.hse.ru
Russian Standard for Assessment Centers
Task Force on Assessment Center Standard
Evgeny Vuchetich (EXECT Partners Group)
Dmitry Gofman (Axes Management)
Aleksandr Erofeev (Moscow State University, Assessment Center LASPI) Evgeny Lurie (ECOPSY Consulting)
Maria Maltseva (DDI)
Yuriy Mikheev (“Training Institute - ARB Pro” Group)
Yulia Poletaeva (SHL)
Sergey Sergienko (State University of Management)
Svetlana Simonenko (Detech)
Yulia Sinitsina (TalentQ)
Sergey Umnov (ECOPSY Consulting)
Tatiana Khvatinina (SHL / Chair of “Personnel Assessment” Federation of NC HCD) Aleksandr Shmelyov (Moscow State University, Human Technologies)
E-mail: [email protected]
Abstract
This document is a first guidelines and ethical considerations for assessment center in Russia. Development of the Russian Standard for Assessment Centers was initiated in 2013 by the National Confederation for Human Capital Development and supported by the expert community. Today the Assessment Center method is widely used in Russia. There is an international Assessment Center Standard as well as a number of national standards. However, the Russian professional community does not view these as documents that are imperative to observe, because none of these standards fully reflects features specific to Russian Assessment Center practices and corresponds to Russian theoretical and methodological traditions of scientific research and development. For these reasons, the need to design a national Standard regulating Assessment Center development and implementation practices and reflecting modern-day Russian realities has now become evident. This Standard is a national-level, scientifically grounded, and cultural and ethical set of guidelines which describe the Assessment Center method and outline the minimum set of requirements for Assessment Centers. The Standard also contains recommendations based on best Assessment Center practices that will help to increase the quality of assessment procedures. The Standard addresses Assessment Center’s participants, observers, facilitators, administrators, developers and designers, sellers, scientists and researchers, consultants and experts, also trainers, university instructors teaching personnel assessment, students and Assessment Center training participants.
Keywords
assessment center.
32
