Центр оценки. Особенности метода и принципы стандартизации программ оценивания Текст научной статьи по специальности «Компьютерные и информационные науки»

Организационная психология. 2013. Т. 3. №4. С. 18-42

ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ

www.orgpsyjournal.hse.ru

Центр оценки. Особенности метода и принципы стандартизации программ оценивания1

ЕРОФЕЕВ Александр Константинович

Московский государственный университет им. М. В. Ломоносова, Москва, Россия.

Эта статья адресована преподавателям экономических и управленческих дисциплин, а также специалистам в области управления человеческими ресурсами и оценки персонала, которые в своей преподавательской или консультационной практике применяют для оценки компетенций метод Ассессмент Центр ^sess^ieM Сenter) или обучают этому других. Мы хотим привлечь внимание читателей к тем методическим, методологическим и этическим принципам проведения метода Ассессмент Центр, нарушать которые, с точки зрения международных стандартов, непозволительно и недопустимо. Во вводной части статьи приведены оценки авторитетными экспертами реальной практики внедрения метода Ассессмент Центр в России. Эти оценки существенно отличаются. Одни специалисты констатируют грубые нарушения требований международных стандартов российскими практиками и приводят примеры требований стандартов, которые нарушаются наиболее часто. Все критики единодушно признают, что чаще всего нарушаются требования контроля качества результатов оценивания путем определения их валидности. Противоположная оценка сводится к тому, что российская практика в целом соответствует международным стандартам. В основной части статьи описана авторская интерпретация последней редакции международных стандартов метода Ассессмент Центр. Ключевые положения международных стандартов представлены в виде системы 10 основных принципов-атрибутов метода Ассессмент Центр. В этой «Системной десятке принципов» основным системообразующим принципом является «Принцип равноправия и прозрачности», для выполнения которого требуется соблюдение девяти остальных принципов, объединенных в три группы: «Методические принципы», «Методологические принципы» и «Этические принципы». Каждая группа включает три принципа. В системную десятку принципов включены минимальные требования стандарта, при соблюдении которых программы оценивания могут считаться легитимными формами реализации метода Ассессмент Центр. Требования международного стандарта Ассессмент Центра дополнены некоторыми требованиями стандарта ISO 10667—2:2011 (E) и рядом положений национальных стандартов Германии. В заключительной части статьи описана методика, при помощи которой на основе «Системной десятки принципов» можно обоснованно идентифицировать любую программу комплексной оценки как легитимную форму реализации метода Ассессмент Центр, либо отнести к множеству суррогатных имитаций-подделок, которые внешне похожи, но не являются программами ассессмент центров.

Ключевые слова: Центр оценки; компетенции; валидность; стандартизация; стандарт; ISO.

1 Редакция журнала обращает внимание читателей, что рукопись данной статьи поступила в редакцию до опубликования текста Российского стандарта Центра оценки (№ 2, 2013), поэтому в ней не отражены его основные положения. Тем самым задается еще один ракурс для дискуссии вокруг проблем использования метода Центра оценки в российской практике управления персоналом, которая, как мы надеемся, развернется на страницах нашего журнала уже в самое ближайшее время.

Адрес: 125009, Москва, ул. Моховая, д. 11, стр. 9. Email: laspi02@rambler.ru

18

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

«Процедуры, которые не соответствуют всем приведённым здесь руководящим принципам (all the guidelines), не должны считаться представляющими ассессмент-центр, даже если термин «ассессмент-центр» используется в их названии»

(Международные стандарты ****, 2009, с. 245)

Введение

Эта статья адресована в первую очередь преподавателям и специалистам в области управления человеческими ресурсами и оценки персонала, знакомым с основами метода Центр Оценки (assessment center). В ней мы хотим привлечь внимание читателей к тем методическим, методологическим и этическим принципам проведения метода, нарушать которые, с точки зрения стандартов, принятых международным сообществом специалистов, непозволительно и недопустимо. Соответственно, наша цель — начать на страницах журнала конкретное обсуждение критериев, с помощью которых можно отличить программы оценивания, действительно реализующие метод Центр Оценки (далее — ЦО), от суррогатных, по сути дела, программ, которые хотя и разработаны на основе отдельных принципов методологии ЦО, но не удовлетворяют всем требованиям международных стандартов2.

Вместе с тем хотелось бы, чтобы с основными положениями этой статьи ознакомились не только те, кто проводит ЦО или обучает этому других, но и те, кто проходит оценку в роли участника ЦО или, что ещё более важно, является потенциальным заказчиком этой услуги. Хотя статьи, в которых опубликованы международные стандарты, доступны всем пользователям интернета, и сами эти стандарты неоднократно публиковались и комментировались на русском языке, тем не менее, в массе своей потребители — заказчики консультационных услуг и участники ЦО — ничего о них не знают. Такая неосведомлённость потребителя неизбежно сказывается на уровне требований и, соответственно, качестве внедряемых в практику программ ЦО. Об этом ещё в 2004 г. говорил научный редактор книги М. Кляйнманна «Ассессмент-Центр. Современные технологии оценки персонала» С.А.Маничев, отметивший, что «... некоторые группы консультантов по оценке персонала разрабатывают наборы упражнений... с методической неряшливостью, не особенно заботясь о проверке валидности оценочных процедур., а заказчик, как правило, не осведомлён о том, что он имеет право и обязанность потребовать у консультантов точные сведения о валидности и надёжности предлагаемых ему процедур оценки» (Кляйнманн, 2004, с. 9). Аналогичные отступления от стандартов совсем недавно отметил и другой уважаемый специалист Е.В.Маслов: «Нередко экономия (материальных и организационных ресурсов — А.Е.) происходит за счёт недостаточно глубокого анализа профессиональной деятельности при разработке модели компетенций. Очень часто не проводится пилотаж. Предварительная апробация проводится крайне редко. Оценка валидности проведённого ЦО у нас, как правило, не проводится.» (Маслов, 2011, с. 46). Подобные нарушения стандартов не только компрометируют метод ЦО, но и губительно сказываются на репутации принятого во многих российских организациях компетентностного подхода к оценке результативности профессиональной подготовки и готовности кандидатов к работе (Ерофеев, Метнева, 2011; 2013).

2 Под «международными стандартами» подразумеваются «Нормативы и этические принципы создания и проведения Центра Оценки», принятые на 34-м Международном конгрессе по Центрам Оценки (24 сентября 2008 г., Вашингтон, округ Колумбия, США): «Guidelines and Ethical Considerations for Assessment Center Operations», 2009. Под стандартами Великобритании подразумеваются описания лучших практик в «The British Psychological Society (2005). Design, Implementation and Evaluation of Assessment and Development Centres. Best Practice Guidelines». Национальные стандарты Германии описаны в «Arbeitskreis Assessment Center e.V. (2004). Standards der Assessment Center Technik. Hamburg, Deutschland».

19

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

Существуют и позитивные примеры оценки практик внедрения метода ЦО в России. Так, отвечая редакции журнала «Организационная психология» на вопрос, соблюдаются ли в России международные стандарты, Е.В.Вучетич пишет: «Можно достаточно уверенно утверждать, что российская практика в целом соответствует изложенным в статье нормативам и стандартам3... Какова реальная практика проведения Центра оценки в России? Реальная практика проведения ЦО соответствует международной практике» (Вучетич, 2011, с. 51-52). Вместе с тем уважаемый эксперт отмечает, что, не смотря на то, что в России опубликовано множество практических руководств, в которых «... очень подробно раскрыты методология, технология и этические вопросы проведения ЦО. В интернете существует несколько сайтов, которые пропагандируют правильный подход к использованию ЦО», существуют подготовленные и сертифицированные за рубежом специалисты по проведению ЦО, работают курсы по подготовке новых специалистов, качество оценки страдает, если анализ работы, который должен предварять планирование программ ЦО проводится недостаточно квалифицировано, и в ЦО используются невалидизированные модели компетенций. «Пожалуй, главной проблемой является не качественное проведение самого ЦО, а стандарты разработки моделей компетенций, выступающими основой для ЦО. С одной стороны, экономия времени и средств приводит к тому, что в компаниях проводится недостаточно квалифицированный анализ работы и модели компетенций не точно отражают ключевые особенности эффективного выполнения работы, не привязаны к квалификационным требованиям. Таким образом, ЦО становится менее валидным, чем он мог бы быть. С другой стороны, используются стандартные модели компетенций, предлагаемые консультантами, которые не всегда точно отражают практику деятельности в компании, и результаты получаются довольно общими», — отмечает Е. В. Вучетич. Это, с точки зрения цитируемого эксперта, основная проблема практики и причина низкой валидности некоторых программ ЦО. Действительно, если в качестве критериев оценки в программе выбраны компетенции, содержательная валидность которых не обоснована, то это непременно негативно скажется на величине критериальной валидности, которая должна обязательно определяться для любой новой, впервые внедряемой в практику программы (Ерофеев, Метнева, 2011).

С нашей точки зрения, ахиллесова пята применяемых в отечественной диагностической практике суррогатных программ ЦО — их, в строгом смысле этого слова, «инвалидность»4. Казалось бы, требование валидности — это общее место теории диагностических процедур: во-первых, об обязательности валидизации программ ЦО говорится во всех поколениях стандартов ЦО. Во-вторых, методы валидизации непрерывно совершенствуются по мере развития принципов валидизации и использования процедур индивидуального отбора, применяемых в индустриальной и организационной психологии. В-третьих, международные стандарты ЦО регулярно приводятся в соответствие с обновленными требованиями. В-четвёртых, результаты валидизационных исследований регулярно публикуются в зарубежных обзорах и статьях, посвящённых метааналитическим исследованиям ЦО. И, тем не менее, примеры отечественных публикаций о результатах валидизационных исследований программ ЦО

3 Здесь эксперт имеет ввиду статью «Международная комиссия. Нормативы и этические принципы создания и проведения Центра оценки» в журнале «Организационная психология» за2011 г.

4 В глоссарии международных стандартов термин «валидность» определяется как «... степень пригодности результатов, полученных при помощи измерительного инструмента или процесса оценивания, такого как ассессмент центр. В зависимости от сферы исследования или изучаемого инструмента, или процесса могут измеряться различные валидности, например, «конструктная валидность», «содержательная валидность», «очевидная валидность», «прогностическая валидность», «социальная валидность» (с. 253). Под «инвалидностью» мы в данном случае понимаем отсутствие доказательств того, что программа «дееспособна», т.е. способна оценивать участников на должном уровне. Из работ Д. Торнтона, одного из видных авторов международных стандартов, следует, что основными типами валидности, характеризующими качество программ ЦО, являются: содержательная, конструктная и критериальная (прогностическая) валидность.

20

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

единичны, и их очевидным образом недостаточно ни для метаанализа, ни для обобщённой оценки валидности программ ЦО, уже «внедрённых» в российскую практику.

Обратим внимание, что даже достаточно успешные и авторитетные в России фирмы и консультанты, предоставляющие услуги по оценке персонала методом ЦО, при характеристике качества своей работы ссылаются преимущественно на прошлую успешную практику. Ни о каких валидизационных исследованиях, подтверждающих качество их программ и результатов оценки, не сообщается ни в академической печати, ни, тем более, в рекламе. Это продолжается, несмотря на то, что в принятых в 2011 г. международных стандартах ISO (International Organization for Standardization) включены требования валидизации предоставляемых услуг. В ISO 10667 «Предоставление услуг по оценке. Методики и методы оценки людей на работе и в организационных условиях» (Procedures and methods to assess people in work and organizational settings) сказано, что в технической документации применяемых средств оценивания должна содержаться информация об их валидности. Ни международные стандарты оказания услуг, ни международные стандарты ЦО не оставляют ни малейшей лазейки для применения в практике невалидизированных программ ЦО. Почему же это все-таки происходит? В международных стандартах ЦО читаем: «В описании должны быть четко определены законы, которые имеют отношение к программе ЦО, и заявлено, как будут обеспечиваться правовые нормы» (p. 248). Предусмотрена ли федеральными законами РФ ответственность за качество результатов оценивания? Отвечая на вопрос редакции журнала «Организационная психология» «Существуют ли какие-то формализованные нормативы и принципы проведения Центров оценки в России?», Е. В. Вучетич пишет: «Если имеется в виду какая-то законодательная база, которая определяет проведение ЦО, то она мне неизвестна. Данная процедура проводится исключительно на добровольных началах или же может включаться в качестве части аттестации. Но юридически эта процедура не определена, поэтому отказывать сотруднику в повышении на основании непрохождения ЦО нельзя» (Вучетич, 2011, с. 52). Действительно, в России практика привлечения к судебной ответственности недобросовестных специалистов и организаций, нарушающих стандарты проведения ЦО, как это давно принято в США, Великобритании и Германии, пока не развита (Ерофеев, Макаров, 2013). Качество услуг по оцениванию, проводимому при помощи метода ЦО, в настоящее время остается в основном на совести тех, кто оказывает эти услуги. Поэтому позитивные сдвиги в качестве внедряемых в отечественную практику программ ЦО и в искоренении суррогатных программ оценки во многом будут определяться тем, какую позицию займёт российское экспертное сообщество — консультанты и специалисты, и будет ли российское экспертное сообщество по-прежнему закрывать глаза на то, что невалидизиро-ванные должным образом, т.е., не отвечающие требованиям стандартов ЦО к их валидиза-ции, программы комплексной оценки приравниваются к легитимным, стандартизованным формам реализации метода ЦО.

Является ли вышесказанное о необходимости валидизации программ оценивания каким-то откровением? Конечно же, нет. По мнению одного из авторов национальных стандартов Германии Штефана Хёфта: «Без проверки валидности и надежности Ассессмент-Центр становится бессмысленным ритуалом» (Кляйнман, 2004, с. 15), и в немецких стандартах подчёркивается, что до оценки валидности результаты ЦО остаются не более чем «конгломератом гипотез». Минимально же необходимыми требованиями определения валидности считаются статистические методы проверки критериальной и конструктной валидности (см. стандарт №9). Примерно тот же объём требований считается минимальным в Великобритании. В разделе «Сбор и статистическая обработка данных» подчеркивается, что при контроле качества (мониторинге) «основной акцент делается на эмпирических

21

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

валидизационных исследованиях... (включающих анализ соответствия результатов оценки и результативности работы)» (р. 25). В США общепринятым является «унитарный» подход к определению валидности, согласно которому валидность — обобщенная, целостная характеристика качества отдельных инструментов оценки или программ ЦО, допускающая несколько источников информации, каждый из которых характеризует качество получаемых при помощи оцениваемой программы результатов. Если исследование не отвечает этим минимальным стандартным требованиям, то его результаты нельзя признать пригодными, а программу ЦО — стандартизованной. Мы считаем, что и российские специалисты, разрабатывающие и применяющие программы ЦО, должны следовать неукоснительно и безусловно этим общепринятым требованиям международных стандартов. Рекламировать и рекомендовать к внедрению следует только валидизированные программы ЦО.

Метод «Центр оценки»

Выше мы уже приводили примеры национальных изводов международных стандартов создания и проведения метода ЦО в США, Германии и Великобритании. Национальные стандарты существуют и в таких странах, как Южная Африка и Индонезия5. Национальное оформление международных принципов стандартизации становится всё более актуальным и для России. Решать эту задачу начнём с того, что дадим методу ЦО определение и опишем систему принципов, раскрывающих содержание этого определения.

Определение: Центр Оценки (то же самое, что Assessment Center) — стандартизованный, комплексный метод множественной оценки компетенций (competency), включающий экспертную оценку поведения участников (assessees) в процессах выполнения ими имитационных упражнений (simulation), в которых моделируются рабочие проблемные ситуации реальной трудовой деятельности.

Термин «компетенции» (competency) здесь означает профессионально важные навыки, знания и личностные качества, причинно связанные с умениями на должном уровне выполнять работу и преуспевать в трудовой деятельности. В качестве критериев оценки (dimension) в ЦО могут использоваться только верифицируемые, эмпирически проверяемые в процессе оценивания компетенции, поведенческие индикаторы которых должны быть предварительно определены в процессе анализа работы (job analysis) и согласованы с профессиональными стандартами трудовой деятельности.

Метод ЦО является стандартизованным, так как начиная с 1975 г. существуют принятые международным профессиональным сообществом стандарты разработки и валидизации его программ, нормативы их применения и этические нормы, защищающие права участников. Стандарты ЦО периодически дорабатываются, редактируются и приводятся в соответствие с обновленными стандартами психологического тестирования, принципами валидизации методов оценки индивидуальных различий, применяемых в индустриальной и организационной психологии, и действующим законодательством. Каждая редакция существующих стандартов ЦО (в 1979, 1987, 2000, 2008 гг.) принималась путем голосования участников международных конгрессов по ЦО на основе обсуждения результатов научных исследований и работ специальных комиссий. Все принятые поправки к стандартам дополняли предыдущие принципы и нормативы, но не отменяли уже принятые в прошлом принципы стандар-

5 См. South Africa: Assessment Centre Study Group (2007). Guidelines for assessment and development centers in South Africa (4th ed.). Indonesia: Indonesian Task Force on Assessment Center Guidelines (2002). Daya Dimensi Indonesia. Ethical guidelines for assessment center operations.

22

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

тизации программ ЦО. В настоящее время ведется работа по приведению международных стандартов ЦО в соответствие с принятыми в 2011г. стандартами ISO.

Метод ЦО является комплексным потому, что каждая компетенция в любой программе его реализации должна оцениваться при помощи комплекса (двух или более) содержательно дополняющих друг друга различных методик. ЦО — метод множественной оценки, так как каждый участник должен оцениваться несколькими специально обученными процессу оценивания экспертами (assessors). Причём оценивание каждым экспертом должно проводиться поэтапно: за наблюдением должны следовать описание, классификация и оценка. Все независимые экспертные оценки должны рассматриваться, обосновываться и согласовываться на общем совещании всех участвовавших в процессе оценивания экспертов.

Чтобы признать какой-либо комплексный процесс оценивания легитимной формой реализации метода цо, одних только обоснования надежности (reliability) и валидности (validity) его результатов недостаточно. Стандартизованный процесс оценивания непременно должен отвечать всем принципам оценивания, принятым международным сообществом специалистов в области ЦО, и должен проводиться в соответствии с практическими рекомендациями проведения оценочных процедур, описанными в международных стандартах ЦО. Использовать в названии процедур или процессов, не отвечающих хотя бы одному из этих требований, термины «Центр Оценки» или «Ассессмент Центр»6 — неэтично.

Содержание метода ЦО удобнее всего раскрыть через описание системы его основополагающих принципов. Всего этих принципов 10. Из тех же соображений удобства представим эту десятку принципов в табличной форме (Табл. 1).

Таблица 1. Система принципов Центра Оценки

ПРИНЦИП РАВНОПРАВИЯ И ПРОЗРАЧНОСТИ

1. Методические принципы 2. Методологические принципы 3. Этические принципы

1.1 Имитации 2.1 Комплексности 3.1 Целесообразности

1.2 Поэтапности 2.2 Адаптивности 3.2 Компетентности

1.3 Множественности 2.3 Контроля 3.3 Ответственности

Примечание. В соответствующих клетках таблицы указаны краткие названия принципов, полные названия которых приводятся ниже в тексте.

Принцип равноправия и прозрачности

Принцип равноправия и прозрачности мы отнесли к ведущим принципам этой системной десятки, поскольку строгое следование этому принципу имплицитно предполагает выполнение всех остальных девяти принципов. Суть его в том, что, во-первых, всем участникам ЦО должны быть обеспечены одинаковые условия прохождения процедуры оценивания, уравнивающие их шансы на успех, и, во-вторых, всем участникам ЦО должна быть предоставлена информация о программе ЦО, включающая 12 основных пунктов, указанных в международных стандартах в разделе «Информированное участие» («Informed participation», р. 249-250), а именно следующие.

1. Цель(-и). Цель(-и) программы должны быть четко сформулированы. Организация, в которой будет проводиться ЦО, имеет право решать, следует ли при этом раскрывать в программе содержание измеряемых параметров/компетенций и давать общую характеристику имитационных упражнений.

6 Определения основных терминов (в скобках на английском языке) приведены в глоссарии международных стандартов (с. 253).

23

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

2. Отбор. Должно быть указано как, по каким основаниям были отобраны участники ЦО.

3. Альтернативы. Должны быть перечислены все имеющиеся у сотрудника варианты участия в ЦО и их возможные последствия (такие как удовлетворение/неудовлетво-рение условий найма, продвижения, развития и т.д.).

4. Кадры. Должна предоставляться общая информация об экспертах, которые будут проводить оценку: о составе группы, роли каждого в процессе оценивания, о прохождении каждым экспертом специального тренинга и его опыте подобной работы.

5. Материалы. Должно уточняться, какие относящиеся к индивидуальным данным и результатам участников материалы, полученные в процессе ЦО, будут собираться и храниться в организации.

6. Результаты. Должно быть указано, как будут использоваться результаты ЦО, как долго они будут храниться, и какие рекомендации будут сделаны.

7. Обратная связь. В программе должно быть описано, когда, каким образом (например, письменно, лично, при помощи компьютера) и какая по содержанию обратная связь (например, по параметрам, по упражнениям, по комбинациям параметров и упражнений) будет предоставляться участникам.

8. Развитие. Если предусмотрены процедуры дальнейшей поддержки участников и контроля их развития (например, внешний коучинг, обучение, наставничество, супервайзорский контроль или поддержка со стороны высшего руководства), то должны быть описаны механизмы этих процедур.

9. Включение в систему. Описание того, как результаты ЦО будут соотноситься с организационной культурой и стратегией организации. Как результаты будут встроены в систему управления человеческими ресурсами организации.

10. Повторная оценка. Если предусмотрена повторная оценка, то должна быть охарактеризована (кратко описана) её программа.

11. Доступ. Должно быть указано, кто и при каких условиях будет иметь доступ к материалам отчетов (к аудио- и/или видеофайлам, если они есть) и итоговым результатам ЦО.

12. Контакт. Должно быть указано, кто будет контактным лицом, ответственным за запись, хранение или архивирование результатов, и где будут храниться результаты.

Эту информацию положено доводить до сведения всех участников в письменном виде до начала проведения оценочных процедур. Требования к информированию участников и клиентов программ оценивания в ISO 10667—2: 2011 (Е) изложены в разделе 5.3: «Assessment delivery — Informing assessment participants» в трех подпунктах (5.3.1, 5.3.2. и 5.3.3.) на страницах 10-12. Кроме описанных выше требований (пункты 1-12) в соответствии с ISO необходимо следующее. Согласно пункту 5.3.1. «Provision of information» следует:

• обосновать причины оценивания участника в настоящее время (подпункт a);

• получить от «информированного участника» согласие на его участие в программе оценки (подпункт b);

• указать какую помощь может получить участник в случае столкновения с трудностями и проблемами (подпункт d);

• какие процедуры предусмотрены для обжалования результатов: куда и как подавать жалобы (подпункт f).

В пункте 5.3.2 «Enabling assessment participants to prepare for the assessment», сказано, что поставщик услуг обязан:

24

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

• установить и сообщить точные сроки предоставления результатов оценивания (подпункт a);

• в случае необходимости в предварительной подготовки участников, сообщить о том, как участник может пройти подготовительные процедуры, предоставить специально подготовленные, одобренные разработчиками и рекомендованные образцы материалов, применяемых в практике (подпункт b);

• предоставить участникам разъяснения их прав и обязанностей (подпункт c);

• Согласно пункту 5.3.3 «Informed consent», кроме требований, указанных выше, необходимо:

• разъяснить участнику являющемуся клиентом, что он или она для признания правильности результатов оценивания имеет право определить (выбрать) для экспертизы результатов организации, занимающиеся сертификацией и лицензированием (подпункт b).

В ISO 10667—2:2011 (E) сказано также, что если поставщику услуг известно, что потенциальный клиент не знает об ISO 10667, он должен информировать клиента о том, что лучшие практики оценивания осуществляются в соответствии с этим стандартом и побуждать клиента действовать в соответствии с ISO 10667—1 (стандарт для клиента). Под клиентами при этом подразумеваются люди, которые ищут услуги для себя или организаций, отдельных лиц или групп, включенных в организации (р. 6). Чтобы соблюсти принцип равноправия и прозрачности, необходимо, как уже было сказано выше, выполнить ряд требований. Эти требования представлены далее в форме описания девяти принципов, разбитых на три группы — «Методические принципы», «Методологические принципы» и «Этические принципы».

1. Методические принципы Центра оценки

Методики сбора и анализа первичных данных в программах ЦО основаны на: принципе имитации проблемных ситуаций реальной трудовой деятельности (1.1); принципе поэтапности процессов экспертного оценивания степени выраженности компетенций (1.2); принципе множественности и согласования экспертных оценок каждой компетенции (1.3). Следование этим принципам сбора и анализа информации отличает методики, применяемые в программах ЦО, от таких (внешне на них похожих и также применяемых для оценки компетенций) методик, как: стандартизованные тесты выполнения образцов работы; деловые игры, в которых наблюдатели шкалируют достижения и индивидуальные характеристики игроков; проведение учебных упражнений (кейсов) по методикам, разработанным для проведения тренингов, и иные методики оценки, в которых, аналогично имитационным упражнениям, суждения о степени выраженности компетенций формулируются в результате оценки наблюдаемого поведения участников, но выполнения принципов поэтапности и множественности, в отличие от методов ЦО, не требуется.

1.1 Имитация проблемных ситуаций реальной трудовой деятельности. В процессе оценивания участники ЦО должны в искусственно моделируемых условиях, воспроизводящих наиболее существенные фрагменты проблемных ситуаций реальной трудовой деятельности, своими внешне наблюдаемыми действиями подтвердить умения справляться с предлагаемыми проблемами. Предполагается, что аналогичным образом участники будут действовать и в реальных условиях работы. Критерии оценки умения работать (компетенции) и их поведенческие индикаторы должны быть определены в результате анализа работы, готовность к которой будет оцениваться в ЦО. В программе должны быть описаны как типы поведения (поведенческие примеры), характеризующие в моделируемых условиях

25

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

каждую из оцениваемых компетенций, так и поведенческие рейтинговые шкалы, в которых должны отображаться экспертные оценки степени выраженности каждой компетенции.

Содержательная валидность (реалистичность, правильность моделируемых и реальных ситуаций, то, что в глоссарии стандартов ЦО обозначается термином «High (or low) fidelity») должна оцениваться на подготовительном этапе экспертами, хорошо знающими особенности конкретной работы или группы работ, и проверяться в пилотных исследованиях до внедрения программы ЦО в практику. Если пилотные исследования подтверждают, что упражнения действительно вызывают у участников ожидаемую активность (то есть, поступки, высказывания и прочие непосредственно наблюдаемые и регистрируемые действия действительно аналогичны тем, которые наблюдаются в реальной деятельности), то содержательная валидность упражнений считается обоснованной. Если в качестве экспертов, оценивающих содержательную валидность, выступают участники ЦО, то содержательная валидность называется «очевидной». Очевидная валидность является важным показателем соответствия принципу прозрачности. Низкая содержательная валидность упражнений негативно сказывается на показателях критериальной (прогностической) валидности результатов оценивания.

1.2 Поэтапность процессов экспертного оценивания степени выраженности компетенций. В ЦО первичная независимая оценка степени выраженности каждой компетенции должна проводиться каждым экспертом-наблюдателем самостоятельно и в несколько этапов.

Первый этап — целенаправленное наблюдение за поведением участника. Цель наблюдения — мысленная фиксация моментов активности участника, которые могут рассматриваться как формы проявления (поведенческие примеры) одной или нескольких компетенций из числа тех, для оценки которых предназначено данное упражнение.

Второй этап — описание экспертом выделенных и зафиксированных «в уме» актов активности. Описание — исключительно констатирующая процедура. Нельзя заменять описания оценочными суждениями или использовать при описании названия компетенций или их синонимы, или коды.

Третий этап — классификация описанных образцов поведения. Это — этап первичной интерпретации экспертом описанных результатов наблюдений. Один поведенческий акт может быть классифицирован как проявление одной или нескольких компетенций. В соответствие всем описанным фрагментам поведения должны быть поставлены коды соответствующих компетенций. Поведенческие примеры описания компетенций и правила кодирования должны быть описаны в «Инструкции для наблюдателя».

Четвертый этап — оценка степени выраженности компетенции. Первичная экспертная оценка выносится каждым наблюдателем самостоятельно на основе анализа результатов кодирования и отображается в рейтинговой поведенческой шкале.

Анализ результатов кодирования предусматривает:

• отнесение поведенческих актов, помеченных одним и тем же кодом, к позитивным или негативным формам проявления рассматриваемой компетенции;

• подсчёт частоты позитивных и негативных проявлений;

• соотнесение всех рассматриваемых поведенческих актов с поведенческими примерами, характеризующими (описывающими) степень выраженности компетенции в баллах соответствующих градациям принятой заранее и описанной в программе поведенческой рейтинговой шкалы7.

7 Единой общепринятой, стандартной рейтинговой шкалы для ЦО не существует. Допускается применение как биполярных, имеющих «положительный» и «отрицательный» полюс, так и однополярных рейтинговых шкал, включающих «нулевой» уровень.

26

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

Предполагается, что у всех экспертов в результате тренинга сформированы примерно одинаковые нормы рейтинговой оценки (см. принцип компетентности 3.3). Так как нормы рейтинговой оценки у различных экспертов, тем не менее, могут отличаться, все оценки должны обсуждаться и обосновываться на общем собрании всех экспертов (см. принцип множественности и согласования 3.1).

Нарушение принципа поэтапности, требующего разграничения процессов наблюдения, описания, классификации и оценки, может, вследствие эффекта косвенной контаминации («зашумленности») процесса оценивания признаками, имеющими только косвенное отношение к отдельному оцениваемому критерию/компетенции, либо же вследствие субъективизма отдельных экспертов (учёта при вынесении оценки ненаблюдаемых в данном конкретном случае, «скрытых», «глубинных», домысливаемых экспертом на основе прошлого опыта факторов), привести к понижению конструктной валидности оценки.

1.3 Множественность и согласованность оценок. Компетенции каждого участника в процессах выполнения ими имитационных упражнений и поведенческих тестов должны оцениваться несколькими (двумя или более) экспертами-наблюдателями. Это не означает, что в каждом упражнении или поведенческом тесте за каждым участником непременно должны наблюдать два эксперта одновременно. Подобное условие обязательно только в том случае, если в программу включено всего одно имитационное упражнение. Специально же подготовленный и компетентный эксперт может одновременно вести наблюдение за двумя или, максимум, тремя участниками. Чтобы при выполнении групповых упражнений за одним участником одновременно наблюдали два эксперта, необходимо, чтобы число экспертов было, по крайней мере, равно числу участников.

Принцип множественности означает, что, выполняя весь предусмотренный программой комплекс упражнений, каждый участник по каждой компетенции будет, по меньшей мере, дважды оценен разными независимыми экспертами. То есть, если в одном упражнении конкретная компетенция оценивается одним экспертом-наблюдателем, то в другом упражнении эта же компетенция должна оцениваться другим экспертом (см. принцип комплексности 2.1). Именно поэтому имитационные упражнения разрабатываются так, чтобы с помощью одного упражнения оценивались несколько компетенций, но не более пяти. «Максимальное соотношение оцениваемых и экспертов зависит от нескольких переменных: от типа используемых упражнений, от оцениваемых параметров, от роли экспертов, от применяемого способа интеграции данных, от количества пройденных экспертами тренингов и их опыта, а также от цели ЦО» — отмечается в международных стандартах (р. 246).

Согласование независимых экспертных оценок рейтингов на общем совещании всех экспертов — ключевое звено процесса анализа и интерпретации данных. На этом совещании должны последовательно рассматриваться и обсуждаться оценки каждого участника по каждому критерию/компетенции в отдельности. Если проставленные разными экспертами рейтинговые оценки компетенции различаются, то эксперты приводят аргументы, ссылаясь на первичные данные, зафиксированные в протоколах их наблюдений. Если программой предусмотрено ведение аудио/видео протоколов, то извлечения из этих протоколов могут служить иллюстрациями к письменным протоколам наблюдений. Домыслы консультантов со ссылками на прошлый опыт наблюдений или ссылки на знания об особенностях участников, не поддержанные материалами наблюдений за их поведением в имитационных упражнениях, при обсуждении рейтинговых оценок не допускаются. Анализируя по очереди все критерии и их обоснования, группа экспертов должна прийти к согласованному итоговому решению: рейтинги во всех шкалах, отображающих степень выраженности каждой компетенции, должны быть утверждены для каждого участника.

27

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

Руководить совещанием экспертов должен опытный специалист, в обязанности которого входит надзор за строгим соблюдением экспертами правил согласования оценок, приведенных в «инструкциях для наблюдателя». Лица, не вовлеченные в процесс экспертного оценивания, участвовать в обсуждении или присутствовать на совещании экспертов не должны. Поэтому совещание необходимо проводить до итоговой интеграционной сессии, к которой могут быть привлечены специалисты, не участвовавшие в проведении имитационных упражнений (проводившие, например психометрические тесты, компьютерные имитации, анкетирование, индивидуальные письменные контрольные задания и т.п.).

Специалисты, развивающие метод ЦО, всегда признавали допустимость согласования экспертных оценок. В этом и заключается основное отличие диагностического метода ЦО от научно-исследовательских методов оценки, в которых допускаются различные статистические вычисления и математические операции с независимыми экспертными оценками, но их согласование строго запрещено. Разграничение процессов наблюдения, записи/реги-страции признаков, оценки и обобщения информации было окончательно признано нормативным требованием и включено в стандарты третьего поколения ЦО в 1989 г. В валидиза-ционных исследованиях, предшествовавших этому решению, было доказано, что нарушение принципа множественности и согласованности оценок понижает критериальную валидность комплексных процедур оценки компетенций.

2. Методологические принципы Центра оценки

Чтобы программа оценки являлась формой реализации метода ЦО, должны выполняться три основных методологических принципа: принцип комплексности методического обеспечения процессов оценивания (2.1); принцип адаптивности и гибкости программ оценки (2.2); принцип контроля качества результатов оценивания (2.3). Перечисленные принципы служат общей основой для создания практических руководств и выдачи рекомендаций разработчикам новых программ ЦО.

Если авторы программы оценки или те, кто её проводит, объявляют её программой реализации метода ЦО, это означает, что одновременно выполняются также и все требования методических стандартов: имитации, поэтапности и множественности. Если же в разъяснениях и сопроводительных документах указывается всего лишь, что программа оценки создана на основе методологии ЦО, это означает, что выполняются только изложенные в международных стандартах «Программные заявления ассессмент центра»8. В международных стандартах в связи с этим подчеркивается: «Существует разница между ЦО и методологией ЦО (assessment center methodology). Различные особенности методологии ЦО используются в процедурах, которые не отвечают всем изложенным в стандартах руководящим указаниям (guidelines). Например, когда психолог или специалист в области человеческих ресурсов, действуя в одиночку, использует имитационные упражнения как часть оценки индивидуальности»9. Таким образом, если при проведении программы оценки реализуются не все рассмотренные выше методические принципы, то такая программа оценки не может считаться программой ЦО. Тем не менее, если результаты, полученные с её помощью, оказываются валидными, то такая программа может признаваться процедурой, реализующей методологию ЦО10.

8 См. раздел «Assessment center policy statement», р. 247-248.

9 См. раздел «Assessment center defined», р. 245.

10 См. в указанном разделе международных стандартов пункт 6 — «Validation», р. 247.

28

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

2.1 Комплексность методического обеспечения. Каждая компетенция в программе ЦО должна оцениваться комплексно, то есть, с помощью нескольких содержательно дополняющих друг друга методик. Дополнительность методик по содержанию означает, что при объединении их в комплекс все предусмотренные программой компетенции должны, по крайней мере, дважды оцениваться разными методиками. Комплекс всех используемых в программе методик должен быть описан в форме матрицы «Критерии оценки Х Методики». Правомерность отражённых в этой форме связей между компетенциями и методиками их измерения, то есть гарантия того, что методики измеряют именно те компетенции, для измерения которых они предназначены, должна быть обоснована в валидизационных и проверена в пилотных исследованиях.

Принципкомплексноститребует включать в набор методик,предназначенныхдля оценки каждой компетенции, хотя бы одно имитационного упражнения: «Процедуры, не требующие от участника демонстрации открытых поведенческих реакций, могут быть использованы в ЦО, но должны сочетаться, по крайней мере, с одним упражнением, имитирующим реальную рабочую ситуацию, которое требует открытого проявления поведения» — сказано в стандартах (р. 247). Чтобы данные экспертных оценок поведения в имитационных упражнениях, тестовые измерения, результаты анкетирования и интервью можно было объединить и отобразить в профиле или одномерной шкале обобщенного оценочного рейтинга (Overall Assessment Rating, сокращённо — OAR), необходимо, чтобы численные значения всех критериев оценки были сопоставимы. Так как стандартами ЦО допускается применение всех типов стандартизованных психологических методик, а значит, могут использоваться все типы психометрических шкал, при решении задач объединения данных необходимо руководствоваться правилами интеграции данных11, принятыми в психологической диагностике и индустриальной/организационной психологии. Разработчики новых программ должны быть компетентны в этом вопросе и приводить в программах ЦО точные описания применяемых правил и алгоритмов интеграции данных, а те, кто руководит процессом оценивания, должны контролировать правильность выполнения этих правил (см. принципы контроля качества 2.3, компетентности 3.2 и ответственности 3.3).

Отбор при помощи аддитивной/компенсаторной свертки часто предусматривает анализ степени отклонения «профиля достижений» от «профиля успешности». Для описания требований, которые должны быть удовлетворены, на основе анализа работы строится «профиль требований к работе, который определяет все специфические аспекты критичные для достижения успеха в работе» (см. стандарты Германии, Стандарт № 2 «Анализ работ и требований 11

11 Правила интеграции данных — специальный вопрос, подробное рассмотрение которого выходит за рамки данной работы. Определение степени выраженности каждой компетенции и обобщённого рейтинга участника является классической задачей многокритериальной оценки. В ЦО в большинстве программ, в которых используются кроме имитационных упражнений и ролевых игр психометрические тесты, применяются правила интеграции, известные как «аддитивная (линейная) свёртка» и «мультипликативная свёртка». В простейших случаях все критерии отображены в рейтинговых шкалах, имеющих одинаковое количество градаций (уровней, делений и т.п.) без «нулевого значения». Линейная свертка в этих случаях представляет собой сумму «взвешенных» критериев. Вес (приоритет) критерия определяется экспертно при проведении анализа работы. При подсчете величины OAR в начале величина оценки компетенции по каждому критерию умножается на соответствующий ему «вес» (количественное отображение приоритетности критерия), а затем все полученные произведения (взвешенные критерии) суммируются. Эта свёртка иначе называется «компенсаторной», так как низкие показатели по одним критериям могут компенсироваться высокими показателями по другим критериям. В случаях, когда для определения степени выраженности компетенции необходимо интегрировать экспертные (рейтинговые) оценки, отображенные в рейтинговых шкалах, и тестовые оценки, отображенные в различных применяемых в психологическом тестировании шкалах, приходится проводить специальные процедуры масштабирования, которые популярно изложены в работе «Практическая тестология» в разделе «Тестирование и принятие решений» (Шмелев, 2013, с. 107-113). Мультипликативная свёртка часто применяется при отборе кандидатов на работу в профессиях, в которых «человеческий фактор» может быть причиной значительных невосполнимых потерь. Особенность этого типа свёртки в том, что OAR = 0, если значение хотя бы одного критерия равно нулю. Для подсчета OAR в этом случае определяется произведение критериев возведенных в соответствующую степень. Численно степень, в которую возводится каждый критерий, равна «приоритету» этого критерия определенному в результате анализа работы. Мультипликативная свёртка может применяться, например, при отборе операторов электростанций, пилотов, военнослужащих, пожарных и полицейских. Важно понимать, что в ЦО для этого должны применяться именно рейтинговые шкалы включающие «нулевые» значения, а не порядковые (ранговые) шкалы в которых таких значений нет.

29

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

к исполнителям»). Представление результатов в форме профиля часто применяется в методах ЦО, ориентированных на развитие. Оптимизация индивидуальных планов развития строится с учетом приоритетов («весов» критериев) и возможностей изменения наиболее приоритетных критериев/компетенций в программах тренингов и курсов повышения квалификации. Для оценки обобщенной результативности этих программ и определения количественных изменений OАR также применяются аддитивные свертки.

При применении тестовых методов измерения профессионально важных навыков и личностных качеств в одном комплексе с имитационными упражнениями требуется соблюдать описанные в данном разделе правила с последующим контролем представленных в форме OАR качества результатов при помощи оценки критериальной валидности (см. 2.3 Контроль качества). В ISO 10667—2:2011 (E) указано, что если выводы о результатах основаны на интеграции данных, то поставщик услуг должен предоставить обоснование правомерности применяемых им правил интеграции данных (см. пункт 5.5, р. 12). В стандарте содержится информация о шкалах психометрических тестов, ориентированных на групповые нормы (указаны в качестве примеров шкала «Стэнов», «Z» и «T» шкалы (пункт 2.17, р. 4)).

2.2 Адаптивность и гибкость программ оценки. Возможность адаптации валидизи-рованных программ ЦО к новым условиям предусмотрена стандартами: «Исследования, направленные на обобщение данных о валидности ЦО, показывают, что общая оценка ЦО, полученная в соответствии этими нормативами (правилами валидизационных исследований — А.Е.), демонстрирует значительную прогностическую валидность. Эти данные подтверждают возможность использования нового ЦО в различных условиях, если критерии оценки, упражнения, наблюдатели и характеристики участников в новой ситуации аналогичны тем, что были задействованы в процессе валидизации, а также, если будут применены аналогичные процессы наблюдения, составления отчёта, интеграции данных» (р. 250). Требования к адаптации программ к новым организационным и культурным условиям подробно изложены в стандартах ЦО последнего поколения в разделе «Проведение ЦО в разных культурных контекстах»12.

Принцип гибкости на уровне организационного плана ее реализации заключается в том, что для проведения одной и той же программы ЦО могут быть разработаны различные организационные планы. Гибкость программы на этом уровне заключается в том, что допускается изменение очередности проведения методик для разных участников. Согласно принципу равноправия все участники должны пройти один и тот же набор методик, но, если остаточные эффекты процесса проведения конкретной методики не могут оказать влияние на успешность выполнения другой методики или изменить стиль поведения участников в процессе выполнения ими имитационных упражнений, то допускаются различные перестановки методик. Например, психометрические тесты могут различным образом чередоваться с имитационными упражнениями, если сразу после завершения теста или упражнения участники не получают от ведущих обратной связи (оценки их результатов). Самооценочные реакции участников на результаты выполнения методик неизбежны, но если эти реакции не поддерживаются и не корректируются ведущими и экспертами-наблюдателями, то подобные остаточные эффекты допустимы. Важно также, чтобы стимульный материал одних методик не содержал подсказок по отношению к другим методикам. В некоторых центрах оценки, ориентированных на развитие и обучение, обратная связь, следующая сразу после завершения методики, или «поддерживающее поведение» экспертов, ведущих упраж-

12 См. Conducting assessment centers across cultural contexts, p. 251-252.

30

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

нения, допустимы, но тогда перестановки методик возможны только в констатирующих, а не в формирующих частях этих программ.

Принцип гибкости программ ЦО позволяет оптимизировать организационные планы и существенно сократить время, необходимое для их проведения. Например, организационный план может быть составлен так, что группа в полном составе выполняет одновременно только одно групповое имитационное упражнение, а индивидуальные упражнения, тесты, письменные упражнения и т.п. могут выполняться участниками в «параллельном режиме» — то есть, разные участники или подгруппы участников в разных помещениях одновременно выполняют разные методики. Принцип адаптивности и гибкости является одним из основных преимуществ метода ЦО. Для доказательства того, что все требования стандартов при переносе или модификации программ соблюдаются, проводится контроль качества (2.3). В ISO 10667—2:2011 (E) в пункте 5.8.2 «Periodically reviewing the assessment» (р. 13-14) указаны требования, касающиеся адаптации программ к новым условиям. Указано, что поставщик услуг должен контролировать то, что:

• критерии оценки не утратили актуальность (подпункт a);

• используется достаточно хорошая (качественная) практика (подпункт b);

• в стране, в которой проводится оценка, поддерживается необходимая правовая защита (подпункт c);

• при изменении целей валидность метода изменилась в допустимых пределах (подпункт d);

• несмотря на изменения содержания программы и способов оценивания, целесообразно применение данного метода (подпункт e);

• предприняты необходимые меры обеспечения равноправия по отношению всех подгрупп участников (подпункт f).

2.3 Контроль качества. Правила внедрения метода ЦО и оказания услуг по оценке персонала предусматривают принципиальную возможность внешнего, независимого (инспекционного) контроля качества как процессов проведения, так и результатов оценивания. Три типа контрольных процедур могут применяться для проверки того, что заявленные в программах показатели качества — организационно-технические, экспертно-аналитические и эмпирико-статистические — выполнены.

Организационно-технический тип контроля проводится для того, чтобы проверить, все ли предусмотренные программой оценки процедуры проведены в соответствии с утвержденным организационным планом, а их результаты описаны в соответствующих документах полностью без пропусков и нарушений инструкций. Этот тип контроля может проводиться только лицами, имеющими, например, на основании правомочного договора, право допуска к персональным данным участников и внутренней (промежуточной) документации, в которой описываются результаты всех проведенных процедур оценки (протоколам наблюдений, протоколам несогласованных экспертных оценок, протоколам выполнения участниками письменных заданий, первичным результатам выполнения психометрических тестов и т.п.). Исполнители имеют право не предоставлять для контроля информацию, составляющую профессиональную тайну (например, ключи психометрических тестов), но тогда валидность таких непрозрачных для проверяющих и участников звеньев анализа данных должна быть подтверждена эмпирико-статистически (см. ниже). Возможность проведения инспекционного контроля и состав лиц, которые имеют право его проводить (контролеров), должны быть согласованы до начала проведения оценочных процедур и отражены в документах, регламентирующих правила выполнения программы (приложениях к договорам, контрактам и т.п.). Чтобы обеспечить возможность проведения этой формы контроля, испол-

31

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

нители должны хранить все промежуточные документы до подписания документов (актов), подтверждающих, что работа выполнена полностью и на должном уровне.

Экспертно-аналитический тип контроля проводится в тех случаях, если качество программы или отдельных оценочных инструментов может быть оценено только на основании независимых точек зрения компетентных специалистов. Например, содержательная валидность имитационных упражнений контролируется при помощи шкалирования степени близости содержания моделируемых и реальных проблемных ситуаций, и поведенческих примеров проявления компетенций. Чтобы проконтролировать выполнение принципа имитации, два или более независимых внешних эксперта, т.е., не являющихся экспертами компании, которая проводит оценку, должны количественно оценить в шкалах типа «шкалы Лайкерта» реалистичность моделируемых ситуаций и поведенческих индикаторов компетенций. При принятии решений о высоком/низком качестве программы или отдельной методики рекомендуется руководствоваться принципами комплексной гуманитарной экспертизы или методами, применяемыми в прикладной социологии.

Эмпирико-статистические методы контроля качества проводятся при помощи статистических методик сопоставления результатов оценки, полученных при проведении программы цо, и объективных, внешних, независимых от ЦО оценок результативности работы участников. Такими объективными критериями оценки работы могут быть, например, производительность труда работника, успешность прохождения им квалификационных испытаний, премирование и другие принятые в организации формы признания достижений работника. В качестве объективных независимых критериев могут выступать также принятые в организации формы экспертной оценки компетентности работника. Для сопоставления результатов оценивания участников и объективных критериев результативности работы применяются методики определения критериальной валидности. Технически критериальная валидность программы ЦО определяется при помощи подсчета различных мер статистической связи множества итоговых оценок участников программы и соответствующего множества объективных оценок результативности их работы. Критериальная валидность считается обоснованной, если доказано, что эта связь статистически значима (то есть, вероятность ошибки не превышает заранее выбранный допустимый уровень).

Контролируемой эмпирико-статистическими методами характеристикой является также конструктная валидность. Контроль конструктной валидности проводится при помощи метода статистической проверки гипотез о внутренней согласованности оценок определенной компетенции, полученных при помощи набора дополняющих друг друга методик, предназначенных для ее оценивания, и, напротив, отсутствия статистической связи этих оценок с оценками, полученными при помощи методик, предназначенных для оценки других компетенций. Технически для обоснования конструктной валидности применяют методы корреляционного, дисперсионного, факторного анализа и другие методы статистической проверки гипотез. Конструктная валидность программы считается обоснованной, если проверка гипотез подтверждает наличие статистических связей, свидетельствующих о внутренней согласованности оценок компетенций (конструктов), полученных при помощи предназначенных для этого методик в соответствии с моделью, представленной в форме матрицы «Критерии оценки Х Методики оценки».

В стандартах Великобритании требования контроля и валидизации изложены в разделе «Мониторинг результатов» (р. 24-25). В национальных стандартах Германии принцип контроля включен в стандарт № 9 «Оценка». В международных стандартах для определения и контроля валидности рекомендуется использовать Стандарты и принципы валидизации, которые опубликованы в Принципах валидизации и использования процедур индивидуаль-

32

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

ного отбора (Society for Industrial and Organizational Psychology Inc., 2003) и в Стандарты образовательного и психологического тестирования (American Educational Research Association, American Psychological Association, & National Council on Measurements in Education, 1999). В ISO 10667—2:2011 (E) под валидностью услуг по оценке подразумевается степень соответствия интерпретаций и выраженных в баллах результатов оценивания целям оценивания, теориям и накопленным доказательствам. Поясняется, что стратегии сбора данных для обоснования валидности определяются в зависимости от того, для достижения каких целей будут использоваться результаты оценивания (см. пункт 2.27, р. 6). В списке источников, на которые следует опираться при выполнении стандарта, указаны в частности принципы валидизации, принятые Ассоциацией индустриальной и организационной психологии (Principles for the Validation and Use of Personnel Selection Procedures, 2003) и международные стандарты ЦО (International Task Force on Assessment Center Guidelines, 2009).

Требования к постоянному контролю качества услуг по оценке приведены в пункте 5.8.1. «Ongoing monitoring of the assessment», в котором сказано, что поставщик услуг должен постоянно осуществлять контроль за качеством поставляемой им информации, а в случаях обнаружения ошибок должен вносить соответствующие поправки и корректировать процедуры оценивания. При обнаружении ошибок поставщик услуг должен принимать меры, минимизирующие любые негативные последствия (р. 13).

3. Этические принципы Центра оценки

Принципы этой группы являются конкретизацией в соответствии с положениями стандартов ЦО этического кодекса Российского Психологического Общества и Стандарта профессиональной деятельности в области кадрового менеджмента Национального союза кадровиков. К ним относятся: принцип целесообразности (3.1); принцип компетентности (3.2); принцип ответственности (3.1).

3.1 Целесообразность. Решение о целесообразности проведении ЦО должно быть обосновано. Цели, которые должны быть достигнуты в результате оценивания, должны быть согласованы заинтересованными сторонами (представителями организации заказчиками и исполнителями) и указаны в программе оценки. Информация о целях должна быть доведена до всех участников. Методики оценки степени достижения декларированных в программе целей также должны быть согласованы заинтересованными сторонами до начала процесса оценивания (см. принцип контроля качества). «Как правило, ЦО используются для трех основных целей: 1) для прогнозирования будущего поведения кандидата; 2) для диагностики потребностей участников в развитии компетенций; 3) для развития участников по заранее определенным параметрам/компетенциям» (р. 250). В стандартах ЦО рассматривается целенаправленность двух основных типов ЦО: ориентированный на отбор (assessment center) и ориентированный на развитие (developmental assessment center).

Первый тип сфокусирован преимущественно на оценке уровней сформированности компетенций, которые необходимо учитывать при принятии кадровых решений, касающихся отбора претендентов (например, отбора кандидатов на вакантные должности или продвижение по служебной лестнице). Второй — сфокусирован на выявлении и разделении между устойчивыми профессионально важными индивидуальными особенностями, с которыми участнику придется считаться в процессе адаптации к новым условиям работы и при выполнении новых функциональных обязанностей, и теми качествами, которые могут быть желательным образом изменены или сформированы в результате проведения специально предназначенных для этого обучающих программ и развивающих тренингов. Программы ЦО, ориентированные на развитие, позволяют оценить уровень потребностей

33

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

участников в развитии и обучении, их способности к усвоению различных по содержанию знаний и навыков их применения. На основе результатов этого типа ЦО разрабатываются и корректируются индивидуальные планы развития, обучения и повышения квалификации, перспективы должностного роста, которые зависят от профессиональной компетентности участников.

Для эмпирической оценки того, в какой степени объявленная в программе цель ЦО достигнута, определяется критериальная валидность результатов. Критериальная валидность является единственным количественным параметром качества оценки, который входит в формулы расчета оправданности затрат на проведение ЦО, то есть — экономической целесообразности. Все программы ЦО должны реализовываться исключительно сообразно своему прямому назначению. Многоцелевые ЦО и технологии, реализующие методологию ЦО, но не являющиеся признанным международным сообществом стандартизованным типом ЦО, данному принципу целесообразности не соответствуют. Нецелевое использование техник оценки, разработанных в рамках метода ЦО, например, с целью маркетинга средств оценивания (инструментов оценки), предлагаемой компанией-разработчи-ком модели компетенций или проведения в жизнь идей кадровой политики, не декларированных в явной форме в описаниях программ, является нарушением данного принципа.

В ISO 10667—2:2011 (E) положение о необходимости согласования потребностей в оценке и следующих из них целей оценивания поставщиком услуг и клиентом указаны в пункте 4.1 «Identification of assessment needs» (р. 6-7). Для выполнения принципа целесообразности ЦО в ISO важно то, что согласованные цели в интересах всех сторон должны быть отражены в договорных документах (соглашениях). В документах также должны быть указаны методики оценки полученных результатов с точки зрения степени достижения указанных в программе целей.

3.2 Компетентность. Под компетентностью в данном принципе понимается способность экспертов-наблюдателей и специалистов, участвующих в проведении ЦО, соответствовать стандартизированным, то есть, указанным в международных стандартах в разделах «Assessor training» и «Conducting assessment centers across cultural contexts», требованиям к их знаниям и умениям. Требования к подготовке экспертов-наблюдателей и специалистов разделены на два уровня. Первый, базовый уровень подготовки отвечает общим требованиям, предъявляемым к любому сотруднику, привлекаемому к проведению ЦО независимо от его функциональных обязанностей. Эти требования являются общими для всех организаций, проводящих ЦО, и они не зависят ни от организационной среды, ни от страны/региона, в которых проводится ЦО. Базовый уровень подготовки требует от всех сотрудников знать международные стандарты ЦО и уметь выполнять обязанности эксперта-наблюдателя. Эксперт-наблюдатель должен:

• знать параметры, которые будут оцениваться в ЦО, и поведенческие индикаторы всех оцениваемых параметров;

• знать содержание всех включённых в программу имитационных упражнений и параметры, оцениваемые в каждом упражнении;

• уметь проводить наблюдение, фиксацию, классификацию и оценку поведения, имеющего отношение к оцениваемым параметрам;

• уметь предотвращать ошибки в наблюдении и оценке, в том числе связанные с неумением отделять регистрацию реального поведения от интерпретаций поведения участников экспертом.

34

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

Экспертов-новичков рекомендуется допускать до работы, только если с момента их подготовки прошло не более шести месяцев. Проверять их компетентность рекомендуется не реже одного раза в два года.

Второму уровню подготовки должны соответствовать те сотрудники ЦО, которым предстоит проводить имитационные упражнения, ролевые игры, собеседования или вообще руководить проведением ЦО. От экспертов второго уровня требуется не только знать все принципы стандартизации, но и уметь выполнять функциональные обязанности консультантов, выходящие за рамки обязанностей экспертов-наблюдателей. Будем называть их «эксперты-сотрудники». Эксперт-сотрудник должен:

• знать и уметь всё, что знает и умеет обученный эксперт-наблюдатель;

• уметь, в случае необходимости, выполнять функции ролевого игрока в интерактивных упражнениях, например, моделирующих упражнениях «один на один» или упражнениях на быстрый поиск и анализ информации;

• знать проблемы организации-заказчика, связанные с целями проведения ЦО;

• знать работы, близкие по содержанию к оцениваемой работе и соответствующие им профессиональные стандарты трудовой деятельности, принятые (опубликованные) в Российской Федерации;

• знать не только содержание критериев оценки и их определения, но и характер связи оцениваемых критериев с производительностью труда или принятыми организацией объективными критериями оценки качества работы, т.е. показатели критериальной валидности критериев оценки;

• знать конкретные примеры работы, отвечающей высоким стандартам качества, равно как и примеры работы, не соответствующие принятым в РФ профессиональным стандартам;

• досконально знать и понимать все включенные в ЦО методики/техники оценки: содержание упражнений, параметры оценки, примеры ожидаемого или типичного поведения, образцы фактического поведения, которые должны быть количественно определены или измерены на каждом этапе ЦО, правила шкалирования (отображения в поведенческих рейтинговых шкалах степени выраженности компетенций/ оцениваемых критериев) и т.п.;

• знать и уметь не только поэтапно оценивать каждый критерий, но и применять правила согласования экспертных оценок критериев/компетенций разными экспертами;

• знать и понимать правила и алгоритмы объединения (интеграции) согласованных экспертных оценок компетенций, полученных участниками в имитационных упражнениях, с оценками компетенций, полученными участниками при помощи других методик;

• уметь проводить все предусмотренные стандартами формы обратной связи;

• знать все правовые и этические положения (статьи) федеральных законов и этических кодексов общественных организаций РФ, регламентирующие проведение оценочных процедур, предусмотренные программой ЦО.

В ISO 10667—2:2011 (E) требования к квалификации тех, кто оказывает услуги по оцениванию, изложены в пункте 3.2.4 «Соmpetense and traning» (р. 6). В стандарте указано также, что те, кто проводит оценку, должны быть готовы предоставить документально подтвержденные, проверяемые доказательства своей компетентности (р. 19).

3.3. Ответственность. Требование стандартов соблюдать национальное законодательство указано в разделе «Программные заявления ассессмент центра» (Assessment center

35

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

policy statement, р. 247-248), а этические нормы, следовать которым должны исполнители ЦО в разных организационных и культурных контекстах, изложены в разделе «Проведение ЦО в разных культурных контекстах» (Conducting assessment centers across cultural contexts, с. 251-251). Пункт 7 «Программных заявлений» гласит: «При разработке программы ЦО, его валидизации, проведении и внедрении результатов должны соблюдаться законы, существующие в данной стране или регионе, а также внутренние нормативные документы организации. ... В описании должны быть четко определены законы, которые имеют отношение к программе ЦО, и заявлено, как будут обеспечиваться правовые нормы» (р. 248). В нашей стране такими законами являются «Трудовой кодекс РФ», Закон «Об образовании в Российской Федерации» и Закон РФ «Об авторском праве и смежных правах». Ответственность за соблюдение этих законов несут, в соответствии с нормами действующего в РФ законодательства, все вовлечённые в процесс проведения ЦО лица (т.е. исполнители, представители организации, в которой проводится ЦО, и участники ЦО). В разделах договорных документов, касающихся ответственности сторон за выполнение программ ЦО, рекомендуется ссылаться на конкретные положения (статьи) указанных законов.

Раздел стандартов «Проведение ЦО в разных культурных контекстах» указывает, что при адаптации и ревалидизации программ ЦО, разработанных в одном регионе, для других регионов или стран, необходимо принимать во внимание:

• степень общности культурных, деловых, правовых и социально-политических условий в разных странах, например, культурные убеждения и поведение, местные законы бизнеса;

• различия в национальных нормативах, установленных местными профессиональными ассоциациями;

• совокупность навыков/параметров, необходимых для успеха в профессиональной деятельности;

• совокупность стандартов успешности/поведения, необходимых для успеха профессиональной деятельности.

Исполнители, в том числе иностранные консалтинговые компании, и заказчики ЦО, действующие на территории Российской Федерации, обязаны, в соответствии с вышеупомянутыми требованиями (см. р. 251-252), следовать не только международным стандартам, но и учитывать «Стандарты профессиональной деятельности в области кадрового менеджмента», принятые Национальным союзом кадровиков РФ (2007), и соблюдать нормы Этического кодекса психолога, принятого V съездом Российского Психологического Общества (2012). В разделах договорных документов, касающихся ответственности за выполнение программ ЦО, рекомендуется ссылаться на конкретные положения (статьи) этих кодексов, излагающих требования научной обоснованности (валидности) внедряемых в практику методик и квалификации практикующих специалистов.

Письменные жалобы о нарушениях, допущенных психологами, должны разбираться Этическим комитетом Российского Психологического Общества (РПО). Санкции, применяемые к психологам, предусматривают: «предупреждение от имени Российского психологического общества (общественное порицание), приостановление членства в Российском психологическом обществе, сопровождающееся широким информированием общественности и потенциальных клиентов об исключении данного специалиста из действующего реестра психологов РПО. Информация о применяемых санкциях является общедоступной и передается в профессиональные психологические ассоциации других стран. ... В случае серьезных нарушений Этического кодекса Российское психологическое общество может ходатайствовать о привлечении Психолога к суду». Этический комитет и Экспертный совет РПО, в соот-

36

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

ветствии с принятыми на III съезде РПО (2003) изменениями и дополнениями в Устав РПО, могут оказывать помощь в решении спорных вопросов и в суде: «Для утверждения норм Этического кодекса и в соответствии с ними РПО может выступать в суде в качестве общественного обвинителя или защитника»13. Нормы ответственности за качество работ с применением психологических методик оценки могут измениться после вступления в силу федерального закона «О психологической помощи населению Российской Федерации» и завершения разработки профессиональных стандартов (в стадии разработки, ориентировочно до 2015 г.). После принятия закона о психологической помощи и публикации профессиональных стандартов принципиальная возможность разбора в судебном порядке спорных случаев, связанных с оценкой методом ЦО, должна возрасти.

В отличие от США, Германии и Великобритании практика судебных разбирательств спорных вопросов, связанных с применением метода ЦО, в России пока не развита (Ерофеев, Макаров, 2013). К тому же часть специалистов, проводящих ЦО, не являются психологами или членами иных общественных организаций, правомочных разбирать спорные вопросы в соответствующих этических комитетах. В этих условиях единственным способом обеспечить ответственность исполнителей ЦО является чёткое изложение требований к качеству программ ЦО и санкций за неисполнение этических, методологических и методических принципов ЦО в договорных документах. Например, если в документах указывается, что работа должна проводиться в соответствии с требованиями международных стандартов последнего поколения, описанных в статье «Нормативы и этические принципы создания и проведения Центра оценки» (2009) и ISO 10667—2:2011 (E), это означает, что исполнитель берет на себя обязательство соблюдать все требования стандартов и, соответственно, несёт ответственность за их неисполнение, предусмотренную соответствующим пунктом договора. Права и обязанности участников оценки в ISO 10667—2:2011 (E) изложены в Приложении А «Rights and responsibilities of assessment participants: Guidelines and expectations) (р. 15-16). Рекомендации к составлению договоров об оказании услуг по оценке изложены в пункте 4.3. «Assessment services agreement» (р. 7-8).

Заключение

Как было заявлено в начале, наша цель — обсудить критерии, с помощью которых можно отличить программы оценивания, действительно реализующие метод Центр Оценки от мимикрирующих под ЦО суррогатов. Изложенные выше 10 принципов метода ЦО в их совокупности и могут применяться в качестве такого критерия. Теперь, чтобы ответить на вопрос: «Является ли конкретная программа оценки формой реализации метода ЦО?», — достаточно составить опросник из 10 пунктов с вопросами типа: «Выполняются ли в программе требования такого-то принципа метода ЦО?», — и предложить его эксперту. Если хотя бы один ответ респондента будет: «Определенно НЕТ», следовательно, с точки зрения этого респондента, данная программа оценки не является стандартизованной программой ЦО. Если в качестве респондентов выступают квалифицированные независимые эксперты-инспекторы, это означает, что предложенная вниманию экспертов программа комплексной оценки не прошла экспертизу и не является формой реализации метода ЦО.

При этом важно понимать, что далеко не во всех случаях дисквалифицированная такой экспертизой программа автоматически непригодна для проведения качественной оценки

13 См. Устав Общероссийской общественной организации «Российское психологическое общество» (РПО). Российский психологический журнал. Том 1. № 1. М., 2004. С. 54.

37

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

компетенций. Отнюдь. Поиски менее трудоёмких, чем ЦО технологий комплексной оценки персонала, ведутся непрерывно на протяжении более чем полувековой истории существования метода. И существуют достаточно валидные альтернативы ЦО. Просто их нельзя и не нужно называть программами ЦО. Конечно, гибкость и адаптивность метода ЦО, его высокая содержательная и очевидная валидность, ясность механизмов процедур оценивания и признаваемая многими справедливость правил их проведения пока обеспечивают явное конкурентное преимущество этого метода и его привлекательность для заказчика. Соответственно велик и соблазн выдать менее трудоёмкий и потому с меньшей себестоимостью суррогат за настоящую программу ЦО. Но обманывать недостаточно осведомленных о стандартах ЦО участников и заказчиков, в принципе, нехорошо. Да и на суррогатном фундаменте ничего дельного и долговечного не построить. Поэтому предпринятая в данной статье попытка построения процедуры распознавания истинных программ ЦО, соответствующих всем требованиям стандартов, и внешне похожих программ-подделок представляется нам достаточно актуальной для дальнейшего развития отечественной практики оценки человеческих ресурсов и совершенствования систем управления персоналом.

Литература

Базаров, Т.Ю. (2011). Технология Центров Оценки персонала: процессы и результаты: практическое пособие. М.: КНОРУС.

Вучетич, Е.В. (2011). Комментарий к Нормативам и этическим принципам создания и проведения Центра оценки. (Электронный ресурс). Организационная психология. Т1. № 2. 51-52. URL: http://orgpsyjournal.hse.ru (дата обращения: 30.09.2013).

Ерофеев, А.К. (2004). Диагностический подход к оценке человеческих ресурсов. Методы практической социальной психологии: Диагностика. Консультирование. Тренинг: Учеб. пособие для вузов. Под ред. Ю. М. Жукова. М.: Аспект Пресс. 23-48.

Ерофеев, А.К. (2012). Десять принципов стандартизации метода «Центр оценки». Организационная среда XXI века: Статьи и доклады III Международной научно-практической конференции. Москва, 24 апреля 2012 г. М.: МЭСИ. 152-157.

Ерофеев, А.К., Макаров, К.О. (2013). О некоторых правовых нормах регламентации деятельности специалистов в области оценки человеческих ресурсов и диагностики организационного поведения. Организационная среда XXI века: Статьи и доклады IV Международной научно-практической конференции. Москва, 21 мая 2013 г. М.: МЭСИ. 75-80.

Ерофеев, А.К., Метнева, С.Б. (2011). Компетентностный подход к оценке интеллектуальных способностей. Организационная среда XXI века: Статьи и доклады II Международной научно-практической конференции. Москва, 21 февраля 2011 г. М.: МЭСИ. 152-157. Ерофеев, А.К., Метнева, С.Б. (2013). Ассессмент-технологии диагностики организационного поведения. Организационная среда XXI века: Статьи и доклады IV Международной научнопрактической конференции. Москва, 21 мая 2013 г. М.: МЭСИ. 68-75.

Кляйнманн, М. (2004) Ассессмент-Центр. Пер. с нем. Х.: Изд-во Гуманитарный Центр. Маслов, Е.В. (2011). Комментарий к Нормативам и этическим принципам создания и проведения Центра оценки. (Электронный ресурс). Организационная психология. Т1. № 2. 45-47. URL: http://orgpsyjournal.hse.ru (дата обращения: 30.09.2013).

Международная комиссия по нормативам создания и проведения Центра оценки (2011). Нормативы и этические принципы создания и проведения Центра оценки (пер. с англ.:

38

Организационная психология. 2013. Т. 3. №4

www.orgpsyjournal.hse.ru

Мальцева М.Ю.) (Электронный ресурс). Организационная психология. Т. 1. № 2. 26-44. URL: http://orgpsyjournal.hse.ru (дата обращения: 30.09.2013).

Торнтон, Д. (2012). Evidence That Assessment Center Judgments Measure Dimensions of Management Performance. (Электронный ресурс). Организационная психология. Т 1. № 3. 32-38. URL: http://orgpsyjournal.hse.ru (дата обращения: 30.09.2013).

Arbeitskreis Assessment Center e.V. (2004). Standards der Assessment Center Technik. Hamburg, Deutschland.

Germany: Standards der assessment-center-technik. (2004). Uberblick und

Hintergrundinformationen Hamburg, Germany: Arbeitskreis Assessment Centere. V.

International Task Force on Assessment Center Guidelines (2009). Guidelines and ethical considerations for assessment center operations. International Journal of Selection and Assessment, 17 (3), 243-254.

ISO (2011a). Assessment service delivery — Procedures and methods to assess people in work and organizational settings — Part 1: Requirements for the client. Reference number ISO 10667— 1:2011 (E). Geneva, Switzerland: International Standards Organization.

ISO (2011b). Assessment service delivery — Procedures and methods to assess people in work and organizational settings — Part 2: Requirements for the service provider. Reference number ISO 10667—2:2011 (E). Geneva, Switzerland: International Standards Organization.

Society for Industrial and Organizational Psychology & American Psychological Association. (2003). Principles for the Validation and Use of Personnel Selection Procedures (4th edn). Bowling Green, OH: Society for Industrial and Organizational Psychology. Available at http://www.siop.org/_ Principles/principles.pdf (accessed 1 August 2008).

The British Psychological Society (2005). Design, Implementation and Evaluation of Assessment and Development Centers. Best Practice Guidelines.

Thornton III, G.C., Gibbons, A.M. (2009). Validity of assessment centers for personnel selection. Human Resource Management Review. 19. 169-187.

39

Organizational Psychology - Russia. 2013. Vol. 3. No 4

www.orgpsyjournal.hse.ru

Assessment center. Features of the method and principles of standardization program evaluation

Aleksandr K. EROFEEV

Lomonosov Moscow State University, Moscow, Russia

Abstract

This article is addressed to teachers of economic and management disciplines, as well as specialists in the field of human resource management that in a teaching or consulting practice used Assessment Center method for assessment of competencies or teach it to others. We want to draw readers' attention to the methodical, methodological and ethical principles of the Assessment Center, which violate the terms of international standards, are impermissible and unacceptable. The introductory part of this article presents authoritative experts’ estimates of the real practice of the using of Assessment Centers in Russia. Some experts state the gross violations of international standards by Russian practices and show examples of standards requirements that are violated most often. All critics unanimously agree that the most frequently violated the requirements of assessment results quality control by determining their validity. Opposite point of view is that the Russian practice is generally consistent with international standards. The main part of the article describes the author’s interpretation of the latest edition of the international standards of Assessment Center. Key provisions of international standards are presented in the form of 10 basic principles of Assessment Center method. Basic principle in this «Systemic ten principles» is «The principle of equality and transparency,» that takes a compliance with other 9 principles, grouped into three groups: «Methodical principles», «Methodological principles> and «Ethical Principles». The minimum requirements of the standard include into this ten principles under which evaluation program can be considered as legitimate forms of implementation of the assessment centers method. The final part of the article describes the method by which on the basis of «Systemic dozens of principles» can reasonably identify any program of complex assessment as a legitimate form of realization of the Assessment Center method, or refer to the set of surrogate imitations, which resemble, but are not programs of assessment centers.

Keywords: Assessment center; competency; validity; standardized; standard; ISO.

References

Bazarov, T.Yu. (2011). Tekhnologiya Tsentrov Otsenki personala: protsessy i rezul’taty: prakticheskoe posobie [Staff assessment center technology: processes and outcomes: a practical guide]. Moscow: KNORUS.

Arbeitskreis Assessment Center e.V. (2004). Standards der Assessment Center Technik. Hamburg, Deutschland.

Erofeev, A.K. (2004). Diagnosticheskiy podkhod k otsenke chelovecheskikh resursov. Metody prakticheskoy sotsial'noy psikhologii: Diagnostika. Konsul'tirovanie. Trening [Methods of practical social psychology: Diagnostics. Counseling. Training]: Ucheb posobie dlya vuzov / Yu.M. Zhukov, A.K. Erofeev, S.A. Lipatov i dr., Pod red. Yu.M. Zhukova. Moscow: Aspekt Press. 23-48.

Address: Mokhovaya Str., 11, Build. 9, 125009, Moscow, Russia. Email: laspi02@rambler.ru

40

Organizational Psychology - Russia. 2013. Vol. 3. No 4

www.orgpsyjournal.hse.ru

Erofeev, A.K. (2012). Desyat' printsipov standartizatsii metoda «Tsentr otsenki» [Ten principles of standardization method “Assessment Center”]. Organizatsionnaya sreda XXI veka: Stat'i i doklady III Mezhdunarodnoy nauchno-prakticheskoy konferentsii. Moscow, 24 april 2012. Moscow: MESI. 152-157.

Erofeev, A.K., Makarov, K.O. (2013). O nekotorykh pravovykh normakh reglamentatsii deyatel’nosti spetsialistov v oblasti otsenki chelovecheskikh resursov i diagnostiki organizatsionnogo povedeniya [About some legal norms of specialists’s activity regulation in the field of human resource assessment and diagnosis of organizational behavior]. Organizatsionnaya sreda XXI veka: Stat’i i doklady IV Mezhdunarodnoy nauchno-prakticheskoy konferentsii. Moscow 21 may 2013. Moscow: MESI. 75-80.

Erofeev, A.K., Metneva, S.B. (2011). Kompetentnostnyy podkhod k otsenke intellektual’nykh sposobnostey [Competence-based approach to the assessment of intellectual abilities]. Organizatsionnaya sreda XXI veka: Stat’i i doklady II Mezhdunarodnoy nauchno-prakticheskoy konferentsii. Moscow, 21 february 2011. Moscow: MESI. 152-157.

Erofeev, A.K., Metneva, S.B. (2013). Assessment-tekhnologii diagnostiki organizatsionnogo povedeniya [Assessment-technologies of diagnosis of organizational behavior]. Organizatsionnaya sreda XXI veka: Stat’i i doklady IV Mezhdunarodnoy nauchno-prakticheskoy konferentsii. Moscow, 21 may 2013. Moscow: MESI. 68-75.

Germany: Standards der assessment-center-technik. (2004). Uberblick und

Hintergrundinformationen Hamburg, Germany: ArbeitskreisAssessment Centere. V.

International Task Force on Assessment Center Guidelines (2009). Guidelines and ethical considerations for assessment center operations. International Journal of Selection and Assessment, 17(3), 243-254.

ISO (2011a). Assessment service delivery — Procedures and methods to assess people in work and organizational settings — Part 1: Requirements for the client. Reference number ISO 10667-1:2011(E). Geneva, Switzerland: International Standards Organization.

ISO (2011b). Assessment service delivery — Procedures and methods to assess people in work and organizational settings — Part 2: Requirements for the service provider. Reference number ISO 10667-2:2011(E). Geneva, Switzerland: International Standards Organization.

Kleinmann, M. (2004). Assessment-Tsentr [Assessment center] Per. s nem. Kh.: Izd-vo Gumanitarnyy Tsentr.

Maslov, E.V. (2011). Kommentariy k Normativam i eticheskim printsipam sozdaniya i provedeniya Tsentra otsenki [Commentary to Regulations and ethical principles of creating and conducting assessment center]. (Elektronnyy resurs). Organizatsionnaya psikhologiya. Vol. 1. №2. 45-47. Retrieved from: http://orgpsyjournal.hse.ru (data obrashcheniya: 30.09.2013)

Mezhdunarodnaya komissiya po normativam sozdaniya i provedeniya Tsentra otsenki (2011). Normativy i eticheskie printsipy sozdaniya i provedeniya Tsentra otsenki [Regulations and ethical principles of creating and conducting assessment center] (per. s angliyskogo: Mal’tseva M.Yu.) (Elektronnyy resurs). Organizatsionnaya psikhologiya. Vol. 1. №2. 26-44. Retrieved from: http://orgpsyjournal.hse.ru (data obrashcheniya: 30.09.2013)

Society for Industrial and Organizational Psychology & American Psychological Association. (2003). Principles for the Validation and Use of Personnel Selection Procedures (4th edn). Bowling Green, OH: Society for Industrial and Organizational Psychology. Retrieved from: http:// www.siop.org/_Principles/principles.pdf (accessed 1 August 2008).

41

Organizational Psychology - Russia. 2013. Vol. 3. No 4

www.orgpsyjournal.hse.ru

The British Psychological Society (2005). Design, Implementation and Evaluation of Assessment and Development Centers. Best Practice Guidelines.

Thornton III, G.C., Gibbons, A.M. (2009). Validity of assessment centers for personnel selection.

Human Resource Management Review. 19. 169-187.

Tornton, D. (2012). Evidence That Assessment Center Judgments Measure Dimensions of Management Performance. (Elektronnyy resurs). Organizatsionnaya psikhologiya. Vol. 1. №3. 32-38. Retrieved from: http://orgpsyjournal.hse.ru (data obrashcheniya: 30.09.2013)

Vuchetich, E.V (2011). Kommentariy k Normativam i eticheskim printsipam sozdaniya i provedeniya Tsentra otsenki [Commentary to Regulations and ethical principles of creating and conducting assessment center]. (Elektronnyy resurs). Organizatsionnaya psikhologiya. Vol 1. №2. 51-52. Retrieved from: http://orgpsyjournal.hse.ru (data obrashcheniya: 30.09.2013)

42