CC BY
66
Организационная психология. 2014. Т. 4. № 4. С. 166-180.
ОРГАНИЗАЦИОННАЯ ПСИХОЛОГИЯ
www.orgpsyjournal.hse.ru
Письмо другу, или мысли вслух
ФРУМКИН Анатолий Александрович
Центр эргономических и психологических технологий, Санкт-Петербург, Россия
Статья написана в жанре личного письма, адресованного персонально Т.Ю. Базарову, и состоит из двух частей. В первой части представлена рецензия на статью Т.Ю. Базарова, А.К. Ерофеева, А.Г. Шмелева «Коллективное определение понятия «компетенции»: попытка извлечения смысловых тенденций из размытого экспертного знания», выдержанная в полемическом стиле. В частности, речь идет о соотношении таких понятий, как «компетенция», «компетентность», «свойство», «качество», «профессионально-важное качество», «психологически-важное качество». Во второй части излагается авторский взгляд на процедуру оценки должностной компетенции, включая инструкции экспертам, примеры критериев оценки компетенций, а также математические формулы расчета должностной компетенции.
Ключевые слова: компетенция, компетентность, свойство, качество, профессионально-важное качество, психологически-важное качество, ассессмент-центр.
О, знал бы я, что так бывает, Когда пускался на дебют,
Что строчки с кровью - убивают, Нахлынут горлом и убьют!...
Б. Пастернак
Вместо предисловия
Тахир, добрый день!
Еще раз внимательно прочитал вашу статью о попытке извлечения смыслов из размытого экспертного знания (Базаров, Ерофеев, Шмелёв, 2014). Я так понял, что ты прислал мне ее не столько для ознакомления, сколько для комментариев. Ни в коем случае не претендую на роль еще одного эксперта, но, извини, руки чешутся поговорить на эту тему. Зная вас, наверное, излишне предупреждать, и все-таки, не обижайтесь на резкий или ироничный тон моих замечаний. Я понимаю, что вы являетесь в данном случае лишь проводниками приведенных определений и идей, так что извиняться я должен перед вашими экспертами. Но я не знаю их, посему обращаюсь к вам, как авторам этой работы.
Да, вот еще что. В процессе работы над текстом я вдруг подумал: а почему я должен комментировать чужие мысли и определения? У меня и свои есть. Поэтому я и назвал свою статью «Письмо другу, или мысли вслух», решив, что текст будет состоять из двух частей: «письмо другу», то есть тебе, в котором я прокомментирую работу ваших экспертов, и «мысли вслух». В этой части я расскажу о своем видении этой проблемы.
Адрес: 198035 Россия, Санкт-Петербург, Наб. реки Фонтанки, 170
E-mail: [email protected]
166
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
Часть первая. Письмо другу
Ну что ж. Сама идея навести порядок если и не с самой дисциплиной «организационная психология», то хотя бы с одним из используемых ею терминов, более чем похвальна. Жаль только, что, судя по заключительным словам статьи, этого сделать так и не удалось. Сразу хочу сказать, что опускаю все комментарии по поводу математического аппарата. Здесь может быть только одно замечание, которое высказал когда-то Петр Иванович Зинченко не по вашему поводу: «Не следует вооружаться компасом, переходя через лужу». Будем считать, что в данном конкретном случае я полностью на стороне Петра Ивановича, хотя очень люблю математику и всегда был только ЗА ее использование в психологии. Возможно, я излишне самоуверен, но многие вещи мне кажутся понятными априори и не заслуживают столь тщательного и всестороннего анализа.
Тахир, если честно, мне совсем не хочется вступать в спор с вашими экспертами. Думаю, что я сохраню твое и свое время, а может быть и время читателей, если просто выскажу свою точку зрения на данную проблему. Но есть такие определения, мимо которых в силу своего вредного характера, я пройти не могу. Мне кажется, что именно на это ты и рассчитывал, когда прислал статью именно мне. Но я постараюсь, быть конструктивным, поэтому в конце коротко озвучу свои мысли на эту тему. А пока продолжу письмо другу.
Начну с самого начала: лично мне кажется, что термин «профессионально-важные качества» (ПВК) в принципе не совсем корректен в том смысле, который в него все вкладывают. Ведь что такое профессионально важные качества? Это и психология, и «знания, умения, навыки» (ЗУНы) (то, что все называют почему-то моделями компетенций), и медицина. Кстати, в этом ряду есть еще одна немаловажная составляющая, которую Ю.В. Заманаева назвала «психологической готовностью». Это совершенно новая составляющая оценки и отбора, выявленная нами в области экстремальной медицины: реанимация, гемодиализ детский и взрослый, хосписы и т.д. В некоторых из них мы проводили исследования по заказу Главного управления здравоохранения Санкт-Петербурга, и совершенно случайно натолкнулись на то, что психологически пригодный медперсонал (особенно средний) в массовом порядке увольняется из этих отделений или становится пациентами неврологических диспансеров. Как оказалось, к общепринятым критериям оценки и отбора следует добавить еще один -«психологическая готовность». Это сложный многокомпонентный критерий, который характеризуется глубиной проработанности экзистенциальных проблем: одиночество, жизнь и смерть, отношение к страданиям, уход близкого человека и т.п. Пришлось разрабатывать инструментарий оценки уровня сформированности этого качества со всеми вытекающими последствиями. Но это не моя «кафедра», посему лучше обращаться по этому вопросу непосредственно к специалисту — Ю.В. Заманаевой. Просто хотелось отметить еще одну составляющую профессионально важных качеств.
Лично я последние лет двадцать занимаюсь первыми двумя составляющими профессионального отбора: психологической и компетентностной. Надо сказать, что в атомной энергетике в процессе аттестации персонала, а лицензия на право работать выдается на один год, каждый сотрудник (кроме уборщиц и начальника атомной станции) проверяется на соответствие медицинским критериям, знаниям и психологии. Как это делается — это отдельная песня, но мы сейчас обсуждаем не процедуру и инструментарий (вот где надо было давно навести порядок!), а суть проблемы. Естественно, что этот набор может быть редуцирован, но в общем виде учтены должны быть все компоненты, которые и являются профессионально важными качествами. Значит, если придерживаться такой точки зрения, а она, на мой взгляд,
167
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
не противоречит здравому смыслу, то ПВК состоят из психологически важных качеств; необходимых знаний, умений и навыков и допустимых медицинских показателей. В связи с этим хочу сделать себе комплимент: я в своей первой книге по оценке персонала (Фрумкин, 2004) еще в 2004 году писал, что под общепринятым термином «ПВК» лично я понимаю только психологически важные качества (ПСВК). Правда, делал я это для того, чтобы читатель понимал: предлагаемый нами метод оценки и отбора персонала затрагивает только психологическую составляющую. Но все равно не могу отказать себе в прозорливости!
Ладно, поехали дальше. Приведу определение, данное вашим экспертом: «Термин «профессионально важные качества» означает качества, важные для профессии, безотносительно к той или иной компании, тогда как термин «компетенции» обозначает качества, важные для эффективной работы данного профессионала именно на данной должности в данной компании».
Ну, во-первых, я не понял, почему разделяются ПВК и компетенции. Если под профессионально важными качествами эксперт понимает психологически важные качества, то это определение — полная ерунда. Для любого, кто хоть раз пытался сформировать перечень психологических критериев оценки, очевидно, что их не существует в отрыве от должностной позиции, от места работы (компании, как пишет ваш эксперт) и пр. Это положение становится понятным любому, кого заставляли заняться инженерно-психологическим анализом деятельности. И хотя это метод для умалишенных (по временным затратам и возможности дойти до сути), но при его использовании становится очевидна совершенно конкретная привязка критериев к задачам и характеру деятельности. Я мог бы привести массу примеров из собственной практики, но не хочется останавливаться на банальностях. Ведь очевидно, что токарь 5-го разряда, который за револьверным станком (я сам был таким) вытачивает крышки для электродвигателей и токарь 5-го разряда, работающий на СПУ (станки с программным управлением) изготавливающий турбинные лопатки(!!!) навряд ли имеют много сходных ПСВК (кроме наличия рук, ног и головы, естественно). Если же ПВК, в понимании эксперта, не имеют отношение к психологии, то тогда просто неясно, что собственно кроется под этой аббревиатурой!
Еще одно определение вашего эксперта: «ПРОФЕССИОНАЛЬНО ВАЖНЫЕ КАЧЕСТВА — это усредненные важные качества, о которых мы говорим применительно ко всем представителям профессии (ко всем бухгалтерам или программистам, например), ко всей отрасли в целом» (Базаров, Ерофеев, Шмелев, 2014, с. 99).
Вышеуказанное определение просто лишено здравого смысла. Я уже говорил о невозможности унификации критериев, свойственных целым отраслям. Особенно, если говорить о психологических критериях. Так что это определение можно и не обсуждать. На мой взгляд, взгляд человека, не имеющего (к счастью) базового психологического образования, с психологией все оказалось как-то проще. Мы для себя этот вопрос решили, разработав метод построения ПСВК и процедуру последующего анализа пригодности персонала с использованием математических методов, то есть количественно^!!). В психологии слово «компетенция» смысла не имеет, хотя переименовать можно все, что угодно даже вопреки здравому смыслу. Можно, конечно, назвать компетенциями все психические функции и индивидуальные (личностные) характеристики, но тут мы войдем в конфликт с терминологий классической психологии, чего мне бы лично не хотелось.
Здесь я хочу сделать небольшое отступление, не имеющее никакого отношения к вопросу о компетенциях. Будем считать это данью тем психологам, которые формировали
168
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
эргономическую науку в нашей стране, а заодно и меня как профессионала. Печально, но нынешние студенты психологических факультетов не помнят или не знают многие фамилии, не говоря уже об их работах. Лично мне повезло. В силу сложившихся обстоятельств я много лет работал рядом с потрясающими профессионалами. Это Б.Ф. Ломов, В.П. Зинченко, В.Д. Небылицын, В.М. Мунипов, В.А. Бодров, Г.М. Зараковский, Л.М. Веккер, Л.И. Палей, П.Я. Шлаен, В.А. Пономаренко, В.В. Давыдов, Г.Л. Смолян, Т.П. Зинченко, А.И. Нафтульев и многие, многие другие. Всех не перечислить. Большая часть из них уже ушли из жизни... Я прекрасно помню наши споры на конференциях, на заседаниях редколлегии НИР «Авангард» (общий НИР девяти оборонных Министерств — «большой девятки» — 1975-2000 гг.). Это были разные люди по жизни, но абсолютно беспощадные профессионально. Мы спорили, мы орали до хрипоты, почти до «мордобоя». НО!!! Они никогда не отождествляли профессиональные разногласия с человеческими отношениями. Честь им и хвала!
Прости за это отступление, но мне очень хотелось публично выразить им свою признательность за все, что они сделали для нашей эргономики и вашей психологии.
Теперь можно и дальше.
Еще одно определение компетенции данное вашим экспертом: «КОМПЕТЕНЦИЯ — это такая комбинация знаний, умений, навыков, мотивационных факторов, личностных качеств и ситуационных намерений, которая обеспечивает эффективное решение исполнителем задач определенного класса в определенной организации, на определенном рабочем месте, в определенном производственном коллективе» (Базаров, Ерофеев, Шмелев, 2014, с. 99). Вот тут уже есть рациональное зерно. «Знания, умения, навыки в определенной организации, на определенном рабочем месте...»! В этом определении формулировка, данная компетенциям как свойствам, наличие которых обеспечивает эффективную деятельность (а ведь все, о чем идет разговор, подходит под нормальное русское слово «СВОЙСТВА» или «КРИТЕРИИ») несколько ближе к истине, ибо наличие или отсутствие знаний, умений и навыков, собственно и говорит о степени компетентности данного человека. Но хотелось бы чуть большей точности. Я понимаю, что при желании в компетенции можно замешать все, но мы же боремся за чистоту не только определений, но и самих критериев, посему все, что касается личностных характеристик и мотиваций надо бы убрать. Это относится к психологической составляющей оценки. Я уже писал о том, что ни в коем случае нельзя смешивать психологию с должностной компетентностью. Такое интегрирование, а по сути, смешение, более того, часто малозаметное вкрапление одних критериев в другие, приводит к парадоксальному результату, ибо в этом случае существенную роль начинает играть соотношение их числа. Не говоря уже о сомнительных возможностях диагностики таких «замешанных» критериев. Я много писал об этом, приводил примеры, так что не хочу повторяться. Да, компетенции, как и психологические качества, строго привязаны к конкретной должностной позиции, так что тут вопросов нет. Хотя именно в ЗУНах возможно существование ряда общих компетенций для некоторых должностных позиций. Это сродни эргономическим требованиям: есть общие эргономические требования, обязательные для любого проектируемого изделия, а есть частные, обусловленные будущими условиями его эксплуатации. Однако это предположение требует тщательного анализа.
Ну что ж, наверное, достаточно критики. Пора предложить что-нибудь конструктивное. Все свои мысли по поводу компетенций я изложил в первой главе моей второй книги по оценке персонала (Фрумкин, 2013-2014). Но рискну повториться.
169
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
Часть вторая. Мысли вслух
Исходные соображения
Должностная компетентность — номенклатура знаний, умений и навыков (ЗУН), определенный уровень сформированности которых обеспечивает эффективную деятельность персонала на данной должностной позиции. Как видно из этого определения, должностная компетентность характеризуется не только номенклатурой критериев, но и необходимым уровнем их сформированности. Более того, должностная компетентность обязательно привязана к конкретной должностной позиции. Должностная компетентность может складываться из различных видов компетентностей: правовой, профессиональной, языковой, управленческой и пр. В свою очередь каждый вид компетентности может состоять из набора компетенций — свойств, обеспечивающих определенный уровень сформированности конкретного вида компетентности. Причем, компетенции могут быть как необходимыми, так и недопустимыми для данной должностной позиции.
Пример приведу из области, настолько далекой от психологии, что даже самому страшно. Есть точка зрения, и у нее масса последователей, особенно в США, что эпидуральный наркоз при проведении родов предпочтителен. Иными словами, есть медицинские показания или их нет, лучше его сделать. Но есть другая точка зрения, и у нее не меньше последователей, что наилучшим способом являются нормальные физиологические роды. Как объясняли мне очень хорошие терапевты, никакое вмешательство в межпозвоночное пространство (именно туда и вводится обезболивающее) не остается незамеченным организмом. Не говоря уже о том, что для проведения этой процедуры требуется огромный опыт и навык. Я слышал даже морально-этические соображения по этому поводу, что ребенок не рожденный в муках, никогда не станет по настоящему дорог... Так вот, врача-акушера, придерживающегося первой точки зрения, причем, даже очень хорошего, навряд ли примут на работу в роддом, в котором исповедуется приверженность к физиологическим родам. Вот и получается, что для этого роддома такая компетенция, как приверженность к эпидуральной анестезии, является недопустимой1. Оценка должностной компетентности возможна диагностическими методиками в виде опросников или кейсов для контроля ЗУН, рейтинговой оценкой и ассессмент-центром1 2.
Именно поэтому перечень оцениваемых компетенций для определения должностной компетентности может быть структурирован следующим образом: должностная компетентность — вид компетентности — компетенции — пояснения. После того, как необходимые компетенции сформированы и диагностированы, необходима комплексная (интегральная) оценка должностной компетентности с целью аттестации или приема на работу. Думаю, что изначальная цель Центра Оценки в том и состояла. Но дальнейшее его развитие, а главное, неуемное желание пользователей этой бессмертной процедуры унифицировать и объединить все и вся — привело к «смешению жанров» (выражение В.П. Зинченко). Психологические показатели стали частью, часто внутренней и практически незаметной
1 Примечание первое. Я вообще считаю не совсем корректным использование слова «компетенция» как синонима слова «свойство» (способность). Насколько я понял, эту аналогию привнесли психологи, занимающиеся управлением персонала. В русском языке слово «компетенция» используется в значении перечня полномочий, делегированных данной должностной позиции (обычное выражение чиновника: «это вне моей компетенции»). Но что сложилось, то сложилось, так что продолжим в уже принятой терминологии.
2 Примечание второе. Необходимо отметить, что как для рейтинговой оценки, так и для ассессмент-центра необходим еще один уровень в структуре компетентности — пояснения (наблюдаемые поведенческие индикаторы). Очевидно, что эксперты (наблюдатели), производящие оценку, должны четко понимать, за какими поведенческими индикаторами они должны следить и что оценивать, чтобы определить наличие и уровень сформированности той или иной компетенции.
170
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
составляющей компетенций. Это привело к перемешиванию и нивелированию результатов в процессе комплексной оценки. Все это очень неблаготворно, с моей точки зрения, сказалось на технологии ассессмент-центра (АЦ). Ну что ж! Надо иметь мужество признать это и попытаться несколько скорректировать технологию.
И еще одно замечание. Тесты (опросники) для оценки ЗУН, также как и психометрика, на мой взгляд, — это статика, срез, характеризующий сформированность тех или иных компетенций. И совершенно непонятно, как «поведут себя» сформированные компетенции при воздействии внешних факторов, при взаимодействии одна с другой и т.д. А вот рейтинговая оценка, СПТ (ситуационно-поведенческие тесты, в терминологии А.К. Ерофеева) или имитационное моделирование (термин мой) позволяют оценить, насколько сформированные компетенции реализуются в практической деятельности. В случае СПТ или имитационного моделирования — это оценивают подготовленные наблюдатели, в случае рейтинговой оценки это определяют три уровня оценщиков: сослуживцы (параллельный уровень), начальство (верхний уровень) и подчиненные (нижний уровень). Все они используют при этом поведенческие индикаторы. В этом случае полученные в тестах результаты можно и нужно скорректировать по результатам СПТ или рейтинговой оценки для окончательного расчета должностной компетентности. Именно такой способ мы с А.Н. Доценко и предложили и осуществили при оценке психологической пригодности: интегральная оценка пересчитывалась после того, как психометрические показатели были скорректированы по результатам имитационного моделирования (Фрумкин, Доценко, 2004). Кстати сказать, сделали мы это на тех же антикризисных управляющих, которые фигурируют в старой, но очень хорошей работе Т.Ю. Базарова, Х.А. Бекова и Е.А. Аксеновой (1995).
Небольшое отступление. Возможно, что вполне достаточно и оценки только с помощью тестирования. Что касается психологической оценки пригодности, то данные наших расчетов показали, что достоверность результатов с использованием разработанной нами Автоматизированной системы психологического сопровождения деятельности (АСПСД) лежит в интервале 0,92-0,95, поэтому достаточно дорогая технология АЦ в этой части может быть и не нужна. Что же касается оценки должностной компетентности процедурой АЦ, то ее достоверность по данным М. Кляйнманна, не превышает 0,82 (Кляйнманн, 2004), а по данным Федерации оценщиков еще ниже — в интервале 0,65-0,70. Думаю, что в этом случае вполне допустимо проведение дополнительной рейтинговой оценки с последующей корректировкой результатов тестирования и пересчетом окончательной величины. К сожалению, в литературе нет данных по уровню достоверности рейтинговой оценки, но, как мне кажется, при грамотном выборе компетенций, возможно, что ее одной окажется вполне достаточно для корректной оценки должностной компетентности без использования дорогостоящей процедуры имитационного моделирования. Но это пока только мои предположения.
И последнее. Надо отчетливо понимать, для решения каких задач может быть использована та или иная технология оценки. Рискну напомнить, что:
- АЦ используется при аттестации и отборе персонала;
- тестовая диагностика используется при аттестации и отборе;
- рейтинговая оценка используется при аттестации.
Расчетная процедура оценки должностной компетентности
Ну что ж, приступим к описанию расчетной процедуры оценки должностной компетентности. В психологической оценке пригодности мы используем математический метод сравнения близости двух портретов: необходимого (желаемого, эталонного, называйте его, как хотите) и реального (существующего у претендента или аттестуемого). Оценка путем
171
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
сравнения того, что надо, с тем, что есть проста и понятна, ибо используется всеми при покупке жилья, любой вещи в магазине, продуктов питания и пр. Так почему бы не использовать ее и при оценке должностной компетентности? В этом случае: психологическая составляющая и оценка должностной компетентности разведены методически и понятийно; унифицированы методы расчета, причем идентичным математическим аппаратом; и, что самое главное (а для меня интересное), может быть унифицирована технология АЦ как для оценки психологической составляющей, так и для должностной компетентности. Я не буду рассматривать процедуру оценки в АЦ, об этом много написано, методические «дырки» этой технологии подробно изложены в нашей с А.Н. Доценко статье, так что попробую изложить оценку должностной компетентности, методом, который разработан нами для оценки психологической составляющей профессионального отбора.
Алгоритм оценки должностной компетентности методом тестирования
Последовательность оценки должностной компетентности методом тестирования можно представить следующим образом.
Этап первый (общий для любого вида оценки). Формирование критериев оценки — по аналогии с психологией — создание эталона должностной компетентности. Этот этап я считаю наиболее ответственным, ибо от того, как сформируем и как посчитаем, то и получим... Процесс формирования компетенций в данном случае необходимо отдать на откуп экспертам, отчетливо понимающим, что именно необходимо знать и уметь на данной должностной позиции. Наличие психологов на этом этапе оправдано лишь выполнением двух задач. Во-первых, не позволять экспертам включать психологические критерии под видом знаний, умений и навыков. Сейчас в этом перечне практически всегда присутствуют как скрытые, так и явные психологические критерии, такие, как лидерство, какое-то стратегическое мышление и пр. Причем критерии эти часто завуалированы непонятными формулировками или вмонтированы внутрь «зуновских» компетенций с непонятными и сомнительными перспективами их диагностики. Во-вторых, помочь экспертам четко и ясно сформулировать сам критерий и, что еще важнее, сформулировать пояснения к нему, т.е. поведенческие индикаторы.
Остальное — дело экспертов. К сожалению, этот этап оценочной процедуры не удается унифицировать так, как это удалось сделать нам для психологической составляющей. Но со временем, на каждом предприятии возникнут устойчивые словари компетенций, назовем их эталонами должностных компетентностей, которые будут, конечно, модифицироваться со временем, но основа их, думаю, будет оставаться неизменной. Так что «. не пропадет наш скорбный труд.».
Структуру критериев оценки для любой должности предлагаю установить такой: наименование должности — вид компетентности — компетенции — пояснения — шкала оценки. Например, см. таблицу 1.
Таблица 1. Пример структуры критериев оценки компетенций для конкретной должности
Наименование должности
Вид компетентности Компетенции
Вид компетентности Компетенции
Вид компетентности Компетенции
Начальник отдела кадров
Правовая компетентность:
знание КЗОТ (поведенческий индикатор);
..и т.д.
Языковая компетентность:
уровень грамотности (поведенческий индикатор);
..и т.д.
Компьютерная компетентность:
работа в редакторе (поведенческий индикатор);
работа с внешними носителями (поведенческий индикатор);
..и т.д.
172
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
Напоминаю еще раз, что выбирать надо не только те компетенции, которые необходимы, но и те, которые недопустимы. Инструкция экспертам, призванным сформировать эталон компетентности, может выглядеть следующим образом:
Уважаемые эксперты!
Вам предлагается сформировать некоторый набор знаний, умений и навыков, которые,
с Вашей точки зрения, необходимы для работы на должностной позиции..Для каждой
компетенции необходимо также указать поведенческие индикаторы (пояснения), чтобы можно было визуально проследить ее наличие или отсутствие.
Не забудьте, пожалуйста:
Важны не только те компетенции (свойства), которые необходимы, но и те, которые недопустимы и мешают эффективной деятельности. Формируя указанный перечень, обязательно проставьте необходимый уровень выраженности или недопустимости каждого указанного Вами свойства по следующей шкале:
Наличие компетенции обязательно +3
Наличие компетенции рекомендовано +2
Наличие компетенции желательно +1
Наличие компетенции нежелательно - 1
Наличие компетенции противопоказано - 2
Наличие компетенции недопустимо - 3
Примечание. Для облегчения работы экспертов можно снабдить их набором уже существующих компетенций. Сейчас их ходит по миру море! Но! Психологи должны проследить, чтобы ни в одной из них не было завуалировано ни одной психической функции и личностной характеристики.
Обработку ответов экспертов рекомендую рассчитывать как медиану оценок по каждой компетенции с учетом знака оценки. Пять градаций для шкалы оценки выбраны исходя из того, что большее число градаций просто трудно различить, меньшее — приводит к потере информации, а нечетность числа интервалов считается наиболее удобной для статистической обработки.
Методика сбора необходимой информации для построения эталона должностной компетентности подробно описана и опубликована в журнале «Организационная психология» (Нормативы..., 2011). Так что не будем повторяться. Кратко можно лишь отметить, что предлагаемая методика очень сходна с инженерно-психологическим анализом деятельности, который рекомендуется для построения психограмм в любом учебнике по учебной дисциплине «организационная психология». Несуществующие «достоинства» и существующие недостатки этого подхода подробно проанализированы в моей книге по психологическому отбору (Фрумкин, 2004). К сожалению, в данном случае ничего другого предложить пока не могу.
Таким образом, преодолев все существующие трудности и отсутствующие «радости» построения эталона должностной компетентности, мы получаем не только номенклатуру оцениваемых свойств (компетенций), но и уровень их необходимости или недопустимости. Шкалированный эталон в дальнейшем позволит нам использовать математический метод для комплексной оценки должностной компетентности. И еще одно замечание к первому этапу — формулировка пояснений (поведенческих индикаторов). Это непростая и кропотливая работа. И вот здесь наличие психолога особенно значимо. Пояснения эти должны быть краткими, ясными, не содержать никаких психологических или каких-либо иных профессиональных «умностей», иными словами они должны быть написаны «на языке улицы». Надо не забывать, что наблюдатели могут быть совершенно незнакомы с тонкостями данной
173
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
должностной позиции, а уж с профессиональной терминологией тем более. Вот почему почти четыре года мы с Т.П. Зинченко отрабатывали Опросник для экспертов, которые
теперь запросто строят психологический эталон любой должности. Как пример для подражания (шучу) приведу небольшой фрагмент наших пояснений к психологическим свойствам (Табл.2). Таблица 2. Перечень критериев и пояснений для наблюдателей
Класс свойств Свойства Пояснения
Мыслительные свойства 1. Креативность Способность отбросить стандартные методы решения и искать новые, оригинальные.
2. Образное мышление Способность оперировать образной информацией (знаки, символы и пр.): сравнивать, находить аналогии, устанавливать закономерности и т.д.
3. Продуктивное мышление Способность принимать решение при недостатке информации или отсутствии времени на ее осмысление. Умение делать выводы из противоречивой информации, умение прогнозировать исход событий.
4. Репродуктивное мышление Способность к быстрому счету в уме. Умение узнавать факт по малому числу признаков.
И т.д. 5. Речевые свойства Умение коротко и ясно спрашивать и отвечать.
Подведем итоги работы на первом этапе. Мы сформировали перечень компетенций для данной должностной позиции и оцифровали степень их необходимости или недопустимости. Таким образом, количественно определенный эталон должностной компетентности есть. Есть и пояснения к перечню компетенций. Это «на потом» для проведения СПТ или рейтинговой оценки3.
Этап второй. Итак, после того, как сформирован эталон должностной компетентности, можно приступить к формированию тестов для его диагностики. Естественно, что тесты для диагностики ЗУН являются тестами-опросниками, где среди нескольких провокационных ответов на поставленный вопрос содержится один правильный. Составление таких тестов само по себе является довольно сложным делом. Остановимся детально на тестах, которые диагностируют несколько видов компетентностей с различным числом компетенций внутри каждого из них. Не буду учить, как грамотно формировать тест-опросник, хочу только сделать несколько замечаний-рекомендаций:
- на каждую компетенцию в тесте должно быть не менее трёх-четырёх вопросов. Выполнять или не выполнять эту рекомендацию решают эксперты. Решение может зависеть от количества компетенций, выбранных для контроля. Если их много (например, более 30-40), то, скорее всего, целесообразно ограничиться минимумом, т.е. одним-двумя вопросами на каждую компетенцию;
- количество ответов на каждый вопрос должно быть не менее четырех-пяти: один правильный и три-четыре провокационных.
3 Примечание третье. Ни в одном из литературных источников не указан или хотя бы рекомендован унифи-
цированный способ сведения полученных единичных оценок в комплексную. Здесь каждый, проводящий оценку, «умирает в одиночку», если можно так сказать. Кто-то прибегает к сверткам, кто-то интегрируют оценки наблюдателей в одну методом «консенсуса»... Я не буду обсуждать недостатки этих методов, отмечу лишь одно: результаты, полученные столь разнообразными способами при использовании одной и той же технологии, оказываются несопоставимы, и соответственно не подлежат сравнению и анализу. «Все это было бы смешно, когда бы ни было так грустно.»
174
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
Примечание: Не следует увлекаться ни количеством вопросов, ни количеством провокационных ответов. В противном случае этот тест можно превратить в аналог MMPI, от которого сходят с ума вполне здоровые люди.
- за каждый правильный ответ присваивается +3 балла, за каждый неправильный ответ -3 балла;
- при желании можно скорректировать положительную оценку (+3 балла) с учетом вероятности случайно данного правильного ответа:
БО . = 3х(1 - 1/ n),
+рк. ^ 'У
где БО+рк. — положительная балльная оценка реальной j-ой компетенции; n. — количество ответов на поставленный вопрос по j-ой компетенции.
- если на какую-либо компетенцию было несколько вопросов, то после выполнения теста значение комплексной балльной оценки по таким компетенциям можно рассчитывать как медиану балльной оценки ответов на все вопросы, относящиеся к данной компетенции с учетом их знака. Не рекомендую рассчитывать ее как среднюю характеристику — она, если можно так сказать, несколько «истерична» и шарахается из стороны в сторону при каждом резком изменении значения в вариационном ряду;
- считаю некорректным окончательный расчет проводить на уровне вида компетентности путем сведение всех составляющих ее компетенций в интегральную оценку. В этом случае происходит потеря большого объема интересной и нужной информации. Но если вдруг такая мысль придет в голову исполнителю, каждый вид компетентности лучше рассчитывать тоже как медиану компетенций его составляющих.
Таким образом, в результате тестирования мы получаем балльную оценку каждой компетенции, то есть реальный портрет оптанта, причем в тех же единицах, что и эталон. Теперь остается сравнить этот портрет с эталоном и можно принимать решение о количественной мере должностной компетентности испытуемого.
Этап третий. Процедура расчета должностной компетентности. Расчет комплексного (интегрального) значения должностной компетентности ведется методом сравнения двух портретов по формуле Хэмминга:
1. Рассчитывается сумма модулей разностей по всем компетенциям с учетом их знака:
.V
R - У" I БО . - БО . I
raw г , I эи рю I
г=1
где: N — количество совпадающих компетенций, то есть компетенций, которые есть и в эталоне, и в реальном портрете; i — номер компетенции;
БОэк. — балльная оценка i-ой эталонной компетенции;
БОрк. — балльная оценка i-ой реальной компетенции.
2. Рассчитывается предельно допустимое расстояние по Хэммингу:
AR = 6NK,
хэм
где: N — количество совпадающих компетенций;
6 — максимальный размах оценки (от -3 до +3);
К — статистический коэффициент (К=0,262).
Небольшое отступление. Несколько слов о статистическом коэффициенте. При наличии в литературе множества формул оценки близости двух кривых (профилей), ни для одной из них не приводятся ни значение, ни формула расчета минимально допустимого расстояния, при котором две кривые можно считать похожими. И это понятно, различные научные отрасли по-разному оценивают, когда кривые похожи, а когда нет. Не исключение здесь и психологическая наука. Вот почему мы около двух лет набирали статистику для определения этого коэффициента. А пока набирали, произвольно приняли его равным 0,1. Это очень
175
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
жесткая мера, но мы считали, что лучше «перебдеть», чем «недобдеть». Думаю, что примерно также надо поступить и в случае оценки должностной компетентности. Или сразу же воспользоваться нашими расчетами, считая, что эти две области близки по содержанию. Хотя....
Продолжим. Если Rx3H < АЯхэм, принимается решение о совпадении профилей, то есть о должностной компетентности испытуемого. Если R > AR , принимается решение о несовпадении профилей, то есть о должностной некомпетентности испытуемого. Таким образом, мы получили интегральную количественную оценку меры должностной компетентности или некомпетентности оптанта.
Еще одно небольшое отступление. По данным наших исследований несовпадение психологических профилей в пределах 5-10% не приводит к катастрофическим результатам. Вопреки решению нашей системы (АСПСД) психолог в своем резюме пишет примерно следующее: «Несмотря на решение системы, считаю возможным использовать испытуемого на данной должностной позиции (или принять на работу с испытательным сроком) при
условии повторного тестирования через.Возможно проведение курса обучения (тренинга)
по следующим направлениям.... Психолог: Феоктистов А.М.
Думаю, что примерно такое же заключение можно будет сделать и в случае оценки должностной компетентности. Но только после детального анализа результатов оценки по каждому виду компетентности, а еще лучше по каждой компетенции его составляющей. В дополнение к комплексной оценке должностной компетентности мы можем получить целый ряд дополнительных характеристик:
- «резерв» (S+) — комплексный показатель превышения уровня компетентности обследуемого над требованиями должности;
-«дефицит» (S) — комплексный показатель превышения уровня требований к должности над уровнем компетентности обследуемого;
- показатель соответствия (Ксоотв) как отношение резерва к дефициту:
Этот показатель может служить ориентиром для определения кадрового резерва;
- данные реальных и эталонных значений по каждой компетенции, а это исходный материал для планирования обучающих и развивающих программ по каждой должностной позиции и немаловажная информация для понимания и прогнозирования эффективности деятельности и т.д.
Кстати, при таком подходе к расчету должностной компетентности можно реализовать еще один режим, который мы в психологической оценке назвали «режимом профдифференциации». А именно: в случае несоответствия требованиям, предъявляемым к данной должности, по вакантным эталонам должностных компетентностей можно подобрать претенденту или аттестуемому ту должность, которой он соответствует. Это облегчает руководству процесс решения кадровых проблем и принятия «организационных выводов», вытекающих из процедуры аттестации. Формулы для расчета резерва и дефицита компетентности:
S-=1L<.£0«-&>*)>0
176
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
Алгоритм оценки должностной компетентности методом рейтинга
Небольшое отступление. Естественно, что рейтинговая оценка проводится лишь в том случае, если есть эталон должностной компетентности, то есть перечень критериев оценки. Поскольку рейтинговая оценка имеет несколько уровней, целесообразно указывать, какой вид используется в данном случае. Указание уровня оценки может играть определенную роль при принятии решения. Целесообразно сделать закрытым сам процесс оценки, то есть не указывать фамилии оценщиков. В этом случае возможны более объективные результаты. Необходимо скрыть и балльные оценки эталона компетенций, чтобы у оценщика не было навязанных ориентиров.
Итак, инструкция для оценщиков:
Уважаемые эксперты!
Вам предстоит оценить вашего коллегу.
Оценка производится по следующей шкале:
Если качество проявляется в полной мере во всех рабочих ситуациях,
при выполнении всех профессиональных задач + 3
Если качество проявляется в большей части рабочих ситуаций
при выполнении большинства профессиональных задач + 2
Если качество проявляется в отдельных профессиональных задачах + 1
Затрудняюсь ответить 0
Если качество проявляется достаточно редко -1
Если качество проявляется ситуативно, бессистемно, возможно случайно - 2
Если качество не проявляется вообще
(не наблюдается в профессиональной деятельности) - 3.
Алгоритмы обработки рейтинговой оценки
1. Подготовительный этап:
- по каждой компетенции строится вариационный ряд оценок от лучшего к худшему, естественно, с учетом знака оценки;
- в каждом вариационном ряду изымаются нулевые оценки, так называемые «неопознанные» компетенции;
-в каждом вариационном ряду отсекаются хвосты слева и справа - примерно 1-3% от общего числа значений вариационного ряда. Таким отсечением мы несколько уменьшаем влияние предвзятости: «любви» или «ненависти» оценщиков;
- для получения комплексной оценки по каждой компетенции, из оставшихся оценок рассчитывается медиана.
2. Рассчитывается расстояние по Хэммингу, как сумма модулей разностей по всем компетенциям с учетом их знака.
R = V1 БО . -БО I
лсэ.ч / , 11 ЭИ era I
;=1
где: N — количество оцениваемых компетенций; i — номер компетенции;
БОэк. — балльная оценка i-ой эталонной компетенции;
БОок. — балльная оценка i-ой комплексной оценочной компетенции.
3. Рассчитывается предельно допустимое расстояние по Хэммингу:
AR = 6NK,
хэм
где: N - количество совпадающих компетенций;
6 - максимальный размах оценки (от -3 до +3);
К - статистический коэффициент (К=0,262).
177
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
Если R < ARx3M, принимается решение о совпадении профилей, то есть о должностной компетентности испытуемого. Если R > AR , принимается решение о несовпадении
J хэм хэм' ГГ гл
профилей, то есть о должностной некомпетентности испытуемого.
Примечание. Если оценка производится по трем уровням рейтинговой оценки, целесо-бразно отдельно рассчитывать все показатели для каждого уровня и общий - по всем трем.
Рассмотрим ситуацию, которая может возникнуть у принимающего решение. Оцениваемых или претендентов на должность несколько, а должностная позиция одна, и необходимо проранжировать список:
- если оцениваемые прошли рейтинговую оценку, то есть оказались компетентными, их ранжирование производится по разности (AR^ - R^ ) от большего значения к меньшему (от лучшего к худшему), где j — номер обследуемого;
- если оцениваемые не прошли рейтинговую оценку, и мы ищем лучшего среди худших, тогда ранжирование производится по той же разности, но уже от меньшего значения к большему.
Я указал на чисто формальные критерии, но для корректного принятия решения необходимо воспользоваться дополнительной информацией. Ну, хотя бы числом компетенций, по которым оптант не прошел рейтинговую оценку; значением резерва и дефицита; коэффициентом соответствия и пр. Кстати, эта же информация не окажется лишней при ранжировании претендентов, прошедших оценку.
Заключение
Подведем некоторые итоги. Итак, я рассмотрел задачу оценки должностной компетентности методом тестирования и рейтинговым методом, разбил эту задачу на этапы, предложил математический аппарат расчета, постарался уберечь пользователей от скрытых и явных ошибок. Я прекрасно понимаю, что учить жить гораздо проще, чем жить. И все-таки...
Вот такие мои мысли вслух. Можно прислушаться к ним, а можно и забыть. Я свою задачу выполнил: я их озвучил.
Теперь относительно рекомендуемой литературы. Я сейчас нахожусь на той стадии, о которой сказал мне как-то Володя Зинченко. Конечно, он шутил, но прозвучало это примерно так: «Я стараюсь следить за литературой, но с трудом успеваю прочитать то, что написал сам». Поэтому рекомендуемая литература будет возможно не самая новая, зато мне она нравится и близка по духу, ибо ее содержание позволяет рассмотреть проблему оценки персонала со всех сторон.
1. Винокуров Л.В., Отюгов А.А. Профессионально важные качества операторов ультразвукового контроля и методы их диагностики. Ультразвуковая дефектоскопия металлоконструкций. Информативность и достоверность // Сб. докл. XVI Петербургской конф. УЗДМ-98 (3-5 июня 1998)). СПб., 1998.
2. Зинченко Т.П. Когнитивная и прикладная психология. Москва-Воронеж: МОДЭК, 2000. (Раздел 3. Профессиональная и школьная психодиагностика).
3. Зинченко Т.П., Фрумкин А.А, Винокуров Л.В. Адаптационный синдром и профессиональная психодиагностика // Психологические исследования: Сборник научных и методических материалов. Вып. 2. СПб., 1999.
4. Зинченко Т.П., Фрумкин А.А. Автоматизированная система профессиональной психодиагностики // Психологические исследования: Сборник научных и методических материалов. Вып. 1. СПб., 1997.
178
Организационная психология. 2014. Т. 4. № 4.
www.orgpsyjournal.hse.ru
5. Зинченко Т.П., Фрумкин А.А., Горбунова Е.В. Образ профессии как один из важнейших факторов успешности профессиональной деятельности // Психологические исследования: Сборник научных и методических материалов. Вып. 2 . СПб., 1999.
6. Маничев С.А. Технология работы оценочного центра // Практикум по психологии профессиональной деятельности / под ред. Г.С. Никифорова, М.А. Дмитриевой, В.М. Снеткова. СПб.: СПбГУ 2000.
7. Сергеев С.С., Сараева В.Е. Автоматизированная система психологического профотбора поездных диспетчеров // Психологические исследования: Сборник научных и методических материалов. Вып. 1. СПб., 1997.
8. Шулер, Х. Отбор персонала. Иностранная психология. 1994. Т. 2, № 1(3).
Литература
Базаров, Т.Ю., Беков, Х.А., Аксенова, Е.А. (1995). Методы оценки управленческого персонала государственных и коммерческих структур. М.: ИПК Госслужбы.
Базаров, Т.Ю., Ерофеев, А.К., Шмелёв, А.Г. (2014). Коллективное определение понятия «компетенции»: попытка извлечения смысловых тенденций из размытого экспертного знания. Вестник Московского Университета. Сер.14. Психология, 1, 87-102.
Кляйнманн, М. (2004). Ассессмент-центр. Харьков: Гуманитарный центр.
Нормативы и этические принципы создания и проведения центра оценки (2011). Организационная психология, 1 (2), 26-44 (Пер. с англ. М. Мальцевой, студ. магистратуры факультета психологии НИУ ВШЭ). Нормативы приняты на 34 Международном конгрессе по Центрам Оценки 24 сентября 2008 года, г. Вашингтон, округ Колумбия, США.
Фрумкин, А.А. (2004). Психологический отбор в профессиональной и образовательной деятельности. СПб.: Речь.
Фрумкин, А.А. (2013-2014). Человек в профессиональной и образовательной деятельности. Методы оценки. Психологическая газета, 5.
Фрумкин, А.А., Доценко, А.Н. (2004). Альт — ассессмент. Психологическая газета, 4, 5.
179
Organizational Psychology. 2014. Vol. 4. No 4.
www.orgpsyjournal.hse.ru
A letter to friend, or thinking out loud
Anatoly FRUMKIN
Center for ergonomic and psychological technologies, Saint-Petersburg, Russia
Abstract: The paper consists of two parts. The first part presents a review of the article T. Bazarov, A. Yerofeev, A. Shmelev “Collective definition of “competence”: an attempt to extract meaningful trends from diffuse expert knowledge”, sustained in a polemical style. In particular, we are talking about the relationship of concepts such as “competence”, “competency”, “property”, “quality”, “professional-important qualities”, “psychologically-important qualities.” The second part describes the author's view on the evaluation procedure of the job competence, including expert instruction, examples of criteria for assessing competencies, as well as mathematical formula for calculating the job competence.
Keywords: competence, competency, property, quality, professional-important quality, psychologically-important quality assessment center.
References
Bazarov, T.Yu., Bekov, Kh.A., Aksenova, E.A. (1995). Metody otsenki upravlencheskogo personalagosu-darstvennykh i kommercheskikh struktur [Methods for assessment of managerial staff publick and commercial structures]. M.: IPK Gossluzhby.
Bazarov, T.Yu., Erofeev, A.K., Shmelev, A.G. (2014). Kollektivnoe opredelenie ponyatiya «kompeten-tsii»: popytka izvlecheniya smyslovykh tendentsii iz razmytogo ekspertnogo znaniya [Collective definition of “competence”: an attempt to extract meaningful trends from diffuse expert knowledge]. VestnikMoskovskogo Universiteta. Ser.14. Psikhologiya, 1, 87-102.
Klyainmann, M. (2004). Assessment-tsentr [Assessment Center]. Khar’kov: Gumanitarnyi tsentr.
Normativy i eticheskie printsipy sozdaniya i provedeniya tsentra otsenki (2011) [Guidelines and Ethical Considerations for Assessment Center Operations]. Organizatsionnaya psikhologiya, 1 (2), 26-44 (Per. s angl. M. Mal’tsevoi, stud. magistratury fakul’teta psikhologii NIU VShE). Normativy prinyaty na 34 Mezhdunarodnom kongresse po Tsentram Otsenki 24 sentyabrya 2008 goda, g. Vashington, okrug Kolumbiya, SShA.
Frumkin, A.A. (2004). Psikhologicheskii otbor v professional'noi i obrazovatel'noi deyatel'nosti [Psychological selection in professional and educational activities]. SPb.: Rech’.
Frumkin, A.A. (2013-2014). Chelovek v professional’noi i obrazovatel’noi deyatel’nosti. Metody otsenki [People in professional and educational activities. Evaluation methods]. Psikhologicheskaya gazeta, 5.
Frumkin, A.A., Dotsenko A.N. (2004). Al’t — assessment [Alt — assessment]. Psikhologicheskaya gazeta, 4, 5.
Address: 170 Fontanka River Emb., 198035 Saint-Petersburg, Russia
E-mail: [email protected]
180
